JPS58711A - ステレオ画像再生方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は相異なる角度から撮影した２枚の画像を用いて
、対応点を検出し、物体の高度あるいは奥行きを求める
ステレオ画像再生方法に関するものである。

従来、物体の高度あるいは奥行きを求める方法には、相
異なる角度から撮影した２枚の画像を用いて、相互相関
関数 鴨は画素の数、 ｌは相互のズレ、　を表わす。

を求め、この値が設定された移動範囲の中で最大となる
ときのｌの値を視差として抽出する方法がありた。

しかし彦がらこの方法では画像のコントラストに対する
制限がないので、コントラストの低いところでは、相関
関数の値が発散したり、大きくなシすぎるなどの欠点が
あった。

以下本発明の詳細な説明する。

本発明は、まずパワーの値を次式により求める。

次にとのパワーＰ□（７りがある設定範囲にある娘のの
みについて相互相関関数Ｒ，，（１）を求める。

Ｐ、≦馬、（１）≦Ｐ　１（ａ） そしてＲｖ、（１）が、設定された移動範囲の中で最大
となるときのｌの値を視差りとして抽出する。

ｌＩ≦ｌ≦Ｉｔ　　　　　　　　　　　　　　（４）％
、（ｊＪｓａｚ　）　＝　ｍａｔ　Ｒｇ、（Ｊ）　、　
ｌ　ｒ≦ｌ≦Ｉｔ　　（５）Ｄ　＝　１１（６） この視差りによシ物体の高度ノｋを求める。

パワーＰ□＜ｉ＞がある設定範囲から外れた場合には、
高度藷が求まらないことがおこるが、このときには、周
囲のデータから４魚槽間、線形補間、２次関数近似など
の方法によシ求める。４魚槽間の場合には ａｈ、、＝　’ｘ（）ｋｍ−％、ｆ％＋ΔｋＺ−１Ｌ、
ｌｔ−％＋’ｋＺ十％、ｖ−’ｎ十ノ五ｇ＋外、ｙ＋％
）（７） の式によって高度ノル−ノー、が求まる。

以下本発明の一実施例を図面を参照して説明する。第１
図に撮影方法の概略図を示す。第１図において１，２は
同一の衛星であり、それぞれ時刻１１、　ｔｚにおける
同一の衛星の位置を示す。衛星は高度Ｈが９００　Ｋｍ
の太陽同期のほぼ円軌道に打ち上げる。衛星上には２台
の望遠カメラを搭載する。

水平方向の衛星の移動距離Ｂと、高度Ｈから求まる比Ｂ
／Ｈの値が１に等しくなるように撮影時の衛星の時刻、
位置を選び、その位置から地球上の同一地点を撮影でき
るようにカメラを遠隔操作で固定する。衛１は地表面８
から一定の高度Ｈの軌道を周回し、前記時刻ｔｌ、　ｔ
２における衛星の位置を結ぶ直線の中点から、その直線
に垂直な直線９を引くと、この直ｌＩ９が地表面８に対
しても直角に交わるように衛星の姿勢、軌道位置を制御
する。

第１図において時刻１．におけるカメラ＃１の位置を３
、カメラ＃２の位置を４とし、時刻ｔ２におけるカメラ
＃１の位置を５、カメラ＃２の位置を６とする。４の位
置にあるカメラ＃２の光軸方向１０に対する撮影画面人
と、４の位置にあるカメラ＃Ｉの光軸方向１１に対する
撮影画面Ｂの２枚の画像を用いて、地上の対象物の高度
を求める。前記撮影画面人と撮影画面Ｂとは地上の同一
の撮影領域７を撮影したものであり、同一の撮影領域７
を異なった角度からみた画面に対応している。

前記Ｂ／Ｈの値を１に選んであるので、鉛直線９と光軸
１０．１１とのなす角αはそれぞれ−α＝丁という関係
をみたす。衛星上の２台のカメラ＃１゜＃２のなす角は
２αとなる。Ｂ／Ｈの値は１に選ぶのが最適である。１
より大きすぎると、２枚の画面Ａ、Ｂの相違が大きくな
り、対応点が見つけにくくなる。１より小さすぎると高
さの測定の精度が低下する。衛星の向きは鉛直方向を向
くのが最適であり、斜め方向を向くと測定精度が低下す
る。

一対になった２枚の画＠Ａ、Ｂの撮影方法としては、前
記のように、同一の衛星上に２台のカメラを備えて、異
なった時刻ｔｌ’、ｔ２に撮影するのが最適であるが、
この他に２台の衛星に各々１台ずつカメラを搭載し、同
一時刻に同一地点を異なった方向から撮影する方法があ
り、静止衛星などのように衛星の位置や姿勢が安定であ
る場合には適しておシ、同一時刻に撮影できることによ
り２枚の画像Ａ、Ｂの対応がとりやすいなどの利点もあ
るが、円軌道を周回する衛星では実現性、精度などの点
で問題がある。１つの衛星に１台のカメラを搭載し、カ
メラを回転して、異なった時刻に同一地点を撮影する方
法は簡便でちるが、回転角のコントロールの精度や、回
転機構の複雑さに問題がある。衛星上で得られた画像は
マイクロ波などにより地球局に送信する。地球局では送
られた画像から地上物の高さの測定を行う。

第２図に２枚の画像Ａ、Ｂ間の視差と地上物の高さの関
係を示す。求めるべき高さをΔｈとする。

１は地表を示す。撮影点２，３から撮影した場合、高さ
によυ撮影画面上の地上物の位置がずれる。

これを視差とよび、その値は第２図からｐ＝＝ｘ１−Ｘ
２＝２Δに一αで求まる。ｔａｔｎαコアと選んである
ので、Ｄ＝Δルとｌ、Ｄを求めることによシ、Δｋが決
定できる。Ｄを求めるためには、１対の画像上の対応点
を検出する必要がある。これには前記相互相関係数Ｒｚ
ｙ（Ｊ）を用いる。

第３図に処理の流れのブロック図を示す。５１では撮影
カメラのガンマ値の補正や、シェーディングの補正、セ
ンサー間の感度のばらつきの補正、太陽照度や地球反射
率に対する補正などの画像濃度に影響する歪の補正を行
い、歪を除去する。５２では衛星の位置や姿勢、地球の
回転、地球の曲率などによる幾何学的な画像位置の歪の
補正を行い、歪を除去する。５３では中心投影から正射
影への変換を行う。５４では前記相関係数の定義式に基
づき相関計算を行う。５５では前記パワーの定義式に基
づきパワーの計算を行う。５６では５４．５５で得られ
た結果を用いて、相関係数のピーク位置を求める。５５
で求めたパワーの値が設定範囲内にあるもののみを対象
として、ピーク金検出し、その位置座標の値を５７に出
力する。５７では位置座標のずれを検出し視差とする。

５８では５７で求めた視差により、地上瞼の高さを求め
る。入力画像Ａ、Ｂと実際の長さとの縮尺の補正もここ
で行う。５９では５５でパワー制限を加えたことにより
高さが求めで求められた高さを地図上に投影し、必要に
応じて縮尺の変換、等高線の作図などを行う。

第４図にパワーを求める回路のブロック図を示す。入力
は前記２枚の画像の濃度値、”ｉ、１１ｉ＋１と起動信
号Ｓ１クロツクＣＬＫ及び第３図の５４で求められた相
関係数の値”ｘｙ＜ｌ）でお沙、出力は、。

パワーの値が設定範囲を満たしているか否かのフラグＰ
ＷＲＦである。画像の濃度値”Ｌｒ１４＋ｌは１次元ま
たは２次元の画素の濃淡を表わしており、サイズはｎ−
１である。外は相関領域の大きさを表わしておシ、ｌは
シフト量を表わしている。６１゜６４は乗算器で、人力
の２乗を計算し出力する。

６２．６３は加算器でπ−ノケの入力に対し和をとって
出力する。６５は引算器である。７５はクロックパルス
発生器であシ、基準クロックや同期用のタイミングパル
スを各ブロックに送る。７８はカウンタでスタート信号
Ｓがきてからクロック信号ＣＬＫをカウントし、６６に
シイのシフト量ｌを出力する。７７はカウンタで、スタ
ート信号Ｓがきてからクロック信号をカウントし、７５
．６６にメモリのアドレス信号ｉを出力する。７５は加
算器でｇ４の入っているメモリの先頭アドレスｚ０と（
を加算し、メモリ７６に出力する。６６は加算器で１ｉ
の入っているメモリの先頭アドレスＹ、と＜、ｌを加算
し、νｉ１１の入っているメモリのアドレスを発生し、
７６のメモリに出力する。７６Ｕ画僚データが記憶され
ているメモリで、ＮＭＯ８８ＴＡＴＩＣＲＡＭ１どを用
いる。７６には読み出し、書きこみのコントロール信号
やクロックなどが与えてあり、アドレスを入力し、デー
タを出力することができる。

６１は乗算器であり、人力町の２乗を計算する。

６３はｓ−１ケのデータの加算をとる回路である。

６２は、−ｌケの入力データの加算をとり出力する。

６４は乗算器で６２の出力信号をうけてその２乗を出力
する。６５は引算回路であるっ６７は乗算器で入力の２
乗を出力する。６９はｓ−１ケのデータの加算回路であ
る。６８はｓ−１ケのデータの加算回路である。７０は
乗算器で入力の２乗を出力する。

７１け引算回路である。７２は乗算器である。７３゜７
４は大小比較器で２つの入力に応じてＰＷＲＦ信号を発
生する。７９はＡＮＤゲートである。８０は２：１のセ
レクタでＰＷＲＦの信号の値によりＲ□か“０＃かを選
択する。

第５図及び第６図には相関係数を求める回路を示す。第
５図は町＋Ｗｉ＋ｙの積和を求める回路である。１０２
けカウンタであシ、画像の領域のスキャンをするアドレ
スを発生する。１０１は加算器で、Ｚ　ｉ　（％　”’
　Ｌ　２＋・・・、Ｎ）のデータの入っている先頭アド
レスの値ｚ０と１０２の出カシとを加算する。１０５は
ずれ量！を発生する回路でカウンタによシ構成される。

１０４は加算器でｙｉ＋Ｉ　（＄　＝１＋　２．・・・
、Ｎ）の画像の入っているメモリの先頭アドレスνＯと
１０２の出力ｉ、１０５の出力ｌを加算する。１０３は
メモリであシ、たとえばＮＭＯ８′５ＴＡＴＩＣＲＡＭ
などのＩＣメモリを用いる。１０１，１０４より発生さ
れた値をアドレスとしで、アクセスし、読み出したデー
タをｆＪｉ　＋ｆｊ＋１とする。１０６は乗算器であ、
９．１０７，１０８はｓ−１ケのデータの加算を行う回
路である。１１０は乗算器である。１０９は１４ケのデ
ータの加算を行う回路である。１１２は減算器である。

１１１は除算器である。１１３は減算器である。１１３
の出力はＲｚｙ（Ａ’）と愈シ、第６図で１３４の入力
として用いる。第６図は第５図の出力を受けて相関係数
Ｒｇ、（！りを出力する回路である。

１１４．．１１７は加算器である。１１５，１１８はカ
ウンタである。１１６はＮＭＯ８５ＴＡＴＩＣＲＡＭな
どにより構成するメモリであり、画像データを貯える。

１１４，１１７で発生したアドレスにより前記メモリの
読み出しを行い、町、１／ｉや、のデータを出力する。

１１９，１２２は乗算器であり、入力の２乗を求めて出
力する。１２０，１２１Ｆｉｓ−１！ケの入力の総和を
求める加算器である。１２５は減算器で一定値３とカウ
ンタ１１８の出力ｌとの引き算を行う。

１２３は除算器で１２２の出力を１２５の出力で割り算
する。１２４は減算器で、１２１の出力から１２３の出
力を引き算する。１２６，１２９は乗算器で、１１６゜
１２８の出力の２乗を求め出力する。１２７，１２８は
ｓ−／ケのデータの総和を求めて出力する加算器である
。１３０は除算器で１２９の出力を１２５の出力で割算
し１３１に出力する。１３１は減算器で１２７の出力か
ら１３０の出力の引き算を行う。１３２は乗算器で、１
３３は平方根を求める回路である。

１３４は除算器で第５図のル；ｙ　（１）を１３３の出
力で割シ算し、Ｒ□（１）とする。

第７図はピーク検出回路のブロック図である。

カウントアツプする。カウンタのサイズは相関係数Ｒの
数よりも大きくしておく。３０３の出力は３０５．３０
６に入力する。３０５，３０６は比較器であシそれぞれ
最初のデータであるか最後のデータであるかを判別し、
出力パルスを出し、３０７゜３０８．３１１，３１２に
出力する。３０１はラッチであシ、第６図から求められ
た相関係数Ｒｇ、（１）をうけてその最大値を記憶する
ためのものである。最初のＲ，、（ｊ）が入力したとき
には３０５から一致信号が出力され、３０７のＯＲゲー
トを通り３０１に書シ、入力Ｒ，，（１）がラッチ３０
１の出力よｐも大きいときには書きこみパルスを出し、
３０７のＯＲゲートを通Ｊ）３０１に書きこみを指示す
る。このようにして相関領域におけるＲ□（１）の最大
値Ｒｇｙ（１）ｗｇが３０１に求まるので、これを３０
８にコピーして書きこむ。３０８には融ッ（１’）−ｎ
ａｇの値が求まる。”ｚｙ（ｌ−ｇの座標値（”ｍ＋’
ｆｉ）を同時に求めるなめにラッチ３０９，３１０があ
υ、ラッチ３０１と同期して３０．．１にラッチされた
几□（Ｊ）、、の値に対応する（ＺｍＪｍ）座標をとり
こむ。相関領域におけるＲａｙ（１）の最大値Ｒｚｙ（
Ａりｎ＋ａｃが求まったとき、３０８のラッチと同期し
て、３１１，３１２のラッチに（’ｆｔＬ＋ｆ、Ｌ）の
座標をとシこむ。以上のようにしてＲ□（１）の最大値
〜ｙ　（１）ｙｙ＋ａｃと侮ｙ（Ａ’）ｖｗｇに対応す
る座ＩＩ（ｚｍ　ｌ　１％　）がそれぞれラッチ３０８
．３１１　。

３１２に求まる。

第８図は視差抽出及び高さ計算回路である。視差は第７
図３１１の出力２．をうけて、この値と基準位置ｚ１゜
との差を求めることによシ得る。ただし第７図のｙ、と
基準位置り、とけよく合っていて、誤差がないものとす
る。第８図で４０１は減算器であり、ｇｓからｚｌ。を
引き、４０２に出力する。４０２は高さ計算回路で、測
定された衛星の高さＨと縮尺係数を用いて求められた定
数αを４０１の出力に乗するための乗算器からなる。出
力は高さｈｔとなり、地図上に投影する。前記の処理よ
り求めたパワーＰ□（Ａｔ）の値の一例を示せば第９図
に示すようになった。この図からもわかるように、　パ
ワーＰ□（））の値は画素位置により大きく変化し、コ
ントラストの小さいところではパワーＰ！、（Ａ’）が
小さくなる丸めに、相互相関係数Ｒよ、（１）が大きく
なシすぎてしまう。これによる誤シを防ぐために’ｚｙ
（’１に一定の下限を設定する。パワーの下限の値はＰ
ｚｙ（Ｊ）の標準偏差の１０％を採用する。この例では
パワーの標準偏差の１０％に当る下限値は２０となる。

パワーの下限値は画像の種類によシ変動しうるが、パワ
ーの標準偏差の１０−ないし３０％が適当である。下限
が小さすぎると誤りがふえ、大きすぎると相関係数の求
まらない領域がふえる。

その結果Ｒｇｙ（１）の発散は生ぜず、コントラストの
低いところでも誤差を防ぐことが可能となる。

＠１０図は本発明を実施して求めた高度計算処理結果の
一例を示す。グラフは地図上でのある−直線上の地点に
おける高度をプロットしたもので、断面図を示している
。第１１図は第１０図と同一のデータに対して本発明に
よるパワー制限を行わないで求めた処理結果であり、擬
似ピークが出現し、本来のピーク位置を誤る可能性があ
る。このように従来の方法では発散したり、大きな誤差
を生じていたのが、本発明の方法によれば、小さな誤差
範囲におさめることができた。このようにパワーの非常
に小さな所や非常に大きなところにある情報は貴重なも
のであることがしばしばあシ、それらが忠実に再生でき
るようにした本発明の方法は実に大きな意義を持ってい
る。

【図面の簡単な説明】

第１図は本発明を実施する撮影方法を示す概略図である
。１，２は同一の衛星のそれぞれ時刻’１＋ｔ２におけ
る位置を示し、３，５はカメラ＃１の時刻Ｂ、ｔ２にお
ける方向を示し、４，６はカメラ＃２の時刻１．．１２
における方向を示す。７は撮影範囲、８は地表面、９は
衛星の高さ、１０．１１は時刻’１ｙ’Ｚにおけるカメ
ラ＃１．＃２の光軸である。 第２図は視差と高度との幾何学的関係を表す図である。 １は地表、２，３は時刻ｔユ＋’２におけるカメラの位
置を示す。 第３図は本発明による処理の流れを示す図である。５１
〜６０に至る各段階ではそれぞれ四角いワクの中にかき
こまれているような処理を行う。矢印は処理の流れの方
向を示す。 第４図はパワーを求めるための回路のブロック図である
。四角いワクの中Ｋかかれている、十の記号は加算器、
累算器を表わし、×の記号は乗算器、−の記号は減算器
、÷は割算器を表わしている。 第５図、第６図は相関係数を求めるための回路のブロッ
ク図である。１０１〜１１３に至る各ブロックの中に記
した記号の意味は第４図と同じである。ｆは平方根を求
める回路である。 第７図は相関係数Ｒ□ｙ（１）のピークを検出する回路
のブロック図である。３０１〜３１２の中のワクの中に
かかれているような機能を持つ九回路モジュールにより
構成しである。 第８図は視差を抽出し、高さを求める回路のブロック図
である。ブロックの中の記号の意味は第４図と同じであ
る。 第９図は衛星画像に対してパワーの値を求め画素位置に
対しプロットしたグラフの一例である。 横一軸は画素位置を表わし、単位は〔〕の中に示されて
いるように１１Ｌｉ素である。縦軸はパワーＰ□、（１
）を表わし、次元は各画素の濃度りの２乗である。 第１Ｑ図は本発明による処理結果の一例を示すグラフで
あシ、横軸は水平距離、縦軸は標高を示している。単位
はメートルである。これは本発明によるパワー制限を加
えたものであり、地図上で求め九当咳地域の断面の高さ
変化とよく一致をみている。 第１１図は本発明によるパワー制限を行わないときの処
理結果である。同一のデータを処理したにもかかわらず
、濃度変化が少ないときには異常に大きな値や小さい値
をとシ、濃度変化の状況に応じて鋭いピークやゆるやか
な台形状になってあられれ、真のピークとまぎられしい
擬似ピークを生じているのがよく判る。

Claims (1)

【特許請求の範囲】
1. 相異なる角度から撮影した２枚の画像を用いて、相互の
   相関を求め、同時にパワーの値を求め、パワーの値が、
   標準偏差の１０％以上であるもののみについて相関のピ
   ークを求め、それ以外については近傍点からの内挿によ
   シ視差を決定することを特徴とするステレオ画像再生方
   法。