JPH0375682A - 写真写実影像を高速で生成する方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、一般に、図形表示システムに関し特に、デジ
タルマツプシステム又は飛行訓練用部分タスク練習装置
などの図形システムにかいて見下ろしセンサ影像力・ら
実時間で写真写実影像を高速で生成する方法に関する。

〔従来の技術及び発明が解決しようとする問題点〕

現在、ある種の航空機と、航空機訓練用シミュレータの
双方にかいて、地形データ又は航空図データを図形表示
用端末装置に表示することが望筐れている。そのような
表示は航空図のデジタルマツプ、レーダー表示影像、又
は写真やその他のデジタル化データに基づく別の種類の
影像を含むものと考えられる。

たとえば、デジタルマツプの領域では、地形の透視図な
どを表示する能力を有していることが望！しい。表示さ
れる情報の写実性が高櫨るほど、航空機の乗員の能力も
向上する。たとえば、航空機環境の下では、従来のデジ
タルマツプシステムに既に備わっている平面図に、透視
図によるマツプ表示を加えることによって、乗員の状況
判断力は増す。１例として、譲受人の１９８８年５月１
１日出願の同時係属出願番号第０７／１９２，７９８号
、名称ｒ　ＤＩＧＩＴＡＬ　ＭＡＰ　ＳＹＳＴＥＭ　Ｊ
を参照のこと。

同様に、三次元表示能力を追加すれば、側方監視広域レ
ーダーシステム及び航空機訓練装置々どのシステムの性
能は向上するであろう。そのようなシステムに訃いては
、表示を実時間で（すなわち、毎秒３０画像の速度で）
表示することが重要である。

本発明により得られる結果の実例を第１１図すに示す。

第１１図ａは、通常の見下ろし写真であって、これを本
発明の方法を使用してＤＭＡ標高データと組合せると、
第１１図すに典型的な例として示すような驚くべき側方
観察図が得られるのである。

〔問題点を解決するための手段〕

表示システムにかいて使用するための、写真写実影像の
高速生成を実行する方法が提供される。

表示システムは、第１及び第２の適正に修正されたデー
タ層を記憶するメモリを含み、その第１のデータ層は、
既知の分解能及び間隔値を有するデジタル化写真から成
り、第２のデータ層は、第１のデータ層の写真に対応す
るデジタル化標高データから成る。本発明の方法は、第
１及び第２のデータ層の対応する部分をメモリから走査
する過程と、走査した部分から隠れ面を除去する過程と
、第１のデータ層からの隣接する画素を使用してセルを
形成するように、走査した部分を複数個の２画素×２画
素セルに分割する過程と、セルを頂点を有する三角形の
部分にさらに分割する過程と、第２のデータ層の座標及
び既知の間隔値を使用して頂点を観察スクリーンに投影
する過程と、投影した頂点により境界を規定される領域
をシェージングする過程とから成る。

本発明の一実施例においては、隠れ面は修正ペインター
ズアルゴリズムを適用することによって除去される。本
発明の別の実施例では、隠れ面の除去を実行するために
２バンフアを使用するであろう。

本発明の１つの目的は、デジタル地形標高データと組合
され且つ位置合せされているデジタル化見下ろし領域写
真から写真写実影像を高速で生成する方法を提供するこ
とである。

本発明の別の目的は、元の見下ろし写真を任意の三次元
視点から見た側面図を生成することである。

本発明のさらに別の目的は、デジタル化地形データの三
次元図形表示を実時間で発生するコンピュータアルゴリ
ズムを提供することである。

本発明のその他の目的、特徴及び利点は、好筐しい実施
例の説明、特許請求の範囲及び添付の図面から当業者に
は明白になるであろう。図面中、同じ図中符号は同じ要
素を指す。

〔実施例〕

以下、添付の図面を参照して本発明の詳細な説明する。

筐ず、第１図に関して説明する。第１図には、本発明に
従って側方観察影像のデータベースを高速生成する方法
のフローチャートが示されている。

本発明の方法は、メモリを走査する過程１０と、隠れ面
を除去する過程２０と、層をセルに分割する過程３０と
、セルを三角形にさらに分割する過程４０と、頂点を投
影する過程５０と、三角形を充填する過程６０とから成
る。簡単にいえば、第１図にフローチャートの形で示さ
れる本発明のコンピュータアルゴリズムは、第２図に示
すようにＤＭＡ地形データと組合され且つ重ね合せされ
たデジタル化見下ろし航空写真を入力として受取る。

本発明のコンピュータアルゴリズムは、元の見下ろし写
真を任意の三次元視点から見た側面図を生成する。ＲＤ
（１，−デイスプレィアルゴリズムと呼ばれる本発明の
コンピュータアルゴリズムの−実施例は、ミネソタ州ミ
ネアポリスのＨｏｎｅｙ　ｗｅｌｌＩｎｃ、　　により
、シリコン・グラフィックス・ワークステーションにお
いて、Ｃプログラミング言語で実現されている。

本発明の実施例は、それが実現された状況では、５１２
　Ｘ　５１２画素のデータベースの図を１つにつき５秒
で生成することができる。ＲＤＧ−デイスプレィアルゴ
リズムを超高速集積回路（Ｖｌ（ＳＩＣ）で実現するこ
とによう、同じ動作を実時間で実行できると考えられる
。そのよう々集積回路の一例はＨｏｎｅｙｗｅｌ＋　Ｉ
ｎｃ、によって製造されておや、また、本発明中にも参
考として取シ入れられている譲受人の囲時係属米国特許
出願番号第０７／３０７３５４８−１９８９年２月７日
出願、発明者はＭｉｌｌ＠ｒ他−に記載されている。第
２図によれば、本発明の方法のコンピュータアルゴリズ
ムは、共通位置にあるデータの２つの矩形層がメモリに
常駐していると仮定する。第１の層はデジタル化写真７
０である。

写真の分解能はわかっておシ、画像中の連続する画素と
画素の一定の間隔として表わされる。第２の層７２にお
ける各要素は、写真層の共通位置にある画素に対応する
地面の標高である。本発明の好ましい実施例では、標高
層７２の分解能は写真層７００分解能と等しく々ければ
ならない。すなわち、写真層の間隔は標高層の間隔と等
しくなければならない。２つの層は、壕とめて考えたと
き、正しく修正されていると思われる。本質的には、こ
れら２つの層、すなわち、写真データから成る第１の層
と、標高データから成る第２の層とは、地表の狭い一部
分の三次元写真表示を構成する。

当業者であれば知っているであろうが、このコンピュー
タアルゴリズムに必要な標高データは合衆国の大半の地
域について既に収集されてシｂ、たとえば、Ｎａｔｉｏ
ｎａｌ　Ｃａｒｔｏｇｒａｐｈｉｃ　Ｉｎｆｏｒｍａｔ
ｉｏｎＣｅｎｔｅｒ　（ＮＣＩＣ）などから購入できる
。欧州を始め、他の国々についても高分解能の標高デー
タを利用することが可能である。本発明の方法がＮ（Ｊ
Ｃに由来する標高データに依存するのではないことはも
ちろんであう、たとえば、双眼写真などの別のデータ源
からデータを取出すことも可能である。

本発明の方法をさらにわかシやすく説明するために、特
定の例を挙げて本発明を説明する。この例で使用される
特定の例が単に実例を示すという目的で挙げられておシ
、本発明を限定するものでないことは、当業者には明白
であろう。以下で採用すべき特定の例においては、次の
基準が適用される： １、標高データは１６ビツトの整数として表わされる。

２、写真層の画素強さ値は８ビツトの整数である。

３、タイミングの都合上、各層のサイズば５１２×５１
２画素の長さをもつと仮定する。

４、地表座標系は右回９である。

５、観察スクリーン座標系の原点は左下角にある。

第３図は、本発明の方法を論じる上で使用する座標系へ
のＤＭＡ標高セグメントの位置合せを示すＯ 次に、第４図に関して説明する。第４図には、２画素×
２画素セルの２つの交互に現われる三角形の形状が示さ
れている。各セル８０ば４つの隣接する画素８２によう
形成される。各セルの４つの角の点は同一の平面に位置
している必要はないので、各セルを８ＯＡ及び８０Ｂで
示すような２つの交互三角形形状に分割することができ
る。それぞれの三角形の頂点は、１ず、標高層の座標と
、間隔値とを使用して、観察スクリーンに投影される。

次に、投影された頂点により境界を限定された領域が、
Ｇｏｕｒａｕｄシェージングアルゴリズムの補間部分と
、写真層から取出した対応する強さ値とを使用して充填
される。２つの層の５１２　Ｘ　５１２画素により形成
された全ての三角形についてこの「投影−充填」動作を
繰返すと、その結果、第１１図に示すような衝撃的な側
面図が得られるのである。

以上、本発明の方法の概要を大甘かに説明したので、次
に、本発明の過程をさらに詳細に説明する。ある特定の
時点で、スクリーンに表示すべきデータを求めてメモリ
が走査された後、最初の処理過程は隠れ面を除去するこ
とから成る。本発明の別の実施例においては、ハードウ
ェアで２バツフアを実現することができる。当業者には
わかっているであろうが、２バツフアは、スクリーンに
表示するために処理されている地形情報に対応する２深
さ値を記憶するレジスタである。当該技術分野では良く
知られているように、２バツフアは、たとえば、ある情
報が同時に表示すべき別のデータの背後に位置している
ために、その別のデータにより「隠れる」ことになる場
合に、その情報のスクリーン又はフレームメモリへの書
込みを抑制するために使用可能である。ここでは、本発
明の隠れ面を除去する機能を実行するために、従来の２
バンフアを使用できるということを述べておけば十分で
ある。

本発明の別の実施例では、隠れ面の除去は、修正したベ
インターズアルゴリズムを使用することによって実行さ
れる。Ｈａｎｇ）ｒｖｅｌｌ　Ｉｎｃ、　　によ、６ｃ
言語バージョンで実現されているデモンストレーション
用ソフトウェアは、この方法をきわめて有効に利用した
ものである。第１の層と第２の層は既に空間的にプレイ
として編成されているので、ソーティングが必要である
標準形のベインターズアルゴリズムを採用するときとは
異なり、ソーティングは不要である。

矩形の写真層と標高層を考えた場合、ペインターズアル
ゴリズムは、１ず、観察者力・ら最も遠い位置にある面
を周知の描出技術を利用して描くことにより動作する。

描出は、観察者に最も近い面に向かって続く。本質的に
は、シーンは「後から前へ」という方式で構成される。

この方式では、隠れている面も描出されてしオうのであ
るが、観察者により近い面が隠れ面の上に重ねて描出さ
れるときに、隠れ面は覆い隠される。

次に、第３図に関して説明する。ここで、観察者の三次
元位置を■とし、観察者が見ている三次元の点をＰとす
る。ベクトル差りはｐ−ｖに等しい。ベクトルＤは、Ｄ
のＸ成分及び２成分から測定された極角度ｐｈｉにより
表わされる観察方向を指している。

ｐｈｔ　−ｍ−１（Ｐｘ−Ｖｘ）／（Ｐ２−Ｖ２）ＭＱ
ｄ　３６０修正ベインターズアルゴリズムＨ１ｐｈｉの
括弧の中の値に応じて、４つの場合をセットアツプする
ことにより実現される。１つの場合は、第５図に示すよ
うに、４つのゾーンを規定する矩形セルの辺ごとに実現
される。

ｐｈｌの範囲　　　描出を開始する方角２　　　３１５
＜＝ｐｈｉ　　４５　　　　　　　　東１　　　　４５
＜−ｐｈ＋１３５　　　　　　　　　北３　　　　１３
５＜＝ｐｈ＋２２５　　　　　　　　　西０２２５＜＝
ｐｈｉ３１５南 ゾーン データの短形層を描出するために、ｐｈｉの値に応じて
、４つのルーチンの中の１つを呼出す。第７図かられか
るように、ペインターズアルゴリズムも最も遠い距離の
第１の規則を満足させるためには、三角形の向きを２種
類考えれば良い。連続するセルを正しい順序で描出する
には、方向ごとに１つずつ、合わせて４つのルーチンが
必要である。既に述べた向きの違いは別として、４つの
ルーチンのそれぞれに見られる主な相違点は、セル処理
の順序の違いである。第９図は、修正ベインターズアル
ゴリズムの処理方向をゾーンごとに示す。

第６図に戻って説明する。第６図には、矩形地形データ
ベースを見下ろした図が示されている。

本発明の修圧ペインターズアルゴリズムを説明する都合
上、地形１００は平坦であると仮定するが、以下の説明
は、任意の複雑さをもつ地形データベースに適用される
。データベースの下方領域に示す視線ベクトルは、右の
方向を指している。小さな正方形は２×２画素のセル８
０を表わす。データベースは、データベース中のそれぞ
れの２×２セル８０の頂点Ｂ２ごとに、次の情報を含む
：１、事前にわかっている間隔パラメータに基づ（ｘ、
ｙ座標 ２、標高層かられかっているａ高を表わす２座標 ３、写真層から取出された強さ値 本発明の修正ベインタ・−ズアルゴリズムヲ使用する場
合には、１ず、視線ベクトルＤを、たとえば、第５図に
示すように、データベースの中心に移動し、移動した視
線ベクトルを含むゾーンを角度ｐｈｉを利用して確定す
る。次に、第９図に示すように、適切なゾーン関連描出
手順を選択する。

次に、適切々地形図を一度に１セルずつ描出する。

第７図に示す通り、それぞれのセルは、１ず、セル描出
動作を２回の三角形描出動作に分解することによって描
出される。適切な描出手順が選択された後、セルを描出
する方法として２つの方法が考えられる。第１の方法は
、第７図（ａ）に示すようにセルを左上から右下へ横切
る対角線を使用する、これに対し、第２の方法は、第７
図（ｂ）に示すようにセルを左下から右上へ横切る対角
線を使用する。

単一のセルの内部で、実験によれば、全てのゾーンの中
の全てのセルについてどちらの対角線を選択しても良く
、重大な影響は生じないことがわかっている。全てのゾ
ーンにおいて重要であるのは、１つのセルの２つの三角
形を正しい順序で描出するということである。いずれの
場合にも、視線ベクトルＤからよシ離間した位置にある
三角形を先に描出しＺければならない。さらに、観察者
に最も近いセルの行に先立って、観察者から最も遠いセ
ルの行を描出し々ければならない。また、実時間画像生
成中のアーティファクトを回避するために、全てのゾー
ンについて選択される対角Ｍは一貫してい々ければなら
ない。

この方法の大きな利点の１つは、セルのうちどれを描出
するかを判定するためにデータベースをソートする必要
がないことである。これは、データ層と写真層がコンピ
ュータメモリに空間的に順序付けされた状態で記憶され
ているからである。

４つの場合、すなわち、４つのゾーンは、全て、セルの
連続するラインを順方向又は逆方向に走査するか、ある
いは、セルの列を順方向又は逆方向に走査することがで
きるメモリを使用して描出されれば良い。この４モード
メモリ読取シ能力は先に説明した４つのゾーンに対応し
、デモンストレーション用ソフトウェアにかいて実現さ
れている。

模擬乗シ物が地形データベースを通って「飛行している
ものと考える。ｐｈｔが変化し、写真画像が描出されて
ゆくにつれて、４つの描出手順相互の間のいずれかの箇
所で遷移が起こる。全てのゾーンに訃ける全てのセルに
ついて選択された対角線が一貫している限や、各ゾーン
に対応する描出手順間の遷移はアーティファクトを発生
させない、すなわち、ゾーン１からゾーン２への遷移に
よう発生される連続するシーンは人間の目に見えない検
出不可能な動きであることが実証されている。

この品質は望ましいものであシ、ここで説明する方法を
飛行シミュレータへの適用にきわめて適する内容にして
いる。

第８図に示す４つの境界条件の中の１つを考えてみる。

第８図は、第６図に示すデータベースを、視線ベクトル
に沿った視点から表わしている。この場合、視線ベクト
ルＤはゾーン１とゾーン２とを接合線に正確に沿って位
置する。この場合には、観察者には混乱状態として出現
するアーティファクトを発生せずに、描出手順をゾーン
１又はゾーン２のいずれからも選択できる。

以上、本発明の方法のコンピュータアルゴリズムで採用
する隠れ面除去方式を説明したので、次に、三角形ごと
に要求される図形表示動作を説明する。三角形ごとに要
求される動作は次の通シである： １、三角形ごとに３つの頂点をスクリーンに投影する。

２、投影した三角形を補間シェージング、すなわち、修
正Ｇｏｕｒａｎｄシェージングを利用して充填する。

頂点をスクリーンに投影する第１の過程に関しては、透
視変換マトリクスと、それぞれの三次元三角形頂点とを
乗算したければならない。変換マトリクス自体の内容は
フレームごとに唯−度決定され、そのような変換マトリ
クスを利用することは当該技術分野では良く知られてい
る。観察者座標系からの回転、移動、変換の全てと、観
察スクリーンへの投影とを考慮した上で、衆終的なマト
リクスは次の形態を有する。

ｒｌｌ　　　　　　ｒ１２　　　　　ｒ１３　　　　　
０ｒ２１　　　　　　ｒ２２　　　　ｒ２３　　　　　
０ｒ３１　　　　　　ｒ３２　　　　ｒ３３　　　　　
０ｔエ　　　　ｔｙ　　　ｔ２　　　１ ｒ項は正弦と余弦との積であるので、値０と値１との間
にあるべきである。この例では、便宜上、マトリクス係
数は、全て、３２ピクトの浮動小数点値である。５１２
　Ｘ　５１２画素の層を例にとると、全ての三角形をス
クリーンに投影するためには、２６．２１４４回のマト
リクス乗算演算を実行しなければならない。

三角形の頂点を観察スクリーンに投影したならば、今度
は、本発明の方法により充填動作を実行する。スクリー
ンへの投影後は、二次元の三角形となっている。この三
角形を修正Ｇｏｕｒａｕｄシェージングアルゴリズムを
使用して充填するのである。

Ｇｏｕｒａｕｄシェージングは、最も純粋な形では、４
つの過程を含み、そのうち最初の３つの過程は頂点ごと
の強さに帰する。本発明の方法によう生成すべき三次元
画像に周知のＧＯｕｒａｕｄシェージングを適用する場
合、強さは写真層から直接得られるので、既知の値とい
うことになる。本発明の別の実施例においては、ライテ
ィング（ｘｔｇｈｔｔｎｇ）モデルを追加しても良い。

ライティングモデルは、本質的には、第１に面法線（ク
ロス乗積）を確定し、第２に、面法線及び光ベクトルか
ら照明強さ（点乗積）を確定することから成ると考えら
れる。

次に、充填動作中に照明値を強さと回数分解する。

この演算は三角形ごとに一度計算されなければならない
。

その結果、残る動作は三角形充填動作であり、これは不
質的には双線形補間である。補間ば、捷ず、三角形の辺
に沿って起こり、次に、辺の間でスクリーンの各走査線
に沿って起こる。

ｌｌ　　７８　　　　　　　’ｌ　　’８上記の式は、
三角形の辺に沿った強さ補間のための値を表わす。三角
形は頂点１１．Ｉ２及び工３で既知の強さを有する。Ｉ
、、Ｉ、及び工、は走査線Ｓに沿った強さであって、上
記の式に従ってＩＩ、Ｉ２及びＩ３から補間される。こ
れは、従来の技術でも採用されている良く知られた方法
である。

以上、本発明を、特許法に従うように、また、当業者が
この新規な原理を適用し且つそのような特殊化された構
成要素を必要に応じて構成し、使用するために必要な情
報を与えるように、かなシ詳細に説明した。ただし、本
質的に異なる機器や装置によっても本発明を実施できる
こと、及び装置の詳細と、動作手順の双方に関して、本
発明自体の範囲から逸脱せずに様々な変形を達成できる
ことを理解してＤかなければならない。

【図面の簡単な説明】

第１図は、側方観察影像の高速データベース生成のため
の本発明の方法を示すフローチャート、第２図は、本発
明の方法によう側方観察影像を生成するために使用され
るＤＭＡ標高情報と、それと共通の位置にある航空写真
とを図表により示す図、 第３図は、第２図に示すような写真層と標高層が本発明
の方法により利用されるべき配置されている右回Ｉ）座
標系を示すグラフ、 第４図は、写真層中の隣接する画素により形成される２
×２セルを分割する２つの方法を示し、各画素は幻応す
る標高値を有し、また、それぞれのセルは、本発明の方
法に従って２つの交互三角形形状に分割できることを表
わす図、 第５図は、本発明の方法によう採用される修正ベインタ
ーズアルゴリズムで利用する親線ベクトルＤから取出さ
れる極角度ｐｈｉに基づいて、スペースを４つのゾーン
に区画することを示す図、第６図は、２×２画素セルを
表わす小さなセルを含み、データベースの下方領域には
右を指す視線ベクトルが配置されている矩形の地形デー
タベ−スを見下ろした図、 第７図は、本発明の修正ベインターズアルゴリズムを使
用して２×２画素セルを処理する順序を示す図、 第８図は、視線ベクトルが本発明の方法に従って区画さ
れたスペース内のゾーンの間の境界に沿ってアライメン
トされている場合を示す図、第９図は、ペインターズア
ルゴリズムの処理方向と、本発明の方法によう採用され
る４つのゾーンとの関係を図表で示す図、 第１０図は、三角形の辺に沿った強さ補間の公知の方法
を示す図、 第１１図ａは、見下ろす図、 第１１図すば、第１１図ａの画像を使用して本発明の方
法に従って得られる種類の三次元表示の１つの見本を表
わす図である。 ８０・・・・セル、８０Ａ　、　８０Ｂ・・・・三角形
、８２・・・・頂点。

Claims (1)

【特許請求の範囲】
1. （１）第１及び第２の適正に修正されたデータ層を記憶
   するメモリを含み、その第１のデータ層は、既知の分解
   能及び間隔値を有するデジタル化写真から成り、第２の
   データ層は、第１のデータ層の写真に対応するデジタル
   化標高データから成るようなデジタル表示システムで使
   用するための、写真写実影像の高速生成を実行する方法
   において、 （ａ）第１のデータ層及び第２のデータ層の対応する部
   分をメモリから走査する過程と；（ｂ）走査した部分か
   ら隠れ面を除去する過程と； （ｃ）第１のデータ層に関して隣接する画素を使用して
   セルを形成するように、走査した部分を複数個の２画素
   ×２画素セルに分割する過程と； （ｄ）セルを頂点を有する三角形の部分をさらに分割す
   る過程と； （ｅ）第２のデータ層の座標と、既知の間隔値とを使用
   して、頂点を観察スクリーンに投影する過程と； （ｆ）投影した頂点により境界を規定される領域をシエ
   ージングする過程とから成る方法。