JP2000511658A

JP2000511658A - 三次元ワイヤーフレームの創成と三次元ステレオモーフィングのための方法及び装置

Info

Publication number: JP2000511658A
Application number: JP09538020A
Authority: JP
Inventors: エスパームチャールズ
Original assignee: シンソニクスインコーポレーテッド
Priority date: 1996-05-07
Filing date: 1996-05-07
Publication date: 2000-09-05
Also published as: WO1997042609A1; AU5638596A

Abstract

(57)【要約】オブジェクトの属する種類の典型的な原型であり、その種類の特定の要求に適合するようにモディファイできる汎用のワイヤーフレームによる、三次元オブジェクトのワイヤーフレーム表現の高速作成する方法と装置が開示されている。汎用のワイヤーフレームの組合せが、ワイヤーフレームを編集するためのソフトウェアと共にツールキットとして纏められている。原型ステレオレンダードワイヤーフレームから目標ステレオレンダードワイヤーフレームまでモーフィングする方法が開示されており、更に明確なカメラビューポイントはモーフィング中も変えられる。

Description

【発明の詳細な説明】三次元ワイヤーフレームの創成と三次元ステレオモーフィングのための方法及び装置本出願は、1994年10月21日に、ブルース・ダブリュウ・ビンス、スーザン・イー・ウエーヴァーによって出願され、通し番号08/327,472が付与された「高速で三次元のワイヤーフレーム上のフォトリアリスチック面をレンダリングする方法と装置」（整理番号No.2345-003）なる出願に関する。この出願内容の総てはここに引用され取り入れられる。本出願は亦、1995年３月31日、チャールズ・エス・パームによって出願され、通し番号08/414,651が付与された「カメラの位置及び方向の決定のためイメージデータを用いる方法と装置」（整理番号No.2345-005）なる出願に関する。この出願内容もその総てがここに引用され取り入れられる。本出願は更に亦、1994年10月４日に、ブルース・ダブリュウ・ビンス、ロドニイ・エム・プライス、チャールズ・エス・パーム、スーザン・イー・ウエーヴァーによって出願され、同じく通し番号No.08/318,047が付与された「三次元イメージ作成のためのインターアクティブイメージ相関関係のための方法と装置」（整理番号No.2345-001）なる出願にも関する。この出願内容もその総てがここに引用され取り入れられる。技術分野この発明は画像処理、特に三次元ワイヤーフレームを高速で創成するための方法と装置に関する。発明の背景三次元物体のコンピュータ表示の創成、処理と使用は、多くの技術的な試行の中で重要なユーティリティーを持っている。例えば、コンピュータ支援のデザインに於いては、大きさの点で非常に大きい建物から、コンポーネントがマイクロジオメトリーを有する自動車までに渡るブジェクトのコンピュータ化された表現を創成することが可能であることは大変便利である。コンピュータ・アニメーションで、三次元シーンの遠近画法ビューを作成する時、オブジェクトの三次元表示を利用することが望ましい。典型的に、三次元オブジェクトはコンピュータ処理と利用のために「ワイヤーフレーム」として表現される。ワイヤーフレームは、座標系で特定された三次元空間で多くのヴァーテイクス（即ち、ポイント）から成る。三次元空間の頂点はそれぞれ線で繋がれ、互いにリンク又は関連したポリゴンを形成する。それぞれのポリゴンは、通常オブジェクトの一部を示す一般に平らな表面要素を表す。ある特定のアプリケーションのために、表面ポリゴンは、三つの点は常に同一平面上にあることが保証されていることから、望ましくは三角形である。然しながら、ある特定のコマーシャルソフトウェアパッケージでは、頂点が同一平面上にある四角形又は頂点が４より多いポリゴンが利用される。ワイヤーフレームの解は、ヴァーテイクスの数と、それらの間隔によって決定される。極めて多数の数の表面要素が利用され、かつ、それらの表面要素が非常に小さいときは、三次元ワイヤーフレームは、表されているオブジェクトの表面に極めて近いものとなるであろう。これに反して、ヴァーテイクスが極めて少なく、そして表面要素が大きい場合には、オブジェクトの表現は、表面要素の最小大きさより小さい細部を省略したものとなるであろう。これは例えば１フィート四方の幾つかの繋がれた段ボールを利用して、椅子を表現しようとすることに似ている。このような表示は、幾ら良く作られたとしても、非常に不細工なものとなるであろう。然しながら、椅子を表現するために、スリップカバーの糸で区切られた四角形の領域が用いられるならば、表現はずっと細やかになり、そして１フィート角の段ボール紙によって表されたものよりも、遙に多くの細部が表現されるであろう。ワイヤーフレームを表すことについての問題の一つは、滑らかに変化する輪郭の上で、ポイントの占める場所を識別しなければならないということである。滑らかな輪郭の上には、異なった視点から見たイメージビューから容易に識別できる基準点がない。それ故に、深度を計算することに対して、２つのイメージの上で互いに対応するポイントを識別することが困難である。先行技術では、人間の顔の迫真のワイヤーフレーム表示を創成することは困難であった。これは、表現のためにヴァーテイクスとしていずれのポイントを利用するべきかを選択することについて、若干の判断が要求されることと、顔の三次元ワイヤーフレーム表面のレンダリング（即ち、ワイヤーフレーム上の「皮膚」の割付）が実在的なプレゼンテーションをもたらさないことによるものである。伝統的なレンダリング技術では、一様な色彩と質感とを与え、そしてそれらを種々のライテイングとシャドウでレンダリングするに過ぎない。色彩は一目で人工のものと分かる程、均一である。更に、先行技術では、ワイヤーフレームの粗雑さと使用されるレンダリング技術の間にトレードオフがある。非常に解像度の高いワイヤーフレームは、伝統的なレンダリング技術によっても、粗いワイヤーフレームに比してより受容し得るレンディションを行うことができるが、粗いワイヤーフレームは、均一な質感と色彩の不自然さによって、表面エレメントの境界線において不自然な不連続性を生じる。更に、先行技術は、ステレオイメージが変化せしめられている間のモーフィングシーケンス中に、ズーミングによってカメラ（ビューアー）のビューポイントを変える能力を有しない。発明の開示上記背景に対して、本発明によって達成される一つの利点は、特定の種類のオブジェクトのためワイヤーフレームを創成する際に要求される困難性を軽減することである。本発明によって達成された二番目の利点は、ワイヤーフレームを作成する際のスピードを向上させることである。本発明の他の利点は、表される表面の滑らかな輪郭面上のワイヤーフレームのためのヴァーテイクス識別が容易となることである。本発明によって達成された他の利点は、ワイヤーフレーム表現の真に生き写しの表面レンダリング、特に顔面を表わすワイヤーフレームの写実的なレンダリングの創成が可能となることである。本発明によって得られた利点の一つは、解像度の低いワイヤーフレームを用いても、写実的なレンダリングによって、オブジェクトの迫真的表現が得られることである。本発明の他の目的は、三次元ステレオモーフィングを達成することである。本発明は、ワイヤーフレーム表現の中に捕捉されるオブジェクトの上にパターンを投影することにより、ワイヤーフレームを形成する方法に関し、その特徴は上記オブジェクトの表面上のポイントに関する位置情報を計算するため、基準点として当該のイメージの可視的投影パターンを有する上記オブジェクトを少なくとも二つの視点からイメージを捉えることにある。映されたパターンは、例えば充分にランダムに選ばれたカラーの、不特定間隔で配置された明るいスポットから成る格子又は多色の紙吹雪パターンである。パターンの解像度は可変とされており、投影のとき、又は、投影の後に、パターンのサンプリングポイントがワイヤーフレームの中に包含されるように選択することができる。本発明は亦、入出力装置、ディスプレイ、メモリ及び大量の記憶装置と；その大量の記憶装置に記録された汎用のワイヤーフレームと；上記野ワイヤーフレーム表現を創成するために上記一汎用のワイヤーフレームを編集するソフトウェアとを有するコンピュータをを具備し、高速で三次元オブジェクト表示を含むワイヤーフレームを創成する装置に向けられている。汎用のワイヤーフレームはそれぞれ異なった複数のオブジェクトに対応する複数のワイヤーフレームを有するツールボックスとしてアレンジされたものであっても良い。ワイヤーフレームを編集するためのソフトウェアは、汎用のワイヤーフレームのヴァーテイクスを選定し、そしてディスプレイの上の一つの場所からもう一つの場所までそのヴァーテイクスをドラッグし、更に、ワイヤーフレームの二つのヴァーテイクスの間に新たなヴァーテイクスを加えたり、そしてワイヤーフレームの二つのヴァーテイクスの間にある他の一つのヴァーテイクスを削除する機能を有する。ヴァーテイクスが削除されたときは、適切な相互関係を反映するため削除の前後のヴァーテイクスのデータベースエントリーが書き換えられる。本発明は、その三次元オブジェクトの属する種類の典型的な汎用のワイヤーフレームの少なくとも一つのビューを示し、上記汎用のワイヤーフレームの少なくとも一つのビューを整列させ、そのイメージを同時にディスプレイされている上記オブジェクトのイメージと対応させ、重ね合わせ、上記汎用のワイヤーフレームの上記ビューに適応させ、これにより少なくとも一つのポイントを、上記イメージと共有させ、上記汎用のワイヤーフレームのヴァーテイクスをその上記汎用のワイヤーフレーム上の元の位置からドラグして上記イメージの対応するポイントにドロップすることにより、上記汎用のワイヤーフレームの上記ビューの少なくとも一つのヴァーテイクスを修正することにより、高速で三次元オブジェクトのカスタムワイヤーフレームを作成する方法に向けられている。カスタムワイヤーフレームは、上記イメージの部分に分布している変換されたビットを用いることによりレンダリングされる。本発明は、レンダーされた三次元ワイヤーフレームの受容できるディスプレイを達成するため必要なポイントの数を減少させ、三次元ワイヤーフレームを表示するヴァーテイクスの数を減らし、上記ワイヤーフレームに依って表示されるオブジェクトのイメージの変換されたビットマップドポーションを用いて上記ワイヤーフレームをレンダリングする方法に向けられている。本発明は亦、記録媒体と、その記録媒体にストアされ、それぞれ三次元オブジェクトの属する種類の典型的な原型を示す複数のワイヤーフレームとから成るワイヤーフレームツールキットに向けられている。本発明は更に亦、原型のワイヤーフレームのヴァーテイクスと、目的とするワイヤーフレームの対応するヴァーテイクスとを組み合わせるため選択し、それぞれのポイントの組合せについて、原型のイメージの上の上記ヴァーテイクスから目的のイメージの上の上記ヴァーテイクスに到るベクトルを決定し、それぞれ原型フレームヴァーテイクスから目的とするフレームヴァーテイクスに向かって上記ベクトルにそって内挿配列さたヴァーテイクスを有するワイヤーフレームから成る複数のインターミディエイトフレームを決定し、一部は上記原型のワイヤーフレームから、他の一部は上記レンダードワイヤーフレームから得られたレンダリング情報を用いて、上記インターミディエイトフレームをレンダリングする方法に向けられている。本発明は、原型の三次元ステレオレンダードワイヤーフレームのイメージを、異なったカメラビューポイントを有する目標の三次元ステレオレンダードワイヤーフレームのイメージにモーフィングする方法に向けられている。これは原型のワイヤーフレームを、目標とするワイヤーフレームの中にマッピングすることによってなされる。原型のワイヤーフレームのヴァーテイクスから目標とするワイヤーフレームのヴァーテイクス迄の間に内挿配置された少なくとも一つのインターミディエイトフレームを用いて行われる。ワイヤーフレームのカメラビューポイントは、上記マッピングが行われている間に変化せしめられる。このカメラビューポイントの変化は、上記ワイヤーフレームのズームイン及びアウト、ワイヤーフレームの周りのカメラビューポイントの回転、又はそのズーミングと回転の両方である。本発明の更に他の目的と利点が、次の詳細な記述から、当業者には容易に明白になるであろう。そこでは、本発明を実施するための最適の態様のみを図示することにより、本発明の最も望ましい実施例が示され、記述されている。理解されるであろうように、発明は他の、そして異なった態様で実施することができ、そしてその幾つかの細部は種々の明白な点で、すべて本発明から外れることなく変更が可能である。従って、以下の図面と記述は単に本発明の資質を説明するもので、本発明はこれに限定されるものではない。図画の簡単な説明図１は、ワイヤーフレーム表示を創作するため用いられる一人物の顔のイラストである。図２は、図１で示したのと同一の顔のイラストであり、顔の写実的なワイヤーフレーム表示のため重要な特定のポイントにおいて、ある特定のワイヤーフレームのヴァーテイクス（頂点）の配置を示す図である。図３は、図２で示された特定のワイヤーフレームのヴァーテイクスのイラストである。図４Ａは、図１〜３で示されたものとは異なった顔のイラストである。図４Ｂは、図３で示した特定のワイヤーフレームのヴァーテイクスを図４Ａの顔に重ねて示す図である。図５は、ワイヤーフレームインフォメーションの獲得を支援するためのプロジェクターの使用を示すイラストである。図６は、発明を実施するため適切なコンピュータ装置のイラストである。図７は、汎用のワイヤーフレームを特定のアプリケーションのためにカストマイズする方法を示すフローチャートである。図８は、ワイヤーフレームヴァーテイクスのデータベースのためのデータベースエントリーを示すイラストである。図９は、ドラッグ・アンド・ドロップを用いてワイヤーフレームのヴァーテイクスを修正する方法を示すフローチャートである。図10は、ヴァーテイクスを削除する方法を示すフローチャートである。図11は、ヴァーテイクスを追加する方法を示すフローチャートである。図12は、一つのレンダードワイヤーフレームステレオイメージを、他のレンダードグワイヤーフレームステレオイメージの中にステレオモーフィングするときのプロセスを示すフローチャートである。発明を実施するための最良の態様図１に示されたような複雑なイメージのワイヤーフレーム表現の創作、例えば、人物の頭部のような複雑なオブジェクトの全体的な構造の写実的な近似を与えることは、そのために多数のヴァーテイクスを定義しなくてはならないから、大変に困難である。ここに、そして前述の特許出願に記述されているように、三次元空間にあるポイントの場所を識別する方法の一つは、二つの異なった視点から得られた二つのイメージを使用することである。二つのイメージの上に対応するポイントを識別することによって、そしてカメラの場所についてある一定の情報を得ることによって、三次元座標系内で共通のポイントの場所を算出することができるようになる。三次元座標系内の頭のような複雑なオブジェクトのワイヤーフレームを創作するためには、二つのイメージがその上のポイントを対応させながら見られるようにし、同時に対をなすポイントを決定するため、冗長なプロセスが要求され、それぞれの対をなすポイントに就いて三次元座標系の中のポイントの位置を特定するための計算が行われる。次いで、ワイヤーフレーム表示のヴァーテイクスを定義するために、三次元座標系内のポイントのデータベースが利用される。複雑な表面のために、写実的なワイヤーフレーム表示を作るために何百又は何千ものポイントを識別することが必要となるであろう。これは長く、そして冗長なプロセスであり、技術の機敏な使用を阻止するものである。図２は、図１に示された顔面のイラストに、ワイヤーフレームの作成で利用されるかもしれない特定の幾つかのポイントを付けたものである。三次元ワイヤーフレームの作成と関連する他の問題は、幾つかのオブジェクトが、特に顕著な特徴のない広く滑らかな表面を有し、そのため、異なった視点から得られたイメージの中で対応するポイントの特定が困難となるという事実である。例えば、図２に於いて、頬のエリアは、異なった視点から得られた二つのイメージの中で対応するポイントを識別するときランドマークとして利用できるような明瞭なデテールが欠如している。そのため、このような滑らかなエリアから正確なプロフィール情報を得ることは難しい。図３は、図２中に示されたワイヤーフレームヴァーテイクスを示す透視図である。図３に見られるように、ワイヤーフレームは、遠近情報を有するが、実在のオブジェクトをレンダリングするために必要な表面のデテールを欠如している。ワイヤーフレームに表面のデテールを加えるプロセスは、ワイヤーフレームに皮膚を張りつけ、リアルに見せることに類似しており、『レンダリング』と呼ばれる。ワイヤーフレームをレンダリングするための有用な技術の詳細は、1994年10 月21日にブルース・ダブリュウ・ビンス、チャールス・エス・パーム及びスザンヌ・イー・ウエーヴァーによって出願された通し番号08/327,471の「三次元ワイヤーフレーム上の写実的表面(photo-realistic surface)を自動的に高速レンダリングするための方法と装置」なるタイトルの出願（整理番号No.2345-003）に示されている。この出願で開示されたレンダリングの写実性は極めて高く、比較的少数のヴァーテイクスしか用いられていないワイヤーフレームに於いても、写実的な表現が可能である。何故ならば、オリエンテーションのために適切に変形された表面の表現が、その奥行きに他の方法では失われたであろうリアルなキュー(queues)を与えるためである。それで、前述の出願の表現技術を使用すれば、それほど多くのポイントのセットを処理する必要がないから、ワイヤーフレームの取り込みをより容易にするため、選択するヴァーテイクスをより少数とすることができる。このようなレンダリングによれば、処理すべきポイントが少ないため、イメージプロセッシングソフトウェアとハードウェアの処理必要条件が緩和される。図３のワイヤーフレームが適切にレンダリングされるときは、ワイヤーフレーム表現は回転させたり、又は、三次元空間でマニュピュレートしたりすることができ、三次元ステレオや通常の透視が可能であるから、その目的は、勿論、図１で示されているような再構築された表現を実現することである。図４Ａに示した顔面のような、第二の複雑なイメージのワイヤーフレームの入手を望むときは、ワイヤーフレームのためにポイントを決定することについて、上記退屈な、そして骨が折れるプロセスの全部を体験する必要があろう。本発明によれば、ワイヤーフレームの創造は、捕捉するオブジェクトの種類のためのプロトタイプ又は汎用のワイヤーフレームを利用することによって非常に単純化される。例えば、図３に示されたワイヤーフレームが得られたときは、それは、図４Ａに示されたような顔のワイヤーフレームの創造のための、汎用のワイヤーフレーム又はテンプレートとして利用し得る。図４Ｂは、図４Ａのイメージに図３のワイヤーフレームを重ねた状態を示している。図３の汎用のワイヤーフレームは、取り分け顔の認識のため視覚的にいっそう重要なポイントを含むヴァーテイクスから成る。これらのポイントは、目の角や、口のエッジ、眉の両端、鼻のポイントと鼻の幅を定めるポイントを含む。図４Ｂについて考えると、１つのポイント、望ましくは鼻のポイントは、三次元ワイヤーフレームとして描かれることを望まれるイメージの上に重ねられる汎用のワイヤーフレームの位置を決めるために利用される。汎用のワイヤーフレームがワイヤーフレームで表示される顔に適合することは期待しなくて良い。然しながら、この積み重ねによって、対応するイメージの上にドラッグしたりドロップしたりすることにより、ヴァーテイクスの位置を修正することは比較的容易な仕事となり、そのため、汎用のワイヤーフレームのポイントは、ワイヤーフレーム表示の中に取り込まれるイメージ対応するポイントと一致させるため再配置される。而して、関係するヴァーテイクスのドラッグ及びドロップを用いて、汎用のワイヤーフレームを編集することにより、汎用のワイヤーフレームを、それによって表されたオブジェクトの属する種類の中の特定のオブジェクトを包摂するカスタム又は特定のワイヤーフレームに変換し得る。図４Ｂに於いて、これは小円に依って表された特定のヴァーテイクスの、汎用のワイヤーフレームの中のそれらの位置から、イメージ４Ａの上の適切な位置までの動きを示す矢印によって示されている。これらの修正によって、汎用のワイヤーフレームは捕捉さるべきイメージを表す特定のワイヤーフレームにカスタマイズされる。この編集プロセスを、原型イメージからワイヤーフレームを形成するために必要な時間と労力で比較すると、非常に単純化されている。別の種類のオブジェクトは、それら固有の基準の又は汎用のワイヤーフレームを持ち得ることは明らかであろう。例えば、自動車のワイヤーフレームは、新しい乗物の模型の製作を必要とせず、異なった透視図から得られるモデルのイメージからワイヤーフレームを得ることにより、新しい乗物のデザインと結合した新たなワイヤーフレームの創成のためのベースとして利用される。本発明によれば、ユーザーのニーズに適合したカスタムワイヤーフレームを速やかに製作するための編集ソフトを取りまとめて収容して成る、汎用のワイヤーフレームのためのツールボックスを供給することが望まれる。又はその代わりに、オブジェクトの種類の特定のもののために作られたワイヤーフレームの最初の作品を、異なった形態を持っている追加の作品を作るための汎用のワイヤーフレームとして利用することもできる。図５は、識別できるデテールのない滑らかなかなり広い表面が存在するところから、ワイヤーフレーム情報を獲得するための技術を示している。それは、異なった斜視図から得られたイメージ上の共通の実体的な一点に対応するポイントの組合せを特定し得る。滑らかな表面を持つ球500は、何方か一つのカメラが位置5 10から位置520まで移動するか、若しくは、それぞれ位置510及び520にある２台のカメラで得られた二つのイメージの上の対応するポイントを特定することが困難なオブジェクトである。本発明によるときは、滑らかな表面に、表面上のポイントの認識のため用いられるパターンを投影するためプロジェクター530が使用される。一実施例に於いて、パターンはグリッドである。然しながら、望ましい実施例では、パターンは着色された紙吹雪である。即ち、パターンは表面にランダムに配置された明るい色をしたドットから成る。これらの明るい色をしたドットは、イメージの中に現われるであろう。そして前述の特許出願、通し番号第08／318,047（整理番号No. 2345-001）に記載されたタイプの単純化されたイメージプロセッシングを用いて対応するポイントの位置を決めるために用いられる。投影さたパターンを用いれば、二つのイメージの中の対応するポイントを特定するために、前述の特許出願に開示された自動的相互関係決定技術を利用でき、そして、前述の特許願に記載されているように、二つのイメージの上にポイントをマニュアルエントリーすることを必要とせず、滑らかな表面に対して、非常に正確な奥行きあるプロフィルを入手し得る。パターンの投影は、オンの状態のプロジェクターを使用して得られる二つのイメージの中で対応するポイントを識別するために利用される。色彩のあるドットは、イメージが得られた後、イメージプロセッシング技術により、そのイメージから除去されるか、あるいは又、プロジェクターをオフとし、同じカメラ位置から得られた別々のイメージからレンダリング情報を得ることができる。投影されたパターンをレファレンスポイントとして利用することにより、両イメージの中の対応するポイントを特定することができ、そして極めて正確なワイヤーフレームが得られる。オブジェクトの周囲、上方及び下方からの多数の透視図からイメージを得ることにより、三次元イメージの完全なワイヤーフレーム表示が得られる。図５に示したようにそれぞれのイメージは、カメラの位置によって定まる視点を有する。カメラのポジションは、本質的には、カメラで撮影したイメージの視点と同一である。得られたイメージは、カメラが置かれた位置により異なる。それは近くに（ズームイン）置くことも、又、遠く離れた位置に（ズームアウト）に置くこともでき、オブジェクトの周囲、上方及び下方の如何なる位置に設けても良いものである。オブジェクトを見るために三次元ワイヤーフレームを用いるときは、観察者の位置は、カメラの位置と同様に、ワイヤーフレームがどのように見えるかを決定する。図６は、本発明を実施するのに用いられるコンピューターハードウェアとソフトウェアを示している。ＣＰＵ600は、適切なディスプレイ610、望ましくは高解像度ディスプレイを備えた標準的なパーソナルコンピューター級のＣＰＵ、望ましくは、68486クラスのものである。入出力装置は、キーボード620及びマウス630から成るが、オプション又は代替品として種々のＩ／Ｏデバイスの中のどれかを選んでも良い。ハードウェアコンプリメントは、特許出願通し番号08/318,047号（整理番号No.23-00 1）の中で示されたタイプであって、その特許出願の中で述べられたように使用されるアクセラレーターボード640を具備する。オペレーティング・システムとコミュニケーションソフトウェアの通常の装備に加えて、コンピュータは幾つかの特別なファイルと650に示されたようソフトウェアを装備している。汎用のワイヤーフレームか一組ストアされており、様々な種類のワイヤーフレームを創成するときアクセスされる。三次元ステレオイメージを創成するためのソフトウェアは、ここに述べられたワイヤーフレームをエディットするためのソフトウェアと共に上記ソフトウェアに含まれている。ワイヤーフレームイメージをレンダリングするためのソフトウェアとしては、ウエストレークビレッジ、カリフォルニアのシンソニック社からQuickLookなる商品名の下で市販されているレンダリングパッケージが推奨される。図７は、汎用のワイヤーフレームを特定のアプリケーションに合わせてカスタマイズする方法を示すフローチャートである。ステップ700において、ワイヤーフレームの中に捕捉される一つ又はそれ以上のイメージがコンピュータ700のメモリにロードされ、そしてディスプレイスクリーンの上に表示される。これは、上述の如く、イメージ４Ａに対応する。図３に示されたような汎用のワイヤーフレームは、ステップ700でロードされたイメージの上に重ねられ、そして、少なくとも１つの普通のポイント、例えば鼻のポイントのようなポイント、がイメージ（710）の上の対応するポイントと重なるようにする。ステップ720に於いて、汎用のワイヤーフレームは、その上のポイントを、ドラッグとドロップを用いて、ワイヤーフレームの中で、表現されるべきイメージの上のポイントに対応する位置まで移動することにより修正される。図４Ｂに示す如く、汎用のワイヤーフレームから得られたワイヤーフレームのヴァーテイクスの内の幾つかは、ワイヤーフレームで表現されるべき顔の上の対応するポイントとは一致しない。然しながら、それらの多くは一致する。図４Ｂに於いては、鼻の近辺のヴァーテイクスに対しては僅かな移動が要求されるのみであるが、眉の上方部分に近いヴァーテイクスに対しては、より多くの相当な移動が必要とされる。汎用のワイヤーフレームを使用すれば、ワイヤーフレームの作成で使われるヴァーテイクスの識別や場所の決定と不可分であった退屈な作業の多くが回避される。存在するヴァーテイクスが、ワイヤーフレームにより捕捉されるべきイメージによりピッタリと接近し得る新しい位置まで、ドラッグ・アンド・ドロップ技法により簡単に動かされる。ステップ 730に於いて、全方向360°の汎用のワイヤーフレームが用いられるときは、上方及び下方と同様、360°全回転をカバーする視点から見た、ワイヤーフレームで表示されるオブジェクトのイメージを持つことが望ましい。ステップ730は、ワイヤーフレームの中に捕捉さるべきイメージの互いに異なった複数のビューがシーケンシャルにロードされ、そして、汎用ののワイヤーフレームは、イメージのビューにより良くマッチするよう整合される。それから、イメージの新しいビューと整合していないヴァーテイクスは、ドラッグ・アンド・ドロップを使用して、適切な位置まで移動、調整される（ステップ 740）。このプロセスは、望ましい三次元ステレオワイヤーフレーム表現を得るために必要な限り、多数のイメージを得るため繰り返される。ワイヤーフレームヴァーテイクス又はポイントについての情報は、ポイントデータベースに保持されている。図８にそのサンプルが示されている。それぞれのヴァーテイクスには、データベースに入力された順序に従ってポイント番号が割り当てられている。それぞれのポイント番号と共に、そのポイントが現われる位置の左のイメージの座標と、同じポイントが右のビューに現われる位置の右のイメージの座標である。実在世界座標系は、特許出願通し番号08/414,651（整理番号No.2345-005）に記載されたように定義され、実在世界座標系は、ビューを横切っている三次元空間内にポイントを位置付けるため用いられる。各ポイントは、プレデセッサー及びサクセッサーポイントを特定するためのオプショナルフィルドを有し、それは、ポイントを加除し、更に細部を加えたり、不要な細部を表示から除去したりするために用いられる。図９は、ドラッグ・アンド・ドロップを使用して、ワイヤーフレームのヴァーテイクスの位置を修正する方法を示すフローチャートである。初めに、ユーザーは、動かされるヴァーテイクスの上又はその近くにカーソルを置き、マウスボタン（９００）を押し下げる。マウスボタンが押し下げられると、ＸＹスクリーンの上のカーソルの位置が検出され（９１０）、ポイントデータベース中でカーソルのＸＹポジションに最も近いヴァーテイクスを特定するためのサーチ（９２０）が行われる。マウスボタンを押し下げた状態に保ち、カーソルを左右いずれかのイメージの新しい位置までドラッグし、マウスボタンを開放する。マウスボタンが放されたとき、新しいＸＹ座標はポイントデータベース中の適切なエントリーに記録される。同じ操作が左と右のイメージ他の一方について繰り返される。ヴァーテイクスが左右の両方のイメージで移動させられたときは、実在世界座標系での新しいＸＹＺ位置が計算され、データベースが更新（９５０）される。図10は、ワイヤーフレームからヴァーテイクスを削除する方法を示すフローチャートである。マウスを使って、カーソルを削除されるヴァーテイクス（１０００）の上又はその近くに置き、マウスボタンを押し下げる。カーサーのＸＹ位置が検出（１０１０）され、ポイントデータベース（１０２０）中でカーサーのＸＹ位置に最も近いヴァーテイクスを特定するためサーチが実行される。『ヴァーテイクス削除』の機能が選択され（１０３０）、実行される。実行の間に、ポイントデータベースは、プレデセッサー及びサクセッサーのエントリーを修正した後、選択さたヴァーテイクスのエントリーを削除し、これによりプレデセッサーヴァーテイクスは、除去されるヴァーテイクスの代わりに、除去されるヴァーテイクスのサクセッサーに連結され、同時に、サクセッサーヴァーテイクスは、除去されるヴァーテイクスの代わりに、除去されるヴァーテイクスのプレデセッサーに連結される。これにより、プレデセッサーヴァーテイクスとサクセッサーヴァーテイクスのチェーンの連続性が保たれる。図11はワイヤーフレームにヴァーテイクスを追加する方法を示すフローチャートである。このような付加は、追加して描写すべきデテールが必要となり、そして二つのヴァーテイクスの間のパスが一つ又はそれ以上の追加のポイントを通すようルートを変更する必要があるとき要望されよう。ヴァーテイクスを加えるために、それらの間に追加のヴァーテイクスを加えるべき（１１００）二つのヴァーテイクスを結ぶリンクの両端のヴァーテイクスをクリックし、追加実行モードを選択（１１１０）する。そして、左右何れか一方のイメージのヴァーテイクスを追加すべきポイントがクリックされ、次いで他の一方のイメージで対応するポイントがクリックされる。新たなエントリーがポイントデータベース（１１３０）に加えられ、左右のイメージのそれぞれのためのＸＹ座標が新たなＸＹＺにストアされ、実在世界座標系が計算され、ポイントデータベース（１１３０）に挿入される。新たなヴァーテイクスのプレデセッサーとサクセッサーのエントリーが追加され（１１４０）、ステップ１１００で特定されたプレデセッサー及びサクセッサーヴァーテイクスと連携するようになる。上述の如く、汎用の三次元ワイヤーフレームは、異なった望ましい形状に適応するために編集され、修正され得る。それで、汎用のワイヤーフレームを用いることによって、カスタムワイヤーフレームを作成するための労力の多くが単純なドラッグ・アンド・ドロップエディットの効果により免除される。一つのイメージの形を連続的に他の一つのイメージのそれに変えることが度々要求される。このプロセスはモーフィングと呼ばれる。本発明によれば、一つの三次元ワイヤーフレームを、異なった三次元ワイヤーフレームにモーフィングすることは可能である。このプロセスは図12に示されている。原型ワイヤーフレームの各ヴァーテイクスのＸＹＺ座標は、実在世界座標系（１２００）で識別される。同様に、それぞれの目標ワイヤーフレームのヴァーテイクスのＸＹＺ座標は実在世界座標標系（１２１０）で識別される。原型ワイヤーフレームの上のポイントが目標ワイヤーフレームの上のポイントと対にされ、原型ポイントと目標ポイント（１２２０）の間のベクトルが計算される。原型ワイヤーフレームから目標ワイヤーフレームへの変換は、一つ又は複数のインターミディエイトワイヤーフレームを定義することにより実行される。各インターミディエイトワイヤーフレームは、原型ワイヤーフレームのヴァーテイクスからそれらにそれぞれ対応する目標ワイヤーフレームのヴァーテイクスの間に、対応するベクトル（１２３０）に沿って内挿配置されるヴァーテイクスを有する。インターミディエイトワイヤーフレームを通じて移行することにより、原型ワイヤーフレームは漸進的に目標ワイヤーフレームに変換される。そして、原型ワイヤーフレームの形状は、漸進的に目標ワイヤーフレームの形状にモーフされる。三次元ステレオモーフィングをリアリスティックに表現するために、各ワイヤーフレームは適正にレンダリングされる。原型ワイヤーフレームはリアリスティックに見せるため、特に「皮膚」でレンダリングされる。目標ワイヤーフレームは、原型ワイヤーフレームとは全く異なったリアリスティックな皮膚によってレンダリングされる。モーフィングのプロセスに於いて、原型ワイヤーフレームの形を目標ワイヤーフレーム形に変えるのに加えて、外観またはスキン表現を原型ワイヤーフレームから目標ワイヤーフレームまで漸進的に変化させることが望ましい。これは、それぞれ部分的に原型ワイヤーフレームと目標ワイヤーフレームから得られるレンダリング情報を用いて、インターミディエイトワイヤーフレームをレンダリングすることによって実行（１２４０）される。モーフィング行程は、インターミディエイトワイヤーフレームを通じて原型ワイヤーフレームから目標ワイヤーフレームまで進行するので、漸進的により多くのレンダリング情報がレンダリングされた目標ワイヤーフレームから採られるようになり、外見は漸進的にそして階段状に変化するが、コマが高速で変化するときは、連続しているように見えるようになる。写真イメージを観る者の視点は、イメージが再生されたとき、本質的にカメラによって撮影されたときのものである。三次元ワイヤーフレームの場合、観る者の視点はどこにあっても良く、ワイヤーフレームのビューはそれに従って描写される。先行のモーフィング技術（二次元）に於いては、ビューアー（カメラ）の描写は、上記図５に関して論議され、変化することができず、又事実、変化しなかった。然しながら、本発明に係るステレオモーフィングによれば、モーフィングプロセスの間にも、観る者の視点を変えることができる。これは、原型ワイヤーフレームが目標ワイヤーフレームに変身する間に、原型と目標の視点の間で、フレーム毎に、カメラのビューポイントを変えることによって実行される。モーフィングプロセスの間、表面エレメントに摘要されるレンダリング情報のビットマップされた変換は、カメラ（ビューアー）の視点に於ける上述の変更（即ち、フレーム毎に）応じて調整し得る。この方法によれば、本発明はステレオモーフィングは、カメラ（ビューアー）の視点をモーフィングプロセス中に変えられるという追加の利点を伴って達成される。ここには、ワイヤーフレーム情報を獲得し、編集するための、公知の技術に比べて高速かつ便利な方法と装置が述べられている。その上、汎用のワイヤーフレームの使用が、技術的専門知識を考慮することなく、平均的なユーザーによるワイヤーフレームの素早い創作を可能とする。ワイヤーフレーム編集と、高速レンダリング技術の組合せが、公知の先行技術により達成されたものよりも粗いワイヤーフレームで、同一の視覚的効果を達成する。更に加えて、三次元ステレオオブジェクトを他のものにモーフィングする技術が記述された。この開示では、本発明の望ましい実施例のみが示され記述されている。然しながら前述の如く、本発明は様々な他の組合せ及び環境で実施し得ること、及び、ここに述べたように本発明のコンセプトの範囲内で変更又は集成できることを理解しなければならない。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】 1. 下記のステップを具備するワイヤーフレームを作成する方法；ａ．ワイヤーフレーム表現の中に捕捉さるべきオブジェクトの上にパターンを投影するステップ。ｂ．少なくとも二つの視点から上記オブジェクトのイメージを、そのイメージの中に投影されたパターンと共に捕捉するステップ。ｃ．上記投影されたパターンの部分を、上記オブジェクトの表面上のポイントに関する位置情報を計算するための基準点として使用するステップ。 2. 上記パターンが格子である請求項１の方法。 3. 上記のパターンが、実質的にランダムなカラーの不均一に位置付けられた明るいスポットを含む多色の紙ふぶきパターンである請求項１の方法。 4. パターン投影のステップが、投影されるパターンの解像度の選択ステップを含む請求項１の方法。 5. 上記投影されたパターンの部分を使用するステップが、上記計算のために上記パターンのポイントをサンプリングすることにより解像度を選択するステップを含む請求項１の方法。 6. 下記の構成要素から成る、三次元オブジェクトのワイヤーフレーム表現を高速で作成する装置。ａ．入出力装置と、ディスプレイと、メモリーと、大容量の記憶装置とを具備したコンピュータ。ｂ．上記大容量の記憶装置にストアされた汎用のワイヤーフレーム。ｃ．上記ワイヤーフレーム表現を創成するため、上記汎用のワイヤーフレームを編集するソフトウェア。 7. 汎用のワイヤーフレームが、それぞれ異なった複数のオブジェクトに対応する汎用のワイヤーフレームを有するツールキットを具備する請求項６の装置。 8. 編集のためのソフトウェアが、ａ．汎用のワイヤーフレームのヴァーテイクスの一つを選択し、ディスプレイ上の一つの場所から他の場所まで、上記ヴァーテイクスの位置をドラッグする手段。を含む請求項６の装置。 9. 編集のためのソフトウェアが、ａ．ワイヤーフレームの二つのヴァーテイクスの間に一つのヴァーテイクスを加える手段。を含む請求項６の装置。 10．編集のためのソフトウェアが、ａ．ワイヤーフレームの二つのヴァーテイクスの間の一つのヴァーテイクスを削除する手段。を含む請求項６の装置。 11．上記ヴァーテイクスが削除されたとき、プレデセッサーヴァーテイクスとサクセッサーヴァーテイクスのデータベースエントリーが変更される請求項10 の装置。 12．下記のステップから成る、三次元オブジェクトのカスタムワイヤーフレーム高速度で作成する方法。ａ．三次元オブジェクトが属するオブジェクトの種類の典型的な汎用のワイヤーフレームの少なくとも１つのビューをディスプレイするステップ。ｂ．上記汎用のワイヤーフレームの上記少なくとも一つのビューを、ビューの画面を、上記オブジェクトのイメージの画面と対応させて重ね合わせ、少なくとも一つのポイントを上記イメージと共有するように、整列、整合させるステップ。ｃ．一つのヴァーテイクスを汎用のワイヤーフレーム内の原位置からドラッグし、上記ヴァーテイクスを上記イメージの対応するポイントの上にドロップすることにより、上記汎用のワイヤーフレームの上記ビューの少なくとも一つのヴァーテイクスを、修正するステップ。 13．上記イメージの変換され、ビットマップされた部分を用いて、上記カスタムワイヤーフレームをレンダリングするステップを含む請求項12の方法。 14．下記のステップを含む、レンダーされた三次元ワイヤーフレームの許容されるディスプレイを達成するこために必要なポイントの数を減少する方法。ａ．三次元ワイヤーフレームームを構築するヴァーテイクスの数を減少させるステップ。ｂ．上記ワイヤーフレームによって再表現されるオブジェクトのイメージの変換され、ビットマップされた部分を使用して上記ワイヤーフレームをレンダーするステップ。 15．下記の構成要素から成るワイヤーフレームツールキット。ａ．記録装置。ｂ．それぞれ三次元オブジェクトの属する種類の原型を示す、上記記録装置にストアされた複数のワイヤーフレーム。 16．下記のステップから成る、原型三次元ステレオレンダードワイヤーフレームイメージから、目標三次元ステレオレンダードワイヤーフレームイメージをモーフィングする方法。ａ．ポイントを組み合わせるために、原型ワイヤーフレーム上の一つのヴァーテイクスと、目標ワイヤーフレームの上の対応するポイントを選定することにより、上記原型及び目標三次元ステレオレンダードワイヤーフレームイメージ上の複数のポイントの対を特定するステップ。ｂ．それぞれ対をなすポイントのために、上記原型イメージ上のヴァーテイクスから、上記目標イメージ上の対応するヴァーテイクスに向かうベクトルを決定するステップ。ｃ．それぞれ対応する原型ワイヤーフレームヴァーテイクスから、上記ベクトルに沿って内挿されたヴァーテイクスを有するワイヤーフレームから成る、複数のインターミディエイトワイヤーフレームを決定するステップ。ｄ．それぞれ部分的に、上記レンダーされた原型ワイヤーフレームと上記レンダーされた目標ワイヤーフレームから得られたレンダリング情報を用いて、上記インターミディエイトワイヤーフレームをレンダリングするステップ。 17．下記のステップから成る、明確なカメラビューポイントを有する原型ステレオレンダードワイヤーフレームイメージを、異なったビューポイントを有する目標ステレオレンダードワイヤーフレームイメージにモーフィングする方法。ａ．それぞれ原型ワイヤーフレームのヴァーテイクスから、目標ワイヤーフレームのヴァーテイクスに向かって内挿、配列されたヴァーテイクスを有する一つ又はそれ以上のインターミディエイトワイヤーフレームによって、かつ、それぞれ部分的に上記レンダード原型ワイヤーフレームと上記レンダード目標ワイヤーフレームレンダリングから得られたレンダリング情報を用いて、上記原型ワイヤーフレームを一つの目標ワイヤーフレームにマッピングするステップ。ｂ．上記マッピングの間、ワイヤーフレームの上記明確なカメラビューポイントを変化するステップ。 18．上記明確なカメラビューポイントを変化させるステップが、下記の何れかを包含する請求項17の方法。（ａ）上記ワイヤーフレームのズーミングイン又はアウト。（ｂ）上記明確なカメラビューポイントのワイヤーフレームの周りの回転。（ｃ）ズーミングと回転の両方。