JP3672739B2 - テクスチャ画像生成装置 - Google Patents
テクスチャ画像生成装置 Download PDFInfo
- Publication number
- JP3672739B2 JP3672739B2 JP18235098A JP18235098A JP3672739B2 JP 3672739 B2 JP3672739 B2 JP 3672739B2 JP 18235098 A JP18235098 A JP 18235098A JP 18235098 A JP18235098 A JP 18235098A JP 3672739 B2 JP3672739 B2 JP 3672739B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- plane
- point
- unit
- developable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テクスチャ画像生成装置に関する。特に、特徴点対応に基づく３次元形状復元処理を用いた任意視点の画像表示方式において、高品質かつ記憶容量が少なくて済むテクスチャ画像を自動生成できるテクスチャ画像生成装置に関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により、パーソナルコンピュータ等においても高度な３次元コンピュータグラフィックス（以下、ＣＧと略記する）が処理できる環境が整いつつある。３次元ＣＧ技術を利用した電子ショッピング、電子博物館など、物体をコンピュータ画面上に現実感をもって再現するシステムの構築において、実在する物体を如何に効率良くコンピュータ上の３次元画像データとして取り込むかが重要な課題となっている。
【０００３】
３次元物体をコンピュータに取り込むためのデータ生成の手法として最も簡単な方式は、３次元物体を幾つかの視点から撮影した２次元画像データを生成して用意しておき、再現時には利用者の視点に応じて最も近い視点から撮影した２次元画像をディスプレイに表示する方式である。しかし、この方式によれば、撮影した視点以外からの視点による３次元物体の画像を表示できないという問題があった。また、あくまでも２次元画像であるので、３次元ＣＧデータとして生成されている他の３次元物体との画像合成が実行しにくいという問題もあった。そこで、取り込んだ３次元物体を任意の視点から表示可能とするためには、物体を複数の視点から撮影した２次元画像データに基づいて物体の３次元形状を３次元画像データとして復元し、任意視点に対する３次元形状の投影画像を生成して表示することが必要となる。
【０００４】
ここで、撮影した２次元画像データから物体の３次元形状を３次元画像データとして復元する方式として幾つか提案されているが、代表的な方式として、特徴点に基づく方式がある。この方式による３次元画像データの生成処理は、図１９のフローチャートに示すように以下の処理ステップから構成される。また、図２０に従来の特徴点に基づく３次元画像データ生成の概念を示す。
【０００５】
まず、撮影画像を読み込み、特徴点を抽出する（ステップＳ１９０１）。この特徴点の抽出にあたり、撮影した２次元画像の中で明度が変化している箇所を選んで特徴点とすることが好ましい。この抽出処理は、明度の変化を調べることによりコンピュータで自動的に特徴点を抽出することにより実行しても良く、人手で指定することにより実行しても良い。この様子を図２０に示す。この例では図２０（ａ）の撮影画像から図２０（ｂ）に示した４つの特徴点が抽出された。
【０００６】
次に、撮影画像間で、抽出した特徴点同士の対応付けを行う（ステップＳ１９０２）。この特徴点同士の対応付けにあたっては、撮影画像の撮影位置関係、画像の類似性、抽出特徴点間の位置関係を利用すれば、コンピュータで自動的に処理することが可能である。また、人手で指定することにより実行しても良い。図２０の例では、図２０（ｃ）のように各特徴点１〜特徴点４の対応付けが行われた。
【０００７】
次に、特徴点の対応関係からステレオ計測の原理により各特徴点の３次元座標を求める（ステップＳ１９０３）。この処理により、各特徴点は３次元空間内の一点として表現される。
【０００８】
次に、３次元空間内に表現された各特徴点間に対して面を割り当て、多面体を形成する（ステップＳ１９０４）。ここで、面を形成する特徴点の組み合わせは任意の組み合わせではなく、再生物体の外表面を形成するように選択されなければならない。図２０の例では、図２０（ｄ）のように面が割り当てられ、４面体が形成された。
【０００９】
次に、各面のテクスチャを生成する（ステップＳ１９０５）。テクスチャの生成にあたっては、撮影画像の模様を参照すれば各面に貼るテクスチャが計算できる。
【００１０】
以上のステップＳ１９０１〜ステップＳ１９０５に示した処理により、撮影画像から３次元画像データが生成できる。図２０の例では、図２０（ｅ）に示すように元の３次元物体の３次元画像データが生成できる。
【００１１】
一方、生成した３次元画像データを用いた３次元物体のコンピュータ画面上での再生処理は、図２１のフローチャートに示すように以下の処理ステップから構成される。
【００１２】
まず、利用者の物体に対する視点の位置を指定する。つまり、物体に対する視点の方向と距離が指定される（ステップＳ２１０１）。
次に、指定された物体に対する視点の方向と距離に応じた投影面に対する各特徴点の投影面上の位置を計算し、投影画像を得る（ステップＳ２１０２）。この段階では、まだテクスチャマッピング処理は行われていない。
【００１３】
次に、投影画像の各面に対してテクスチャを貼り込む（ステップＳ２１０３）。ここで、テクスチャの貼り込みにあたっては、投影された各面の大きさ、形、方向を計算してテクスチャを調整して貼り込む。
【００１４】
最後に、ライティング、トレーシング、シェーディングなど必要な特殊効果処理を施した後、コンピュータ画面上への表示が行われる（ステップＳ２１０４）。
【００１５】
以上のステップＳ２１０１〜ステップＳ２１０４に示した処理により、生成した３次元画像データを用いてコンピュータ画面上へ３次元物体の任意の視点における画像が表示できる。
【００１６】
【発明が解決しようとする課題】
３次元画像として取り込む物体は、その形状、模様も複雑なものが多く、また、一層優れた仮想現実を実現するために高精細なデータが要求される。この場合、必要とされるデータ容量が膨大なものとなるので、３次元画像データの記憶容量の低減が重要な課題となる。また、３次元画像の再生は、記録媒体やネットワークを介して時間的にも空間的にも離れた場所で行う必要があり、回線費用の低減や転送時間の短縮のために、一層のデータ容量の削減が求められている。
【００１７】
ここで、特徴点とその接続関係は、ＸＹＺ値および特徴点の対応番号のデータセットで表現されるので、通常、テクスチャに関するデータ量と比べ、特徴点に関するデータ量は十分小さいものである。従って、３次元画像データのデータ量の削減は、テクスチャに関するデータ量を如何に削減するかという点が重要な課題となる。
【００１８】
以下に挙げる２つの従来のテクスチャ画像生成処理方式には、それぞれデータ量低減の観点からは問題点を有するものであった。
第一番目のテクスチャ画像生成処理方式としては、３次元画像データ生成時には、テクスチャデータを３次元形状に貼り込んだ形の３次元物体としては復元せずに、撮影された画像データをそのまま記憶し、表示処理時に指定された視点に応じて各面に貼るテクスチャを生成する方式がある。この方式によれば、指定された視点に近い視点から撮影された画像データを用いて動的にテクスチャデータを生成すれば良いが、あらゆる視点から撮影した画像データが必要となり、テクスチャ処理に必要となる画像データは膨大な容量となる問題が発生する。
【００１９】
第二番目のテクスチャ画像生成処理方式としては、各面ごとにその面に貼るテクスチャをそのまま画像（テクスチャ画像）として記憶する方式がある。これは、図２２に示すように、多面体を形成する各面を切り離して平面上に配置しておき、その上に撮影画像の模様を描き込んで記憶するものである。しかし、このテクスチャ処理方式によれば、テクスチャ関連のデータとして保持するデータの中に無駄な部分が多く含まれ、余分な記憶容量が必要になってしまう問題があった。つまり、一般に多面体を平面に展開すると、図２２に示したように面と面の間に無駄な隙間が多く発生してしまう。この隙間を埋めるように面を配置することは容易ではなく、また、画像の品質向上のために面の総数を増やすにつれて生じる隙間が増加し、無駄な記憶容量がさらに増加する問題が発生する。
【００２０】
ここで、隙間を埋めるために、面の形を適宜に変形させることは可能であるが、画像は画素を単位とする２次元配列データとして表現されるため、面の形が元の形から歪むにつれ、画素を単位とする量子化誤差の影響が大きくなり、再生画像の品質が劣化するという問題が生じる。
【００２１】
本発明は、上記従来のテクスチャ画像生成処理方式の問題点に鑑み、特徴点対応に基づく３次元オブジェクト復元処理を用いた任意視点の画像表示処理に用いるテクスチャ画像データであって、高品質かつ記憶容量の少ないテクスチャ画像データを自動生成するテクスチャ画像生成装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記課題を解決するために本発明のテクスチャ画像生成装置は、入力部と、投影部と、分割部と、展開部と、画像書き込み部とを備え、前記入力部は、３次元オブジェクトの特徴点のデータと外表面の２次元撮影画像データの入力を受け付け、前記投影部は、前記入力された３次元オブジェクトの特徴点を、可展体面である既知形状面であって前記特徴点を包含する投影面に投影して投影点を求め、前記分割部は、前記投影面を前記特徴点の投影点により小面に分割し、前記展開部は、前記投影面を平面に展開して前記小面からなる展開平面を生成し、前記画像書き込み部は、前記展開平面上の各小面に対して、対応する特徴点が撮影された前記３次元オブジェクトの外表面の撮影画像を書き込むことによりテクスチャ画像を生成することを特徴とする。
【００２３】
この構成により、３次元オブジェクトの特徴点を可展体面である既知形状面の投影面に投影して平面に展開することができ、前記展開平面への撮影画像データの書き込みにより効率の良いテクスチャ画像の生成を行うことができる。
【００２４】
次に、前記投影部は投影面調整部を備え、前記投影面調整部が、前記投影部が生成する投影面の種類とサイズを、前記特徴点により形成される３次元オブジェクトの形状に合わせるように調整することにより、前記投影面の形状と前記特徴点により形成される３次元オブジェクトとの形状の歪みを最小化することが好ましい。
【００２５】
この構成により、投影面の種類とサイズを特徴点により形成される３次元オブジェクトの形状に合わせることができるため、投影により生じる投影面上に形成される投影形成面と元の３次元オブジェクトの外表面との歪みを最小化することができ、テクスチャ画像の品質を向上することができる。
【００２６】
次に、前記投影部は投影中心点適正確認部を備え、前記投影中心点適正確認部により、前記画像書き込み部による前記展開平面上の各小面への前記３次元オブジェクトの外表面の撮影画像の書き込みをモニタし、前記展開平面上の各小面と、対応する特徴点が撮影された撮影画像との対応が正しく得られているか確認することができることが好ましい。
【００２７】
この構成により、３次元オブジェクトの特徴点の既知形状面への投影にあたり、形成される投影面上において３次元オブジェクトの各面が重ならないことが保証でき、３次元オブジェクトのすべての面を平面上に展開することができる。
【００２８】
なお、投影中心点として、３次元オブジェクトの重心点、原点などあらかじめ定められた点などを採用することができ、投影中心点適正確認部により投影中心点の適正が確認できない場合は、投影中心点の選定をやり直す。
【００２９】
次に、前記投影部が投影中心点の指定を入力する投影中心点指定部を備え、前記投影中心点指定部からの指定に基づいて前記投影中心点を定めることが好ましい。
【００３０】
この構成により、投影中心点の指定を装置利用者が行なうことができ、状況に応じてテクスチャ画像生成装置の処理をチューニングすることができる。
次に、前記３次元オブジェクトの特徴点をグループに分ける特徴点グループ情報が付され、前記投影部が、前記特徴点グループ情報に従い、それぞれの特徴点のグループに対してそれぞれ投影処理を行うことが好ましい。
【００３１】
この構成により、復元される３次元オブジェクトの形状が複雑な場合に、各部分の形状が処理しやすいようなオブジェクト部分に分けて投影処理することができ、テクスチャ画像の品質を向上させることができる。
【００３２】
次に、前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の可展面および平面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが可展面上に投影されるように可展面を調整する可展面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記可展面上にある投影点を可展面境界投影点とし、前記平面上にある投影点を平面境界投影点とし、前記可展面投影調整部は、前記投影中心点から前記平面境界投影点を通る投影線を延長して前記可展面の延長面と交わる点を可展面調整投影点として求め、前記分割部は、前記可展面の境界稜線を前記可展面境界投影点と前記可展面調整投影点とを順に結ぶ線とし、前記平面の境界稜線を前記平面境界投影点を順に結ぶ線として前記可展面と平面を分割することが好ましい。
【００３３】
この構成により、既知形状面上に投影された３次元オブジェクトの各面が可展面と平面にまたがって形成されることがなく、可展面と平面の境界稜線を投影形成面間の境界稜線とすることができ、歪みの少ないテクスチャ画像を得ることができる。
【００３４】
次に、前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の可展面および平面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが平面上に投影されるように平面を調整する平面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記可展面上にある投影点を可展面境界投影点とし、前記平面上にある投影点を平面境界投影点とし、前記平面投影調整部は、前記投影中心点から前記可展面境界投影点を通る投影線を延長して前記平面の延長面と交わる点を平面調整投影点として求め、前記分割部は、前記平面の境界稜線を前記平面境界投影点と前記平面調整投影点とを順に結ぶ線とし、前記可展面の境界稜線を前記可展面境界投影点を順に結ぶ線として前記可展面と平面を分割することが好ましい。
【００３５】
この構成により、既知形状面上に投影された３次元オブジェクトの各面が可展面と平面にまたがって形成されることがなく、可展面と平面の境界稜線を投影形成面間の境界稜線とすることができ、歪みの少ないテクスチャ画像を得ることができる。
【００３６】
次に、前記投影部は、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の第一の可展面と第二の可展面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが前記第一の可展面上に投影されるように可展面を調整する可展面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記一の可展面上にある投影点を第一の可展面境界投影点とし、前記第二の可展面上にある投影点を第二の可展面境界投影点とし、前記可展面投影調整部は、前記投影中心点から前記第二の可展面境界投影点を通る投影線を延長して前記第一の可展面の延長面と交わる点を可展面調整投影点として求め、前記分割部は、前記第一の可展面の境界稜線を前記第一の可展面境界投影点と前記可展面調整投影点とを順に結ぶ線とし、前記第二の可展面の境界稜線を前記第二の可展面境界投影点を順に結ぶ線として前記第一の可展面と第二の可展面を分割することが好ましい。
【００３７】
この構成により、既知形状面上に投影された３次元オブジェクトの各面が２つの可展面間にまたがって形成されることがなく、第一の可展面と第二の可展面の境界稜線を投影形成面間の境界稜線とすることができ、歪みの少ないテクスチャ画像を得ることができる。
【００３８】
次に、前記展開部は、前記可展面の平面への展開処理において、特徴点の投影点を結ぶ稜線に沿って切断・展開することが好ましい。
この構成により、可展面の切断・展開処理において、投影された特徴点により形成される面が途中から切断されてしまうことがなく、投影形成面間の稜線をもって切断することができ、歪みの少ないテクスチャ画像を得ることができる。
【００３９】
次に、前記分割部は、前記投影面の分割処理において、前記特徴点の投影点を頂点とする凸包を生成し、前記凸包を構成する小面をもって前記投影面を分割した小面と近似して扱うことが好ましい。
【００４０】
この構成により、特徴点の投影点を頂点とする凸包をもって投影面と近似して平面に展開することができ、効率良く、かつ、データ容量の無駄の少ないテクスチャ画像を生成することができる。
【００４１】
次に、前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータとして、書き込む小面の面積が最も大きく撮影されている画像データを用いることが好ましい。
【００４２】
この構成により、実物の３次元オブジェクト外表面のテクスチャに最も近いテクスチャ画像を生成することができる。
次に、前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータとして、書き込む小面を最も近い視点から撮影した画像データを用いることが好ましい。
【００４３】
この構成により、指定の視点から見た場合の３次元オブジェクト外表面のテクスチャに最も近いテクスチャ画像を生成することができる。
次に、前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータの形状を、展開平面上の対応する小面の形状に合うようにアフィン変換して書き込むことが好ましい。
【００４４】
この構成により、可展面および平面からなる既知形状への投影処理において実際の３次元オブジェクトの面とその投影形成面との形状の歪みを調整することができ、生成されるテクスチャ画像の歪みも矯正することができる。
【００４５】
次に、本発明のテクスチャ画像生成装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、３次元オブジェクトの特徴点のデータと外表面の撮影画像データの入力を受け付ける入力処理ステップと、前記入力された３次元オブジェクトの特徴点を、可展体面である既知形状面であって前記特徴点を包含する投影面に投影して投影点を求める投影処理ステップと、前記投影処理ステップにより投影した投影面を前記特徴点の投影点により小面に分割する分割処理ステップと、前記投影面を平面に展開して前記小面からなる展開平面を生成する展開処理ステップと、前記展開平面上の各小面に対して、対応する特徴点が撮影された前記３次元オブジェクトの外表面の撮影画像を書き込む画像書き込み処理ステップとを備え、テクスチャ画像を生成することを特徴とする処理プログラムを記録したことを特徴とする。
【００４６】
この処理プログラムをコンピュータに読み取らせることより、コンピュータを利用して、３次元オブジェクトの特徴点を可展体面である既知形状面の投影面に投影して平面に展開することができ、前記展開平面への撮影画像データの書き込みにより効率の良いテクスチャ画像の生成を行うテクスチャ画像生成装置を構成することができる。
【００４７】
【発明の実施の形態】
本発明のテクスチャ画像生成装置について図面を参照しつつ説明する。
まず始めに、本発明のテクスチャ画像生成装置の処理方式の基本的な考え方を以下に説明する。
【００４８】
従来技術の説明において記述したように、テクスチャ画像は、３次元オブジェクトの外表面の展開面に対して３次元オブジェクトの外表面を撮影して得たテクスチャデータを描き込んだものであるので、展開平面間の隙間が少ない方がデータ容量は小さくて済む。いま、３次元オブジェクトの形状が既知であれば、画像データ生成処理において事前に３次元オブジェクトの平面への展開方法を検討して展開平面間の隙間が少なくなるように最適化しておくことが可能となる。
【００４９】
例えば、３次元オブジェクトの形状が円筒体であるとすると、平面への展開は、図１に示すように、上面、側面、下面の３つの部分に切り離すだけで済む。この展開平面にテクスチャ画像を書き込めば高品質で記憶容量が少なくて済むテクスチャ画像とすることができる。この性質は、展開対象となった円筒体である３次元オブジェクトの形状が、可展体であったことに起因している。このように、３次元オブジェクトの形状が既知の可展体面であれば、所定の手順で展開した展開平面間の隙間が少なくなるので高品質かつ記憶容量の少ないテクスチャ画像とすることができる。
【００５０】
ここで、可展面とは、一般に狭義には平面に展開可能な曲面を指す。例えば、円筒体の外表面は可展面である側面と平面である上面および下面の組み合わせである。本発明で言う「可展体」とは、その外表面が可展面同士の組み合わせ、または、可展面と平面の組み合わせであり適切に平面に展開できるものをいう。つまり、展開処理による面間の切断境界線は可展面同士の間、または可展面と平面との間のみ生じ、平面同士の間には生じないものを言う。「可展体面」とは、可展体を形成する面をいい、後述する投影処理においては投影面となる可展体の外表面をいう。
【００５１】
本発明の可展体の例としては、図２に示すように、上記の円筒体に加え、柱体、錐体、台錐体がある。ここで、柱体には円柱体、楕円柱体などが含まれ、錐体には円錐体、楕円錐体などが含まれ、台錐体には台円錐体などが含まれる。また、可展面同士の組み合わせからなる可展体としては、２つの錐体を組み合わせたもの、球体などがある。なお、球体面は厳密には可展面ではないが、展開平面と球面の一対一の対応に注目すれば、球面を緯度と経度に着目して方形の平面に展開することが可能である。しかし、方形に展開したときに投影面上の形は大きく歪むことが予想されるので、球面を投影面として採用することはかならずしも好ましいとは言えない。
【００５２】
ところで、画像処理で扱う３次元オブジェクトは一般には複雑な形状が多く、上記のような可展体とはなっていない。そこで、３次元オブジェクトを上記の可展体面からなる既知形状の中に入れ、その既知形状を投影面として、図３に示すように内部の投影中心点から３次元オブジェクトを投影面に投影し、その投影面を扱うことを考える。
【００５３】
図３において、３０１は投影面であり、可展面及び平面の組み合わせである円筒体面である。３０２は投影中心点、３０３は投影される３次元オブジェクト、３０４は３次元オブジェクト外表面のうちの注目する一つの面である。投影処理は、まず投影中心点３０２から３次元オブジェクト３０３の各特徴点に向けて半直線が引かれる。これら半直線をそのまま投影面３０１まで延長し、投影面３０１上の投影点を求める。それぞれの特徴点に対するそれぞれの投影点が得られ、３次元オブジェクトの面３０４に対する投影面３０１上に投影された面３０４’が得られる。このように、３次元オブジェクト３０３のすべての特徴点を投影面３０１上に投影すれば、展開すべき元の３次元オブジェクトの特徴点に対応する投影点が得られる。ここで、投影面をそれら投影点を頂点とする各面（投影形成面）の集合とみると、３次元オブジェクトは投影処理の結果、可展体面である投影面３０１の形状を持つ物体として表現できる。投影面３０１は、図１に示したように平面に展開でき、展開平面は余分な隙間がないものとなるので、この展開平面に対して撮影画像のテクスチャを描き込んで作成したテクスチャ画像をもって３次元オブジェクトに対するテクスチャ画像とすれば、３次元オブジェクトのテクスチャ画像は、高品質かつ記憶容量の少ないものとすることができる。
【００５４】
３次元オブジェクトの形状は一般には未知であり、その各外表面もテクスチャ画像と合わせて３次元特徴点から推定（もしくは算出）する必要がある。上述したように、３次元オブジェクトは投影処理の結果、投影点を頂点とする物体として表現されるので、逆に投影面を投影点を頂点とする小面に分割し、各小面を構成する投影点に対応する特徴点の組みを３次元オブジェクトの外表面とみなすことで、外表面の推定を行うことができる。これにより、テクスチャ画像と対応する外表面が得られる。
【００５５】
以上、本発明のテクスチャ画像生成装置におけるテクスチャ画像生成の基本的な流れをまとめると、図４に示すように、３次元オブジェクト（ステップＳ４０１）の画像データから、３次元オブジェクト形状の特徴点の３次元点列での表現（ステップＳ４０２）とし、投影処理により投影面上での投影点列での表現（ステップＳ４０３）とし、投影点列を基に面を形成して投影面上の投影形成面での表現（ステップＳ４０４）とし、展開処理により展開平面上の投影形成面での表現（ステップＳ４０５）とし、最後に撮影画像を投影面に当てはめ、テクスチャ画像（ステップＳ４０６）として生成する。
【００５６】
上記のように、可展体面からなる既知形状である投影面への投影を利用したテクスチャ画像の生成処理ができるテクスチャ画像生成装置を実現すれば、高品質かつ記憶容量の少ないテクスチャ画像を生成できる。
【００５７】
以上に示した本発明における基本的な処理方式を実現した実施形態１のテクスチャ画像生成装置を以下に示す。
本実施形態１のテクスチャ画像生成装置の全体構成の概略と本装置による処理流れの全体像を図面を参照しつつ説明する。図５は、本装置の概略構成図を示している。図６は本装置が扱うデータ構造例を示している。
【００５８】
図５に示すように、本実施形態１のテクスチャ画像生成装置は、大別して入力部１０、特徴点抽出部２０、投影部３０、分割部４０、展開部５０、画像書き込み部６０、出力部７０を備えている。なお、図示していないが、システム全体の制御処理に必要な制御部、メモリ、モニタ、デバイス類は装備しているものとする。
【００５９】
以下に、各部の動作を順を追って説明する。
入力部１０によるデータ入力処理を説明する。図６ａに本発明のテクスチャ画像生成装置の扱うデータ構造例を示す。データ１００は、画像情報領域１０１、特徴点情報領域１０２、投影情報領域１０３、投影面情報領域１０４、その他情報領域１０５およびヘッダ１０６を備えている。
【００６０】
データ１００の構造におけるそれぞれの領域には、図６ｂに示したようなデータが与えられる。図６ｂに示すように、入力データは、必須の情報として撮影画像情報を備え、任意の情報として特徴点３次元座標情報、特徴点グループ情報、投影中心情報、投影面情報を備えている。ここで、特徴点グループ情報とは、特徴点の集合を複数の小グループに分ける情報であり、それぞれの特徴点の小グループごとに適切な投影面と投影中心点を個別に選択して投影処理する場合に利用する情報である。この特徴点グループ情報を利用して特徴点小グループごとに適切な投影面と投影中心点を個別に選択して投影処理するものは実施形態２として後述する。
【００６１】
次に、特徴点抽出部２０による特徴点抽出処理を説明する。
特徴点抽出部２０は、入力データの特徴点情報として特徴点３次元座標情報が与えられている場合には、その特徴点３次元座標情報をもって特徴点とし、投影部３０に渡す。特徴点３次元座標情報が与えられていない場合には、撮影画像情報から明るさが変化している箇所を検出し、その点を特徴点として自動的に抽出し、ステレオ計測の原理から３次元オブジェクトの特徴点を座標空間上の３次元点列として計算する。
【００６２】
特徴点抽出部２０は、撮影画像の状態によっては画像の明るさの変化による特徴点の抽出が困難な場合もあることに鑑み、特徴点指定部２１を備えることが好ましい。装置利用者は、特徴点指定部２１を介して自ら必要に応じて特徴点の指定を行うことができ、特徴点抽出処理をチューニングできることが好ましい。
【００６３】
次に、投影部３０による投影処理を説明する。図５に示すように投影部３０は、特徴点配置部３１、投影面生成部３２、投影中心点指定部３３、投影処理部３４を備えている。
【００６４】
特徴点配置部３１は、特徴点抽出部２０の特徴点抽出処理で得られた特徴点データをもとに３次元座標空間上に配置する。
投影面生成部３２は、入力データ１００中に投影面情報が与えられている場合は、その指定に従った種類の投影面を選択し、また投影面情報がない場合はデフォルトとして特定の投影面、ここでは円筒面を選択する。選択した種類の投影面をもって特徴点配置部３１の配した特徴点をすべて含むように投影面を生成する。
【００６５】
投影中心点指定部３３は、入力データ１００中に投影中心情報が与えられている場合は投影中心情報に従って投影処理における投影中心点を決定し、また、投影中心情報が与えられていない場合はデフォルトとして特定の投影中心点の計算、ここでは特徴点列の重心を計算して指定する。
【００６６】
投影処理部３４は、特徴点の投影処理を実行する。投影中心点から各特徴点に向けて投影線が引かれ、その投影線を投影面まで延長し、投影面との交点を特徴点の投影点とする。
【００６７】
次に、分割部４０による分割処理を説明する。分割部４０は、投影部３０により投影処理された投影面を、投影面上に形成されている特徴点の投影点を基に分割する。つまり、投影面上で投影点を頂点とした小面を形成して行き、その形成された小面により投影面全体を埋めることにより分割する。
【００６８】
分割部４０による上記の投影面の分割処理は、投影面上に形成されている投影点の３次元点列の凸包を求めることによっても近似的に実現できる。ここで、３次元点列の凸包とは、図７に示すように、３次元点列を空間上に配してそれらすべてを内側に含む巨大なゴム風船をできる限り縮小して得られる形状のことである。例えば円筒面など凸形状の面上に分布している点列の凸包は、点の数がある程度あれば円筒面にほぼ近似でき、円筒面を多角形の面によって分割したものと言えるからである。
【００６９】
次に、展開部５０による展開処理を説明する。展開部５０は投影面を事前に最適化された平面に展開する。ここで、投影面は可展体面であるので、それぞれ隙間なく展開することができることとなる。投影面が円筒面の場合は、可展面である側面、平面である上面、下面により構成されているので図１に示したように展開が可能である。展開された平面上において、３次元オブジェクトのそれぞれの特徴点に対応する投影点の位置が決まることとなる。
【００７０】
次に、画像書き込み部６０により撮影画像のテクスチャを当てはめ、テクスチャ画像を生成する。面の当てはめは、入力された撮影画像上の特徴点と、それに対応する展開平面上における投影点とを一致するように重ねて割り当てることにより自動的に行うことができる。
【００７１】
出力部７０は、生成したテクスチャ画像を出力する部分である。出力データの例を図６ｂに示す。出力データのそれぞれの領域には、必須の情報として、テクスチャ画像情報、特徴点の接続関係情報を備えている。任意の情報として投影中心情報、投影面情報、特徴点グループ情報がある。特徴点グループ情報は入力情報で説明したように、特徴点の集合を複数の小グループに分ける情報であり、それぞれの特徴点の小グループごとに適切な投影面と投影中心点を個別に選択して投影処理を行った場合に利用する情報である。この特徴点グループ情報を利用するものは実施形態２として後述する。
【００７２】
以上、上記のシステム構成および処理の流れにより、高品質かつ記憶容量の小さいテクスチャ画像を生成することができることを特徴とするテクスチャ画像生成装置が提供される。
【００７３】
なお、上記例では、投影面として円筒面を用いて説明したが、その他の円錐面などの可展体面であっても良いことは言うまでもない。
（実施形態２）
実施形態２のテクスチャ画像生成装置は、実施形態１と同様、可展体面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成するものであるが、実施形態１のテクスチャ画像生成装置の投影部をさらに高性能化した投影部を備えたものである。
【００７４】
本実施形態２のテクスチャ画像生成装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図８は、実施形態２のテクスチャ画像生成装置の概略構成図を示している。図８に示すように、本実施形態２の装置では、実施形態１の構成における投影部３０に代え、投影部３０ａを備えている。投影部３０ａは実施形態１の投影部３０の構成に加えてさらに、投影面調整部３５、投影中心点適正確認部３６を備えた構成となっている。投影部３０ａの投影面調整部３５、投影中心点適正確認部３６を除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでここでの説明は省略し、投影部３０ａを中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００７５】
まず、投影面調整部３５の働きを以下に説明する。
投影面調整部３５は、投影処理に用いる投影面の種類の選択、投影面形状・サイズの調整を行うものである。テクスチャ画像生成装置で扱う３次元オブジェクトの形状は、一般に多種多様なものが予想される。投影処理において、３次元オブジェクトの形状と投影面の形状の違いのために、投影処理の結果、形成される投影形成面の形状は実際の３次元オブジェクトの面の形状から少し歪むこととなる。このような歪みを抑えるために投影面として３次元オブジェクトにできるだけ近い可展体面を選ぶことが好ましい。投影面調整部３５は、投影処理に用いる投影面の種類として３次元オブジェクト形状に近い適切なものを選択し、さらに３次元オブジェクト形状に近くなるように可展体面のサイズを調整する。投影面の種類の選定基準としては、例えば、特徴点から投影面までの距離の総和を計算し、もっとも値の小さくなる投影面の種類を選ぶ方法がある。
【００７６】
また、投影面調整部３５は、３次元オブジェクトの形状が複雑な場合は、３次元オブジェクトを幾つかのオブジェクト部分に分け、それぞれのオブジェクト部分の形状に対して適切な投影面の選択・サイズの調整ができる。
【００７７】
上記のオブジェクト部分それぞれに投影面を割り当てる処理を以下詳しく説明する。
まず、入力部１０から入力データが入力される（図９ステップＳ９０１）。ここでは、図６ｂにおいて示した入力データ中の特徴点情報として、特徴点グループ情報が与えられていたとする。
【００７８】
投影面調整部３５は、特徴点グループ情報に従って特徴点をグルーピングして各オブジェクト部分として把握する（ステップＳ９０２）。
投影面調整部３５は、ステップＳ９０２で把握した各オブジェクト部分ごとに投影面の種類を選定する（ステップＳ９０３）。投影面の種類の選定にあたり、ここでは、オブジェクト部分の特徴点から投影面までの距離の総和を計算し、もっとも値の小さくなる投影面の種類を選ぶものとする。
【００７９】
投影面調整部３５は、投影面生成部３２に対して投影面の種類を通知し、投影面の生成処理を行わせ、投影面のサイズの調整も制御する（ステップＳ９０４）。
【００８０】
なお、各オブジェクト部分に対する、特徴点配置部３１、投影面生成部３２、投影中心点指定部３３、投影処理部３４による一連の投影処理は、それぞれ実施形態１と同様に行われる（ステップＳ９０５）。
【００８１】
以上より、本実施形態２のテクスチャ画像生成装置は、対象となる３次元オブジェクトの形状が複雑な場合でも、各オブジェクト部分ごとに最適な投影処理を行うことができ、高品質かつ記憶容量の少ないテクスチャ画像の生成を行うことができる。
【００８２】
次に、投影中心点適正確認部３６の動作を説明する。
投影中心点適正確認部３６は、投影処理における投影中心点の選定が適切に行われた否かを確認するものである。
【００８３】
ここで言う投影中心点の適正について以下に説明する。図１０は、不適切な投影中心点の例である。図１０に示すように、面１００４と１００５の投影形成面１００４’と１００５’が重なるように、一部の投影形成面が投影面上で重なり合うため、正常な展開平面が得ることができないものとなっている。この場合には本発明の投影処理、展開処理によるテクスチャ画像生成を行うことができない。このような投影形成面の重なりがないことを投影中心点の適正と言う。
【００８４】
ただし、図１０の面１００４、１００５は３次元オブジェクトの真の外表面であり、本装置にはこの情報は与えられないため、投影形成面の重なりを直接判定することはできない。投影中心点適正確認部３６は、投影面の分割によって得られる外表面の推定結果と３次元オブジェクトの撮影画像の矛盾を特徴点の並びかた（時計回りもしくは反時計回り）を用いて間接的に判定することにより、投影中心点が適正か否かを確認する。具体的には、分割によって得られるすべての外表面に対して、その面を構成する特徴点が面を外側から見たときに時計回りに並んでいるか反時計回りに並んでいるかを判定し、その結果と撮影画像上で各面を３次元オブジェクトの外側から見た時の特徴点の並びかたが一致していれば、投影中心点は適正であると判断する。分割によって得られる外表面の外側方向として、投影面の外側方向を用いる。撮影画像上の各面の外側方向として、その面を構成する全部の特徴点が抽出された撮影画像の撮影方向を用いる。
【００８５】
投影面として円筒面が採用された例を説明する。実施形態１において説明したように、特徴点配置部３１により配置された３次元特徴点列を包含するように投影面生成部３２により投影面が生成されている。
【００８６】
投影中心点指定部３３は、まず、実施形態１で示した基準に従って投影中心点を指定する（ステップＳ１１０１）。つまり、入力データ中の投影中心データ、または、特徴点の重心計算、利用者による指定入力に従って指定する。
【００８７】
次に、実施形態１と同様、投影処理部３４は、指定した投影中心点から各特徴点に対して投影線を引いて投影面上の投影点を求め（ステップＳ１１０２）、投影点を頂点とする多角形で投影面である円筒面を隙間なく分割して多角形の面で埋めつくす（ステップＳ１１０３）。次に、展開部５０は、投影面である円筒面を平面に展開する（ステップＳ１１０４）。ここで、投影面である円筒面は図１に示したように可展面である側面と平面である上面と下面に展開される。
【００８８】
ここで、投影中心点適正確認部３６は、画像書き込み部６０による特徴点間の関係を基に３次元オブジェクトの各面の撮影画像を当てはめ・書き込み処理をモニタする（ステップＳ１１０５）。ここで、ステップＳ１１０４で得られた特徴点の並びかたと３次元オブジェクトの各面の撮影画像上での特徴点の並びかたが一致していれば、投影中心点が適切に選択されたことが確認できる（ステップＳ１１０６）。その後も同じ３次元オブジェクトと投影中心点を用いる限り正常な投影処理が保証される。
【００８９】
投影中心点の適正が確認できない場合は、投影中心点の選定をやり直すか、または特徴点を適切にグルーピングしてオブジェクト部分に分けて投影処理を実行すれば良い。
【００９０】
以上より、本実施形態２のテクスチャ画像生成装置は、投影処理において、対象となる３次元オブジェクトの形状と投影中心点の関係が適正なものであることを確認することができ、適切な投影処理を保証することができ、高品質かつ記憶容量の少ないテクスチャ画像の生成を行うことができる。
【００９１】
（実施形態３）
本実施形態３のテクスチャ画像生成装置は、実施形態１と同様、可展体面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成するものであるが、実施形態１のテクスチャ画像生成装置の投影部および分割部をさらに高性能化した投影部および分割部を備えたものである。
【００９２】
実施形態３のテクスチャ画像生成装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図１２は、実施形態３のテクスチャ画像生成装置の概略構成図を示している。図１２に示すように、本実施形態３の装置では、実施形態１の構成における投影部３０に代えて投影部３０ｂを備え、分割部４０に代えて分割部４０ａを備えている。投影部３０ｂは実施形態１の投影部３０の構成に加えてさらに、投影調整部３７を備えた構成となっている。投影部３０ｂの投影調整部３７を除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでここでの説明は省略し、投影部３０ｂを中心に説明する。また、分割部４０ａは展開境界線調整部４１と可展面展開境界線調整部４２を備えている。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００９３】
投影部３０ｂの投影調整部３７と分割部４０ａの展開境界線調整部４１は、投影面上への投影処理において可展面および平面をまたがる越境面が発生する場合に、可展面、平面の延長・縮退を実行して両者の展開境界線を調整し、投影形成面の境界稜線をもって展開境界線とするものである。
【００９４】
ここで、越境面について説明する。投影処理において、投影点列は投影面上に配置されているが、投影点が可展面上と平面上に形成されるので、投影形成面を形成する頂点となる投影点一部が可展面上に形成され、他の部分が平面上に形成されたような面（越境面と呼ぶ）が生じる場合がある。例えば、図１３ａに示すように投影面として円筒面が採用された例において、投影形成面１３０３は上面１３０１と可展面１３０２にまたがって形成された越境面となっている。このような場合に可展面、平面を調整し、展開境界線を調整することにより投影形成面の境界稜線をもって展開境界線とすることができれば、テクスチャ画像を貼り込む面が分断されることなく歪みも少ないものとすることができ、テクスチャ画像生成装置の性能を一層向上させることができる。
【００９５】
可展面、平面の延長・縮退調整、展開境界線の調整は以下のように行う。
第一番目の調整方式は、越境面を形成する特徴点の投影を調整してすべて可展面上に投影する可展面投影調整部３７ａおよび展開境界線調整部４１を備える方式である。図１３ａに示すように、越境面１３０３を形成する投影点のうち、可展面上にある投影点１３０５、１３０６を可展面境界投影点とし、平面上にある投影点１３０７を平面境界投影点とする。可展面投影調整部３７ａは、まず、図１３ｂに示す１３０２’のように可展面を延長する。さらに、投影中心点１３０４から平面境界投影点１３０７を通る投影線を延長し、可展面の延長面と交わる点を可展面調整投影点１３０７’として求める。この処理をすべての可展面と平面との境界面に沿って実行する。次に、分割処理において展開境界線調整部４１は、可展面の境界稜線を生成された可展面調整投影点を順に結ぶ線とし、平面の境界稜線を平面境界投影点を順に結ぶ線とすれば、図１３ｃに示すように、可展面と平面の展開境界線は投影形成面の境界稜線となり、一つの投影形成面が可展面と平面に分断されることがなくなる。このように、テクスチャ画像生成装置は、可展面投影調整部３７ａおよび展開境界線調整部４１を備えることによりテクスチャ画像生成の性能を一層向上させることができる。
【００９６】
第二番目の調整方式は、越境面を形成する特徴点の投影を調整してすべて平面上に投影する平面投影調整部３７ｂと展開境界線調整部４１を備える方式である。図１４ｂに示すように、越境面１３０３を形成する投影点のうち、可展面上にある投影点１３０５、１３０６を可展面境界投影点とし、平面上にある投影点１３０７を平面境界投影点とする。平面投影調整部３７ｂは、投影中心点１３０４から可展面境界投影点１３０５、１３０６を通る投影線を延長して平面の延長面と交わる点を平面調整投影点１３０５’、１３０６’として求める。この処理をすべての可展面と平面との境界面に沿って実行する。展開境界線調整部４１は、平面の境界稜線を生成された平面調整投影点を順に結ぶ線とし、可展面の境界稜線を可展面境界投影点を順に結ぶ線とすれば、図１４ｃに示すように、可展面と平面の境界線は投影形成面の境界稜線となり、一つの投影形成面が可展面と平面に分断されることがなくなる。このように、テクスチャ画像生成装置は、平面投影調整部３７ｂおよび展開境界線調整部４１を備えることによりテクスチャ画像生成の性能を一層向上させることができる。
【００９７】
第三番目の調整方式は、投影面が可展面同士の境界を持つ場合における越境面を形成する特徴点の投影を調整してすべて一方の可展面上に投影する方式である。可展面投影調整部３７ｃと展開境界線調整部４１を備える方式である。基本的な考え方は上記の第一番目の調整方式、第二番目の調整方式と同様であるのでここでは、説明を省略する。
【００９８】
次に、可展面展開境界線調整部４２は、可展面の展開にあたり可展面の一部を切断処理する際に、可展面上の投影形成面の境界稜線に沿って切断するものである。図１５ａに示すように、投影形成面１５０１、１５０２は、デフォルトとして与えられている可展面の展開境界線１５００をまたがって形成されている。可展面展開境界線調整部４２は図１５ｂに示すように、可展面展開境界線１５００を左右に調整して投影形成面の境界稜線もって新たな可展面境界稜線１５００’とする。この可展面展開境界調整をすべての可展面展開境界に沿って行うことにより、可展面の展開処理において一つの投影形成面が左右に分断されることがなくなる。
【００９９】
以上のように、実施形態３のテクスチャ画像生成装置は、可展面展開境界線調整部４２を備えることによりテクスチャ画像生成の性能を一層向上させることができる。
【０１００】
（実施形態４）
実施形態４のテクスチャ画像生成装置は、実施形態１と同様、可展面および平面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成するものであるが、実施形態１のテクスチャ画像生成装置の画像書き込み部６０をさらに高性能化した画像書き込み部６０ａを備えたものである。
【０１０１】
図１６は、実施形態４のテクスチャ画像生成装置の概略構成図を示している。図１６に示すように、本実施形態４の装置では、実施形態１の構成における画像書き込み部６０に代えて画像書き込み部６０ａを備えている。画像書き込み部６０ａは実施形態１の画像書き込み部６０の構成に加えてさらに、撮影画像選択部６１とアフィン変換部６２を備えた構成となっている。画像書き込み部６０ａの撮影画像選択部６１とアフィン変換部６２を除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでここでの説明は省略し、撮影画像選択部６１とアフィン変換部６２を中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【０１０２】
撮影画像選択部６１とアフィン変換部６２は、画像書き込み処理において、撮影画像のテクスチャの展開平面への当てはめ・書き込みにおける両者の歪みの調整を行うものである。
【０１０３】
まず、撮影画像選択部６１の備える第一番目の調整方式は、撮影画像上の各面は多方向から撮影されているので当てはめる面の形状ともっとも近い形状で撮影されている撮影画像のテクスチャを当てはめる撮影画像として選択することである。この撮影画像の選択により当てはめる撮影画像のテクスチャデータとして、もっとも歪みの少ないデータを選択することができ、テクスチャ画像生成の性能を一層向上させることができる。
【０１０４】
撮影画像選択部６１の備える第二番目の調整方式は、撮影画像上の各面は多方向から撮影されているので当てはめる面をもっとも近い視点から撮影した撮影画像のテクスチャを当てはめる撮影画像として選択することである。この撮影画像の選択により当てはめる撮影画像のテクスチャデータとして、もっとも歪みの少ないデータを選択することができ、テクスチャ画像生成の性能を一層向上させることができる。
【０１０５】
次に、アフィン変換部６２は、撮影画像のテクスチャデータをアフィン変換することにより書き込む面の形状に変形して歪みを調整する。投影面上に形成された投影形成面は、元の３次元オブジェクトを投影面に投影して形成されたために元の３次元オブジェクトの外表面とは多少歪んだ形状となっている。そこで、面の当てはめ・テクスチャの書き込みに先立ち、アフィン変換部６２により撮影画像のテクスチャデータの形状を調整することが好ましい。ここで、アフィン変換とは、座標の一次式で表わされる変換であり、画像の拡大、縮小、平行移動、回転などによって画像の形状を変化させる変換をいう。
【０１０６】
アフィン変換部６２の処理の流れを以下に説明する。
まず、アフィン変換の係数を決定する（図１７ステップＳ１７０１）。つまり、撮影画像上の特徴点の座標と、展開平面上に投影された対応する特徴点の投影点の座標から両者を一致させるアフィン変換の係数を求める。
【０１０７】
投影により発生した形状の歪みを調整した画像を生成するためにはテクスチャ画像として生成する面の各画素値として、撮影画像上の対応する画素値をアフィン変換して対応する座標に書き込めば良い。まず、テクスチャ画像の注目する面の注目する画素、例えばＸＹ座標において一番ＸＹ座標値が小さい左下の画素を注目画素として指定する（ステップＳ１７０２）。
【０１０８】
その注目画素の位置に対する撮影画像上の画素の位置をアフィン変換により決定する（ステップＳ１７０３）。
ステップＳ１７０３により求めた位置の撮影画像の画素値を読み取り、テクスチャ画像上の注目画素の画素値として書き込む（ステップＳ１７０４）。
【０１０９】
このステップＳ１７０２〜ステップＳ１７０４をすべての画素に対して実行する。つまり、ステップＳ１７０２において注目した注目画素の指定をＸ方向Ｙ方向に走査するように移動して行くことにより次々と注目画素を指定し、その注目画素に対してステップＳ１７０３〜ステップＳ１７０４により対応する画素値を書き込んで行く。
【０１１０】
以上、実施形態４のテクスチャ画像生成装置は、画像選択部６１を備えるにより、入力画像のうち、書き込む面の画像としてもっとも歪みの少ない画像を選択することができ、さらにアフィン変換部６２を備えることにより、投影により発生した形状の歪みを調整して正しく面の当てはめ・書き込みが実行でき、テクスチャ画像生成の性能を一層向上させることができる。
【０１１１】
（実施形態５）
本発明のテクスチャ画像生成装置は、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のテクスチャ画像生成装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１８に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【０１１２】
【発明の効果】
本発明のテクスチャ画像生成装置によれば、可展面および平面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成することができ、高品質かつ記憶容量の少ないテクスチャ画像を生成することができる。
【０１１３】
また、本発明のテクスチャ画像生成装置によれば、３次元オブジェクトの形状に応じた適切な投影面を選定することができ、３次元オブジェクトが複雑な場合でもオブジェクト部分ごとに投影面を最適化して選定することができる。
【０１１４】
また、本発明のテクスチャ画像生成装置によれば、投影処理における投影中心点が適正かどうかを確認することができ、適正なテクスチャ画像が生成できる。また、本発明のテクスチャ画像生成装置によれば、投影面が可展面、平面の組み合わせである場合に、展開処理における展開境界線を投影形成面の境界稜線とすることができ、投影形成面を分断することがなく、歪みの少ないテクスチャ画像が得られる。
【０１１５】
また、本発明のテクスチャ画像生成装置によれば、展開平面への画像書き込みにおいて最も歪みの少ない画像を選択することができ、また、アフィン変換により形状の歪みを調整して画像を書き込むことができ、テクスチャ画像の品質を向上することができる。
【図面の簡単な説明】
【図１】 円筒面の展開例を示す図
【図２】 可展面の組み合わせの例を示す図
【図３】 投影面を利用した投影処理の概念を示す図
【図４】 本発明のテクスチャ画像生成装置におけるテクスチャ画像生成の基本的な流れを示す図
【図５】 本発明の実施形態１のテクスチャ画像生成装置の概略構成図
【図６】 本発明の実施形態１のテクスチャ画像生成装置が扱うデータ構造例
【図７】 凸包の形成を説明する図
【図８】 本発明の実施形態２のテクスチャ画像生成装置の概略構成図
【図９】 オブジェクト部分それぞれに投影面を割り当てる処理を示すフローチャート
【図１０】 不適切な投影中心点の例を示す図
【図１１】 本発明の実施形態２の投影中心点適正確認部３６による投影中心点が適正が否かを確認する処理ステップを示したフローチャート
【図１２】 本発明の実施形態３のテクスチャ画像生成装置の概略構成図
【図１３】 本発明の実施形態３の可展面投影調整部３７ａ、平面投影調整部３７ｂによる投影調整を説明する図
【図１４】 本発明の実施形態３の可展面投影調整部３７ｃによる投影調整を説明する図
【図１５】 本発明の実施形態３の可展面展開境界線調整部４２による展開境界線の調整を説明する図
【図１６】 本発明の実施形態４のテクスチャ画像生成装置の概略構成図
【図１７】 本発明の実施形態４のアフィン変換部６２の処理ステップを示したフローチャート
【図１８】 記録媒体の例
【図１９】 従来のテクスチャ画像生成処理ステップを示したフローチャート
【図２０】 従来の特徴点に基づく３次元画像データ生成の概念を示す図
【図２１】 従来のコンピュータ画面上での３次元画像再生処理ステップを示したフローチャート
【図２２】 従来の各面ごとに貼るテクスチャ画像を平面上に配置して記憶する方式を説明する図
【符号の説明】
１０ 入力部
２０ 特徴点抽出部
２１ 特徴点指定部
３０，３０ａ，３０ｂ 投影部
３１ 特徴点配置部
３２ 投影面生成部
３３ 投影中心点指定部
３４ 投影処理部
３５ 投影面調整部
３６ 投影中心点適正確認部
３７，３７ａ 投影調整部
４０，４０ａ 分割部
４１ 展開境界線調整部
４２ 可展面展開境界線調整部
５０ 展開部
６０，６０ａ 画像書き込み部
６１ 撮影画像選択部
６２ アフィン変換部
７０ 出力部
１００ データ
１０１ 画像情報領域
１０２ 特徴点情報領域
１０３ 投影情報領域
１０４ 投影面情報領域
１０５ その他情報領域
１０６ ヘッダ
２００ 回線先のハードディスク等の記録媒体
２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２ ＣＤ−ＲＯＭ
２０３ フレキシブルディスク
２０４ コンピュータ
２０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、テクスチャ画像生成装置に関する。特に、特徴点対応に基づく３次元形状復元処理を用いた任意視点の画像表示方式において、高品質かつ記憶容量が少なくて済むテクスチャ画像を自動生成できるテクスチャ画像生成装置に関する。
【０００２】
【従来の技術】
近年のコンピュータシステムの高性能化、マルチメディア処理技術の発達により、パーソナルコンピュータ等においても高度な３次元コンピュータグラフィックス（以下、ＣＧと略記する）が処理できる環境が整いつつある。３次元ＣＧ技術を利用した電子ショッピング、電子博物館など、物体をコンピュータ画面上に現実感をもって再現するシステムの構築において、実在する物体を如何に効率良くコンピュータ上の３次元画像データとして取り込むかが重要な課題となっている。
【０００３】
３次元物体をコンピュータに取り込むためのデータ生成の手法として最も簡単な方式は、３次元物体を幾つかの視点から撮影した２次元画像データを生成して用意しておき、再現時には利用者の視点に応じて最も近い視点から撮影した２次元画像をディスプレイに表示する方式である。しかし、この方式によれば、撮影した視点以外からの視点による３次元物体の画像を表示できないという問題があった。また、あくまでも２次元画像であるので、３次元ＣＧデータとして生成されている他の３次元物体との画像合成が実行しにくいという問題もあった。そこで、取り込んだ３次元物体を任意の視点から表示可能とするためには、物体を複数の視点から撮影した２次元画像データに基づいて物体の３次元形状を３次元画像データとして復元し、任意視点に対する３次元形状の投影画像を生成して表示することが必要となる。
【０００４】
ここで、撮影した２次元画像データから物体の３次元形状を３次元画像データとして復元する方式として幾つか提案されているが、代表的な方式として、特徴点に基づく方式がある。この方式による３次元画像データの生成処理は、図１９のフローチャートに示すように以下の処理ステップから構成される。また、図２０に従来の特徴点に基づく３次元画像データ生成の概念を示す。
【０００５】
まず、撮影画像を読み込み、特徴点を抽出する（ステップＳ１９０１）。この特徴点の抽出にあたり、撮影した２次元画像の中で明度が変化している箇所を選んで特徴点とすることが好ましい。この抽出処理は、明度の変化を調べることによりコンピュータで自動的に特徴点を抽出することにより実行しても良く、人手で指定することにより実行しても良い。この様子を図２０に示す。この例では図２０（ａ）の撮影画像から図２０（ｂ）に示した４つの特徴点が抽出された。
【０００６】
次に、撮影画像間で、抽出した特徴点同士の対応付けを行う（ステップＳ１９０２）。この特徴点同士の対応付けにあたっては、撮影画像の撮影位置関係、画像の類似性、抽出特徴点間の位置関係を利用すれば、コンピュータで自動的に処理することが可能である。また、人手で指定することにより実行しても良い。図２０の例では、図２０（ｃ）のように各特徴点１〜特徴点４の対応付けが行われた。
【０００７】
次に、特徴点の対応関係からステレオ計測の原理により各特徴点の３次元座標を求める（ステップＳ１９０３）。この処理により、各特徴点は３次元空間内の一点として表現される。
【０００８】
次に、３次元空間内に表現された各特徴点間に対して面を割り当て、多面体を形成する（ステップＳ１９０４）。ここで、面を形成する特徴点の組み合わせは任意の組み合わせではなく、再生物体の外表面を形成するように選択されなければならない。図２０の例では、図２０（ｄ）のように面が割り当てられ、４面体が形成された。
【０００９】
次に、各面のテクスチャを生成する（ステップＳ１９０５）。テクスチャの生成にあたっては、撮影画像の模様を参照すれば各面に貼るテクスチャが計算できる。
【００１０】
以上のステップＳ１９０１〜ステップＳ１９０５に示した処理により、撮影画像から３次元画像データが生成できる。図２０の例では、図２０（ｅ）に示すように元の３次元物体の３次元画像データが生成できる。
【００１１】
一方、生成した３次元画像データを用いた３次元物体のコンピュータ画面上での再生処理は、図２１のフローチャートに示すように以下の処理ステップから構成される。
【００１２】
まず、利用者の物体に対する視点の位置を指定する。つまり、物体に対する視点の方向と距離が指定される（ステップＳ２１０１）。
次に、指定された物体に対する視点の方向と距離に応じた投影面に対する各特徴点の投影面上の位置を計算し、投影画像を得る（ステップＳ２１０２）。この段階では、まだテクスチャマッピング処理は行われていない。
【００１３】
次に、投影画像の各面に対してテクスチャを貼り込む（ステップＳ２１０３）。ここで、テクスチャの貼り込みにあたっては、投影された各面の大きさ、形、方向を計算してテクスチャを調整して貼り込む。
【００１４】
最後に、ライティング、トレーシング、シェーディングなど必要な特殊効果処理を施した後、コンピュータ画面上への表示が行われる（ステップＳ２１０４）。
【００１５】
以上のステップＳ２１０１〜ステップＳ２１０４に示した処理により、生成した３次元画像データを用いてコンピュータ画面上へ３次元物体の任意の視点における画像が表示できる。
【００１６】
【発明が解決しようとする課題】
３次元画像として取り込む物体は、その形状、模様も複雑なものが多く、また、一層優れた仮想現実を実現するために高精細なデータが要求される。この場合、必要とされるデータ容量が膨大なものとなるので、３次元画像データの記憶容量の低減が重要な課題となる。また、３次元画像の再生は、記録媒体やネットワークを介して時間的にも空間的にも離れた場所で行う必要があり、回線費用の低減や転送時間の短縮のために、一層のデータ容量の削減が求められている。
【００１７】
ここで、特徴点とその接続関係は、ＸＹＺ値および特徴点の対応番号のデータセットで表現されるので、通常、テクスチャに関するデータ量と比べ、特徴点に関するデータ量は十分小さいものである。従って、３次元画像データのデータ量の削減は、テクスチャに関するデータ量を如何に削減するかという点が重要な課題となる。
【００１８】
以下に挙げる２つの従来のテクスチャ画像生成処理方式には、それぞれデータ量低減の観点からは問題点を有するものであった。
第一番目のテクスチャ画像生成処理方式としては、３次元画像データ生成時には、テクスチャデータを３次元形状に貼り込んだ形の３次元物体としては復元せずに、撮影された画像データをそのまま記憶し、表示処理時に指定された視点に応じて各面に貼るテクスチャを生成する方式がある。この方式によれば、指定された視点に近い視点から撮影された画像データを用いて動的にテクスチャデータを生成すれば良いが、あらゆる視点から撮影した画像データが必要となり、テクスチャ処理に必要となる画像データは膨大な容量となる問題が発生する。
【００１９】
第二番目のテクスチャ画像生成処理方式としては、各面ごとにその面に貼るテクスチャをそのまま画像（テクスチャ画像）として記憶する方式がある。これは、図２２に示すように、多面体を形成する各面を切り離して平面上に配置しておき、その上に撮影画像の模様を描き込んで記憶するものである。しかし、このテクスチャ処理方式によれば、テクスチャ関連のデータとして保持するデータの中に無駄な部分が多く含まれ、余分な記憶容量が必要になってしまう問題があった。つまり、一般に多面体を平面に展開すると、図２２に示したように面と面の間に無駄な隙間が多く発生してしまう。この隙間を埋めるように面を配置することは容易ではなく、また、画像の品質向上のために面の総数を増やすにつれて生じる隙間が増加し、無駄な記憶容量がさらに増加する問題が発生する。
【００２０】
ここで、隙間を埋めるために、面の形を適宜に変形させることは可能であるが、画像は画素を単位とする２次元配列データとして表現されるため、面の形が元の形から歪むにつれ、画素を単位とする量子化誤差の影響が大きくなり、再生画像の品質が劣化するという問題が生じる。
【００２１】
本発明は、上記従来のテクスチャ画像生成処理方式の問題点に鑑み、特徴点対応に基づく３次元オブジェクト復元処理を用いた任意視点の画像表示処理に用いるテクスチャ画像データであって、高品質かつ記憶容量の少ないテクスチャ画像データを自動生成するテクスチャ画像生成装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記課題を解決するために本発明のテクスチャ画像生成装置は、入力部と、投影部と、分割部と、展開部と、画像書き込み部とを備え、前記入力部は、３次元オブジェクトの特徴点のデータと外表面の２次元撮影画像データの入力を受け付け、前記投影部は、前記入力された３次元オブジェクトの特徴点を、可展体面である既知形状面であって前記特徴点を包含する投影面に投影して投影点を求め、前記分割部は、前記投影面を前記特徴点の投影点により小面に分割し、前記展開部は、前記投影面を平面に展開して前記小面からなる展開平面を生成し、前記画像書き込み部は、前記展開平面上の各小面に対して、対応する特徴点が撮影された前記３次元オブジェクトの外表面の撮影画像を書き込むことによりテクスチャ画像を生成することを特徴とする。
【００２３】
この構成により、３次元オブジェクトの特徴点を可展体面である既知形状面の投影面に投影して平面に展開することができ、前記展開平面への撮影画像データの書き込みにより効率の良いテクスチャ画像の生成を行うことができる。
【００２４】
次に、前記投影部は投影面調整部を備え、前記投影面調整部が、前記投影部が生成する投影面の種類とサイズを、前記特徴点により形成される３次元オブジェクトの形状に合わせるように調整することにより、前記投影面の形状と前記特徴点により形成される３次元オブジェクトとの形状の歪みを最小化することが好ましい。
【００２５】
この構成により、投影面の種類とサイズを特徴点により形成される３次元オブジェクトの形状に合わせることができるため、投影により生じる投影面上に形成される投影形成面と元の３次元オブジェクトの外表面との歪みを最小化することができ、テクスチャ画像の品質を向上することができる。
【００２６】
次に、前記投影部は投影中心点適正確認部を備え、前記投影中心点適正確認部により、前記画像書き込み部による前記展開平面上の各小面への前記３次元オブジェクトの外表面の撮影画像の書き込みをモニタし、前記展開平面上の各小面と、対応する特徴点が撮影された撮影画像との対応が正しく得られているか確認することができることが好ましい。
【００２７】
この構成により、３次元オブジェクトの特徴点の既知形状面への投影にあたり、形成される投影面上において３次元オブジェクトの各面が重ならないことが保証でき、３次元オブジェクトのすべての面を平面上に展開することができる。
【００２８】
なお、投影中心点として、３次元オブジェクトの重心点、原点などあらかじめ定められた点などを採用することができ、投影中心点適正確認部により投影中心点の適正が確認できない場合は、投影中心点の選定をやり直す。
【００２９】
次に、前記投影部が投影中心点の指定を入力する投影中心点指定部を備え、前記投影中心点指定部からの指定に基づいて前記投影中心点を定めることが好ましい。
【００３０】
この構成により、投影中心点の指定を装置利用者が行なうことができ、状況に応じてテクスチャ画像生成装置の処理をチューニングすることができる。
次に、前記３次元オブジェクトの特徴点をグループに分ける特徴点グループ情報が付され、前記投影部が、前記特徴点グループ情報に従い、それぞれの特徴点のグループに対してそれぞれ投影処理を行うことが好ましい。
【００３１】
この構成により、復元される３次元オブジェクトの形状が複雑な場合に、各部分の形状が処理しやすいようなオブジェクト部分に分けて投影処理することができ、テクスチャ画像の品質を向上させることができる。
【００３２】
次に、前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の可展面および平面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが可展面上に投影されるように可展面を調整する可展面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記可展面上にある投影点を可展面境界投影点とし、前記平面上にある投影点を平面境界投影点とし、前記可展面投影調整部は、前記投影中心点から前記平面境界投影点を通る投影線を延長して前記可展面の延長面と交わる点を可展面調整投影点として求め、前記分割部は、前記可展面の境界稜線を前記可展面境界投影点と前記可展面調整投影点とを順に結ぶ線とし、前記平面の境界稜線を前記平面境界投影点を順に結ぶ線として前記可展面と平面を分割することが好ましい。
【００３３】
この構成により、既知形状面上に投影された３次元オブジェクトの各面が可展面と平面にまたがって形成されることがなく、可展面と平面の境界稜線を投影形成面間の境界稜線とすることができ、歪みの少ないテクスチャ画像を得ることができる。
【００３４】
次に、前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の可展面および平面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが平面上に投影されるように平面を調整する平面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記可展面上にある投影点を可展面境界投影点とし、前記平面上にある投影点を平面境界投影点とし、前記平面投影調整部は、前記投影中心点から前記可展面境界投影点を通る投影線を延長して前記平面の延長面と交わる点を平面調整投影点として求め、前記分割部は、前記平面の境界稜線を前記平面境界投影点と前記平面調整投影点とを順に結ぶ線とし、前記可展面の境界稜線を前記可展面境界投影点を順に結ぶ線として前記可展面と平面を分割することが好ましい。
【００３５】
この構成により、既知形状面上に投影された３次元オブジェクトの各面が可展面と平面にまたがって形成されることがなく、可展面と平面の境界稜線を投影形成面間の境界稜線とすることができ、歪みの少ないテクスチャ画像を得ることができる。
【００３６】
次に、前記投影部は、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の第一の可展面と第二の可展面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが前記第一の可展面上に投影されるように可展面を調整する可展面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記一の可展面上にある投影点を第一の可展面境界投影点とし、前記第二の可展面上にある投影点を第二の可展面境界投影点とし、前記可展面投影調整部は、前記投影中心点から前記第二の可展面境界投影点を通る投影線を延長して前記第一の可展面の延長面と交わる点を可展面調整投影点として求め、前記分割部は、前記第一の可展面の境界稜線を前記第一の可展面境界投影点と前記可展面調整投影点とを順に結ぶ線とし、前記第二の可展面の境界稜線を前記第二の可展面境界投影点を順に結ぶ線として前記第一の可展面と第二の可展面を分割することが好ましい。
【００３７】
この構成により、既知形状面上に投影された３次元オブジェクトの各面が２つの可展面間にまたがって形成されることがなく、第一の可展面と第二の可展面の境界稜線を投影形成面間の境界稜線とすることができ、歪みの少ないテクスチャ画像を得ることができる。
【００３８】
次に、前記展開部は、前記可展面の平面への展開処理において、特徴点の投影点を結ぶ稜線に沿って切断・展開することが好ましい。
この構成により、可展面の切断・展開処理において、投影された特徴点により形成される面が途中から切断されてしまうことがなく、投影形成面間の稜線をもって切断することができ、歪みの少ないテクスチャ画像を得ることができる。
【００３９】
次に、前記分割部は、前記投影面の分割処理において、前記特徴点の投影点を頂点とする凸包を生成し、前記凸包を構成する小面をもって前記投影面を分割した小面と近似して扱うことが好ましい。
【００４０】
この構成により、特徴点の投影点を頂点とする凸包をもって投影面と近似して平面に展開することができ、効率良く、かつ、データ容量の無駄の少ないテクスチャ画像を生成することができる。
【００４１】
次に、前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータとして、書き込む小面の面積が最も大きく撮影されている画像データを用いることが好ましい。
【００４２】
この構成により、実物の３次元オブジェクト外表面のテクスチャに最も近いテクスチャ画像を生成することができる。
次に、前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータとして、書き込む小面を最も近い視点から撮影した画像データを用いることが好ましい。
【００４３】
この構成により、指定の視点から見た場合の３次元オブジェクト外表面のテクスチャに最も近いテクスチャ画像を生成することができる。
次に、前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータの形状を、展開平面上の対応する小面の形状に合うようにアフィン変換して書き込むことが好ましい。
【００４４】
この構成により、可展面および平面からなる既知形状への投影処理において実際の３次元オブジェクトの面とその投影形成面との形状の歪みを調整することができ、生成されるテクスチャ画像の歪みも矯正することができる。
【００４５】
次に、本発明のテクスチャ画像生成装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、３次元オブジェクトの特徴点のデータと外表面の撮影画像データの入力を受け付ける入力処理ステップと、前記入力された３次元オブジェクトの特徴点を、可展体面である既知形状面であって前記特徴点を包含する投影面に投影して投影点を求める投影処理ステップと、前記投影処理ステップにより投影した投影面を前記特徴点の投影点により小面に分割する分割処理ステップと、前記投影面を平面に展開して前記小面からなる展開平面を生成する展開処理ステップと、前記展開平面上の各小面に対して、対応する特徴点が撮影された前記３次元オブジェクトの外表面の撮影画像を書き込む画像書き込み処理ステップとを備え、テクスチャ画像を生成することを特徴とする処理プログラムを記録したことを特徴とする。
【００４６】
この処理プログラムをコンピュータに読み取らせることより、コンピュータを利用して、３次元オブジェクトの特徴点を可展体面である既知形状面の投影面に投影して平面に展開することができ、前記展開平面への撮影画像データの書き込みにより効率の良いテクスチャ画像の生成を行うテクスチャ画像生成装置を構成することができる。
【００４７】
【発明の実施の形態】
本発明のテクスチャ画像生成装置について図面を参照しつつ説明する。
まず始めに、本発明のテクスチャ画像生成装置の処理方式の基本的な考え方を以下に説明する。
【００４８】
従来技術の説明において記述したように、テクスチャ画像は、３次元オブジェクトの外表面の展開面に対して３次元オブジェクトの外表面を撮影して得たテクスチャデータを描き込んだものであるので、展開平面間の隙間が少ない方がデータ容量は小さくて済む。いま、３次元オブジェクトの形状が既知であれば、画像データ生成処理において事前に３次元オブジェクトの平面への展開方法を検討して展開平面間の隙間が少なくなるように最適化しておくことが可能となる。
【００４９】
例えば、３次元オブジェクトの形状が円筒体であるとすると、平面への展開は、図１に示すように、上面、側面、下面の３つの部分に切り離すだけで済む。この展開平面にテクスチャ画像を書き込めば高品質で記憶容量が少なくて済むテクスチャ画像とすることができる。この性質は、展開対象となった円筒体である３次元オブジェクトの形状が、可展体であったことに起因している。このように、３次元オブジェクトの形状が既知の可展体面であれば、所定の手順で展開した展開平面間の隙間が少なくなるので高品質かつ記憶容量の少ないテクスチャ画像とすることができる。
【００５０】
ここで、可展面とは、一般に狭義には平面に展開可能な曲面を指す。例えば、円筒体の外表面は可展面である側面と平面である上面および下面の組み合わせである。本発明で言う「可展体」とは、その外表面が可展面同士の組み合わせ、または、可展面と平面の組み合わせであり適切に平面に展開できるものをいう。つまり、展開処理による面間の切断境界線は可展面同士の間、または可展面と平面との間のみ生じ、平面同士の間には生じないものを言う。「可展体面」とは、可展体を形成する面をいい、後述する投影処理においては投影面となる可展体の外表面をいう。
【００５１】
本発明の可展体の例としては、図２に示すように、上記の円筒体に加え、柱体、錐体、台錐体がある。ここで、柱体には円柱体、楕円柱体などが含まれ、錐体には円錐体、楕円錐体などが含まれ、台錐体には台円錐体などが含まれる。また、可展面同士の組み合わせからなる可展体としては、２つの錐体を組み合わせたもの、球体などがある。なお、球体面は厳密には可展面ではないが、展開平面と球面の一対一の対応に注目すれば、球面を緯度と経度に着目して方形の平面に展開することが可能である。しかし、方形に展開したときに投影面上の形は大きく歪むことが予想されるので、球面を投影面として採用することはかならずしも好ましいとは言えない。
【００５２】
ところで、画像処理で扱う３次元オブジェクトは一般には複雑な形状が多く、上記のような可展体とはなっていない。そこで、３次元オブジェクトを上記の可展体面からなる既知形状の中に入れ、その既知形状を投影面として、図３に示すように内部の投影中心点から３次元オブジェクトを投影面に投影し、その投影面を扱うことを考える。
【００５３】
図３において、３０１は投影面であり、可展面及び平面の組み合わせである円筒体面である。３０２は投影中心点、３０３は投影される３次元オブジェクト、３０４は３次元オブジェクト外表面のうちの注目する一つの面である。投影処理は、まず投影中心点３０２から３次元オブジェクト３０３の各特徴点に向けて半直線が引かれる。これら半直線をそのまま投影面３０１まで延長し、投影面３０１上の投影点を求める。それぞれの特徴点に対するそれぞれの投影点が得られ、３次元オブジェクトの面３０４に対する投影面３０１上に投影された面３０４’が得られる。このように、３次元オブジェクト３０３のすべての特徴点を投影面３０１上に投影すれば、展開すべき元の３次元オブジェクトの特徴点に対応する投影点が得られる。ここで、投影面をそれら投影点を頂点とする各面（投影形成面）の集合とみると、３次元オブジェクトは投影処理の結果、可展体面である投影面３０１の形状を持つ物体として表現できる。投影面３０１は、図１に示したように平面に展開でき、展開平面は余分な隙間がないものとなるので、この展開平面に対して撮影画像のテクスチャを描き込んで作成したテクスチャ画像をもって３次元オブジェクトに対するテクスチャ画像とすれば、３次元オブジェクトのテクスチャ画像は、高品質かつ記憶容量の少ないものとすることができる。
【００５４】
３次元オブジェクトの形状は一般には未知であり、その各外表面もテクスチャ画像と合わせて３次元特徴点から推定（もしくは算出）する必要がある。上述したように、３次元オブジェクトは投影処理の結果、投影点を頂点とする物体として表現されるので、逆に投影面を投影点を頂点とする小面に分割し、各小面を構成する投影点に対応する特徴点の組みを３次元オブジェクトの外表面とみなすことで、外表面の推定を行うことができる。これにより、テクスチャ画像と対応する外表面が得られる。
【００５５】
以上、本発明のテクスチャ画像生成装置におけるテクスチャ画像生成の基本的な流れをまとめると、図４に示すように、３次元オブジェクト（ステップＳ４０１）の画像データから、３次元オブジェクト形状の特徴点の３次元点列での表現（ステップＳ４０２）とし、投影処理により投影面上での投影点列での表現（ステップＳ４０３）とし、投影点列を基に面を形成して投影面上の投影形成面での表現（ステップＳ４０４）とし、展開処理により展開平面上の投影形成面での表現（ステップＳ４０５）とし、最後に撮影画像を投影面に当てはめ、テクスチャ画像（ステップＳ４０６）として生成する。
【００５６】
上記のように、可展体面からなる既知形状である投影面への投影を利用したテクスチャ画像の生成処理ができるテクスチャ画像生成装置を実現すれば、高品質かつ記憶容量の少ないテクスチャ画像を生成できる。
【００５７】
以上に示した本発明における基本的な処理方式を実現した実施形態１のテクスチャ画像生成装置を以下に示す。
本実施形態１のテクスチャ画像生成装置の全体構成の概略と本装置による処理流れの全体像を図面を参照しつつ説明する。図５は、本装置の概略構成図を示している。図６は本装置が扱うデータ構造例を示している。
【００５８】
図５に示すように、本実施形態１のテクスチャ画像生成装置は、大別して入力部１０、特徴点抽出部２０、投影部３０、分割部４０、展開部５０、画像書き込み部６０、出力部７０を備えている。なお、図示していないが、システム全体の制御処理に必要な制御部、メモリ、モニタ、デバイス類は装備しているものとする。
【００５９】
以下に、各部の動作を順を追って説明する。
入力部１０によるデータ入力処理を説明する。図６ａに本発明のテクスチャ画像生成装置の扱うデータ構造例を示す。データ１００は、画像情報領域１０１、特徴点情報領域１０２、投影情報領域１０３、投影面情報領域１０４、その他情報領域１０５およびヘッダ１０６を備えている。
【００６０】
データ１００の構造におけるそれぞれの領域には、図６ｂに示したようなデータが与えられる。図６ｂに示すように、入力データは、必須の情報として撮影画像情報を備え、任意の情報として特徴点３次元座標情報、特徴点グループ情報、投影中心情報、投影面情報を備えている。ここで、特徴点グループ情報とは、特徴点の集合を複数の小グループに分ける情報であり、それぞれの特徴点の小グループごとに適切な投影面と投影中心点を個別に選択して投影処理する場合に利用する情報である。この特徴点グループ情報を利用して特徴点小グループごとに適切な投影面と投影中心点を個別に選択して投影処理するものは実施形態２として後述する。
【００６１】
次に、特徴点抽出部２０による特徴点抽出処理を説明する。
特徴点抽出部２０は、入力データの特徴点情報として特徴点３次元座標情報が与えられている場合には、その特徴点３次元座標情報をもって特徴点とし、投影部３０に渡す。特徴点３次元座標情報が与えられていない場合には、撮影画像情報から明るさが変化している箇所を検出し、その点を特徴点として自動的に抽出し、ステレオ計測の原理から３次元オブジェクトの特徴点を座標空間上の３次元点列として計算する。
【００６２】
特徴点抽出部２０は、撮影画像の状態によっては画像の明るさの変化による特徴点の抽出が困難な場合もあることに鑑み、特徴点指定部２１を備えることが好ましい。装置利用者は、特徴点指定部２１を介して自ら必要に応じて特徴点の指定を行うことができ、特徴点抽出処理をチューニングできることが好ましい。
【００６３】
次に、投影部３０による投影処理を説明する。図５に示すように投影部３０は、特徴点配置部３１、投影面生成部３２、投影中心点指定部３３、投影処理部３４を備えている。
【００６４】
特徴点配置部３１は、特徴点抽出部２０の特徴点抽出処理で得られた特徴点データをもとに３次元座標空間上に配置する。
投影面生成部３２は、入力データ１００中に投影面情報が与えられている場合は、その指定に従った種類の投影面を選択し、また投影面情報がない場合はデフォルトとして特定の投影面、ここでは円筒面を選択する。選択した種類の投影面をもって特徴点配置部３１の配した特徴点をすべて含むように投影面を生成する。
【００６５】
投影中心点指定部３３は、入力データ１００中に投影中心情報が与えられている場合は投影中心情報に従って投影処理における投影中心点を決定し、また、投影中心情報が与えられていない場合はデフォルトとして特定の投影中心点の計算、ここでは特徴点列の重心を計算して指定する。
【００６６】
投影処理部３４は、特徴点の投影処理を実行する。投影中心点から各特徴点に向けて投影線が引かれ、その投影線を投影面まで延長し、投影面との交点を特徴点の投影点とする。
【００６７】
次に、分割部４０による分割処理を説明する。分割部４０は、投影部３０により投影処理された投影面を、投影面上に形成されている特徴点の投影点を基に分割する。つまり、投影面上で投影点を頂点とした小面を形成して行き、その形成された小面により投影面全体を埋めることにより分割する。
【００６８】
分割部４０による上記の投影面の分割処理は、投影面上に形成されている投影点の３次元点列の凸包を求めることによっても近似的に実現できる。ここで、３次元点列の凸包とは、図７に示すように、３次元点列を空間上に配してそれらすべてを内側に含む巨大なゴム風船をできる限り縮小して得られる形状のことである。例えば円筒面など凸形状の面上に分布している点列の凸包は、点の数がある程度あれば円筒面にほぼ近似でき、円筒面を多角形の面によって分割したものと言えるからである。
【００６９】
次に、展開部５０による展開処理を説明する。展開部５０は投影面を事前に最適化された平面に展開する。ここで、投影面は可展体面であるので、それぞれ隙間なく展開することができることとなる。投影面が円筒面の場合は、可展面である側面、平面である上面、下面により構成されているので図１に示したように展開が可能である。展開された平面上において、３次元オブジェクトのそれぞれの特徴点に対応する投影点の位置が決まることとなる。
【００７０】
次に、画像書き込み部６０により撮影画像のテクスチャを当てはめ、テクスチャ画像を生成する。面の当てはめは、入力された撮影画像上の特徴点と、それに対応する展開平面上における投影点とを一致するように重ねて割り当てることにより自動的に行うことができる。
【００７１】
出力部７０は、生成したテクスチャ画像を出力する部分である。出力データの例を図６ｂに示す。出力データのそれぞれの領域には、必須の情報として、テクスチャ画像情報、特徴点の接続関係情報を備えている。任意の情報として投影中心情報、投影面情報、特徴点グループ情報がある。特徴点グループ情報は入力情報で説明したように、特徴点の集合を複数の小グループに分ける情報であり、それぞれの特徴点の小グループごとに適切な投影面と投影中心点を個別に選択して投影処理を行った場合に利用する情報である。この特徴点グループ情報を利用するものは実施形態２として後述する。
【００７２】
以上、上記のシステム構成および処理の流れにより、高品質かつ記憶容量の小さいテクスチャ画像を生成することができることを特徴とするテクスチャ画像生成装置が提供される。
【００７３】
なお、上記例では、投影面として円筒面を用いて説明したが、その他の円錐面などの可展体面であっても良いことは言うまでもない。
（実施形態２）
実施形態２のテクスチャ画像生成装置は、実施形態１と同様、可展体面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成するものであるが、実施形態１のテクスチャ画像生成装置の投影部をさらに高性能化した投影部を備えたものである。
【００７４】
本実施形態２のテクスチャ画像生成装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図８は、実施形態２のテクスチャ画像生成装置の概略構成図を示している。図８に示すように、本実施形態２の装置では、実施形態１の構成における投影部３０に代え、投影部３０ａを備えている。投影部３０ａは実施形態１の投影部３０の構成に加えてさらに、投影面調整部３５、投影中心点適正確認部３６を備えた構成となっている。投影部３０ａの投影面調整部３５、投影中心点適正確認部３６を除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでここでの説明は省略し、投影部３０ａを中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００７５】
まず、投影面調整部３５の働きを以下に説明する。
投影面調整部３５は、投影処理に用いる投影面の種類の選択、投影面形状・サイズの調整を行うものである。テクスチャ画像生成装置で扱う３次元オブジェクトの形状は、一般に多種多様なものが予想される。投影処理において、３次元オブジェクトの形状と投影面の形状の違いのために、投影処理の結果、形成される投影形成面の形状は実際の３次元オブジェクトの面の形状から少し歪むこととなる。このような歪みを抑えるために投影面として３次元オブジェクトにできるだけ近い可展体面を選ぶことが好ましい。投影面調整部３５は、投影処理に用いる投影面の種類として３次元オブジェクト形状に近い適切なものを選択し、さらに３次元オブジェクト形状に近くなるように可展体面のサイズを調整する。投影面の種類の選定基準としては、例えば、特徴点から投影面までの距離の総和を計算し、もっとも値の小さくなる投影面の種類を選ぶ方法がある。
【００７６】
また、投影面調整部３５は、３次元オブジェクトの形状が複雑な場合は、３次元オブジェクトを幾つかのオブジェクト部分に分け、それぞれのオブジェクト部分の形状に対して適切な投影面の選択・サイズの調整ができる。
【００７７】
上記のオブジェクト部分それぞれに投影面を割り当てる処理を以下詳しく説明する。
まず、入力部１０から入力データが入力される（図９ステップＳ９０１）。ここでは、図６ｂにおいて示した入力データ中の特徴点情報として、特徴点グループ情報が与えられていたとする。
【００７８】
投影面調整部３５は、特徴点グループ情報に従って特徴点をグルーピングして各オブジェクト部分として把握する（ステップＳ９０２）。
投影面調整部３５は、ステップＳ９０２で把握した各オブジェクト部分ごとに投影面の種類を選定する（ステップＳ９０３）。投影面の種類の選定にあたり、ここでは、オブジェクト部分の特徴点から投影面までの距離の総和を計算し、もっとも値の小さくなる投影面の種類を選ぶものとする。
【００７９】
投影面調整部３５は、投影面生成部３２に対して投影面の種類を通知し、投影面の生成処理を行わせ、投影面のサイズの調整も制御する（ステップＳ９０４）。
【００８０】
なお、各オブジェクト部分に対する、特徴点配置部３１、投影面生成部３２、投影中心点指定部３３、投影処理部３４による一連の投影処理は、それぞれ実施形態１と同様に行われる（ステップＳ９０５）。
【００８１】
以上より、本実施形態２のテクスチャ画像生成装置は、対象となる３次元オブジェクトの形状が複雑な場合でも、各オブジェクト部分ごとに最適な投影処理を行うことができ、高品質かつ記憶容量の少ないテクスチャ画像の生成を行うことができる。
【００８２】
次に、投影中心点適正確認部３６の動作を説明する。
投影中心点適正確認部３６は、投影処理における投影中心点の選定が適切に行われた否かを確認するものである。
【００８３】
ここで言う投影中心点の適正について以下に説明する。図１０は、不適切な投影中心点の例である。図１０に示すように、面１００４と１００５の投影形成面１００４’と１００５’が重なるように、一部の投影形成面が投影面上で重なり合うため、正常な展開平面が得ることができないものとなっている。この場合には本発明の投影処理、展開処理によるテクスチャ画像生成を行うことができない。このような投影形成面の重なりがないことを投影中心点の適正と言う。
【００８４】
ただし、図１０の面１００４、１００５は３次元オブジェクトの真の外表面であり、本装置にはこの情報は与えられないため、投影形成面の重なりを直接判定することはできない。投影中心点適正確認部３６は、投影面の分割によって得られる外表面の推定結果と３次元オブジェクトの撮影画像の矛盾を特徴点の並びかた（時計回りもしくは反時計回り）を用いて間接的に判定することにより、投影中心点が適正か否かを確認する。具体的には、分割によって得られるすべての外表面に対して、その面を構成する特徴点が面を外側から見たときに時計回りに並んでいるか反時計回りに並んでいるかを判定し、その結果と撮影画像上で各面を３次元オブジェクトの外側から見た時の特徴点の並びかたが一致していれば、投影中心点は適正であると判断する。分割によって得られる外表面の外側方向として、投影面の外側方向を用いる。撮影画像上の各面の外側方向として、その面を構成する全部の特徴点が抽出された撮影画像の撮影方向を用いる。
【００８５】
投影面として円筒面が採用された例を説明する。実施形態１において説明したように、特徴点配置部３１により配置された３次元特徴点列を包含するように投影面生成部３２により投影面が生成されている。
【００８６】
投影中心点指定部３３は、まず、実施形態１で示した基準に従って投影中心点を指定する（ステップＳ１１０１）。つまり、入力データ中の投影中心データ、または、特徴点の重心計算、利用者による指定入力に従って指定する。
【００８７】
次に、実施形態１と同様、投影処理部３４は、指定した投影中心点から各特徴点に対して投影線を引いて投影面上の投影点を求め（ステップＳ１１０２）、投影点を頂点とする多角形で投影面である円筒面を隙間なく分割して多角形の面で埋めつくす（ステップＳ１１０３）。次に、展開部５０は、投影面である円筒面を平面に展開する（ステップＳ１１０４）。ここで、投影面である円筒面は図１に示したように可展面である側面と平面である上面と下面に展開される。
【００８８】
ここで、投影中心点適正確認部３６は、画像書き込み部６０による特徴点間の関係を基に３次元オブジェクトの各面の撮影画像を当てはめ・書き込み処理をモニタする（ステップＳ１１０５）。ここで、ステップＳ１１０４で得られた特徴点の並びかたと３次元オブジェクトの各面の撮影画像上での特徴点の並びかたが一致していれば、投影中心点が適切に選択されたことが確認できる（ステップＳ１１０６）。その後も同じ３次元オブジェクトと投影中心点を用いる限り正常な投影処理が保証される。
【００８９】
投影中心点の適正が確認できない場合は、投影中心点の選定をやり直すか、または特徴点を適切にグルーピングしてオブジェクト部分に分けて投影処理を実行すれば良い。
【００９０】
以上より、本実施形態２のテクスチャ画像生成装置は、投影処理において、対象となる３次元オブジェクトの形状と投影中心点の関係が適正なものであることを確認することができ、適切な投影処理を保証することができ、高品質かつ記憶容量の少ないテクスチャ画像の生成を行うことができる。
【００９１】
（実施形態３）
本実施形態３のテクスチャ画像生成装置は、実施形態１と同様、可展体面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成するものであるが、実施形態１のテクスチャ画像生成装置の投影部および分割部をさらに高性能化した投影部および分割部を備えたものである。
【００９２】
実施形態３のテクスチャ画像生成装置の全体構成の概略と本装置による処理流れの概略を図面を参照しつつ説明する。
図１２は、実施形態３のテクスチャ画像生成装置の概略構成図を示している。図１２に示すように、本実施形態３の装置では、実施形態１の構成における投影部３０に代えて投影部３０ｂを備え、分割部４０に代えて分割部４０ａを備えている。投影部３０ｂは実施形態１の投影部３０の構成に加えてさらに、投影調整部３７を備えた構成となっている。投影部３０ｂの投影調整部３７を除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでここでの説明は省略し、投影部３０ｂを中心に説明する。また、分割部４０ａは展開境界線調整部４１と可展面展開境界線調整部４２を備えている。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【００９３】
投影部３０ｂの投影調整部３７と分割部４０ａの展開境界線調整部４１は、投影面上への投影処理において可展面および平面をまたがる越境面が発生する場合に、可展面、平面の延長・縮退を実行して両者の展開境界線を調整し、投影形成面の境界稜線をもって展開境界線とするものである。
【００９４】
ここで、越境面について説明する。投影処理において、投影点列は投影面上に配置されているが、投影点が可展面上と平面上に形成されるので、投影形成面を形成する頂点となる投影点一部が可展面上に形成され、他の部分が平面上に形成されたような面（越境面と呼ぶ）が生じる場合がある。例えば、図１３ａに示すように投影面として円筒面が採用された例において、投影形成面１３０３は上面１３０１と可展面１３０２にまたがって形成された越境面となっている。このような場合に可展面、平面を調整し、展開境界線を調整することにより投影形成面の境界稜線をもって展開境界線とすることができれば、テクスチャ画像を貼り込む面が分断されることなく歪みも少ないものとすることができ、テクスチャ画像生成装置の性能を一層向上させることができる。
【００９５】
可展面、平面の延長・縮退調整、展開境界線の調整は以下のように行う。
第一番目の調整方式は、越境面を形成する特徴点の投影を調整してすべて可展面上に投影する可展面投影調整部３７ａおよび展開境界線調整部４１を備える方式である。図１３ａに示すように、越境面１３０３を形成する投影点のうち、可展面上にある投影点１３０５、１３０６を可展面境界投影点とし、平面上にある投影点１３０７を平面境界投影点とする。可展面投影調整部３７ａは、まず、図１３ｂに示す１３０２’のように可展面を延長する。さらに、投影中心点１３０４から平面境界投影点１３０７を通る投影線を延長し、可展面の延長面と交わる点を可展面調整投影点１３０７’として求める。この処理をすべての可展面と平面との境界面に沿って実行する。次に、分割処理において展開境界線調整部４１は、可展面の境界稜線を生成された可展面調整投影点を順に結ぶ線とし、平面の境界稜線を平面境界投影点を順に結ぶ線とすれば、図１３ｃに示すように、可展面と平面の展開境界線は投影形成面の境界稜線となり、一つの投影形成面が可展面と平面に分断されることがなくなる。このように、テクスチャ画像生成装置は、可展面投影調整部３７ａおよび展開境界線調整部４１を備えることによりテクスチャ画像生成の性能を一層向上させることができる。
【００９６】
第二番目の調整方式は、越境面を形成する特徴点の投影を調整してすべて平面上に投影する平面投影調整部３７ｂと展開境界線調整部４１を備える方式である。図１４ｂに示すように、越境面１３０３を形成する投影点のうち、可展面上にある投影点１３０５、１３０６を可展面境界投影点とし、平面上にある投影点１３０７を平面境界投影点とする。平面投影調整部３７ｂは、投影中心点１３０４から可展面境界投影点１３０５、１３０６を通る投影線を延長して平面の延長面と交わる点を平面調整投影点１３０５’、１３０６’として求める。この処理をすべての可展面と平面との境界面に沿って実行する。展開境界線調整部４１は、平面の境界稜線を生成された平面調整投影点を順に結ぶ線とし、可展面の境界稜線を可展面境界投影点を順に結ぶ線とすれば、図１４ｃに示すように、可展面と平面の境界線は投影形成面の境界稜線となり、一つの投影形成面が可展面と平面に分断されることがなくなる。このように、テクスチャ画像生成装置は、平面投影調整部３７ｂおよび展開境界線調整部４１を備えることによりテクスチャ画像生成の性能を一層向上させることができる。
【００９７】
第三番目の調整方式は、投影面が可展面同士の境界を持つ場合における越境面を形成する特徴点の投影を調整してすべて一方の可展面上に投影する方式である。可展面投影調整部３７ｃと展開境界線調整部４１を備える方式である。基本的な考え方は上記の第一番目の調整方式、第二番目の調整方式と同様であるのでここでは、説明を省略する。
【００９８】
次に、可展面展開境界線調整部４２は、可展面の展開にあたり可展面の一部を切断処理する際に、可展面上の投影形成面の境界稜線に沿って切断するものである。図１５ａに示すように、投影形成面１５０１、１５０２は、デフォルトとして与えられている可展面の展開境界線１５００をまたがって形成されている。可展面展開境界線調整部４２は図１５ｂに示すように、可展面展開境界線１５００を左右に調整して投影形成面の境界稜線もって新たな可展面境界稜線１５００’とする。この可展面展開境界調整をすべての可展面展開境界に沿って行うことにより、可展面の展開処理において一つの投影形成面が左右に分断されることがなくなる。
【００９９】
以上のように、実施形態３のテクスチャ画像生成装置は、可展面展開境界線調整部４２を備えることによりテクスチャ画像生成の性能を一層向上させることができる。
【０１００】
（実施形態４）
実施形態４のテクスチャ画像生成装置は、実施形態１と同様、可展面および平面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成するものであるが、実施形態１のテクスチャ画像生成装置の画像書き込み部６０をさらに高性能化した画像書き込み部６０ａを備えたものである。
【０１０１】
図１６は、実施形態４のテクスチャ画像生成装置の概略構成図を示している。図１６に示すように、本実施形態４の装置では、実施形態１の構成における画像書き込み部６０に代えて画像書き込み部６０ａを備えている。画像書き込み部６０ａは実施形態１の画像書き込み部６０の構成に加えてさらに、撮影画像選択部６１とアフィン変換部６２を備えた構成となっている。画像書き込み部６０ａの撮影画像選択部６１とアフィン変換部６２を除いた各構成要素は、実施形態１で同じ番号を付して説明した各構成要素と同様であるのでここでの説明は省略し、撮影画像選択部６１とアフィン変換部６２を中心に説明する。なお、実施形態１と同様、図示していないが、システム全体の制御処理に必要なメモリ、デバイス類などは装備している。
【０１０２】
撮影画像選択部６１とアフィン変換部６２は、画像書き込み処理において、撮影画像のテクスチャの展開平面への当てはめ・書き込みにおける両者の歪みの調整を行うものである。
【０１０３】
まず、撮影画像選択部６１の備える第一番目の調整方式は、撮影画像上の各面は多方向から撮影されているので当てはめる面の形状ともっとも近い形状で撮影されている撮影画像のテクスチャを当てはめる撮影画像として選択することである。この撮影画像の選択により当てはめる撮影画像のテクスチャデータとして、もっとも歪みの少ないデータを選択することができ、テクスチャ画像生成の性能を一層向上させることができる。
【０１０４】
撮影画像選択部６１の備える第二番目の調整方式は、撮影画像上の各面は多方向から撮影されているので当てはめる面をもっとも近い視点から撮影した撮影画像のテクスチャを当てはめる撮影画像として選択することである。この撮影画像の選択により当てはめる撮影画像のテクスチャデータとして、もっとも歪みの少ないデータを選択することができ、テクスチャ画像生成の性能を一層向上させることができる。
【０１０５】
次に、アフィン変換部６２は、撮影画像のテクスチャデータをアフィン変換することにより書き込む面の形状に変形して歪みを調整する。投影面上に形成された投影形成面は、元の３次元オブジェクトを投影面に投影して形成されたために元の３次元オブジェクトの外表面とは多少歪んだ形状となっている。そこで、面の当てはめ・テクスチャの書き込みに先立ち、アフィン変換部６２により撮影画像のテクスチャデータの形状を調整することが好ましい。ここで、アフィン変換とは、座標の一次式で表わされる変換であり、画像の拡大、縮小、平行移動、回転などによって画像の形状を変化させる変換をいう。
【０１０６】
アフィン変換部６２の処理の流れを以下に説明する。
まず、アフィン変換の係数を決定する（図１７ステップＳ１７０１）。つまり、撮影画像上の特徴点の座標と、展開平面上に投影された対応する特徴点の投影点の座標から両者を一致させるアフィン変換の係数を求める。
【０１０７】
投影により発生した形状の歪みを調整した画像を生成するためにはテクスチャ画像として生成する面の各画素値として、撮影画像上の対応する画素値をアフィン変換して対応する座標に書き込めば良い。まず、テクスチャ画像の注目する面の注目する画素、例えばＸＹ座標において一番ＸＹ座標値が小さい左下の画素を注目画素として指定する（ステップＳ１７０２）。
【０１０８】
その注目画素の位置に対する撮影画像上の画素の位置をアフィン変換により決定する（ステップＳ１７０３）。
ステップＳ１７０３により求めた位置の撮影画像の画素値を読み取り、テクスチャ画像上の注目画素の画素値として書き込む（ステップＳ１７０４）。
【０１０９】
このステップＳ１７０２〜ステップＳ１７０４をすべての画素に対して実行する。つまり、ステップＳ１７０２において注目した注目画素の指定をＸ方向Ｙ方向に走査するように移動して行くことにより次々と注目画素を指定し、その注目画素に対してステップＳ１７０３〜ステップＳ１７０４により対応する画素値を書き込んで行く。
【０１１０】
以上、実施形態４のテクスチャ画像生成装置は、画像選択部６１を備えるにより、入力画像のうち、書き込む面の画像としてもっとも歪みの少ない画像を選択することができ、さらにアフィン変換部６２を備えることにより、投影により発生した形状の歪みを調整して正しく面の当てはめ・書き込みが実行でき、テクスチャ画像生成の性能を一層向上させることができる。
【０１１１】
（実施形態５）
本発明のテクスチャ画像生成装置は、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のテクスチャ画像生成装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１８に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【０１１２】
【発明の効果】
本発明のテクスチャ画像生成装置によれば、可展面および平面からなる既知形状面を投影面として投影・展開し、展開平面に撮影画像のテクスチャを貼り込んでテクスチャ画像を自動生成することができ、高品質かつ記憶容量の少ないテクスチャ画像を生成することができる。
【０１１３】
また、本発明のテクスチャ画像生成装置によれば、３次元オブジェクトの形状に応じた適切な投影面を選定することができ、３次元オブジェクトが複雑な場合でもオブジェクト部分ごとに投影面を最適化して選定することができる。
【０１１４】
また、本発明のテクスチャ画像生成装置によれば、投影処理における投影中心点が適正かどうかを確認することができ、適正なテクスチャ画像が生成できる。また、本発明のテクスチャ画像生成装置によれば、投影面が可展面、平面の組み合わせである場合に、展開処理における展開境界線を投影形成面の境界稜線とすることができ、投影形成面を分断することがなく、歪みの少ないテクスチャ画像が得られる。
【０１１５】
また、本発明のテクスチャ画像生成装置によれば、展開平面への画像書き込みにおいて最も歪みの少ない画像を選択することができ、また、アフィン変換により形状の歪みを調整して画像を書き込むことができ、テクスチャ画像の品質を向上することができる。
【図面の簡単な説明】
【図１】 円筒面の展開例を示す図
【図２】 可展面の組み合わせの例を示す図
【図３】 投影面を利用した投影処理の概念を示す図
【図４】 本発明のテクスチャ画像生成装置におけるテクスチャ画像生成の基本的な流れを示す図
【図５】 本発明の実施形態１のテクスチャ画像生成装置の概略構成図
【図６】 本発明の実施形態１のテクスチャ画像生成装置が扱うデータ構造例
【図７】 凸包の形成を説明する図
【図８】 本発明の実施形態２のテクスチャ画像生成装置の概略構成図
【図９】 オブジェクト部分それぞれに投影面を割り当てる処理を示すフローチャート
【図１０】 不適切な投影中心点の例を示す図
【図１１】 本発明の実施形態２の投影中心点適正確認部３６による投影中心点が適正が否かを確認する処理ステップを示したフローチャート
【図１２】 本発明の実施形態３のテクスチャ画像生成装置の概略構成図
【図１３】 本発明の実施形態３の可展面投影調整部３７ａ、平面投影調整部３７ｂによる投影調整を説明する図
【図１４】 本発明の実施形態３の可展面投影調整部３７ｃによる投影調整を説明する図
【図１５】 本発明の実施形態３の可展面展開境界線調整部４２による展開境界線の調整を説明する図
【図１６】 本発明の実施形態４のテクスチャ画像生成装置の概略構成図
【図１７】 本発明の実施形態４のアフィン変換部６２の処理ステップを示したフローチャート
【図１８】 記録媒体の例
【図１９】 従来のテクスチャ画像生成処理ステップを示したフローチャート
【図２０】 従来の特徴点に基づく３次元画像データ生成の概念を示す図
【図２１】 従来のコンピュータ画面上での３次元画像再生処理ステップを示したフローチャート
【図２２】 従来の各面ごとに貼るテクスチャ画像を平面上に配置して記憶する方式を説明する図
【符号の説明】
１０ 入力部
２０ 特徴点抽出部
２１ 特徴点指定部
３０，３０ａ，３０ｂ 投影部
３１ 特徴点配置部
３２ 投影面生成部
３３ 投影中心点指定部
３４ 投影処理部
３５ 投影面調整部
３６ 投影中心点適正確認部
３７，３７ａ 投影調整部
４０，４０ａ 分割部
４１ 展開境界線調整部
４２ 可展面展開境界線調整部
５０ 展開部
６０，６０ａ 画像書き込み部
６１ 撮影画像選択部
６２ アフィン変換部
７０ 出力部
１００ データ
１０１ 画像情報領域
１０２ 特徴点情報領域
１０３ 投影情報領域
１０４ 投影面情報領域
１０５ その他情報領域
１０６ ヘッダ
２００ 回線先のハードディスク等の記録媒体
２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２０２ ＣＤ−ＲＯＭ
２０３ フレキシブルディスク
２０４ コンピュータ
２０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (14)
- ３次元オブジェクトから抽出した特徴点のデータと撮影された３次元オブジェクトの外表面の２次元画像データとを基に３次元画像データのテクスチャ画像を生成するテクスチャ画像生成装置であって、
入力部と、投影部と、分割部と、展開部と、画像書き込み部とを備え、
前記入力部は、３次元オブジェクトの特徴点のデータと外表面の２次元撮影画像データの入力を受け付け、
前記投影部は、前記入力された３次元オブジェクトの特徴点を、可展体面である既知形状面であって前記特徴点を包含する投影面に投影して投影点を求め、
前記分割部は、前記投影面を前記特徴点の投影点により小面に分割し、
前記展開部は、前記投影面を平面に展開して前記小面からなる展開平面を生成し、
前記画像書き込み部は、前記展開平面上の各小面に対して、対応する特徴点が撮影された前記３次元オブジェクトの外表面の撮影画像を書き込むことによりテクスチャ画像を生成し、
前記投影部が、前記画像書き込み部による前記展開平面上の各小面への前記３次元オブジェクトの外表面の撮影画像の書き込みをモニタし、前記展開平面上の各小面と、対応する特徴点が撮影された撮影画像との対応が正しく得られているか確認する投影中心点適正確認部を備えたことを特徴とするテクスチャ画像生成装置。 - 前記投影部は投影面調整部を備え、前記投影面調整部が、前記投影部が生成する投影面の種類とサイズを、前記特徴点により形成される３次元オブジェクトの形状に合わせるように調整することにより、前記投影面の形状と前記特徴点により形成される３次元オブジェクトとの形状の歪みを最小化する請求項１に記載のテクスチャ画像生成装置。
- 前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面の相異なる可展面および平面をまたがる越境面がある場合に、可展面あるいは平面を調整する投影調整部を備え、
前記分割部が、投影形成面の境界稜線を展開境界線とする展開境界線調整部を備えた、請求項１または２に記載のテクスチャ画像生成装置。 - 前記投影部が、投影中心点の情報を入力する投影中心点指定部を備え、前記投影中心点指定部からの指定に基づいて前記投影中心点を定める請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- 前記３次元オブジェクトの特徴点をグループに分ける特徴点グループ情報が付され、前記投影部が、前記特徴点グループ情報に従い、それぞれの特徴点のグループに対して投影処理を行う請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- 前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の可展面および平面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが可展面上に投影されるように可展面を調整する可展面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記可展面上にある投影点を可展面境界投影点とし、前記平面上にある投影点を平面境界投影点とし、前記可展面投影調整部は、前記投影中心点から前記平面境界投影点を通る投影線を延長して前記可展面の延長面と交わる点を可展面調整投影点として求め、
前記分割部は、前記可展面の境界稜線を前記可展面境界投影点と前記可展面調整投影点とを順に結ぶ線とし、前記平面の境界稜線を前記平面境界投影点を順に結ぶ線として前記可展面と平面を分割する請求項３に記載のテクスチャ画像生成装置。 - 前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の可展面および平面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが平面上に投影されるように平面を調整する平面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記可展面上にある投影点を可展面境界投影点とし、前記平面上にある投影点を平面境界投影点とし、前記平面投影調整部は、前記投影中心点から前記可展面境界投影点を通る投影線を延長して前記平面の延長面と交わる点を平面調整投影点として求め、
前記分割部は、前記平面の境界稜線を前記平面境界投影点と前記平面調整投影点とを順に結ぶ線とし、前記可展面の境界稜線を前記可展面境界投影点を順に結ぶ線として前記可展面と平面を分割する請求項３に記載のテクスチャ画像生成装置。 - 前記投影部が、前記特徴点の投影処理によって形成される投影形成面のうち、前記投影面上の第一の可展面と第二の可展面にまたがって投影される越境面がある場合に、前記越境面を形成する特徴点を投影した際に、特徴点のすべてが前記第一の可展面上に投影されるように可展面を調整する可展面投影調整部を備え、前記越境面の特徴点の投影点のうち、前記一の可展面上にある投影点を第一の可展面境界投影点とし、前記第二の可展面上にある投影点を第二の可展面境界投影点とし、前記可展面投影調整部は、前記投影中心点から前記第二の可展面境界投影点を通る投影線を延長して前記第一の可展面の延長面と交わる点を可展面調整投影点として求め、
前記分割部は、前記第一の可展面の境界稜線を前記第一の可展面境界投影点と前記可展面調整投影点とを順に結ぶ線とし、前記第二の可展面の境界稜線を前記第二の可展面境界投影点を順に結ぶ線として前記第一の可展面と第二の可展面を分割する請求項３に記載のテクスチャ画像生成装置。 - 前記展開部は、前記可展面の平面への展開処理において、特徴点の投影点を結ぶ稜線に沿って切断・展開する請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- 前記分割部は、前記投影面の分割処理において、前記特徴点の投影点を頂点とする凸包を生成し、前記凸包を構成する小面をもって前記投影面を分割した小面と近似して扱う請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- 前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータとして、書き込む小面の面積が最も大きく撮影されている画像データを用いる請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- 前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータとして、書き込む小面を最も近い視点から撮影した画像データを用いる請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- 前記画像書き込み部は、前記展開平面への前記３次元オブジェクトの撮影画像を書き込む処理において、書き込むそれぞれの小面の撮影画像のデータの形状を、展開平面上の対応する小面の形状に合うようにアフィン変換して書き込む請求項１〜３のいずれか一項に記載のテクスチャ画像生成装置。
- ３次元オブジェクトから抽出した特徴点のデータと３次元オブジェクトの外表面の画像データとを基に３次元画像データのテクスチャ画像を生成するテクスチャ画像生成装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記処理プログラムは、３次元オブジェクトの特徴点のデータと外表面の撮影画像データの入力を受け付ける入力処理ステップと、前記入力された３次元オブジェクトの特徴点を、可展体面である既知形状面であって前記特徴点を包含する投影面に投影して投影点を求める投影処理ステップと、前記投影処理ステップにより投影した投影面を前記特徴点の投影点により小面に分割する分割処理ステップと、前記投影面を平面に展開して前記小面からなる展開平面を生成する展開処理ステップと、前記展開平面上の各小面に対して、対応する特徴点が撮影された前記３次元オブジェクトの外表面の撮影画像を書き込む画像書き込み処理ステップとをコンピュータに実行させることによりテクスチャ画像を生成し、
前記投影処理ステップにおいて、前記画像書き込み処理ステップによる前記展開平面上の各小面への前記３次元オブジェクトの外表面の撮影画像の書き込みをモニタし、前記展開平面上の各小面と、対応する特徴点が撮影された撮影画像との対応が正しく得られているか確認する投影中心点適正確認処理ステップを前記コンピュータに実行させることを特徴とする処理プログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18235098A JP3672739B2 (ja) | 1998-06-29 | 1998-06-29 | テクスチャ画像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18235098A JP3672739B2 (ja) | 1998-06-29 | 1998-06-29 | テクスチャ画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000020735A JP2000020735A (ja) | 2000-01-21 |
| JP3672739B2 true JP3672739B2 (ja) | 2005-07-20 |
Family
ID=16116784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18235098A Expired - Fee Related JP3672739B2 (ja) | 1998-06-29 | 1998-06-29 | テクスチャ画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3672739B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002203254A (ja) * | 2000-08-30 | 2002-07-19 | Usc Corp | 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 |
| AU2003245713A1 (en) * | 2002-07-10 | 2004-01-23 | Harman Becker Automotive Systems Gmbh | System for texturizing electronic representations of objects |
| JP4653606B2 (ja) | 2005-05-23 | 2011-03-16 | 株式会社東芝 | 画像認識装置、方法およびプログラム |
| JP2010123007A (ja) * | 2008-11-21 | 2010-06-03 | Casio Computer Co Ltd | 画像処理装置 |
| CN115205408B (zh) * | 2022-05-31 | 2025-12-19 | 安世亚太科技股份有限公司 | 一种纹理自动生成方法、系统、设备、存储介质及云平台 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03214274A (ja) * | 1990-01-18 | 1991-09-19 | Nec Corp | 画像表示方式 |
| JP3075851B2 (ja) * | 1992-08-13 | 2000-08-14 | 富士通株式会社 | マップ設定方式 |
| JP3268666B2 (ja) * | 1992-12-08 | 2002-03-25 | 大日本印刷株式会社 | コンピュータ・グラフィックス制作装置 |
| JPH09134449A (ja) * | 1995-11-09 | 1997-05-20 | Ainesu:Kk | 立体モデルのテクスチャマッピング方法 |
| JPH09138859A (ja) * | 1995-11-15 | 1997-05-27 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
-
1998
- 1998-06-29 JP JP18235098A patent/JP3672739B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000020735A (ja) | 2000-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100437639C (zh) | 图像处理装置和图像处理方法 | |
| CN100380403C (zh) | 非平面图像的图像处理装置及图像处理方法 | |
| US6515658B1 (en) | 3D shape generation apparatus | |
| US20190371045A1 (en) | Dynamic local temporal-consistent textured mesh compression | |
| US6597368B1 (en) | Morphing image processing system using polygon reduction processing | |
| JP2006503355A (ja) | ３次元画像処理 | |
| KR20180126146A (ko) | 2.5차원 이미지를 활용한 가상 전시 공간 시스템 및 제공 방법 | |
| JP2000348213A (ja) | 三次元画像生成装置、三次元画像生成表示装置、及びその方法並びに記録媒体 | |
| US11869123B2 (en) | Anti-aliasing two-dimensional vector graphics using a compressed vertex buffer | |
| US10559060B2 (en) | Method and apparatus for real time image distortion compensation in immersive theater system | |
| JP3672739B2 (ja) | テクスチャ画像生成装置 | |
| US6856312B1 (en) | Method for generating three-dimensional form data and apparatus therefor | |
| JP2021192244A (ja) | 位置情報の生成方法、関連装置及びコンピュータプログラム製品 | |
| JP4403421B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR102455843B1 (ko) | 영상 재구성 장치 및 방법 | |
| JP2019159904A (ja) | テクスチャマッピング装置およびテクスチャマッピング用プログラム | |
| JP2837584B2 (ja) | 地形データの作成方法 | |
| Chen et al. | Research and application of immersive virtual reality system based on 3D geographic information system | |
| US6630932B1 (en) | Method and system for efficient simplification of tetrahedral meshes used in 3D volumetric representations | |
| CN108920598A (zh) | 全景图浏览方法、装置、终端设备、服务器及存储介质 | |
| CN116016988A (zh) | 直播图像处理方法、装置、电子设备和存储介质 | |
| CN114648472A (zh) | 图像融合模型的训练方法、图像生成方法及其装置 | |
| JP5719271B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP3275861B2 (ja) | 情報提示装置及び情報提示プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR100647323B1 (ko) | 섭동 함수를 이용한 3차원 객체 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050420 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |