JP2003302211A

JP2003302211A - ３次元画像処理装置及び方法

Info

Publication number: JP2003302211A
Application number: JP2002109435A
Authority: JP
Inventors: Shinya Urisaka; 真也瓜阪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-04-11
Filing date: 2002-04-11
Publication date: 2003-10-24

Abstract

(57)【要約】【課題】観察者によって指定された観察環境に応じて、
対象物体の質感、光沢感、立体感などをよりリアルに再
現可能な３次元画像データを提供する。【解決手段】制御部１２は入力環境パラメータに従って
表面属性１１と３次元形状取得部１３を制御し、対象物
体の表面属性データと３次元形状モデルを取得する。３
次元データ統合部はこれらの計測データを用いて対象物
体の３次元形状モデルとその各部の表面属性を表す統合
データを生成する。データ信用度判別部１４は、統合デ
ータの生成に際して、その信用度をチェックし、制御部
１２による更なる計測データの取得が必要か否かを判定
する。更なる計測データの取得が必要と判定された場合
は、データ信用度判別部１４がその信用度に基づいて入
力環境パラメータを更新し、制御部１２はこの更新後の
パラメータを用いて対象物体の再計測を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象となる実物体
の形状、色、質感などをよりリアルに提示可能にするた
めの３次元画像入力方法および３次元画像入力装置およ
び３次元画像処理方法および３次元画像処理装置に関す
る。

【０００２】

【従来の技術】従来、実在する物体の３次元情報(形
状、表面属性)を入力する画像処理装置として、接触型
の位置センサを利用した方法が知られている。この方法
は、探針を物体の各点に接触させ、探針の３次元位置座
標を位置センサにより検出し、物体の各点の３次元位置
情報を取得する。ところが、この接触型の位置センサを
用いる方法では、探針を物体の各点に接触させる必要が
あるため、対象となる物体としては、ある程度の強度を
持つ物体に限られ、また計測にある程度の時間を要する
等の制限があった。

【０００３】また、従来より、非接触型の３次元計測装
置も知られている。非接触型のものは、上記接触型のも
のに比べて高速の計測が可能であることから、ＣＧシス
テムやＣＡＤシステムへのデータ入力、身体計測、ロボ
ットの視覚認識などに利用されている。

【０００４】非接触の３次元計測の方法として、スリッ
ト光投影法（光切断法ともいう）またはパターン投影法
が知られている。これらの方法は、特定の参照光（検出
光ともいう）を計測対象に照射し、三角測定の原理で距
離画像（３次元画像、３次元データ、または３次元形状
データともいう）を得る能動的計測方法の一種である。
スリット光投影法では、スリット光を照射しかつ偏向す
ることによって計測対象を走査する。パターン投影法で
は、複数の２次元パターン光を順次照射する。得られた
距離画像は、計測対象上の複数部位の３次元位置を示す
画素の集合である。

【０００５】このような３次元計測装置には、計測対象
物体の距離画像を得るための距離計測光学系と、対象物
体表面のテクスチャ情報を取得するためのカラー光学系
（モニタ光学系ともいう）とが設けられる。距離計測光
学系は、計測対象物体に参照光を照射する投光部、参照
光の計測対象物体による反射光を受光する受光センサな
どを含む。受光センサからの出力などに基づいて、３次
元形状データが演算により求められる。

【０００６】また、カラー光学系は、計測対象物体のカ
ラー画像（モニタ画像、２次元画像、２次元データ、ま
たは２次元画像データともいう）を撮像する撮像センサ
などを含む。カラー光学系により得られるカラー画像
は、対象物体表面のテクスチャ情報を取得するために用
いられる他、距離計測光学系による計測を開始する際
に、距離計測により得られる距離画像の範囲を予め確認
するために用いられ、さらには、得られた距離画像を修
正する際にその修正箇所を特定するために用いられる。

【０００７】

【発明が解決しようとする課題】撮影環境と再現環境
（観察環境）とが異なる場合、例えば照明器具の形状、
位置、色が異なった場合などは、対象物体における鏡面
反射の状態が変化し、見た目にも大きく変わってくるは
ずである。しかしながら、従来技術における３次元画像
処理装置においては、対象物体表面には単にテクスチャ
が貼りつけられるのみで、対象物体の質感や光沢感を再
現することは考慮されていないため、従来技術の３次元
画像処理装置を用いた場合では、対象物体の上記のよう
な質感や光沢感までを正確に伝えることは困難であっ
た。

【０００８】本発明は上記課題に鑑みてなされたもので
あり、観察者によって指定された観察環境に応じて、対
象物体の質感、光沢感、立体感などをよりリアルに再現
することが可能な３次元画像データを提供することを目
的とする。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による３次元画像処理方法は、設定情報に従
って入力環境を設定して対象物体を計測し、３次元形状
と表面属性を表す計測データを取得する取得工程と、前
記取得工程で取得された計測データを解析して前記対象
物体の３次元形状モデルとその各部の表面属性を表す統
合データを生成する生成工程と、前記統合データの生成
に際して、前記対象物体について前記取得工程による更
なる計測データの取得が必要か否かを判定する判定工程
と、前記判定工程により更なる計測データの取得が必要
と判定された場合、前記設定情報を更新して前記取得工
程の処理を実行させる実行工程と備える。

【００１０】また、上記目的を達成するための本発明に
よる３次元画像処理装置は以下の構成を備える。すなわ
ち、設定情報に従って入力環境を設定して対象物体を計
測し、３次元形状と表面属性を表す計測データを取得す
る取得手段と、前記取得手段で取得された計測データを
解析して前記対象物体の３次元形状モデルとその各部の
表面属性を表す統合データを生成する生成手段と、前記
統合データの生成に際して、前記対象物体について前記
取得手段による更なる計測データの取得が必要か否かを
判定する判定手段と、前記判定手段により更なる計測デ
ータの取得が必要と判定された場合、前記設定情報を更
新して前記取得手段の処理を実行させる実行手段とを備
える。

【００１１】

【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。

【００１２】＜第１の実施形態＞図１は、第１の実施形
態による３次元画像処理装置の概略構成を示すブロック
図である。本実施形態の３次元画像処理装置は、対象物
体を再現する際に、観察に用いる照明環境を任意に設定
し、かつ対象物体の位置および向きを観察空間内で自由
に変更可能とし、所望の観察環境下での対象物体の画像
を表示および印刷出力を得ることを可能とする。

【００１３】本実施形態の３次元画像処理装置は、対象
物体の３次元形状を取得する３次元形状取得部１３と、
対象物体の色・光沢・質感などを取得する表面属性取得
部１１と、これらの３次元データを統合する３次元デー
タ統合部１５と、作成された３次元統合データの信用度
を判別し再実測の必要性を判断するとともに、判別した
信用度に基づいて入力環境パラメータを更新するデータ
信用度判別部１４と、データ信用度判別部１４により更
新された入力環境パラメータに従い３次元形状取得ある
いは表面属性取得を行うべく３次元形状取得部１３及び
表面属性取得部１１を制御する制御部１２と、再現時の
観察環境を設定する操作部１７と、３次元統合データお
よび再現時の観察環境データに基づき対象物体の画像を
再構築する任意環境画像生成部１６と、表示および印刷
出力する画像出力部１８とを含んで構成される。

【００１４】３次元形状取得部１３は、レーザレーダ
法、スリット光投影法、パターン投影法などを用いた３
次元計測装置から得られた計測データから、３次元立体
形状モデルを生成する。ここで、３次元立体形状モデル
は、たとえばポリゴンによる表面モデル、あるいは異な
る形状の表面形状要素の集合によるモデルを用いて、３
次元立体形状を表現する。

【００１５】表面属性取得部１１は、光像を画像データ
に光電変換して入力する、ディジタルスチルカメラ、ビ
デオカメラ、マルチスペクトルカメラなどの画像入力装
置から得られる画像データ、および、３次元形状取得部
１３により得られた３次元立体形状モデルを用いて、対
象物体の色・光沢・質感にかかわる表面属性パラメータ
を推定し、表面属性データを生成する。この表面属性デ
ータにより、再現時の対象物体・照明光源・視点の位置
関係や照明光源の色・形状といった観察環境の変化に応
じて、再現画像における鏡面反射の位置・広がり・形状
・強度などを変化させることが可能となり、対象物体の
質感、光沢感、立体感などをよりリアルに表現すること
ができる。ここで、３次元立体形状モデル生成のための
３次元計測装置と、表面属性データ生成のための画像入
力装置は、別個のものであっても一体のものであっても
構わない。

【００１６】３次元データ統合部１５は、３次元形状取
得部１３により得られた３次元立体形状モデルと、表面
属性取得部１１により得られた表面属性データとを統合
し、対象物体の３次元統合データを作成する。

【００１７】データ信用度判別部１４は、作成された３
次元統合データの信用度を判別し、再実測の必要性を判
断する。データの信用度が十分であり再実測を必要とし
ない場合には、その時点の３次元統合データを確定す
る。一方、データの信用度が不十分であり、再実測が必
要と判断される場合には、直前の実測で用いた入力環境
パラメータを変更し、制御部１２に渡す。

【００１８】制御部１２は、入力環境パラメータに従い
３次元形状取得あるいは表面属性取得を再度行う。以上
の処理は、データ信用度判別部１４によって３次元統合
データの信用度が十分であると判断されるまで繰り返し
行われる。

【００１９】観察者は、操作部１７により所望の照明条
件・対象物体の位置や向きなどの観察環境の設定を行う
ことができる。操作部１７は観察者からの設定に応じて
監察官今日データを生成し、任意環境画像生成部１６に
これを送る。任意環境画像生成部１６は、操作部１７に
より設定された観察環境データに従い、観察者が所望す
る観察環境下での対象物体の画像を再構築する。画像出
力部１８は、ＴＶモニタやプリンタなどからなり、任意
環境画像生成部１６により再構築された画像の表示や印
刷出力を行う。

【００２０】図２は、本実施形態の３次元形状取得およ
び表面属性取得における装置の概略図である。対象物体
２１は、コンピュータ制御可能な回転ステージ２５の上
に配置される。回転ステージ２５は、コンピュータ２９
から指令された角度で連続的に回転軸２６を中心として
回転する。なお、測定環境における回転軸２６の位置は
既知とする。

【００２１】照明光源２７は、表面属性データを取得す
る際に使用する照明であり、一つもしくは複数配置さ
れ、コンピュータ２９からの指令により、照明光スペク
トル、光の強度、照明光形状、個数、測定環境における
位置の制御が可能になっている。

【００２２】３次元計測装置／画像入力装置２３は、対
象物体２１から離れた位置に配置され、コンピュータ２
９からの指令により、測定空間内の任意の位置に移動し
て計測を行い、データ入力を行うことができる。

【００２３】コンピュータ２９は、回転ステージ２５、
照明光源２７に対して指令を送り、測定環境を確定す
る。その後、３次元計測装置／画像入力装置２３に対し
て指令を送り、３次元形状計測および画像入力を行う。
ここで、３次元計測装置と画像入力装置は一体の構成で
あっても、別体であっても構わない。こうして得られた
実測データに基づいて、３次元形状および表面属性デー
タの取得を行い、３次元統合データが作成される。

【００２４】次に、以上の構成を備えた本実施形態の３
次元画像処理装置の動作について詳細に説明する。ま
ず、対象物体の実測による３次元形状モデル及び表面属
性データの取得から３次元統合データの生成までについ
て説明する。

【００２５】表面属性取得部１１は、実測データおよび
３次元形状データを用いて、対象物体の色・光沢・質感
にかかわる表面属性パラメータを推定し、表面属性デー
タを生成する。図３は表面属性取得部１１の構成を示す
ブロック図である。図３において、実測データ取捨選択
部３１は、入力された実測データのうち、ノイズ、陰
影、オクルージョン、混色などの影響によって情報が欠
如したり誤差を大きく含むデータを除去するなど、実測
データの取捨選択を行う。拡散反射領域抽出部３３は、
選別された実測データの中から拡散反射成分のみのデー
タを抽出する。鏡面反射成分分離部３５は、鏡面反射成
分を含んだデータから、鏡面反射成分を分離する。推定
処理の流れについては後で詳しく述べる。

【００２６】制御部１２は、入力環境パラメータに従い
３次元形状取得および表面属性取得を行う。図４は制御
部１２の構成を示すブロック図である。図４において、
回転ステージ制御部４７は、回転ステージの回転角度を
入力環境パラメータに定められた回転間隔ずつ順次回転
制御する。照明光源制御部４８は、照明光源に対して、
照明光スペクトル、光の強度、照明光形状、個数、測定
環境における位置の制御を行う。３次元計測装置制御部
４５は、入力環境パラメータから得られる測定位置まで
３次元計測装置を移動し、連続的にデータを入力する。
画像入力装置制御部４６は、入力環境パラメータから得
られる測定位置まで画像入力装置を移動し、連続的にデ
ータを入力する。なお、入力環境記述データ（４３）は
第２の実施形態で用いられるものであり、ここでは説明
を省く。

【００２７】次に、第１の実施形態の３次元画像処理装
置において、対象物体の実測から３次元統合データの作
成までの処理について図５のフローチャートを参照しな
がら説明する。

【００２８】ステップＳ５１において、対象物体表面上
の各頂点に関して、３次元計測装置／画像入力装置２３
により実測データを入力し、ステップＳ５２において、
３次元計測装置によって取得された実測データを用いて
３次元形状データを作成する。ステップＳ５３では、デ
ータ信用度判別部１４が３次元形状データの信用度を評
価し、再実測が必要かどうかの判断を行う（第３の実施
形態により後述する形状データ判別部１４１（図１４）
により行う）。データの信用度が十分ではない部分が存
在する場合には、ステップＳ６２に進み、再実測のため
に入力環境パラメータを変更した後、ステップＳ５１に
戻る。なお、入力環境パラメータには、実測を行うべき
回転ステージ２５の回転間隔、３次元計測装置／画像入
力装置２３の位置、照明光源２７の照明光スペクトル、
光の強度、照明光形状、個数、位置等が含まれ、これら
が一通りの値に決められている。なお、「一通りの値に
決められている」とは、データ入力ごとに、３次元計測
装置／画像入力装置の位置、照明光源の照明光スペクト
ル、光の強度、照明光形状、個数、位置等を変化させ
ず、全てのデータ入力を同一の環境で行うという意であ
る（ただし、回転ステージの回転間隔に基づく、ステー
ジの回転は行う）。

【００２９】一方、ステップＳ５３において３次元形状
データの信用度が十分に高く、再実測の必要性がないと
判断された場合は、ステップＳ５４以降により表面属性
推定処理を行う。ここでは、物体表面における反射光
は、拡散反射成分と鏡面反射成分の二つに分けられると
いう２色性反射モデルの特徴を利用する。これにより、
複数の環境下で実測した実測データにおける各頂点の対
応点の輝度・色の変化を解析することで、それぞれの頂
点における表面属性を推定することができる。

【００３０】まず、ステップＳ５４において、実測デー
タ取捨選択部３１は、上記ステップＳ５１にて画像入力
装置より入力した実測データのうち、ノイズ、陰影、オ
クルージョン、混色などの影響により、情報が欠如した
り誤差を大きく含むデータを除去するなど、実測データ
の取捨選択を行う。続いて、ステップＳ５５において、
上記ステップＳ５４で選別された実測データのみを用い
て、拡散反射成分のみを含むデータを抽出する。そし
て、ステップＳ５６において、抽出されたデータから、
表面属性パラメータのうちの物体色に関するパラメータ
の推定を行う。

【００３１】続いて、ステップＳ５７において、拡散反
射成分と鏡面反射成分の両方を含んだデータから鏡面反
射成分を分離し、ステップＳ５８において、表面属性パ
ラメータのうちの反射特性に関するパラメータの推定を
行う。なお、実測データには、拡散反射成分のみを含む
データ（鏡面反射成分を含まないデータ）と、拡散反射
成分と鏡面反射成分の両方を含んだデータとの２種類が
あり、ステップＳ５５で抽出するのは前者（拡散反射成
分のみのデータ）である。ステップＳ５７では、後者の
データ（拡散反射成分と鏡面反射成分の両方を含んだデ
ータ）において、拡散反射成分と鏡面反射成分を分離す
る。

【００３２】以上の処理を各頂点ごとに行うことで各頂
点における表面属性パラメータを推定し、対象物体表面
全体の推定を行う（ステップＳ５９）。対象物体表面全
体の推定が終了すると、ステップＳ６０に進み、上記推
定結果を用いて、図６により後述する如き３次元統合デ
ータが作成される。続いて、ステップＳ６１において、
作成された３次元統合データの信用度を評価し、再実測
が必要かどうかの判断を行う（第３の実施形態により後
述する表面属性データ判別部１４２（図１４）により行
う）。ここで、すべての頂点における推定値の信用度が
十分に高く、再実測の必要性がないと判断されれば、本
処理を終了する。一方、推定値の信用度が十分ではない
頂点が存在する場合には、ステップＳ６２に進み、再実
測のために入力環境パラメータを変更する。そして、ス
テップＳ５１に戻り、変更された入力環境パラメータに
基づいて実測からの処理を繰り返す。

【００３３】以上の処理は、データの信用度が十分であ
ると判断されるまで繰り返し行われる。ここでは、対象
物体表面の構成単位を頂点として説明したが、後述する
ように頂点の代わりに微小面を用いることも可能であ
る。

【００３４】図６は、第１の実施形態において、３次元
データ統合部１５によって作成される３次元統合データ
の一例を示す図である。１頂点の３次元座標、および物
体色情報や反射特性情報などの表面属性パラメータを格
納する構造を要素とし、この要素を頂点の数分だけ用意
した構造となっている。一回の計測においても、各頂点
のデータは同時に求まるのではなく、一点一点順次求ま
っていく。そして、３次元統合情報として新たな頂点が
生成、追加されるたびに、３次元統合データの要素数は
拡大されていく。

【００３５】なお、構成要素として頂点の代わりに微小
面を用いることもできる。この場合、微小面の３次元位
置情報および表面属性情報を格納する構造が要素とな
り、この要素を微小面の数分だけ用意した構造となる。
要素となる微小面は、近傍の頂点あるいは微小面のう
ち、表面属性情報が類似しているものを統合していくこ
とで生成される。ここで，微小面同士の結合は３次元形
状を損なわない程度に行われる。微小面の３次元位置情
報は、たとえば、三角形の３頂点の座標および法線ベク
トルで表現される。また、微小面の表面属性情報は、物
体色情報および反射特性情報から構成され、パラメータ
形式、あるいは微小面に対応する画像形式（例えば、微
小面に対応するテクスチャ画像）で表現される。３次元
統合情報として新たな微小面が生成、追加されるたび
に、３次元統合データの要素数は拡大されていく。

【００３６】以上のような３次元統合データは、３次元
形状取得および表面属性取得実行中は装置のメモリ上に
置かれ、３次元形状取得および表面属性取得が終了する
と、ハードディスクなどの記憶媒体に保存される。

【００３７】次に、以上のようにして生成された３次元
統合データを用いて、所望の観察環境における対象物体
の画像を生成する処理について説明する。

【００３８】操作部１７は、観察者の入力操作により、
所望の照明条件・対象物体の位置や向きなどの観察環境
データを作成する。図７は操作部１７の構成を説明する
ブロック図である。図７において、照明光源設定部７１
は、再現時に対象物体に照射する照明光に関する設定を
行うもので、例えば照明光の色、輝度、位置、形状（点
光源、線光源、面光源、平行光など）、個数等を設定す
る。対象物体配置設定部７３は、対象物体の位置に関す
る設定を行うもので、例えば対象物体の上下、左右、手
前奥の３次元的な移動、および任意の軸を中心とした回
転を指示する。これらの設定値をもとに再現時に用いる
観察環境データを作成する。

【００３９】次に本実施形態の３次元画像処理装置にお
いて、観察者が所望する観察環境下での対象物体の画像
を再現するための、操作部１７および任意環境画像生成
部１６・画像出力部１８の動作について説明する。

【００４０】図８は本実施形態による３次元画像処理装
置の任意環境下の画像提示のためのユーザインターフェ
ースを示す図である。本実施形態では、図８に示される
ような画面上のユーザインターフェースによって操作部
１７を実現する。

【００４１】観察者は、照明光源設定パネル８３によ
り、対象物体に照射する照明光の色、輝度、位置、形状
（点光源、線光源、面光源、平行光など）を設定する。
ここで、複数の照明光源を設定することができるように
なっている。これにより、観察空間において任意の色、
輝度、形状をもつ、一つまたは複数の照明光源を８２に
示すように任意の位置に配置することができる。照明光
源設定パネル８３は、図７の照明光源設定部７１により
提供される。

【００４２】さらに、観察者は、操作ボタン８４〜８８
を備えた対象物体配置設定パネル８９により、対象物体
に対して上下、左右、手前奥の３次元的な移動、および
任意の軸を中心とした回転を設定する。具体的にはボタ
ン８４により対象物体を上下左右に移動でき、ボタン８
５により手前奥の移動が行える。また、ボタン８６、８
７、８８はそれぞれ軸Ｙ、Ｚ、Ｘを中心とした対象物体
の回転を指示するものである。

【００４３】これにより、観察空間において、対象物体
８１を任意の方向に移動、回転させることができ、対象
物体を所望する方向から観察することができる。

【００４４】図９は操作部１７、任意環境画像生成部１
６による対象物体の画像生成処理を説明するフローチャ
ートである。操作部１７において照明光源の設定或いは
対象物体配置の設定に変更が生じると、観察環境データ
が更新される（ステップＳ９１、Ｓ９２）。任意環境画
像生成部１６は、照明光源設定部７１（８３）および対
象物体配置設定部７３（８９）により設定された観察環
境データと、３次元データ統合部１５によって生成され
た３次元データとに基づいて、観察者が所望する観察環
境下での対象物体の画像を再構築し（ステップＳ９
３）、これをウインドウ８０に提示する（ステップＳ９
４）。なお、対象物体の画像の提示は、表示に限られる
ものではなく、プリンタによる印刷出力であってもよ
い。なお、統合データはＣＧでいうところの対象物のモ
デリングデータであり、画像の構築において、このモデ
リングデータに対して観察環境に対応したレンダリング
処理が行われる。

【００４５】以上のように、観察者が設定する対象物体
・照明光源・視点の位置関係や照明光源の色・輝度・形
状といった観察環境に応じて、再現画像における鏡面反
射の位置・広がり・形状・強度などを変化させることが
できるので、対象物体の質感、光沢感、立体感などをよ
りリアルに表現することが可能となる。

【００４６】以上述べたように、対象物体の３次元形状
および表面属性を取得し、３次元統合データとして統合
し、観察者が設定した観察環境下での対象物体の画像を
再構築、提示することで、観察者に対象物体の質感、光
沢感、立体感などをよりリアルに伝えることが可能とな
る。また、取得したデータの信用度を自動判別し、必要
に応じて３次元形状取得あるいは表面属性取得を繰り返
し行うことにより、３次元形状計測および表面属性推定
の精度を向上させることができ、よりリアリティの高い
物体描画が可能となる。

【００４７】＜第２の実施形態＞次に第２の実施形態に
ついて説明する。

【００４８】図１０は第２の実施形態による３次元画像
処理装置の概略構成を示すブロック図である。図１０に
おいて図１に示した構成と同様の機能を有する構成につ
いては同一の参照番号を付してある。第２の実施形態に
よる３次元画像処理装置は、第１の実施形態と同様に、
対象物体を再現する際に、観察に用いる照明環境を任意
に設定し、かつ対象物体の位置および向きを観察空間内
で自由に変更することを可能とし、所望の観察環境下で
の対象物体の画像を表示或いは印刷出力することを可能
とするものである。

【００４９】第２の実施形態による３次元画像処理装置
は、対象物体の３次元形状を取得する３次元形状取得部
１３と、対象物体の色・光沢・質感などを取得する表面
属性取得部１１と、これらの３次元データを統合する３
次元データ統合部１０５と、３次元統合データの中間デ
ータを保持する３次元中間データ保持部１０８と、作成
された３次元中間データの信用度を判別し再実測の必要
性を判断するデータ信用度判別部１０４と、データ信用
度判別部１０４により作成される入力環境記述データを
保持する入力環境記述データ保持部１０６と、入力環境
記述データに従い３次元形状取得あるいは表面属性取得
を行うべく３次元形状取得部１３及び表面属性取得部１
１を制御する制御部１０２と、再現時の観察環境を設定
する操作部１７と、３次元統合データおよび再現時の観
察環境データに基づき対象物体の画像を再構築する任意
環境画像生成部１６と、表示および印刷出力する画像出
力部１８とで構成される。なお、第２の実施形態で用い
る入力環境記述データには、回転間隔ではなく、各デー
タ入力における回転ステージの回転位置がすべて記述さ
れており、データ入力のたびに、入力環境記述データに
記述された回転位置にステージが設定される。

【００５０】３次元形状取得部１３、表面属性取得部１
１、操作部１７、任意環境画像生成部１６及び画像出
力部１８については、第１の実施形態と同様であるので
説明を省略する。

【００５１】３次元データ統合部１０５は、３次元形状
取得部１３により得られた３次元立体形状モデルと、表
面属性取得部１１により得られた表面属性データとを統
合し、対象物体の３次元統合データの中間データである
３次元中間データを更新し、３次元中間データ保持部１
０８に保持する。

【００５２】データ信用度判別部１０４は、作成された
３次元中間データの信用度を判別し、再実測の必要性を
判断する。データの信用度が十分であり再実測が不要で
あると判断された場合には、３次元データ統合部１０５
は、保持されている３次元中間データから３次元統合デ
ータを作成する。一方、データの信用度が不十分であり
再実測を必要とすると判断された場合には、再実測のた
めの入力環境記述データを作成し、入力環境記述データ
保持部１０６に保持させる。

【００５３】制御部１０２は、入力環境記述データに従
い３次元形状取得あるいは表面属性取得を再度行う。以
上の処理は、データの信用度が十分であると判断される
まで繰り返し行われる。ここで、再実測は必ずしも対象
物体表面すべてに対して行う必要はない。そこで、第２
の実施形態では、入力環境記述データに実測位置などの
情報を記述しておくことで、データの信用度が低い領域
のみを重点的に実測し、その都度、３次元中間データの
うち対応する部分のみを更新していくことを可能とし、
効率的な実測を行うことができるようにする。ここで、
今回の測定で得られた要素と、前回までの測定で得られ
た中間データの要素との対応は、３次元位置情報に基づ
いて判断される。

【００５４】次に制御部１０２の構成を図５を流用して
説明する。第２の実施形態において、制御部１０２は、
第１の実施形態における入力環境パラメータの代わり
に、入力環境記述データ４３を用いて、３次元形状取得
および表面属性取得を行う。回転ステージ制御部４７
は、入力環境記述データに基づき回転ステージの回転角
度を制御する。また、照明光源制御部４８は、入力環境
記述データに基づいて、照明光源に対して、照明光スペ
クトル、光の強度、照明光形状、個数、測定環境におけ
る位置の制御を行う。３次元計測装置制御部４５は、入
力環境記述データに基づいて３次元計測装置の位置を制
御し、データの入力を行う。画像入力装置制御部４６
は、入力環境記述データに基づいて画像入力装置の位置
を制御し、データの入力を行う。

【００５５】第１の実施形態における入力環境パラメー
タでは、ある一通りの設定値に関してのみ連続的な実測
を行うが、本実施形態では入力環境記述データを用いる
ことで、対象物体の一部分だけを重点的に実測したり、
照明光源を変えながら実測するなど、より細かい制御が
可能となるため、データ取得の精度をより向上させるこ
とができる。

【００５６】図１１は、３次元データ統合部１０５によ
って作成される３次元中間データの一例を示す図であ
る。各頂点の３次元座標、および物体色情報や反射特性
情報などの表面属性パラメータ、およびデータの信用度
を格納する構造を要素とし、この要素を頂点の数分だけ
用意した構造となっている。３次元統合情報として新た
な頂点が生成、追加されるたびに、３次元統合データの
要素数は拡大されていく。また、再実測によって一部の
要素においてより信用度の高いデータを取得できた場合
には、該当する要素のデータのみを書き換えて３次元中
間データを更新する。再実測によるデータの信用度の方
が高いかどうかは、要素として格納されている信用度を
用いて判断できる。

【００５７】ここで、構成要素として頂点の代わりに微
小面を用いることもできる。この場合、微小面の３次元
位置情報および表面属性情報を格納する構造を要素と
し、この要素を微小面の数分だけ用意した構造となって
いる。要素となる微小面は、近傍の頂点あるいは微小面
のうち、表面属性情報が類似しているものを統合してい
くことで生成される。ここで，微小面同士の結合は３次
元形状を損なわない程度に行われる。微小面の３次元位
置情報は、たとえば、三角形の３頂点の座標および法線
ベクトルで表現される。微小面の表面属性情報は、物体
色情報および反射特性情報から構成されており、パラメ
ータ形式、あるいは微小面に対応する画像形式で表現さ
れる。

【００５８】図１２は、データ信用度判別部１０４によ
って作成される入力環境記述データの一例を示す図であ
る。データ入力環境毎に、３次元計測および画像入力を
行うべき３次元計測装置の位置・画像入力装置の位置、
回転ステージの回転角度、照明光源の位置・スペクトル
・強度・形状・個数を格納する構造になっており、この
構造をデータ入力回数分だけ保持している。この記述に
基づき、制御部１０２は、３次元形状取得および表面属
性取得を行う。

【００５９】次に、第２の実施形態の３次元画像処理装
置において、実測から３次元統合データ作成までの処理
について、図１３のフローチャートと図２を参照して説
明する。

【００６０】ステップＳ１３１において、対象物体表面
上の各頂点に関して、３次元計測装置／画像入力装置２
３により実測データを入力し、ステップＳ１３２におい
て、３次元計測装置によって取得された実測データを用
いて３次元形状データを作成する。ステップＳ１３３で
は、３次元形状データの信用度を評価し、再実測が必要
かどうかの判断を行う（第３の実施形態により後述する
形状データ判別部１４１（図１４）により行う）。デー
タの信用度が十分ではない部分が存在する場合には、ス
テップＳ１４３に進み、再実測のために入力環境記述デ
ータを作成する。入力環境記述データには、図１２で説
明したように、行うべきデータ入力回数分（図１２では
Ｎ回）の入力環境データ回転ステージ２５の回転角度、
３次元計測装置／画像入力装置２３の位置、照明光源２
７の照明光スペクトル、光の強度、照明光形状、個数、
位置が記述されている。

【００６１】データの信用度が十分に高く、再実測の必
要性がないと判断されれば、つづいて表面属性推定処理
を行う。ここでは、物体表面における反射光は、拡散反
射成分と鏡面反射成分の二つに分けられるという２色性
反射モデルの特徴を利用する。これにより、複数の環境
下で実測した実測データにおける各頂点の対応点の輝度
・色の変化を解析することで、それぞれの頂点における
表面属性を推定することができる。

【００６２】まず、ステップＳ１３４において、実測デ
ータ取捨選択部３１は、ステップＳ１３１で入力した実
測データのうち、ノイズ、陰影、オクルージョン、混色
などの影響により、情報が欠如したり誤差を大きく含む
データを除去し、実測データの取捨選択を行う（ステッ
プＳ１３４）。続いて、ステップＳ１３５において、拡
散反射領域抽出部３３は、選別された実測データを用い
て、拡散反射成分のみを含むデータを抽出する。そし
て、ステップＳ１３６において、ステップＳ１３５で抽
出されたデータを用いて、表面属性パラメータのうちの
物体色に関するパラメータの推定を行う。

【００６３】続いて、ステップＳ１３７において、鏡面
反射成分分離部３５は、拡散反射成分と鏡面反射成分の
両方を含んだデータから、鏡面反射成分を分離し、ステ
ップＳ１３８にて、表面属性パラメータのうち反射特性
に関するパラメータの推定を行う。同時にデータの信用
度の計算を行い、現在保持している３次元中間データよ
りも信用度が高くなった頂点については、３次元中間デ
ータの値を更新する（ステップＳ１３９）。

【００６４】以上の処理を各頂点ごとに行うことで各頂
点における表面属性パラメータを推定し、対象物体表面
全体の推定を行う。対象物体表面全体の推定が終了した
ならば（ステップＳ１４０）、保持されている３次元中
間データの信用度を評価し、再実測が必要かどうかの判
断を行う（ステップＳ１４１）（第３の実施形態により
後述する表面属性データ判別部１４２（図１４）により
行う）。

【００６５】すべての頂点における推定値の信用度が十
分に高く、再実測の必要性がないと判断されれば、３次
元中間データから３次元統合データを作成し（ステップ
Ｓ１４２）、本処理を終了する。一方、推定値の信用度
が十分ではない頂点が存在する場合には、再実測を行う
べくステップＳ１４３へ進み、入力環境記述データを作
成する。そしてステップＳ１３１に戻り、作成された入
力環境記述データに基づき、実測からの処理を再度行
う。以上の処理を繰り返し行い、３次元中間データの一
部を随時更新していくことで、信用度が十分に高い３次
元統合データを作成する。ここでは、対象物体表面の構
成単位を頂点として説明したが、頂点の代わりに微小面
を用いることも可能である。

【００６６】なお、３次元データ統合部１０５によって
作成される３次元統合データ、操作部１７の構成、観察
者が所望する観察環境下での対象物体の画像を再現する
ための操作部１７および任意環境画像生成部１６の処理
については、第１の実施形態（図６〜図９）と同様であ
る。

【００６７】以上述べたように、入力環境記述データを
用いて対象物体の一部分だけを重点的に実測し、３次元
中間データのうち対応する部分のみを随時更新していく
ことで、効率的に実測を行うことができる。また、デー
タの信用度が低い領域のみを重点的に実測したり、照明
光源を変えながら実測するなど、より細かい制御が可能
となるため、データ取得の精度をより向上させることが
できる。＜第３の実施形態＞本実施形態では、第１の実施形態お
よび第２の実施形態で用いたデータ信用度判別部を説明
する。

【００６８】図１４は、第３の実施形態によるデータ信
用度判別部（１４、１０４）の構成を示す概略構成図で
ある。信用度判別部１４、１０４は、作成された３次元
形状データおよび表面属性データの信用度を判別し、必
要に応じて再実測のための入力環境パラメータあるいは
入力環境記述データを更新する。

【００６９】図１４において、形状データ判別部１４１
は、３次元形状取得部１３により得られた３次元形状デ
ータをもとにオクルージョンの有無、形状の複雑さを判
断する。オクルージョンの発生あるいは形状の複雑さの
程度に対して、実測の細かさが不十分である場合には、
入力環境パラメータにおける回転ステージの回転間隔を
変更して、制御部１２、１０２に対して再計測を指示す
る。このとき、３次元計測装置／画像入力装置２３の位
置も併せて変更するようにしてもよい。あるいは、入力
環境記述データの場合であれば、３次元計測装置／画像
入力装置２３の位置、回転ステージ２５の回転角度を最
適な値に変更する。

【００７０】表面属性データ判別部１４２は、表面属性
取得部１１により得られた表面属性データをもとに照明
光源色と対象物体色の類似性、鏡面反射成分ピーク値の
状態、拡散反射領域の有無、鏡面反射成分の割合、対応
点の色分布の一様性、近傍領域間の属性データのばらつ
き等から再計測の要否を判断し、再計測が必要であれば
入力環境パラメータ或いは入力環境記述データを生成、
更新する。例えば以下のようにする。

【００７１】（１）照明光源色と対象物体色がきわめて
類似している場合：この場合、対象物体色の推定精度は
低下してしまう。従って照明光源色と対象物体色の類似
性が高いと判断された場合には、入力環境パラメータに
おける照明光源スペクトル、あるいは入力環境記述デー
タにおける３次元計測装置／画像入力装置２３の位置、
回転ステージ２５の回転角度、照明光源スペクトルを最
適な値に変更する。

【００７２】（２）拡散反射成分のみの領域があまり存
在しない場合：この場合も対象物体色の推定精度は低下
してしまう。従って、拡散反射成分のみの領域が不足し
ていると判断された場合には、入力環境パラメータにお
ける照明光源位置・形状、あるいは入力環境記述データ
における３次元計測装置／画像入力装置２３の位置、回
転ステージ２５の回転角度、照明光源２７の位置・形状
・個数を最適な値に変更する。

【００７３】（３）鏡面反射の程度が強くピーク形状が
つぶれている場合、あるいはその逆に程度が弱くピーク
形状が明確に現れていない場合：これらの場合も入力環
境パラメータにおける照明光源強度、あるいは入力環境
記述データにおける３次元計測装置・画像入力装置の位
置、回転ステージの回転角度、照明光源強度を最適な値
に変更し、鏡面反射特性推定の精度を向上させる。

【００７４】（４）鏡面反射成分を含むデータが不足し
ていると判断された場合：この場合には、入力環境パラ
メータにおける照明光源位置・形状、あるいは入力環境
記述データにおける３次元計測装置・画像入力装置の位
置、回転ステージの回転角度、照明光源位置・形状・個
数を最適な値に変更する。

【００７５】（５）ある構成要素の対応点の色分布にば
らつきが大きい場合、あるいは近傍領域内の構成要素間
で表面属性データの変化が大きい場合：これらの場合、
当該構成要素は表面属性の変化するエッジ領域であると
みなし、十分な解像度で実測できるように入力環境パラ
メータにおける３次元計測装置／画像入力装置２３の位
置、あるいは入力環境記述データにおける３次元計測装
置／画像入力装置２３の位置、回転ステージ２５の回転
角度を最適な値に変更する。

【００７６】以上述べたように、３次元形状データおよ
び表面属性データの信用度を判別し、必要に応じて再実
測の環境設定にフィードバックすることで、３次元形状
計測および表面属性推定の精度を向上させることができ
る。

【００７７】＜第４の実施形態＞第４の実施形態では、
第２の実施形態で示した３次元画像処理装置において、
３次元統合データを用いて所望の観察環境での対象物体
を再現、表示するための構成を、ネットワークで接続さ
れた外部の装置に設ける。

【００７８】図１５は、第４の実施形態による３次元画
像処理装置の概略構成を示すブロック図である。第４の
実施形態の３次元画像処理装置は、対象物体のデータを
取り込む装置と画像を再現する装置とが互いに離れた位
置にあり、ネットワークによるデータ伝送を用いて、画
像を再現する。

【００７９】図１５において、対象物体のデータを取り
込む側の装置は、対象物体の３次元形状を取得する３次
元形状取得部１３と、対象物体の色・光沢・質感などを
取得する表面属性取得部１１と、これらの３次元データ
を統合して図１１に示した３次元統合データを作成する
３次元データ統合部１０５と、該作成された３次元統合
データをネットワークを通じて伝送するネットワークイ
ンターフェース１５１と、３次元統合データの中間デー
タを保持する３次元中間データ保持部１０８と、作成さ
れた３次元中間データの信用度を判別し再実測の必要性
を判断するデータ信用度判別部１０４と、データ信用度
判別部１０４により作成される図１２に示した如き入力
環境記述データを保持する入力環境記述データ保持部１
０６と、入力環境記述データに従い３次元形状取得ある
いは表面属性取得を行うべく３次元形状取得部１３及び
表面属性取得部１１を制御する制御部１０２とを有す
る。これらの対象物体のデータを取り込む側の装置の構
成は、ネットワークインターフェース１５１を除いて第
２の実施形態（図１０）と同様である。

【００８０】また、３次元統合データを用いて対象物体
の再現を行う側の装置は、再現時の観察環境を設定する
操作部１５２と、ネットワークを通じて伝送されてきた
３次元統合データを受けて、再現時の観察環境（操作部
１５２によって設定される）に基づき対象物体の画像を
再構築する任意環境画像生成部１５３と、表示および印
刷出力する画像出力部１５４とを備える。

【００８１】上記構成において、３次元データ統合部１
０５は、データ信用度判別部１０４によって３次元中間
データの信用度が十分であり再実測を必要としないと判
定された場合には、保持されている３次元中間データか
ら対象物体の３次元統合データを作成し、ネットワーク
インターフェース１５１に送る。ネットワークインター
フェース１５１は、受け取った３次元統合データをネッ
トワークを通じて任意環境画像生成部１５２に伝送す
る。

【００８２】対象物体の再現を行う側の装置において、
観察者は、操作部１５２により所望の照明条件・対象物
体の位置や向きなどの観察環境の設定を行う。

【００８３】任意環境画像生成部１５３は、ネットワー
クを通じて伝送されてきた３次元統合データを受けて、
操作部１５２により設定された観察環境データに従い、
観察者が所望する観察環境下での対象物体の画像を再構
築する。画像出力部１５４は、ＴＶモニタやプリンタな
どからなり、任意環境画像生成部１５３により再構築さ
れた画像の表示や印刷出力を行う。

【００８４】なお、操作部１５２の構成、観察者が所望
する観察環境下での対象物体の画像を再現するための操
作部１５２および任意環境画像生成部１５３の処理につ
いては、第１の実施形態（図６〜図９）と同様である。

【００８５】以上述べたように、３次元統合データをネ
ットワークを介して送受信できるようにすることで、対
象物体のデータを取り込む装置と画像を再現する装置と
が離れた場所にあるような場合にでも、観察者が所望す
る観察環境下での対象物体の画像を再現することがで
き、観察者に対象物体の質感、光沢感、立体感などをよ
りリアルに伝えることが可能となる。

【００８６】以上の説明から明らかなように、上記各実
施形態によれば、対象物体の３次元形状および表面属性
を取得し、３次元統合データとして統合し、観察者が設
定した観察環境下での対象物体の画像を再構築、提示す
る。このため、対象となる実物体の形状・テクスチャ・
色だけでなく、照明光の形状・位置・方向・色、観察者
の位置・方向等や、対象物体の位置・姿勢等、再現時の
観察環境に応じて対象物体の質感や光沢感、立体感など
をよりリアルに伝える画像生成が可能となる。

【００８７】また、３次元形状データおよび表面属性デ
ータの信用度を判別し、必要に応じて環境設定にフィー
ドバックして再実測することで、３次元形状計測および
表面属性推定の精度を向上させることができる。このた
め、よりリアリティの高い物体描画が可能となる。

【００８８】さらに、第２の実施形態によれば、入力環
境記述データを用いて対象物体の一部分だけを重点的に
実測し、３次元中間データのうち対応する部分のみを随
時更新していくことで、効率的に３次元統合データ生成
のための実測を行うことができる。また、データの信用
度が低い領域のみを重点的に実測したり、照明光源を変
えながら実測するなど、より細かい制御が可能となるた
め、データ取得の精度をより向上させることができる。

【００８９】さらに、第４の実施形態によれば、３次元
統合データをネットワークを介して送受信できるように
することで、対象物体のデータを取り込む場所と画像を
再現する場所とが遠隔地にあるような場合にでも、観察
者が所望する観察環境下での対象物体の画像を再現する
ことができ、観察者に対象物体の質感、光沢感、立体感
などをよりリアルに伝えることが可能となる。

【００９０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００９１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００９２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００９３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００９４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９５】

【発明の効果】以上説明したように、本発明によれば、
観察者によって指定された観察環境に応じて、対象物体
の質感、光沢感、立体感などをよりリアルに再現するこ
とが可能な３次元画像データが提供される。

【図面の簡単な説明】

【図１】第１の実施形態による３次元画像処理装置の概
略構成を示すブロック図である。

【図２】第１の実施形態による３次元形状取得および表
面属性取得における装置の概略図である。

【図３】表面属性取得部の構成を示すブロック図であ
る。

【図４】制御部の構成を示すブロック図である。

【図５】第１の実施形態による、対象物体の実測から３
次元統合データの作成までの処理を説明するフローチャ
ートである。

【図６】第１の実施形態において、３次元データ統合部
によって作成される３次元統合データの一例を示す図で
ある。

【図７】操作部の構成を説明するブロック図である。

【図８】実施形態による３次元画像処理装置の任意環境
下の画像提示のためのユーザインターフェースを示す図
である。

【図９】操作部、任意環境画像生成部による対象物体の
画像生成処理を説明するフローチャートである。

【図１０】第２の実施形態による３次元画像処理装置の
概略構成を示すブロック図である。

【図１１】３次元データ統合部によって作成される３次
元中間データの一例を示す図である。

【図１２】データ信用度判別部によって作成される入力
環境記述データの一例を示す図である。

【図１３】第２の実施形態による、対象物体の実測から
３次元統合データの作成までの処理を説明するフローチ
ャートである。

【図１４】第３の実施形態によるデータ信用度判別部
（１４、１０４）の構成を示す概略構成図である。

【図１５】第４の実施形態による３次元画像処理装置の
概略構成を示すブロック図である。

Claims

【特許請求の範囲】

【請求項１】設定情報に従って入力環境を設定して対
象物体を計測し、３次元形状と表面属性を表す計測デー
タを取得する取得工程と、前記取得工程で取得された計測データを解析して前記対
象物体の３次元形状モデルとその各部の表面属性を表す
統合データを生成する生成工程と、前記統合データの生成に際して、前記対象物体について
前記取得工程による更なる計測データの取得が必要か否
かを判定する判定工程と、前記判定工程により更なる計測データの取得が必要と判
定された場合、前記設定情報を更新して前記取得工程の
処理を実行させる実行工程とを備えることを特徴とする
３次元画像処理方法。
【請求項２】前記統合データは、３次元形状モデルを
構成する頂点の位置を示すデータと、各頂点に対応する
表面属性再現用のパラメータとを含むことを特徴とする
請求項１に記載の３次元画像処理方法。
【請求項３】前記統合データは、３次元形状モデルを
構成する多角形面の位置及び方向を示すデータと、各多
角形面に対応する表面属性再現用のパラメータとを含む
ことを特徴とする請求項１に記載の３次元画像処理方
法。
【請求項４】前記生成工程は、前記計測データのうちの表面属性を表すデータから拡散
反射成分を得て、３次元形状モデル各部の物体色に関す
るパラメータを決定する第１決定工程と、前記表面属性を表すデータから鏡面反射成分を得て、３
次元形状モデル各部の反射特性に関するパラメータを決
定する第２決定工程とを備えることを特徴とする請求項
１に記載の３次元画像処理方法。
【請求項５】前記生成工程は、前記表面属性を表すデ
ータより、誤差が大きいと判断される部分のデータを予
め除去してから前記第１及び第２決定工程に提供する除
去工程を更に備えることを特徴とする請求項４に記載の
３次元画像処理方法。
【請求項６】前記設定情報は、前記取得工程において
用いる測定装置の位置、照明系の属性、対象物体の回転
間隔を規定する設定パラメータを含み、前記取得工程は、前記設定パラメータに基づいて測定装
置を移動し、照明系を設定し、前記回転間隔に従って対
象物体を回転させながら前記計測データを取得すること
を特徴とする請求項１に記載の３次元画像処理方法。
【請求項７】前記実行工程は、前記生成工程による解
析の結果に基づいて、前記測定装置の位置、照明系の属
性、回転間隔の少なくとも１つを変更することを特徴と
する請求項６に記載の３次元画像処理方法。
【請求項８】前記設定情報は、前記取得工程が具備す
る測定装置の位置、照明系、対象物体の回転角度を規定
する設定パラメータを複数記述したものであり、前記取得工程は、前記複数の設定パラメータの各々に従
った計測を順次実行して計測データを取得することを特
徴とする請求項１に記載の３次元画像処理方法。
【請求項９】前記実行工程は、前記生成工程による解
析の結果に基づいて、前記対象物体のうちの所定領域が
前記取得工程において重点的に計測されるように複数の
設定パラメータを記述することを特徴とする請求項８に
記載の３次元画像処理方法。
【請求項１０】前記生成工程は、前記取得工程で取得された計測データを解析して前記対
象物体の３次元形状モデルとその各部の表面属性を表す
データ及びそれらの信用度を表すデータを含む中間デー
タを生成してこれを保持する保持工程と、前記実行工程によって前記取得工程による処理が実行さ
れて、取得された計測データを解析した結果、前記保持
工程によって保持されたデータよりも信用度の高い新た
なデータが得られた場合に、その部分を該新たなデータ
で更新する更新工程とを備え、前記判定工程でデータの更なる取得が不要と判定される
と、前記保持工程に保持された最終の中間データに基づ
いて前記統合データを生成することを特徴とする請求項
１に記載の３次元画像処理方法。
【請求項１１】照明系の属性と対象物体の位置、姿勢
を含む観察環境を所望に設定する設定工程と、前記設定工程で設定された観察環境と前記生成工程で生
成された統合データに基づいて前記対象物体の画像デー
タを生成する画像生成工程と、前記画像生成工程で生成された画像データを出力する出
力工程とを更に備えることを特徴とする請求項１に記載
の３次元画像処理方法。
【請求項１２】前記統合データを外部装置へ出力する
出力工程を更に備えることを特徴とする請求項１に記載
の３次元画像処理方法。
【請求項１３】設定情報に従って入力環境を設定して
対象物体を計測し、３次元形状と表面属性を表す計測デ
ータを取得する取得手段と、前記取得手段で取得された計測データを解析して前記対
象物体の３次元形状モデルとその各部の表面属性を表す
統合データを生成する生成手段と、前記統合データの生成に際して、前記対象物体について
前記取得手段による更なる計測データの取得が必要か否
かを判定する判定手段と、前記判定手段により更なる計測データの取得が必要と判
定された場合、前記設定情報を更新して前記取得手段の
処理を実行させる実行手段とを備えることを特徴とする
３次元画像処理装置。
【請求項１４】前記統合データは、３次元形状モデル
を構成する頂点の位置を示すデータと、各頂点に対応す
る表面属性再現用のパラメータとを含むことを特徴とす
る請求項１３に記載の３次元画像処理装置。
【請求項１５】前記統合データは、３次元形状モデル
を構成する多角形面の位置及び方向を示すデータと、各
多角形面に対応する表面属性再現用のパラメータとを含
むことを特徴とする請求項１３に記載の３次元画像処理
装置。
【請求項１６】前記生成手段は、前記計測データのうちの表面属性を表すデータから拡散
反射成分を得て、３次元形状モデル各部の物体色に関す
るパラメータを決定する第１決定手段と、前記表面属性を表すデータから鏡面反射成分を得て、３
次元形状モデル各部の反射特性に関するパラメータを決
定する第２決定手段とを備えることを特徴とする請求項
１３に記載の３次元画像処理装置。
【請求項１７】前記生成手段は、前記表面属性を表す
データより、誤差が大きいと判断される部分のデータを
予め除去してから前記第１及び第２決定手段に提供する
除去手段を更に備えることを特徴とする請求項１６に記
載の３次元画像処理装置。
【請求項１８】前記設定情報は、前記取得手段におい
て用いる測定装置の位置、照明系の属性、対象物体の回
転間隔を規定する設定パラメータを含み、前記取得手段は、前記設定パラメータに基づいて測定装
置を移動し、照明系を設定し、前記回転間隔に従って対
象物体を回転させながら前記計測データを取得すること
を特徴とする請求項１３に記載の３次元画像処理装置。
【請求項１９】前記実行手段は、前記生成手段による
解析の結果に基づいて、前記測定装置の位置、照明系の
属性、回転間隔の少なくとも１つを変更することを特徴
とする請求項１８に記載の３次元画像処理装置。
【請求項２０】前記設定情報は、前記取得手段が具備
する測定装置の位置、照明系、対象物体の回転角度を規
定する設定パラメータを複数記述したものであり、前記取得手段は、前記複数の設定パラメータの各々に従
った計測を順次実行して計測データを取得することを特
徴とする請求項１３に記載の３次元画像処理装置。
【請求項２１】前記実行手段は、前記生成手段による
解析の結果に基づいて、前記対象物体のうちの所定領域
が前記取得手段において重点的に計測されるように複数
の設定パラメータを記述することを特徴とする請求項２
０に記載の３次元画像処理装置。
【請求項２２】前記生成手段は、前記取得手段で取得された計測データを解析して前記対
象物体の３次元形状モデルとその各部の表面属性を表す
データ及びそれらの信用度を表すデータを含む中間デー
タを生成してこれを保持する保持手段と、前記実行手段によって前記取得手段による処理が実行さ
れて、取得された計測データを解析した結果、前記保持
手段によって保持されたデータよりも信用度の高い新た
なデータが得られた場合に、その部分を該新たなデータ
で更新する更新手段とを備え、前記判定手段でデータの更なる取得が不要と判定される
と、前記保持手段に保持された最終の中間データに基づ
いて前記統合データを生成することを特徴とする請求項
１３に記載の３次元画像処理装置。
【請求項２３】照明系の属性と対象物体の位置、姿勢
を含む観察環境を所望に設定する設定手段と、前記設定手段で設定された観察環境と前記生成手段で生
成された統合データに基づいて前記対象物体の画像デー
タを生成する画像生成手段と、前記画像生成手段で生成された画像データを出力する出
力手段とを更に備えることを特徴とする請求項１３に記
載の３次元画像処理装置。
【請求項２４】前記統合データを外部装置へ出力する
出力手段を更に備えることを特徴とする請求項１３に記
載の３次元画像処理装置。
【請求項２５】請求項１乃至１２のいずれかに記載の
３次元画像処理方法をコンピュータに実行させるための
制御プログラム。
【請求項２６】請求項１乃至１２のいずれかに記載の
３次元画像処理方法をコンピュータに実行させるための
制御プログラムを格納した記憶媒体。