JPH11149576A - ３次元モデリング装置、３次元モデリング方法、３次元モデリングプログラムを記録した媒体、および３次元形状推定プログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】 凹所を有する対象物体の立体モデルを生成可
能な３次元モデリング装置を提供する。 【解決手段】 対象物体１０を複数の視点から撮影し、
得られた複数の物体画像のうち中心画像Ａ０および周辺
画像Ａ１，Ａ１５間における濃度情報を予め用意された
ボクセル空間１１の対応するボクセルに投票し、各ボク
セル１２に投票された濃度情報の標準偏差を算出し、ボ
クセル空間１１内のボクセル１２のうち標準偏差が小さ
いボクセル１２を滑らかに結合することにより対象物体
１０の形状を推定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元モデリング
装置およびその方法、３次元モデリングプログラムを記
録した媒体、ならびに３次元形状推定プログラムを記録
した媒体に関し、特に、対象物体の立体モデルを生成す
る３次元モデリング装置およびその方法ならびに３次元
モデリングプログラムを記録した媒体に関する。

【０００２】

【従来の技術】一般に、３次元グラフィックス画像を得
るためには、３次元対象物体の形状およびテクスチャ
（色彩および模様）を表現した立体モデルが作成され
る。

【０００３】立体モデルを作成する従来の３次元モデリ
ング方法としては、たとえばシルエット法やステレオ法
がある。シルエット法は、対象物体を複数の視点から単
眼カメラで撮影し、それにより得られた複数のシルエッ
ト画像に基づいて対象物体の立体モデルを生成する。

【０００４】

【発明が解決しようとする課題】しかしながら、シルエ
ット法は撮影された対象物体の輪郭に基づいて立体モデ
ルを生成するため、対象物体の凹所を表現することがで
きないという問題がある。

【０００５】また、「財満久義他，『連続カラー画像を
用いた双方向投票による物体形状と色の推定』，情報処
理学会第５３回（平成８年後期）全国大会，２−３０１
および３０２頁」には、色情報を投票して対象物体の形
状を推定する方法が開示されている。この方法は、表面
ボクセルにおいては同じ色が投票されるはずであるとい
う仮定に基づいたものである。しかしながら、この方法
は、すべての画像情報を一旦用いて色の投票を行なって
いるため、表面ボクセルに対し、裏方向の画像情報まで
もが投票されてしまう。したがって、通常、表面ボクセ
ルにおいても投票された色が異なってしまう。この問題
を解決するため、ボクセルに投票された候補色を絞り込
む必要が生じている。この処理のため、この方法は、投
票された色をすべて保持するための多大なメモリが必要
となる。これに加え、候補色の中から色の同一性を抽出
して表面ボクセルを決定するために、同じ部分が常に同
じ色で撮影される必要がある。あるいは、同じ色である
か否かを判断するためのしきい値設定が必要になる。こ
のしきい値設定は一般に困難な処理となる。

【０００６】本発明は上記のような問題点を解決するた
めになされたもので、対象物体の凹所を表現可能な簡易
かつ安価な３次元モデリング装置およびその方法ならび
に３次元モデリングプログラムを記録した媒体を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】本発明の１つの局面に従
うと、対象物体の立体モデルを生成する３次元モデリン
グ装置は、物体画像獲得手段と、形状推定手段と、生成
手段とを備える。物体画像獲得手段は、対象物体を複数
の視点から撮影し、複数の物体画像を得る。形状推定手
段は、複数の物体画像のうち少なくとも２つの物体画像
間における画像情報のばらつきに基づいて対象物体の形
状を推定する。生成手段は、推定された形状に基づいて
立体モデルを生成する。

【０００８】好ましくは、上記物体画像の画像情報は色
および／または濃度である。

【０００９】好ましくは、上記形状推定手段は、画像情
報累積手段と、算出手段とを含む。画像情報累積手段
は、複数の領域から構成される３次元仮想空間の各領
域、より具体的には各領域に対応する記憶領域に少なく
とも２つの物体画像の対応する画像情報を累積する。算
出手段は、領域に累積された画像情報のばらつきを算出
する。

【００１０】好ましくは、上記３次元モデリング装置は
さらに、存在領域推定手段を備える。存在領域推定手段
は、複数の物体画像中の対象物体の輪郭に基づいて３次
元仮想空間における対象物体の存在領域を概略的に推定
する。上記画像情報累積手段は、３次元仮想空間の領域
のうち存在領域内の領域に画像情報を累積する。ここ
で、画像情報を累積するのは存在領域内の領域だけの方
が好ましい。

【００１１】好ましくは、上記形状推定手段はさらに、
結合手段を含む。結合手段は、対象物体の形状を推定す
るために、３次元仮想空間の領域のうちばらつきの小さ
い領域を滑らかに結合する。

【００１２】好ましくは、上記結合手段は、ばらつきの
小さい領域を滑らかに結合するために、ばらつきの小さ
さと結合されるべき領域の滑らかさとを変数とする評価
関数を最小化する。

【００１３】好ましくは、上記形状推定手段はさらに、
座標変換手段と、結合手段とを含む。座標変換手段は、
３次元仮想空間の座標空間視点の１つから放射状に広が
る座標軸を有する透視座標空間に変換する。結合手段
は、対象物体の形状を推定するために、透視座標空間に
おいて１つの視点を通る直線上の領域のうちばらつきが
最小またはその最小値よりも所定の値だけ大きい領域を
結合する。さらに好ましくは、上記３次元仮想空間の座
標空間は直交座標空間である。

【００１４】好ましくは、上記形状推定手段はさらに、
結合手段を含む。結合手段は、対象物体の形状を推定す
るために、３次元仮想空間において視点の１つを通る直
線上の領域のうちばらつきが最小またはその最小値より
も所定の値だけ大きい領域を結合する。さらに好ましく
は、上記３次元仮想空間の座標空間は直交座標空間であ
る。

【００１５】好ましくは、上記形状推定手段は、部分表
面推定手段と、統合手段とを含む。部分表面推定手段
は、複数の物体画像間において互いに対応する画像情報
のばらつきに基づいて対象物体の複数の部分表面（仮形
状）を推定する。統合手段は、複数の部分表面を統合し
て対象物体の形状を決定する。

【００１６】好ましくは、上記形状推定手段は、画像情
報累積手段と、算出手段と、部分表面推定手段と、統合
手段とを含む。画像情報累積手段は、複数の領域から構
成される３次元仮想空間の各領域、より具体的には各領
域に対応する記憶領域に少なくとも２つの物体画像の対
応する画像情報を累積する。算出手段は、領域に累積さ
れた画像情報のばらつきを算出する。部分表面推定手段
は、複数の物体画像間において互いに対応する画像情報
のばらつきに基づいて対象物体の複数の部分表面（仮形
状）を推定する。統合手段は、複数の部分表面を統合し
て対象物体の形状を決定する。この統合手段は、距離累
積手段と、認定手段とを含む。距離累積手段は、３次元
仮想空間の領域のうち存在領域内にありかつ部分表面の
各々の外側にある領域、より具体的には各領域に対応す
る記憶領域に、その領域から複数の部分表面までの距離
を累積する。認定手段は、累積された距離の総和が所定
の値よりも大きい領域を対象物体の外側と認定する。こ
こで、この３次元モデリング装置はさらに、複数の物体
画像中の対象物体の輪郭に基づいて３次元仮想空間にお
ける対象物体の存在領域を概略的に推定する存在領域推
定手段を備え、上記画像情報累積手段は３次元仮想空間
の領域のうち存在領域内の領域に画像情報を累積しても
よい。また、上記形状推定手段はさらに、対象物体の形
状を推定するために、３次元仮想空間の領域のうちばら
つきの小さい領域を滑らかに結合する結合手段を含んで
いてもよい。また、この結合手段は、ばらつきの小さい
領域を滑らかに結合するために、ばらつきの小ささと結
合されるべき領域の滑らかさとを変数とする評価関数を
最小化してもよい。また、上記形状推定手段はさらに、
３次元仮想空間の座標空間視点の１つから放射状に広が
る座標軸を有する透視座標空間に変換する座標変換手段
と、対象物体の形状を推定するために、透視座標空間に
おいて１つの視点を通る直線上の領域のうちばらつきが
最小またはその最小値よりも所定の値だけ大きい領域を
結合する結合手段とを含んでいてもよい。また、上記形
状推定手段はさらに、対象物体の形状を推定するため
に、３次元仮想空間において視点の１つを通る直線上の
領域のうちばらつきが最小またはその最小値よりも所定
の値だけ大きい領域を結合する結合手段を含んでいても
よい。

【００１７】好ましくは、上記形状推定手段は、画像情
報累積手段と、算出手段と、部分表面推定手段と、統合
手段とを含む。画像情報累積手段は、複数の領域から構
成される３次元仮想空間の各領域、より具体的には各領
域に対応する記憶領域に少なくとも２つの物体画像の対
応する画像情報を累積する。算出手段は、領域に累積さ
れた画像情報のばらつきを算出する。部分表面推定手段
は、複数の物体画像間において互いに対応する画像情報
のばらつきに基づいて対象物体の複数の部分表面（仮形
状）を推定する。統合手段は、複数の部分表面を統合し
て対象物体の形状を決定する。この統合手段は、距離累
積手段と、累積回数計算手段と、認定手段とを含む。距
離累積手段は、３次元仮想空間の領域のうち存在領域内
にありかつ部分表面の各々の外側にある領域に、その領
域から複数の部分表面までの距離を累積する。累積回数
計算手段は、累積回数を計算する。認定手段は、累積さ
れた距離の総和を計算された累積回数で除した距離平均
値が所定の値よりも大きい領域を対象物体の外側と認定
する。ここで、この３次元モデリング装置はさらに、複
数の物体画像中の対象物体の輪郭に基づいて３次元仮想
空間における対象物体の存在領域を概略的に推定する存
在領域推定手段を備え、上記画像情報累積手段は３次元
仮想空間の領域のうち存在領域内の領域に画像情報を累
積してもよい。また、上記形状推定手段はさらに、対象
物体の形状を推定するために、３次元仮想空間の領域の
うちばらつきの小さい領域を滑らかに結合する結合手段
を含んでいてもよい。また、この結合手段は、ばらつき
の小さい領域を滑らかに結合するために、ばらつきの小
ささと結合されるべき領域の滑らかさとを変数とする評
価関数を最小化してもよい。また、上記形状推定手段は
さらに、３次元仮想空間の座標空間視点の１つから放射
状に広がる座標軸を有する透視座標空間に変換する座標
変換手段と、対象物体の形状を推定するために、透視座
標空間において１つの視点を通る直線上の領域のうちば
らつきが最小またはその最小値よりも所定の値だけ大き
い領域を結合する結合手段とを含んでいてもよい。ま
た、上記形状推定手段はさらに、対象物体の形状を推定
するために、３次元仮想空間において視点の１つを通る
直線上の領域のうちばらつきが最小またはその最小値よ
りも所定の値だけ大きい領域を結合する結合手段を含ん
でいてもよい。

【００１８】好ましくは、上記形状推定手段は、画像情
報累積手段と、算出手段と、部分表面推定手段と、統合
手段とを含む。画像情報累積手段は、複数の領域から構
成される３次元仮想空間の各領域、より具体的には各領
域に対応する記憶領域に少なくとも２つの物体画像の対
応する画像情報を累積する。算出手段は、領域に累積さ
れた画像情報のばらつきを算出する。部分表面推定手段
は、複数の物体画像間において互いに対応する画像情報
のばらつきに基づいて対象物体の複数の部分表面（仮形
状）を推定する。統合手段は、複数の部分表面を統合し
て対象物体の形状を決定する。この統合手段は、投票手
段と、認定手段とを含む。投票手段は、３次元仮想空間
の領域のうち部分表面の各々の内側にある領域に所定の
第１の値を投票する。認定手段は、投票された第１の値
の総和が所定の第２の値よりも大きい領域を対象物体の
内側と認定する。ここで、この３次元モデリング装置は
さらに、複数の物体画像中の対象物体の輪郭に基づいて
３次元仮想空間における対象物体の存在領域を概略的に
推定する存在領域推定手段を備え、上記画像情報累積手
段は３次元仮想空間の領域のうち存在領域内の領域に画
像情報を累積してもよい。また、上記形状推定手段はさ
らに、対象物体の形状を推定するために、３次元仮想空
間の領域のうちばらつきの小さい領域を滑らかに結合す
る結合手段を含んでいてもよい。また、この結合手段
は、ばらつきの小さい領域を滑らかに結合するために、
ばらつきの小ささと結合されるべき領域の滑らかさとを
変数とする評価関数を最小化してもよい。また、上記形
状推定手段はさらに、３次元仮想空間の座標空間視点の
１つから放射状に広がる座標軸を有する透視座標空間に
変換する座標変換手段と、対象物体の形状を推定するた
めに、透視座標空間において１つの視点を通る直線上の
領域のうちばらつきが最小またはその最小値よりも所定
の値だけ大きい領域を結合する結合手段とを含んでいて
もよい。また、上記形状推定手段はさらに、対象物体の
形状を推定するために、３次元仮想空間において視点の
１つを通る直線上の領域のうちばらつきが最小またはそ
の最小値よりも所定の値だけ大きい領域を結合する結合
手段を含んでいてもよい。

【００１９】好ましくは、上記画像情報累積手段は、物
体画像の画素ごとに画像情報を累積する。

【００２０】好ましくは、上記画像情報累積手段は、物
体画像の複数の画素を含む所定ブロックごとに画像情報
を累積する。

【００２１】好ましくは、上記領域はボクセルであり、
上記３次元仮想空間はボクセル空間である。

【００２２】好ましくは、上記画像情報のばらつきは画
像情報の標準偏差である。好ましくは、上記形状推定手
段は、ブロック設定手段と、算出手段とを含む。ブロッ
ク設定手段は、物体画像ごとに複数の画素を含むブロッ
クを設定する。算出手段は、ブロック間において互いに
対応する画素の値の差をそれぞれ算出し、その算出され
た差の絶対値の総和を画像情報のばらつきとして算出す
る。

【００２３】好ましくは、上記形状推定手段は、ブロッ
ク設定手段と、算出手段とを含む。ブロック設定手段
は、物体画像ごとに複数の画素を含むブロックを設定す
る。算出手段は、ブロック間において互いに対応する画
素の値の差をそれぞれ算出し、その算出された差の自乗
の総和を画像情報のばらつきとして算出する。

【００２４】本発明のもう１つの局面に従うと、対象物
体の立体モデルを生成する３次元モデリング方法は、対
象物体を複数の視点から撮影し、複数の物体画像を得る
ステップと、複数の物体画像のうち少なくとも２つの物
体画像間において互いに対応する画像情報のばらつきに
基づいて対象物体の形状を推定するステップと、推定さ
れた形状に基づいて立体モデルを生成するステップとを
含む。

【００２５】好ましくは、上記物体画像の画像情報は色
および／または濃度である。

【００２６】好ましくは、上記形状を推定するステップ
は、複数の領域から構成される３次元仮想空間の領域に
少なくとも２つの物体画像の対応する画像情報を累積す
るステップと、領域に累積された画像情報のばらつきを
算出するステップとを含む。

【００２７】好ましくは、上記３次元モデリング方法は
さらに、複数の物体画像中の対象物体の輪郭に基づいて
３次元仮想空間における対象物体の存在領域を概略的に
推定するステップを含む。上記累積するステップは、３
次元仮想空間の領域のうち存在領域内の領域に画像情報
を累積する。ここで、画像情報を累積するのは存在領域
内の領域だけの方が好ましい。

【００２８】好ましくは、上記形状を推定するステップ
はさらに、対象物体の形状を推定するために、３次元仮
想空間の領域のうちばらつきの小さい領域を滑らかに結
合するステップを含む。

【００２９】好ましくは、上記結合するステップは、ば
らつきの小さい領域を滑らかに結合するために、ばらつ
きの小ささと結合されるべき領域の滑らかさとを変数と
する評価関数を最小化する。

【００３０】好ましくは、上記形状を推定するステップ
はさらに、３次元仮想空間の座標空間視点の１つから放
射状に広がる座標軸を有する透視座標空間に変換するス
テップと、対象物体の形状を推定するために、透視座標
空間において１つの視点を通る直線上の領域のうちばら
つきが最小またはその最小値よりも所定の値だけ大きい
領域を結合するステップとを含む。さらに好ましくは、
上記３次元仮想空間の座標空間は直交座標空間である。

【００３１】好ましくは、上記形状を推定するステップ
はさらに、対象物体の形状を推定するために、３次元仮
想空間において視点の１つを通る直線上の領域のうちば
らつきが最小またはその最小値よりも所定の値だけ大き
い領域を結合するステップを含む。さらに好ましくは、
上記３次元仮想空間の座標空間は直交座標空間である。

【００３２】好ましくは、上記形状を推定するステップ
は、複数の物体画像間において互いに対応する画像情報
のばらつきに基づいて対象物体の複数の部分表面を推定
するステップと、複数の部分表面を統合して対象物体の
形状を決定するステップとを含む。

【００３３】好ましくは、上記統合するステップは、３
次元仮想空間の領域のうち存在領域内にありかつ部分表
面の各々の外側にある領域、より具体的には各領域に対
応する記憶領域に、その領域から複数の部分表面までの
距離を累積するステップと、累積された距離の総和が所
定の値よりも大きい領域を対象物体の外側と認定するス
テップとを含む。

【００３４】好ましくは、上記統合するステップは、３
次元仮想空間の領域のうち存在領域内にありかつ部分表
面の各々の外側にある領域に、その領域から複数の部分
表面までの距離を累積するステップと、累積回数を計算
するステップと、累積された距離の総和を計算された累
積回数で除した距離平均値が所定の値よりも大きい領域
を対象物体の外側と認定するステップとを含む。

【００３５】好ましくは、上記統合するステップは、３
次元仮想空間の領域のうち部分表面の各々の内側にある
領域に所定の第１の値を投票するステップと、投票され
た第１の値の総和が所定の第２の値よりも大きい領域を
対象物体の内側と認定するステップとを含む。ここで、
第２の値は［部分表面の数×第１の値］またはその近傍
値がよい。

【００３６】好ましくは、上記画像情報を累積するステ
ップは、物体画像の画素ごとに画像情報を累積する。

【００３７】好ましくは、上記画像情報を累積するステ
ップは、物体画像の複数の画素を含む所定ブロックごと
に画像情報を累積する。

【００３８】好ましくは、上記領域はボクセルであり、
上記３次元仮想空間はボクセル空間である。

【００３９】好ましくは、上記画像情報のばらつきは画
像情報の標準偏差である。好ましくは、上記形状を推定
するステップは、物体画像ごとに複数の画素を含むブロ
ックを設定するステップと、ブロック間において互いに
対応する画素の値の差をそれぞれ算出し、その算出され
た差の絶対値の総和を画像情報のばらつきとして算出す
るステップとを含む。

【００４０】好ましくは、上記形状を推定するステップ
は、物体画像ごとに複数の画素を含むブロックを設定す
るステップと、ブロック間において互いに対応する画素
の値の差をそれぞれ算出し、その算出された差の自乗の
総和を画像情報のばらつきとして算出するステップとを
含む。

【００４１】本発明のさらにもう１つの局面に従うと、
媒体は、コンピュータに、対象物体を複数の視点から撮
影して得られた複数の物体画像に基づいて対象物体の立
体モデルを生成させる３次元モデリングプログラムを記
録した媒体である。上記プログラムは、複数の物体画像
のうち少なくとも２つの物体画像間において互いに対応
する画像情報のばらつきに基づいて対象物体の形状を推
定するステップと、推定された形状に基づいて立体モデ
ルを生成するステップとを含む。

【００４２】好ましくは、上記物体画像の画像情報は色
および／または濃度である。

【００４３】好ましくは、上記形状を推定するステップ
は、複数の領域から構成される３次元仮想空間の領域に
少なくとも２つの物体画像の対応する画像情報を累積す
るステップと、領域に累積された画像情報のばらつきを
算出するステップとを含む。

【００４４】好ましくは、上記プログラムは、複数の物
体画像中の対象物体の輪郭に基づいて３次元仮想空間に
おける対象物体の存在領域を概略的に推定するステップ
をさらに含む。上記累積するステップは、３次元仮想空
間の領域のうち存在領域内の領域に画像情報を累積す
る。ここで、画像情報を累積するのは存在領域内の領域
だけの方が好ましい。

【００４５】好ましくは、上記形状を推定するステップ
はさらに、対象物体の形状を推定するために、３次元仮
想空間の領域のうちばらつきの小さい領域を滑らかに結
合するステップを含む。

【００４６】好ましくは、上記結合するステップは、ば
らつきの小さい領域を滑らかに結合するために、ばらつ
きの小ささと結合されるべき領域の滑らかさとを変数と
する評価関数を最小化する。

【００４７】好ましくは、上記形状を推定するステップ
はさらに、３次元仮想空間の座標空間視点の１つから放
射状に広がる座標軸を有する透視座標空間に変換するス
テップと、対象物体の形状を推定するために、透視座標
空間において１つの視点を通る直線上の領域のうちばら
つきが最小またはその最小値よりも所定の値だけ大きい
領域を結合するステップとを含む。さらに好ましくは、
上記３次元仮想空間の座標空間は直交座標空間である。

【００４８】好ましくは、上記形状を推定するステップ
はさらに、対象物体の形状を推定するために、３次元仮
想空間において視点の１つを通る直線上の領域のうちば
らつきが最小またはその最小値よりも所定の値だけ大き
い領域を結合するステップを含む。さらに好ましくは、
上記３次元仮想空間の座標空間は直交座標空間である。

【００４９】好ましくは、上記形状を推定するステップ
は、複数の物体画像間において互いに対応する画像情報
のばらつきに基づいて対象物体の複数の部分表面を推定
するステップと、複数の部分表面を統合して対象物体の
形状を決定するステップとを含む。

【００５０】好ましくは、上記統合するステップは、３
次元仮想空間の領域のうち存在領域内にありかつ部分表
面の各々の外側にある領域、より具体的には各領域に対
応する記憶領域に、その領域から複数の部分表面までの
距離を累積するステップと、累積された距離の総和が所
定の値よりも大きい領域を対象物体の外側と認定するス
テップとを含む。

【００５１】好ましくは、上記統合するステップは、３
次元仮想空間の領域のうち部分表面の各々の内側にある
領域に所定の第１の値を投票するステップと、投票され
た第１の値の総和が所定の第２の値よりも大きい領域を
対象物体の内側と認定するステップとを含む。ここで、
第２の値は［部分表面の数×第１の値］またはその近傍
値がよい。

【００５２】好ましくは、上記画像情報を累積するステ
ップは、物体画像の画素ごとに画像情報を累積する。

【００５３】好ましくは、上記画像情報を累積するステ
ップは、物体画像の複数の画素を含む所定ブロックごと
に画像情報を累積する。

【００５４】好ましくは、上記領域はボクセルであり、
上記３次元仮想空間はボクセル空間である。

【００５５】好ましくは、上記画像情報のばらつきは画
像情報の標準偏差である。好ましくは、上記形状を推定
するステップは、物体画像ごとに複数の画素を含むブロ
ックを設定するステップと、ブロック間において互いに
対応する画素の値の差をそれぞれ算出し、その算出され
た差の絶対値の総和を画像情報のばらつきとして算出す
るステップとを含む。

【００５６】好ましくは、上記形状を推定するステップ
は、物体画像ごとに複数の画素を含むブロックを設定す
るステップと、ブロック間において互いに対応する画素
の値の差をそれぞれ算出し、その算出された差の自乗の
総和を画像情報のばらつきとして算出するステップとを
含む。

【００５７】本発明のさらにもう１つの局面に従うと、
媒体は、コンピュータに、対象物体を複数の視点から撮
影して得られた複数の物体画像に基づいて対象物体の形
状を推定させる３次元形状推定プログラムを記録した媒
体である。上記プログラムは、複数の物体画像のうち少
なくとも２つの物体画像間において互いに対応する画像
情報のばらつきを算出するステップと、算出されたばら
つきに基づいて対象物体の形状を推定するステップとを
含む。

【００５８】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳しく説明する。なお、図中同一または相当
部分には同一符号を付してその説明は繰返さない。

【００５９】［実施の形態１］図１は、本発明の実施の
形態１による３次元モデリング装置の全体構成を示す図
である。図１を参照して、この実施の形態１による３次
元モデリング装置は、回転テーブル１と、デジタルスチ
ルカメラ２と、コンピュータ３と、ＣＤ−ＲＯＭ（コン
パクトディスク−リードオンリメモリ）４とを備える。
回転テーブル１は、その上に載置された対象物体（図示
せず）を回転させるためのものである。ここでは回転テ
ーブル１を用いたが、これに代えて対象物体の向きを変
えることができるロボットアームなどを用いてもよい。
デジタルスチルカメラ２は、立体モデルを得ようとする
対象物体を複数の視点から撮影し、複数の物体画像を得
るためのものである。ここでは静止画を得ることができ
るデジタルスチルカメラ２を用いたが、これに代えて動
画を得ることができるビデオカメラなどを用いてもよ
い。ＣＤ−ＲＯＭ４には、コンピュータ３に、デジタル
スチルカメラ２で得られた物体画像に基づいて対象物体
の立体モデルを生成させるためのプログラムが記録され
ている。ここではプログラムを記録する媒体としてＣＤ
−ＲＯＭ４を用いたが、これに代えてフロッピィディス
ク、ＣＤ−Ｒ、ＤＶＤ、メモリカードなどを用いてもよ
い。

【００６０】なお、この３次元モデリング装置は、カメ
ラ２を固定し、対象物体を回転させることによって対象
物体を複数の視点から撮影するようにしているが、対象
物体を固定し、カメラ２を移動することによって対象物
体を複数の視点から撮影するようにしてもよい。ただ
し、カメラ２を移動する場合はカメラ２の撮影位置を求
める必要がある。この３次元モデリング装置は、カメラ
２を固定し、対象物体を回転させているため、各視点か
ら対象物体までの距離は互いに等しいが、この距離は必
ずしも等しくなくてもよい。距離が等しくない場合は、
以下に詳述する方法で各視点から対象物体までの距離を
考慮して種々の計算を行なう必要がある。

【００６１】図２は、図１に示されたコンピュータ３の
主要構成を示すブロック図である。図２を参照して、こ
のコンピュータ３は、中央処理装置（ＣＰＵ）５と、リ
ードオンリメモリ（ＲＯＭ）６と、ランダムアクセスメ
モリ（ＲＡＭ）７と、入出力インタフェース（Ｉ／Ｆ）
８と、ＣＰＵ５、ＲＯＭ６、ＲＡＭ７およびＩ／Ｆ８を
相互に結合するためのデータ／アドレスバス９とを備え
る。デジタルスチルカメラ２、およびＣＤ−ＲＯＭ４の
ためのドライブユニットはＩ／Ｆ８に接続され、これに
よりデジタルスチルカメラ２で得られた物体画像および
ＣＤ−ＲＯＭ４に記録されたプログラムはＩ／Ｆ１０を
介してＲＡＭ７に格納される。ＣＰＵ５は、ＲＯＭ６お
よびＲＡＭ７に格納されたプログラムに従って演算処理
を行なう。

【００６２】図３は、図１に示されたＣＤ−ＲＯＭ４に
記録された３次元モデリングプログラムを示すフローチ
ャートである。図４（ａ）は、図３中の対象物体および
背景の撮影ステップＳ２を説明するための図である。図
４（ｂ）は、図３中のシルエット画像の作成ステップＳ
３を説明するための図である。図４（ｃ）は、図３中の
形状推定処理ステップＳ４を説明するための図である。
図４（ｄ）は、図３中のポリゴン作成ステップＳ５を説
明するための図である。図４（ｅ）は、図３中のテクス
チャマッピングステップＳ６を説明するための図であ
る。

【００６３】図１〜図４を参照して、まずステップＳ１
では、回転テーブル１とカメラ２との間の相対的な位置
関係を決定するためのキャリブレーションを行なう。

【００６４】続いてステップＳ２では、対象物体１０お
よびその背景をカメラ２で撮影する。より具体的には、
まず、対象物体１０を回転テーブル１の上に置かずに背
景だけを１つの視点から撮影する。これにより１枚の背
景画像が得られる。次に、対象物体１０を回転テーブル
１の上に置き、回転テーブル１を回転させることによっ
て対象物体１０を複数の視点から撮影する。たとえば回
転テーブル１を２２．５°ずつ回転させると、図５に示
されるように対象物体１０を１６の視点（０〜１５）か
ら撮影することになるため、１６枚の物体画像Ａ０〜Ａ
１５が得られる。回転テーブル１およびカメラ２はコン
ピュータ３内のＩ／Ｆ８に接続され、ＣＰＵ５によって
制御される。また、得られた１枚の背景画像および１６
枚の物体画像Ａ０〜Ａ１５はＩ／Ｆ８を介してＲＡＭ７
に格納される。なお、ここでは対象物体１０を１６の視
点から撮影しているが、視点の数は２以上であればよ
く、特に限定されるものではない。

【００６５】続いてステップＳ３では、公知の画像間差
分処理法に従ってシルエット画像が作成される。すなわ
ち、物体画像Ａ０〜Ａ１５と背景画像との間で差分処理
が行なわれ、図４（ｂ）に示されるように１６枚のシル
エット画像Ｂ０〜Ｂ１５が作成される。差分処理におい
ては、物体画像の色信号レベルと背景画像の色信号レベ
ルとの差が各画素ごとに算出される。なお、ここでは画
像間差分処理法を用いているが、これに代えて公知のス
テレオ法を用いてもよい。ステレオ法は、両眼カメラで
対象物体１０を撮影し、その画像中の奥行き情報に基づ
いて対象物体１０を背景と区別するものである。

【００６６】続いてステップＳ４では、形状推定処理が
行なわれる。この形状推定処理のために、図６に示され
るような直交座標系のボクセル空間１１が予め用意さ
れ、ＲＡＭ７に格納されている。ここでは直交座標系の
ボクセル空間１１を用いているが、これに代えて円筒座
標系のボクセル空間を用いてもよい。ボクセル空間１１
は、複数のボクセル１２から構成される。

【００６７】図７は、図３に示された形状推定処理ステ
ップＳ４の詳細を示すフローチャートである。まず、ス
テップＳ４０の概略形状推定処理では、複数のシルエッ
ト画像Ｂ１〜Ｂ１５に基づいてボクセル空間１１におけ
る対象物体１０の存在領域が概略的に推定される。次
に、ステップＳ４１の詳細形状推定処理では、物体画像
Ａ０〜Ａ１５間における濃度情報（輝度信号レベル）の
標準偏差に基づいて対象物体１０の形状が詳細に推定さ
れる。

【００６８】対象物体１０の存在領域を概略的に推定す
るステップＳ４０では公知のボーティング処理が行なわ
れる。すなわち、図８に示されるように、各シルエット
画像Ｂ１，Ｂ２が各視点からボクセル空間１１に投影さ
れる。このときシルエット画像Ｂ１，Ｂ２中の物体部分
１３が貫通するボクセル１２に対象物体１０が存在する
可能性として１点が投票される。すべてのシルエット画
像Ｂ１〜Ｂ１５がボクセル空間１１に投影されたとき、
投票数が所定数よりも多いボクセル１２が対象物体１０
の存在領域と推定される。ただし、図５に示されるよう
な対象物体１０の凹所１４はシルエット画像Ｂ０〜Ｂ１
５に現われないため、このボーティング処理によって推
定された存在領域は対象物体１０の形状を概略的に表現
するものにすぎない。すなわち、対象物体１０の凹所の
真の表面１４は現れず、仮の表面１５が現れる。

【００６９】通常、対象物体１０の真の表面１４はいず
れの視点からも同じ色および濃度で観察されるが、仮の
表面１５は視点によって異なった色または濃度で観察さ
れる。したがって、同じ部分でも視点によって異なった
色または濃度で観察される部分は対象物体１０の凹所で
ある可能性が高い。

【００７０】そこで、対象物体１０の形状を詳細に推定
するステップＳ４１では、対象物体１０の形状を概略的
に推定した後、濃度情報の標準偏差に基づいて対象物体
１０の形状、特に凹所の形状が詳細に推定される。より
具体的には、図９に示されるように、１６枚の物体画像
Ａ０〜Ａ１５のうち、中心画像として物体画像Ａ０、お
よび周辺画像として物体画像Ａ０に隣接する物体画像Ａ
１，Ａ１５を用いて形状推定を行なう場合、物体画像Ａ
０，Ａ１，Ａ１５ともに、その画素の濃度情報がボクセ
ル空間１１に投影され、各画素からの投影線１６が貫通
するすべてのボクセル１２にその画素の濃度情報が累積
される（色ボーティング処理ステップＳ４１０）。換言
すれば、すべてのボクセル１２について、物体画像Ａ
０，Ａ１，Ａ１５への投影点が求められ、その投影点の
濃度情報が対応するボクセル１２に累積される。そし
て、各ボクセル１２に累積された濃度情報の標準偏差が
算出される。標準偏差が大きいボクセル１２は、それに
対応する部分が視点によって異なった濃度で観察される
ことを意味するので、そのようなボクセル１２は対象物
体１０の凹所である可能性が高い。そのため、ボクセル
空間１１内のボクセル１２のうち標準偏差が小さいボク
セルを滑らかに結合することにより、図５に示された視
点（０）から観察可能な対象物体１０の部分表面が推定
される（部分表面推定処理ステップＳ５２）。

【００７１】上述した色ボーティング処理ステップＳ４
１０および部分表面推定処理ステップＳ５２は、物体画
像Ａ０〜Ａ１５の各々を中心画像として行なわれる。し
たがって、推定された１６枚の部分表面が統合され、こ
れにより対象物体１０の立体形状が得られる（部分表面
統合処理ステップＳ４１２）。

【００７２】上記ステップＳ４に続くステップＳ５で
は、ステップＳ４で得られた対象物体１０の立体形状に
基づいて三角パッチからなるポリゴン１７が作成され
る。したがって、対象物体１０の立体形状は多数のポリ
ゴン１７で表現される。ポリゴン１７で表現された立体
形状はＲＡＭ７に格納される。

【００７３】最後にステップＳ６では、ステップＳ５で
作成された各ポリゴン１７に対応するテクスチャがマッ
ピングされる。これにより、対象物体１２をモデル化し
た立体モデル１８が作成される。テクスチャは物体画像
Ａ０〜Ａ１５から得られる色情報で、ＲＡＭ９に格納さ
れる。

【００７４】なお、ここでは回転テーブル１を用いて対
象物体１０を複数の視点から撮影して複数の物体画像Ａ
０〜Ａ１５を得ているが、対象物体１０の立体形状を推
定するために必要な物体画像を得ることさえできれば、
上記ステップＳ１〜Ｓ３は適宜他の公知の手法に置換え
てもよい。また、物体画像および推定された立体形状に
基づいて立体モデル１８を生成することさえできれば、
上記ステップＳ５およびＳ６は適宜他の公知の手法に置
換えてもよい。また、対象物体１０の輪郭に基づいてボ
クセル空間１１における対象物体１０の存在領域を概略
的に推定することさえできれば、上記ステップＳ４中の
前半のステップは適宜他の公知の手法に置換えてもよ
い。

【００７５】次に、上記のように構成された３次元モデ
リング装置を用いて対象物体１０の立体モデル１８を生
成する方法について説明する。

【００７６】まずステップＳ１で上述したようにキャリ
ブレーションを行なった後、ステップＳ２で１つの視点
から背景を撮影し、続いて複数の視点から対象物体１０
を撮影する。これにより１枚の背景画像および複数の物
体画像Ａ０〜Ａ１５が得られる。続いてステップＳ３
で、物体画像Ａ０〜Ａ１５と背景画像との間で差分処理
が行なわれ、これによりシルエット画像Ｂ０〜Ｂ１５が
得られる。

【００７７】続いて、ステップＳ４０でシルエット画像
Ｂ０〜Ｂ１５に基づいてボーティング処理などの概略形
状推定処理が行なわれた後、ステップＳ４１で物体画像
Ａ０〜Ａ１５の濃度情報に基づいて詳細形状推定処理が
行なわれる。図１０は、図７中の概略形状推定処理ステ
ップＳ４０、色ボーティング処理ステップＳ４１０およ
び部分表面推定処理ステップＳ５２の詳細を示すフロー
チャートである。なお、図１０中のステップＳ４２１〜
ステップＳ５１が図７中の色ボーティング処理ステップ
Ｓ４１０に対応する。図１１は、図７中の部分表面統合
処理ステップＳ４１２の詳細を示すフローチャートであ
る。

【００７８】まずステップＳ４０で、シルエット画像Ｂ
０〜Ｂ１５に基づいて上述したボーティング処理などの
概略形状推定処理が行なわれ、対象物体１０の初期立体
形状が概略的に抽出される。より具体的には、投票数が
所定数よりも多いボクセル（ｘ，ｙ，ｚ）は対象物体１
０の存在領域と推定され、そのボクセルの存否変数ｖ
（ｘ，ｙ，ｚ）が「１」に設定される。他方、投票数が
所定数よりも少ないボクセル（ｘ，ｙ，ｚ）は対象物体
１０の存在領域と推定されず、そのボクセルの存否変数
ｖ（ｘ，ｙ，ｚ）が「０」に設定される。したがって、
ｖ（ｘ，ｙ，ｚ）＝１のボクセルが対象物体１０の概略
的な存在領域を形成する。

【００７９】続いてステップＳ４２で、図５に示された
視点（０）から対象物体１０を撮影して得られた物体画
像が中心画像ｋとして選択される。

【００８０】続いてステップＳ４２１で、変数（ｃ０，
ｃ１，ｃ２）が初期化される。続いてステップＳ４３
で、中心画像ｋ（＝０）から図５上で時計方向にｎ個離
れた視点（１６−ｎ（「１６」は図５上の「０」に相当
する））から対象物体１０を撮影して得られた物体画像
が周辺画像ｉとして選択される。たとえばｎ＝２とする
と、図５に示された視点（１４）から対象物体１０を撮
影して得られた物体画像（周辺画像）Ａ１４が選択され
る。

【００８１】続いてステップＳ４４で、存否変数ｖ
（ｘ，ｙ，ｚ）が「０」か否か、つまりそのボクセル
（ｘ，ｙ，ｚ）が対象物体１０の存在領域か否かが判定
される。

【００８２】ｖ（ｘ，ｙ，ｚ）＝０ではない場合、つま
りｖ（ｘ，ｙ，ｚ）＝１の場合、ステップＳ４５で、図
１２に示されるように座標（ｘ，ｙ，ｚ）に位置するボ
クセル１２の画像ｉ（ここではｉ＝１４）への投影点
（Ｘ，Ｙ）が計算される。

【００８３】続いてステップＳ４６で、後述するステッ
プＳ５０で標準偏差ｓ（ｘ，ｙ，ｚ）を計算するために
必要な値が計算される。より具体的には、変数ｃ０
（ｘ，ｙ，ｚ）をインクリメントすることによってボク
セル１２に累積される濃度情報の数がカウントされる。
また、変数ｃ１（ｘ，ｙ，ｚ）に投影点（Ｘ，Ｙ）に位
置する画素の濃度情報ｃ（Ｘ，Ｙ）が加算される。ま
た、変数ｃ２（ｘ，ｙ，ｚ）にその濃度情報の自乗ｃ
（Ｘ，Ｙ）² が加算される。なお、ステップＳ４４でｖ
（ｘ，ｙ，ｚ）＝０の場合、ステップＳ４５およびＳ４
６の処理は行なわれない。

【００８４】続いてステップＳ４７で、上記ステップＳ
４４〜Ｓ４６の処理がすべてのボクセルについて行なわ
れたか否かが判定される。未だすべてのボクセルについ
て上記ステップＳ４４〜Ｓ４６の処理が行なわれていな
い場合、再び対象物体１０の存在領域内の各ボクセルの
変数ｃ１（ｘ，ｙ，ｚ）およびｃ２（ｘ，ｙ，ｚ）に画
像ｉ（＝１４）中の対応する投影点（Ｘ，Ｙ）の濃度情
報ｃ（Ｘ，Ｙ）およびその自乗ｃ（Ｘ，Ｙ）² がそれぞ
れ加算される。

【００８５】すべてのボクセルについて上記ステップＳ
４４〜Ｓ４６の処理が行なわれた場合、ステップＳ４８
で、上記ステップＳ４４〜Ｓ４７の処理が中心画像ｋ
（＝０）およびすべての周辺画像ｉ（＝１４，１５，
１，２）について行なわれたか否かが判定される。最初
は周辺画像ｉ（＝１４）について上記ステップＳ４４〜
Ｓ４７の処理が行なわれたにすぎないが、ステップＳ４
９で変数ｉがインクリメントされ、対象の周辺画像ｉが
ｉ＝１４からｉ＝１５に変更される。したがって、上記
と同様に、対象物体１０の存在領域内のボクセル１２に
周辺画像ｉ（＝１５）中の対応する投影点（Ｘ，Ｙ）の
濃度情報ｃ（Ｘ，Ｙ）およびｃ（Ｘ，Ｙ）²が累積され
る。

【００８６】変数ｉの値が変数（ｋ＋ｎ）の値（ここで
は２）を超えたとき、中心画像ｋ（＝０）および周辺画
像ｉ（＝１４，１５，１，２）の濃度情報がすべて対象
物体１０の存在領域内のボクセル１２に累積されたこと
になる。

【００８７】ステップＳ４８で変数ｉの値が変数（ｋ＋
ｎ）の値よりも大きいと判定されると、ステップＳ４９
０で存否変数ｖ（ｘ，ｙ，ｚ）が「０」か否か、つまり
そのボクセル（ｘ，ｙ，ｚ）が対象物体１０の存在領域
か否かが判定される。ｖ（ｘ，ｙ，ｚ）＝０ではない場
合、つまりｖ（ｘ，ｙ，ｚ）＝１の場合、ステップＳ５
０で、ステップＳ４６で計算されたｃ０，ｃ１およびｃ
２に基づいて各ボクセル１２に累積された濃度情報の標
準偏差ｓ（ｘ，ｙ，ｚ）が計算される。

【００８８】続いてステップＳ５１で、すべてのボクセ
ルについて標準偏差ｓ（ｘ，ｙ，ｚ）が計算されたか否
かが判定される。

【００８９】すべてのボクセルについて標準偏差ｓ
（ｘ，ｙ，ｚ）が計算された場合、ステップＳ５２でボ
クセル空間１１内において各視点（０〜１５）から観察
した対象物体１０の部分表面Ｓｐ（ｋ）が推定される。
上述したように、対象物体１０の凹所１４内に位置する
ボクセルの標準偏差ｓ（ｘ，ｙ，ｚ）は一般に大きくな
り、対象物体１０の表面に位置するボクセルの標準偏差
ｓ（ｘ，ｙ，ｚ）は小さくなる。したがって、同一のｘ
ｙ座標をもつボクセルのうち標準偏差ｓ（ｘ，ｙ，ｚ）
が最小のボクセルを結合することによって対象物体１０
の表面を推定することができる。ただし、照明条件が変
動したり、凹所１４の表面で同じ色が連続する場合、ノ
イズの影響を受け、対象物体１０の表面に位置しないボ
クセルの標準偏差ｓ（ｘ，ｙ，ｚ）が最小になることが
ある。したがって、単純に標準偏差ｓ（ｘ，ｙ，ｚ）が
最小のボクセルを結合した場合、必ずしも正確な形状を
推定できるとは限らない。

【００９０】そこで、標準偏差ｓ（ｘ，ｙ，ｚ）だけで
なく推定される形状の連続性も考慮して対象物体１０の
形状を推定するのが望ましい。より具体的には、標準偏
差ｓ（ｘ，ｙ，ｚ）および隣接するボクセル間の距離を
変数とするエネルギ関数（評価関数）を規定し、そのエ
ネルギ関数の値が最小となるボクセルを対象物体１０の
表面に位置すると推定し、これらのボクセルによって構
成される面を部分表面Ｓｐ（ｋ）とする。以下、この方
法を「最小エネルギ法」と呼ぶ。なお、このエネルギ関
数は、標準偏差ｓ（ｘ，ｙ，ｚ）、および隣接するボク
セル空間の傾きと、これに対応する概略形状での表面の
傾きとの差を変数とするものであってもよい。このよう
な部分表面の推定は、たとえばダイナミックプログラミ
ング（ＤＰ）法、緩和法などによって行なわれる。ダイ
ナミックプログラミング法については後に図１３を用い
て詳述する。

【００９１】上記のように、中心画像ｋ（＝０）および
周辺画像ｉ（＝１４，１５，１，２）に基づいて部分表
面Ｓｐ（ｋ）が対象物体１０の表面候補として推定され
るが、他の視点（１〜１５）からの画像を中心画像とし
たときも同様に部分表面Ｓｐ（ｋ）が対象物体１０の表
面候補としてそれぞれ推定される（Ｓ５４１，Ｓ５４
２）。したがって、計算された複数の部分表面Ｓｐ
（ｋ）を統合して対象物体１０の真の表面を決定する必
要がある。

【００９２】最初にステップＳ４０で概略的に推定され
た対象物体１０の存在領域内に位置しかつステップＳ５
２で算出された部分表面Ｓｐ（ｋ）よりも内側に位置す
るボクセルは対象物体１０の真の存在領域である可能性
が高い。これに対し、ステップＳ４０で概略的に推定さ
れた対象物体１０の存在領域内に位置しかつステップＳ
５２で計算された部分表面Ｓｐ（ｋ）よりも外側に位置
するボクセルは対象物体１０の真の存在領域でない可能
性がある。その可能性はステップＳ５２で推定された部
分表面Ｓｐ（ｋ）から遠く離れたボクセルほど高い。そ
こで、部分表面Ｓｐ（ｋ）よりも外側に位置する各ボク
セルに部分表面Ｓｐ（ｋ）までの距離をペナルティとし
て与える。そして、このペナルティの平均値が所定の値
よりも大きいボクセルを対象物体１０の存在領域以外の
領域とする。

【００９３】より具体的には、図１１に示されるよう
に、まずステップＳ５４３で変数（ｐ０，ｐ１）が初期
化され、続いてステップＳ５４４で図５に示された視点
（０）から対象物体１０を撮影して得られた物体画像Ａ
０が中心画像ｋとして選択される。続いて、ステップＳ
５４５で存否変数ｖ（ｘ，ｙ，ｚ）が「０」か否か、つ
まりそのボクセル（ｘ，ｙ，ｚ）が対象物体１０の存在
領域か否かが判定される。ｖ（ｘ，ｙ，ｚ）＝０ではな
い場合、つまりｖ（ｘ，ｙ，ｚ）＝１の場合、ステップ
Ｓ５３で、ボクセル（ｘ，ｙ，ｚ）がステップＳ５２で
計算された部分表面Ｓｐ（ｋ）よりも外側に位置するか
否かが判定される。

【００９４】外側に位置する場合、変数ｐ０（ｘ，ｙ，
ｚ）がインクリメントされる（Ｓ５４）。これにより、
そのボクセル（ｘ，ｙ，ｚ）に与えられたペナルティの
数がカウントされる。また、変数ｐ１（ｘ，ｙ，ｚ）に
距離ｄ（（ｘ，ｙ，ｚ），Ｓｐ（ｋ））が加算される
（Ｓ５４）。距離ｄ（（ｘ，ｙ，ｚ），Ｓｐ（ｋ））は
ボクセル（ｘ，ｙ，ｚ）からステップＳ５２で推定され
た対象物体１０の部分表面Ｓｐ（ｋ）までの距離であ
る。これにより、部分表面Ｓｐ（ｋ）から遠いボクセル
ほど大きなペナルティが与えられる。

【００９５】ステップＳ５５で、すべてのボクセルにつ
いて上記ステップＳ５３〜Ｓ５４の処理が行なわれたか
否かが判定され、行なわれた場合は、ステップＳ５６で
図５に示されたすべての視点（０〜１５）から撮影され
た画像を中心画像として上記ステップＳ４３〜Ｓ５５の
処理が行なわれたか否か、つまり変数ｋがその最大値ｋ
ｍａｘ（ここでは１５）に達したか否かが判定される。
変数ｋがその最大値ｋｍａｘよりも小さい場合、ステッ
プＳ５７で変数ｋがインクリメントされ、再びステップ
Ｓ５３〜Ｓ５５の処理が行なわれる。

【００９６】他方、変数ｋがその最大値ｋｍａｘよりも
小さくない場合、ステップＳ５７０で存否変数ｖ（ｘ，
ｙ，ｚ）が「０」か否か、つまりそのボクセル（ｘ，
ｙ，ｚ）が対象物体１０の存在領域か否かが判定され
る。ｖ（ｘ，ｙ，ｚ）＝０ではない場合、つまりｖ
（ｘ，ｙ，ｚ）＝１の場合、ステップＳ５８〜Ｓ６０で
ペナルティの高いボクセル（ｘ，ｙ，ｚ）が対象物体１
０の存在領域ではないとされる。より具体的には、ステ
ップＳ５８で各ボクセル（ｘ，ｙ，ｚ）に与えられたペ
ナルティの平均値ｐ１（ｘ，ｙ，ｚ）／ｐ０（ｘ，ｙ，
ｚ）が所定の値よりも大きいか否かが判定される。ここ
で、ｐ０（ｘ，ｙ，ｚ）はボクセル（ｘ，ｙ，ｚ）に与
えられたペナルティの数である。

【００９７】ペナルティの平均値ｐ１（ｘ，ｙ，ｚ）／
ｐ０（ｘ，ｙ，ｚ）が所定の値よりも大きい場合、ステ
ップＳ５９でそのボクセルの存否変数ｖ（ｘ，ｙ，ｚ）
は０に設定される。ペナルティの平均値ｐ１（ｘ，ｙ，
ｚ）／ｐ０（ｘ，ｙ，ｚ）が所定の値よりも大きくない
場合、ステップＳ５９の処理は行なわれない。

【００９８】続いてステップＳ６０で、すべてのボクセ
ルについてステップＳ５８およびＳ５９の処理が行なわ
れたか否かが判定される。したがって、所定の値よりも
大きい平均値ｐ１（ｘ，ｙ，ｚ）／ｐ０（ｘ，ｙ，ｚ）
を有するボクセル（ｘ，ｙ，ｚ）は対象物体１０の存在
領域から除外される。これにより、複数の部分表面Ｓｐ
（ｋ）が統合され、対象物体１０の凹所が表現され得
る。以下、図１１に示された部分表面Ｓｐ（ｋ）を統合
する方法を「距離ペナルティ法」と呼ぶ。

【００９９】上記のようにして得られた物体画像Ａ０〜
Ａ１５および対象物体１０の形状に基づいて、図３に示
されたステップＳ５でポリゴン１７が作成され、ステッ
プＳ６でテクスチャがマッピングされる。これにより、
対象物体１０の立体モデル１８が作成される。

【０１００】図１３は、図１０に示されたステップＳ５
２において部分表面Ｓｐ（ｋ）をダイナミックプログラ
ミングによって計算する方法を示すフローチャートであ
る。なお、図示されていないが、図１３の処理を行なう
前に、ボクセル空間を中心画像ｋに応じて、後述の図２
２に示された座標変換を行なっておくのが望ましい。図
１４は、図１０および図１１に示されたフローチャート
に従って計算されたＹ＝ｙ０平面における標準偏差ｓを
示す鳥瞰図である。図１５は、ボクセル空間１１のＹ＝
ｙ０平面内のボクセルの標準偏差ｓを示す図である。図
１３に示されたダイナミックプログラミング法は、図１
４および図１５上で、滑らかさを保ちつつ可能な限り標
準偏差ｓの小さい箇所を結ぶものである。

【０１０１】図１３を参照して、ステップＳ５２０で座
標ｙにその最小値ｙｍｉｎが設定され、続いてステップ
Ｓ５２１でｘにその最小値ｘｍｉｎが設定され、座標ｚ
にその最小値ｚｍｉｎが設定される。

【０１０２】続いてステップＳ５２２〜Ｓ５２４で、Ｘ
＝ｘｍｉｎの列（図１５上で最も左側の列）のボクセル
の標準偏差ｓ（ｘ，ｙ，ｚ）が仮のエネルギ関数値用配
列ｅ（ｚ）の初期値としてそれぞれ設定される。

【０１０３】続いてステップＳ５２５でｘがインクリメ
ントされ、続いてステップＳ５２６で座標ｚがその最小
値ｚｍｉｎに設定される。

【０１０４】続いてステップＳ５２７〜Ｓ５２９で、Ｘ
＝ｘｍｉｎ＋１の列のエネルギ関数ｅ（ｚ）が計算され
る。ステップＳ５２７において、ＭＩＮ（ｅ（ｚ０）＋
ｄｉｆ（ｚ，ｚ０），ｚ０＝ｚｍｉｎ〜ｚｍａｘ）は、
現在の座標ｘ（ここではｘ＝ｘｍｉｎ＋１）において、
求めようとする対象物体１０の表面が座標ｚであると仮
定し、かつ、座標ｘ−１における表面が座標ｚ０（ｚ０
はｚｍｉｎ〜ｚｍａｘのいずれか）であると仮定したと
き、評価値（ｅ（ｚ０）＋ｄｉｆ（ｚ，ｚ０））のうち
最小のもの（ｍｉｎ）である。ｄｉｆ（ｚ，ｚ０）は、
たとえば、表面ｘの座標ｚから表面ｘ−１の座標ｚ０ま
での距離である。あるいは、ｄｉｆ（ｚ，ｚ０）は、表
面ｘの座標ｚから表面ｘ−１の座標ｚ０までの傾きと、
概略表面ｘの座標ｚ’から概略表面ｘ−１の座標ｚ０’
までの傾きとの差である。このＭＩＮ（ｅ（ｚ０）＋ｄ
ｉｆ（ｚ，ｚ０））にＸ＝ｘｍｉｎ＋１の列の各ボクセ
ルの標準偏差ｓ（ｘ，ｙ，ｚ）が加算され、各ボクセル
について仮のエネルギ関数値ｅ（ｚ）が計算される。

【０１０５】また、上記最小値ｍｉｎを与えるような座
標ｚ０の値が変数ｐｒｅＩＤ（ｘ，ｙ，ｚ）に設定され
る。これにより、Ｘ＝ｘｍｉｎ−１において、座標ｚの
値をｚと仮定したときの、仮のエネルギ関数値ｅ（ｚ）
が最小になるための座標ｘ−１における座標ｚがそれぞ
れ記憶される。

【０１０６】続いてステップＳ５３０およびＳ５３１
で、上記ステップＳ５２７〜Ｓ５２９の処理がｘｍｉｎ
〜ｘｍａｘ−１のすべての座標ｘに対応するｚ座標列に
ついて行なわれる。したがって、エネルギ関数ｅ（ｚ）
にはｘｍｉｎから現在の座標ｘまでの各ｚに対する最小
エネルギ関数値が記録されている。

【０１０７】上記の結果、計算されたエネルギ関数ｅ
（ｚ）のうち最小値を与える座標ｚが算出される。この
座標ｚがｘｍａｘ−１の列における対象物体１０の表面
の位置である。ここで、変数ｐｒｅＩＤ（ｘ，ｙ，ｚ）
を見れば、現在よりも１つ前の座標ｘ−１における表面
のｚ座標が記録されている。したがって、座標ｘを順次
デクリメントし、その座標ｘを変数ｐｒｅＩＤ（ｘ，
ｙ，ｚ）に代入すれば、−Ｘ方向に向かって順次対象物
体１０の表面の位置を辿っていくことができる。このよ
うにして計算された部分表面Ｓｐ（ｋ）が図１６中に示
されている。図１６から明らかなように、部分表面Ｓｐ
（ｋ）と決定されたボクセルの標準偏差は各列において
必ずしも最小のものではない。仮に各列において最小の
標準偏差を持つボクセルが部分表面Ｓｐ（ｋ）を構成す
るものとして選択されたならば、その部分表面Ｓｐ
（ｋ）の連続性が悪くなる。ここでは、部分表面Ｓｐ
（ｋ）の連続性を考慮して表面を構成するボクセルが選
択されている。

【０１０８】続いてステップＳ５３２およびＳ５３３
で、上記ステップＳ５２１〜Ｓ５３１の処理がｙｍｉｎ
〜ｙｍａｘのすべての座標ｙについて行なわれる。

【０１０９】図１７は、図１０に示されたステップＳ４
０で得られた初期のＹ＝ｙ０平面におけるボクセルを示
す図である。図１７中において「＊＊」で示されたボク
セルは対象物体１０の概略的な存在領域に位置するもの
である。図１１に示されたステップＳ５４では、図１７
では対象物体１０の内部であるが、図１６では外部であ
る各ボクセルから図１６に示された対象物体１０の部分
表面Ｓｐ（ｋ）までの距離ｄ（（ｘ，ｙ，ｚ），Ｓｐ
（ｋ））が計算される。

【０１１０】以上のようにこの実施の形態１によれば、
物体画像Ａ０〜Ａ１５間における濃度情報の標準偏差に
基づいて対象物体１０の形状を推定しているため、対象
物体１０の凹所を表現した立体モデル１８を作成するこ
とができる。

【０１１１】また、標準偏差に基づいて対象物体１０の
形状を推定する前に、シルエット画像Ｐ０〜Ｐ１５に基
づいてボーティング処理により対象物体１０の存在領域
を概略的に推定しているため、対象物体１０の立体モデ
ル１８を迅速に生成することができる。

【０１１２】また、対象物体１０の表面を標準偏差が小
さいボクセルを滑らかに結合することによって推定して
いるため、照明条件などが変動しても安定して正確な立
体モデル１８を生成することができる。

【０１１３】［実施の形態２］図１８は、本発明の実施
の形態２による３次元モデリング装置における形状推定
処理（部分表面統合処理を除く）を示すフローチャート
である。この実施の形態２では、図１０に示されたステ
ップＳ４５およびＳ４６に代えてステップＳ７０〜Ｓ７
４の処理が行なわれる。また、図１０に示されたステッ
プＳ５０に代えてステップＳ７５の処理が行なわれる。
また、図１０に示されたステップＳ４２１では変数ｃ２
が初期化されているが、ここでは変数ｃ２は用いられて
いないので初期化されない。その他は、図１０に示され
たものと同じ処理が行なわれる。

【０１１４】すなわち、上記実施の形態１では図１２に
示されるようにボクセル１２の画像ｉへの投影点（Ｘ，
Ｙ）の画素の濃度情報がボクセル１２に累積されるが、
この実施の形態２では図１９に示されるようにボクセル
１２の中心画像ｋへの投影点（Ｘｋ，Ｙｋ）を含む複数
の画素から構成されるブロック領域Ｂｋがボクセル１２
の周辺画像ｉへの投影点（Ｘｉ，Ｙｉ）を含む複数の画
素から構成されるブロック領域Ｂｉと図２０に示される
ように比較され、濃度情報が異なる画素の数がボクセル
１２に累積される。

【０１１５】より具体的には、ステップＳ７０でボクセ
ル（ｘ，ｙ，ｚ）の中心画像ｋへの投影点（Ｘｋ，Ｙ
ｋ）が計算される。続いてステップＳ７１で、投影点
（Ｘｋ，Ｙｋ）を含むｍ×ｎ個の画素からなるブロック
領域Ｂｋが設定される。続いてステップＳ７２で、ボク
セル（ｘ，ｙ，ｚ）の周辺画像ｉへの投影点（Ｘｉ，Ｙ
ｉ）が計算される。続いてステップＳ７３で、投影点
（Ｘｉ，Ｙｉ）を含むｍ×ｎ個の画素からなるブロック
領域Ｂｉが設定される。

【０１１６】続いてステップＳ７４で、ｃ０（ｘ，ｙ，
ｚ）がインクリメントされ、これにより各ボクセル
（ｘ，ｙ，ｚ）に累積される濃度情報が異なる画素の数
がカウントされる。また、ブロック領域Ｂｋがブロック
領域Ｂｉと比較され、濃度ＬＭｋ，ＬＭｉの差の絶対値
｜ＬＭｋ−ＬＭｉ｜の総和ｄｉｆ（Ｂｋ，Ｂｉ）がｃ１
（ｘ，ｙ，ｚ）に加算される。たとえば図２０に示され
るように、４×４個の画素からなるブロック領域Ｂｋお
よびＢｉを設定する場合、１６の画素のうち、３つの画
素の濃度情報がブロック領域Ｂｋとブロック領域Ｂｉと
の間で相違し、その差の絶対値の合計は「４」であるた
め、ｄｉｆ（Ｂｋ，Ｂｉ）として「４」がｃ１（ｘ，
ｙ，ｚ）に加算される。

【０１１７】上記の結果、濃度差の絶対値の総和の累積
値がｃ１（ｘ，ｙ，ｚ）に設定される。

【０１１８】その後、ステップＳ７５で、各ボクセル
（ｘ，ｙ，ｚ）に累積された濃度差の絶対値の総和の平
均値ｓ（ｘ，ｙ，ｚ）が計算される。この平均値ｓ
（ｘ，ｙ，ｚ）が濃度情報のばらつき評価値として上記
標準偏差の代わりに用いられる。

【０１１９】以上のようにこの実施の形態２によれば、
物体画像間における濃度情報のばらつきをブロックＢ
ｋ，Ｂｉごとに評価しているため、対象物体１０の立体
モデル１８をより精度良く生成することができる。

【０１２０】なお、本実施の形態では、物体画像間にお
ける濃度情報のばらつきをブロック間で評価する際、ブ
ロック内の画素ごとの差の絶対値｜ＬＭｋ−ＬＭｉ｜の
総和を用いたが、ブロック内の画素ごとの差の自乗（Ｌ
Ｍｋ−ＬＭｉ）² の総和を用いてもよい。さらには、ブ
ロック内の画素ごとの標準偏差の平均値を用いてもよ
い。

【０１２１】［実施の形態３］図２１は、本発明の実施
の形態３による３次元モデリング装置における部分表面
推定処理を示すフローチャートである。上記実施の形態
では、できるだけ正確な部分表面Ｓｐ（ｋ）を得るため
に図１３に示されたダイナミックプログラミング法を用
いているが、計算量が多くなる。したがって、以下に詳
述する実施の形態３のように、単純に標準偏差が最小の
ボクセルを部分表面Ｓｐ（ｋ）と推定してもよい。

【０１２２】まずステップＳ３００で、各中心画像ｋに
応じてボクセル空間１１が座標変換される。ここでは、
図２２に示されるように、直交座標系のボクセル空間１
１が回転され、さらに並進されて再び直交座標系のボク
セル空間３０に変換される。座標変換前のボクセル空間
１１の各ボクセルの座標を（ｘ，ｙ，ｚ）とし、座標変
換後のボクセル空間３０の各ボクセルの座標を（ｘ′，
ｙ′，ｚ′）とし、回転変換のためのオイラー角をそれ
ぞれφ、θ、ψとすると、この座標変換は次の式（１）
で表わされる。

【０１２３】

【数１】

【０１２４】なお、式（１）中の（ｘｓ，ｙｓ，ｚｓ）
は、変換前のボクセル空間１１の中心から中心画像ｋの
視点へのベクトルである。回転変換後のボクセル空間は
このベクトル（ｘｓ，ｙｓ，ｚｓ）に応じて並進され、
変換後のボクセル空間３０となる。

【０１２５】このような座標変換が行なわれた後、ステ
ップＳ３０１で座標ｙ′が最小値ｙ′ｍｉｎに初期化さ
れ、ステップＳ３０２で座標ｘ′が最小値ｘ′ｍｉｎに
初期化され、さらにステップＳ３０３で座標ｚ′が最小
値ｚ′ｍｉｎに初期化され、標準偏差一時変数ｓｔｍｐ
が無限大∞に初期化され、かつ座標一時変数ｚｔｍｐが
無限大∞に初期化される。

【０１２６】続いて、ステップＳ３０３０で存否変数ｖ
（ｘ′，ｙ′，ｚ′）が「０」か否か、つまりそのボク
セル（ｘ′，ｙ′，ｚ′）が対象物体１０の存在領域か
否かが判定される。ｖ（ｘ′，ｙ′，ｚ′）＝０ではな
い場合、つまりｖ（ｘ′，ｙ′，ｚ′）＝１の場合、ス
テップＳ３０４で、標準偏差一時変数ｓｔｍｐの値が座
標（ｘ′，ｙ′，ｚ′）のボクセルの標準偏差ｓ
（ｘ′，ｙ′，ｚ′）と比較される。標準偏差一時変数
ｓｔｍｐの値がそのボクセルの標準偏差ｓ（ｘ′，
ｙ′，ｚ′）よりも大きい場合は、ステップＳ３０５で
標準偏差一時変数ｓｔｍｐに改めてその標準偏差ｓ
（ｘ′，ｙ′，ｚ′）が設定され、そのときの座標ｚ′
が位置一時変数ｚｔｍｐに設定される。

【０１２７】ステップＳ３０６およびＳ３０７により、
すべての座標ｚ′（＝ｚ′ｍｉｎ〜ｚ′ｍａｘ）につい
て上記ステップＳ３０４および３０５の処理が行なわれ
る。その結果、変換後のボクセル空間３０において同一
のｘ′ｙ′座標をもつ複数のボクセルのうち標準偏差が
最小のボクセルが特定される。このようにして特定され
た標準偏差が最小のボクセルのｚ′座標はステップＳ３
０８で表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）に設定さ
れる。この表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）は各
中心画像ｋに対応して設定される。すなわち、この表面
変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）は、各中心画像ｋ上
に撮影されている対象物体の表面位置を示すものであ
る。なお、この時点で位置一時変数ｚｔｍｐが∞であれ
ば、表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）に対応した
物体表面は存在しないことを意味する。

【０１２８】図２３は、変換後のボクセル空間３０にお
けるＹ′＝ｙ′平面を示す。ボクセル空間３０内にはボ
ーティング処理により推定された対象物体１０の概略形
状３１が示されている。この概略形状３１内の各ボクセ
ルには標準偏差ｓ（ｘ′，ｙ′，ｚ′）が与えられてい
る。上述したステップＳ３０４〜Ｓ３０７は、たとえば
同一のｘ′ｙ′座標をもつ複数のボクセル３２の中から
標準偏差ｓ（ｘ′，ｙ′，ｚ′）が最小のボクセルを特
定するものである。ここでは、ｚ′＝３７のボクセルが
最小の標準偏差を有している。上述したステップＳ３０
８は、この最小の標準偏差をもつボクセルの座標ｚ′を
表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）の対応する座標
に与えるものである。

【０１２９】続いてステップＳ３０９およびＳ３１０に
より、Ｙ′＝ｙ′平面上のすべての座標ｘ′（＝ｘ′ｍ
ｉｎ〜ｘ′ｍａｘ）について上記ステップＳ３０３〜Ｓ
３０８の処理が行なわれる。また、ステップＳ３１１お
よびＳ３１２により、すべての座標ｙ′（＝ｙ′ｍｉｎ
〜ｙ′ｍａｘ）について上記ステップＳ３０２〜Ｓ３１
０の処理が行なわれる。これにより、対象物体１０の部
分表面Ｓｐ（ｋ）が決定され、その部分表面Ｓｐ（ｋ）
のボクセルの座標ｚ′が表面変数ｓｕｒｆａｃｅ
（ｘ′，ｙ′）に与えられる。

【０１３０】上述した方法は図１３のダイナミックプロ
グラミング法に代えて用いられるもので、以下「座標変
換による最小ばらつき探索法」と呼ぶ。

【０１３１】この方法により各中心画像ｋごとに得られ
た部分表面Ｓｐ（ｋ）は上述した距離ペナルティ法また
は後に詳述する単純ボーティング法により１つの表面に
統合され、これにより対象物体１０の形状が決定され
る。たとえば図２３に示されるように、●で示されるボ
クセルは対象物体１０の内部にあると判断され、○で表
わされるボクセルは対象物体１０の外部にあると判断さ
れる。

【０１３２】このように単純に最小の標準偏差をもつボ
クセルを特定することにより対象物体１０の形状を推定
すれば、上記ダイナミックプログラミング法よりも高速
で部分表面Ｓｐ（ｋ）を決定することができる。

【０１３３】［実施の形態３の変形例］上記実施の形態
においては、直交座標系のボクセル空間１１で同一のｘ
ｙ座標をもつ複数のボクセルのうち標準偏差が最小のボ
クセルが必ずしも対象物体１０の真の表面１４に位置し
ていない。これは画像ノイズに起因するものもあるが、
主として計算方法に起因するものである。この理由を図
９および図２４を用いて詳細に説明する。

【０１３４】図９に示されるように、直交座標系のボク
セル空間１１において、同一のｘｙ座標をもつすべての
ボクセル１２から中心画像となる物体画像Ａ０への投影
線１６が物体画像Ａ０上の同じ位置に投影する場合は、
照明条件の著しい変動がない限り、真の表面に位置する
ボクセルの物体画像Ａ０への投影点の色彩が複雑である
か単一であるかに関わらず、その同一のｘｙ座標をもつ
複数のボクセル１２のうち標準偏差が最小のボクセル１
２が対象物体１０の真の表面上に位置すると考えてもよ
い。しかしながら、上述したボクセル１２から中心画像
となる物体画像Ａ０への投影線１６は、透視投影に基づ
いているため、図２４に示されるように、同一のｘｙ座
標をもつ複数のボクセル１２から物体画像Ａ０への投影
線１６は物体画像Ａ０上の異なる位置に投影することが
多い。この場合、真の表面１４上に位置するボクセル１
２から物体画像Ａ０上への投影点付近には複雑な色彩が
あり、その他のボクセル１２から中心画像である物体画
像Ａ０および周辺画像である物体画像Ａ１およびＡ１５
上への投影点には単一の色彩があるとすると、真の表面
１４上に位置しないボクセルの標準偏差が真の表面１４
上に位置するボクセルの標準偏差よりも小さくなる場合
がある。

【０１３５】そこで、図２１に示されたステップＳ３０
０における直交座標系から直交座標系への座標変換に代
えて、直交座標系から図２５に示されるような透視座標
系への座標変換が行なわれてもよい。この透視座標系の
ボクセル空間３５は、中心画像ｋの視点を頂点とした錐
体状をなしている。

【０１３６】図２６（ａ）は図２５に示された透視座標
系のボクセル空間３５をＹ方向から見た図であり、図２
６（ｂ）は図６に示された直交座標系のボクセル空間１
１をＹ方向から見た図である。中心画像ｋの視点からボ
クセル空間１１の中心までの距離をｌとすると、この直
交座標系から透視座標系への座標変換は次の式（２）に
より表わされる。

【０１３７】 ｘ′＝ｘ・ｌ／ｚ，ｙ′＝ｙ・ｌ／ｚ，ｚ′＝ｚ …（２） このような透視座標系のボクセル空間３５においても上
記と同様に、図２７に示されるような同一のｘ′ｙ′座
標をもつ複数のボクセル３６の中から標準偏差が最小の
ボクセルが特定され、その特定されたボクセルの座標
ｚ′が表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）に与えら
れる。ただし、ここで表面変数ｓｕｒｆａｃｅ（ｘ′，
ｙ′）に与えられる値はこの変数ｓｕｒｆａｃｅ
（ｘ′，ｙ′）が設定される中心画像からその標準偏差
が最小のボクセルまでの距離である。このように、透視
座標系のボクセル空間３５において各中心画像ｋの視点
を通る直線状のボクセルのうち標準偏差が最小のボクセ
ルが結合され、対象物体１０の部分表面Ｓｐ（ｋ）が決
定される。

【０１３８】なお、部分表面統合処理により、図２７中
の●のボクセルは対象物体１０の内部と判定され、○の
ボクセルは対象物体１０の外部と判定される。

【０１３９】このように透視座標系のボクセル空間に座
標変換を行えば、最小の標準偏差をもつボクセルを特定
することにより対象物体１０の形状を簡単かつ正確に推
定することができる。また、このような座標変換による
最小ばらつき法は上記ダイナミックプログラミング法よ
りも高速で部分表面Ｓｐ（ｋ）を決定することができ、
その結果、この処理に必要なメモリのワークエリアを削
減するこができる。

【０１４０】［実施の形態４］図２８は、本発明の実施
の形態４による３次元モデリング装置における部分表面
推定処理を示すフローチャートである。ここでは、図２
１に示されたステップＳ３０８に代えて、ステップＳ３
２０〜Ｓ３２４が設けられている。この方法は上記実施
の形態３の部分表面Ｓｐ（ｋ）上またはそれよりも外側
に部分表面を特定するもので、以下「座標変換による準
最小ばらつき探索法」と呼ぶ。

【０１４１】上述したようにステップＳ３０４〜Ｓ３０
７で同一のｘ′ｙ′座標をもつボクセルの中から標準偏
差が最小のボクセルが特定される。

【０１４２】ステップＳ３２０では、その最小の標準偏
差に所定の値αを加えたものが最小標準偏差変数ｓｍｉ
ｎに設定される。そして、ステップＳ３２０〜Ｓ３２３
で、再び同一のｘ′ｙ′座標をもつ複数のボクセルの中
から［最小の標準偏差＋α］以下の標準偏差をもつボク
セルが特定される。このとき、ボクセルはｚ′ｍｉｎか
らｚ′ｍａｘに向かって順に探索される。したがって、
最小の標準偏差をもつボクセルよりも外側に、［最小の
標準偏差＋α］以下の標準偏差をもつボクセルが存在す
る場合は、そのボクセルの座標ｚ′がステップＳ３２４
で表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）に設定され
る。この場合、図２３または図２７に示された部分表面
Ｓｐ（ｋ）よりも外側に部分表面が特定される。なお、
最小の標準偏差をもつボクセルよりも外側に、［最小の
標準偏差＋α］以下の標準偏差をもつボクセルが存在し
ない場合は、最小の標準偏差をもつボクセルの座標ｚ′
が表面変数ｓｕｒｆａｃｅ（ｘ′，ｙ′）に設定され、
図２３または図２７に示された部分表面Ｓｐ（ｋ）上に
部分表面が特定される。

【０１４３】以上のようにこの実施の形態４によれば、
最小の標準偏差よりも少しだけ大きい標準偏差をもつボ
クセルが特定され、これにより部分表面Ｓｐ（ｋ）が推
定されているため、照明条件の変動などによりノイズが
入っても、一部を欠いた立体モデルが生成されることは
ない。

【０１４４】［実施の形態５］図２９は、本発明の実施
の形態５による３次元モデリング装置における部分表面
推定処理を示すフローチャートである。この方法は、上
記実施の形態のようにボクセル空間の座標変換を行なう
ことなく視点からボクセル空間への透視性を考慮して標
準偏差が最小のボクセルを特定して対象物体１０の部分
表面を推定するもので、以下「光線追跡による最小ばら
つき探索法」と呼ぶ。

【０１４５】まずここでは、図３０に示されるような座
標（ｐｘ，ｐｙ，ｐｚ）を定義する。すなわち、中心画
像ｋの視点の座標を（ｏｘ，ｏｙ，ｏｚ）と定義する。
そして、この視点（ｏｘ，ｏｙ，ｏｚ）からボクセル空
間１１の中心に向かう方向にＺ′座標軸を設け、中心画
像ｋ上にＸ′座標軸およびＹ′座標軸を設ける。視点
（ｏｘ，ｏｙ，ｏｚ）から放射状に出る光線４０が中心
画像ｋを貫通するｘ′ｙ′座標を（ｐｘ，ｐｙ）とし、
中心画像ｋのｚ′座標をｐｚとする。

【０１４６】図２９に示されるように、まずステップＳ
５００で座標ｐｙに最小値ｐｙｍｉｎが設定され、続い
てステップＳ５０１で座標ｐｘに最小値ｐｘｍｉｎが設
定される。

【０１４７】続いてステップＳ５０２で、単位光線ベク
トルｖ＝（ｖｘ，ｖｙ，ｖｚ）が計算される。ただし、
ここでは次の式（３）〜（５）が成立する。

【０１４８】 ｖｚ＝１ …（３） ｖ×（ｐｘ−ｏｘ，ｐｙ−ｏｙ，ｐｚ−ｏｚ）＝０ …（４） ｖ・（ｐｘ−ｏｘ，ｐｙ−ｏｙ，ｐｚ−ｏｚ）≧０ …（５） ベクトルｖとベクトル（ｐｘ−ｏｘ，ｐｙ−ｏｙ，ｐｚ
−ｏｚ）との外積が０ということは、これらのベクトル
が同一方向に横たわっている（向きは同じか反対か不
明）ことを意味する。また、ベクトルｖとベクトル（ｐ
ｘ−ｏｘ，ｐｙ−ｏｙ，ｐｚ−ｏｚ）との内積が０以上
ということは、これらのベクトルの向きも同じであるこ
とを意味する。

【０１４９】続いてステップＳ５０３で、整数ｎに最小
値ｎｍｉｎが設定され、標準偏差一時変数ｓｔｍｐに無
限大∞が設定され、かつ座標一時変数ｚｔｍｐに無限大
∞が設定される。

【０１５０】続いてステップＳ５０４〜Ｓ５０８では、
図３１に示されるように、直交座標系のボクセル空間１
１において視点（ｏｘ，ｏｙ，ｏｚ）を通る各光線４０
上の複数のボクセルの中から標準偏差が最小のボクセル
が特定される。図３１では、複数のボクセル（○，●で
表わされる）のうち、●で表わされるボクセルが特定さ
れている。

【０１５１】より具体的には、ステップＳ５０４で視点
（ｏｘ，ｏｙ，ｏｚ）を基準としてｎ倍の単位光線ベク
トルｖで表わされる座標（ｘ′ｙ′ｚ′）に位置するボ
クセルが選択される。

【０１５２】続いてステップＳ５０４０でボクセル
（ｘ，ｙ，ｚ）が対象物体１０の存在領域か否かが判定
される。ｖ（ｘ，ｙ，ｚ）＝１の場合、ステップＳ５０
５で、標準偏差一時変数ｓｔｍｐの値がその選択された
ボクセルの標準偏差ｓ（ｘ，ｙ，ｚ）と比較される。標
準偏差一時変数ｓｔｍｐの値が標準偏差ｓ（ｘ，ｙ，
ｚ）よりも大きい場合は、ステップＳ５０６でその標準
偏差ｓ（ｘ，ｙ，ｚ）が代わりに標準偏差一時変数ｓｔ
ｍｐに設定され、そのときの自然数ｎが位置一時変数ｚ
ｔｍｐに設定される。

【０１５３】続いてステップＳ５０７およびＳ５０８に
より、すべての自然数ｎ（＝ｎｍｉｎ〜ｎｍａｘ）につ
いて上記ステップＳ５０４〜Ｓ５０６の処理が行なわれ
る。そのため、光線４０上に位置する複数のボクセルの
中から標準偏差が最小のボクセルが特定される。

【０１５４】続いてステップＳ５０９で、この特定され
たボクセルのｚ′座標（位置一時変数ｚｔｍｐに設定さ
れている）が表面変数ｓｕｒｆａｃｅ（ｐｘ，ｐｙ）に
設定される。

【０１５５】続いてステップＳ５１０およびＳ５１１に
より、すべての座標ｐｘについて上記ステップＳ５０２
〜Ｓ５０９の処理が行なわれる。

【０１５６】続いてステップＳ５１２およびＳ５１３に
より、すべての座標ｐｙ（＝ｐｙｍｉｎ〜ｐｙｍａｘ）
について上記ステップＳ５０１〜Ｓ５１１の処理が行な
われる。

【０１５７】図３１では、視点（ｏｘ，ｏｙ，ｏｚ）を
通るある１つの光線４０上の複数のボクセルの中から最
小の標準偏差をもつ●で表わされるボクセルが特定され
る。この特定されたボクセルのｐｚ座標は「３７」であ
るので、この「３７」が中心画像ｋ上の表面変数ｓｕｒ
ｆａｃｅ（ｘ，ｙ）の対応する座標に設定される。

【０１５８】上記のように各光線４０上ごとに最小の標
準偏差をもつボクセルのｐｚ座標が表面変数ｓｕｒｆａ
ｃｅ（ｘ，ｙ）に設定されることにより、図３２および
図３３に示されるように対象物体１０の部分表面Ｓｐ
（ｋ）が特定される。

【０１５９】このようにして特定された複数の部分表面
Ｓｐ（ｋ）は、上述した距離ペナルティ法または後に詳
述する単純ボーティング法により１つに統合され、これ
により対象物体１０の形状が決定される。図３２に示さ
れるように、部分表面Ｓｐ（ｋ）よりも外側に位置する
○で表わされるボクセルは対象物体の外部に位置し、部
分表面Ｓｐ（ｋ）よりも内側に位置する●で表わされる
ボクセルは対象物体１０の内部に位置している。

【０１６０】以上のようにこの実施の形態５によれば、
視点から放射上に出る光線上の複数のボクセルのうち最
小の標準偏差をもつボクセルが特定されているため、対
象物体１０の形状を比較的正確に推定することができ
る。このような光線追跡による最小ばらつき探索法は上
記ダイナミックプログラミング法よりも高速で部分表面
Ｓｐ（ｋ）を決定することができ、その結果、この処理
に必要なメモリのワークエリアを削減するこができる。

【０１６１】［実施の形態６］図３４は、本発明の実施
の形態６による３次元モデリング装置における部分表面
統合処理を示すフローチャートである。この方法は、上
述した距離ペナルティ法に代えて用いられ、上記部分表
面推定処理により得られた複数の部分表面Ｓｐ（ｋ）を
１つに統合して対象物体の形状を決定するものである。
以下、この方法を「単純ボーティング法」と呼ぶ。

【０１６２】図３５（ａ）〜（ｃ）は、各観察方向から
の部分表面Ｓｐ（ｋ）が決定されたボクセル空間を示
す。ここでは、推定された概略形状３１よりも内側でか
つ部分表面Ｓｐ（ｋ）よりも内側のボクセルに得点
「１」が与えられている。このような得点がボクセル空
間に投票されると、図３５（ｄ）に示されるようなボク
セル空間が得られる。ここで、対象物体１０は１６個の
視点から観察されているため、各ボクセルの最高得点は
「１６」である。この得点数が高いボクセルほど対象物
体１０の真の存在領域である可能性が高いが、ここでは
表面条件の変動などによるノイズを考慮して投票数が
「１４」以上のボクセルを図３５（ｅ）に示されるよう
に対象物体１０の真の存在領域４５として推定してい
る。

【０１６３】より具体的には、図３４に示されるよう
に、ステップＳ６００で変数ｃｎｔ（ｘ，ｙ，ｚ）が初
期化され、ステップＳ６００１で中心画像ｋとして物体
画像Ａ０が設定される。続いてステップＳ６０１〜Ｓ６
０３で、座標ｙ、ｘ、ｚにそれぞれ最小値ｙｍｉｎ、ｘ
ｍｉｎ、ｚｍｉｎが設定される。

【０１６４】続いてステップＳ６０４で、図１０に示さ
れたステップＳ４０の結果に従って座標（ｘ，ｙ，ｚ）
のボクセルが対象物体１０の概略存在領域内か否かが判
定される。概略存在領域内、つまりｖ（ｘ，ｙ，ｚ）＝
１の場合は、ステップＳ６０５で中心画像ｋに応じて座
標変換が行なわれる。ここでは、座標（ｘ，ｙ，ｚ）が
上述した座標（ｘ′，ｙ′，ｚ′）に変換される。

【０１６５】続いてステップＳ６０６で、このボクセル
が部分表面Ｓｐ（ｋ）よりも内側にあるか否か、つまり
ｓｕｒｆａｃｅ（ｘ′，ｙ′）≦ｚ′か否かが判定され
る。このボクセルが部分表面Ｓｐ（ｋ）よりも内側にあ
る場合は、ステップＳ６０７で変数ｃｎｔ（ｘ，ｙ，
ｚ）がインクリメントされる。

【０１６６】続いてステップＳ６０８〜Ｓ６１３によ
り、すべての座標ｘ（＝ｘｍｉｎ〜ｘｍａｘ）、すべて
の座標ｙ（＝ｙｍｉｎ〜ｙｍａｘ）、すべての座標ｚ
（＝ｚｍｉｎ〜ｚｍａｘ）について上記ステップＳ６０
４〜Ｓ６０７の処理が行なわれる。これにより図３５
（ａ）〜（ｃ）に示されるようなボクセル空間が得られ
る。

【０１６７】続いてステップＳ６１４およびＳ６１５に
より、すべての中心画像ｋ（＝０〜ｋｍａｘ）について
上記ステップＳ６０１〜Ｓ６１３の処理が行なわれる。
これにより、図３５（ｄ）に示されるようなボクセル空
間が得られる。

【０１６８】続いてステップＳ６１５０でボクセル
（ｘ，ｙ，ｚ）が対象物体１０の存在領域か否かが判定
される。ｖ（ｘ，ｙ，ｚ）＝１の場合、ステップＳ６１
６で、各ボクセルの変数ｃｎｔ（ｘ，ｙ，ｚ）が所定の
値（ここでは「１４」）と比較される。変数ｃｎｔ
（ｘ，ｙ，ｚ）が所定の値よりも小さい場合は、ステッ
プＳ６１７でそのボクセルは対象物体１０の存在領域
外、つまり変数ｖ（ｘ，ｙ，ｚ）に０が設定される。

【０１６９】続いてステップＳ６１８により、すべての
ボクセルについて上記ステップＳ６１６およびＳ６１７
の処理が行なわれ、これにより図３５（ｅ）に示される
ようなボクセルが得られる。これにより対象物体１０の
形状４５が決定される。

【０１７０】以上のようにこの実施の形態６によれば、
推定された複数の部分表面Ｓｐ（ｋ）を単純ボーティン
グ法により統合しているため、上述した距離ペナルティ
法よりも高速で対象物体１０の形状を決定することがで
きる。

【０１７１】以上、本発明の実施の形態を説明したが、
本発明は上記実施の形態に限定されるものではない。た
とえば、上記実施の形態は画像情報として濃度を用いて
いるが、これに代えて色を用いてもよく、さらに色およ
び濃度の組合せを用いてもよい。また、上記実施の形態
は画像情報の標準偏差を用いているが、これに代えて画
像情報の分散を用いてもよく、要するに、画像情報のば
らつきを評価する値を用いればよい。

【０１７２】

【発明の効果】以上のように本発明によれば、対象物体
を複数の視点から撮影して得られた複数の物体画像のう
ち少なくとも２つの物体画像間における画像情報のばら
つきに基づいて対象物体の形状を推定しているため、対
象物体の凹所を表現した立体モデルを生成することがで
きる。

【０１７３】また、予め対象物体の輪郭に基づいてボク
セル空間における対象物体の存在領域を概略的に推定し
ているため、対象物体の立体モデルを迅速に生成するこ
とができる。

【０１７４】また、ばらつきが小さいボクセルを滑らか
に結合することにより対象物体の形状を推定しているた
め、照明条件などが変動しても正確な立体モデルを安定
して生成することができる。

【０１７５】また、３次元仮想空間の座標空間を透視座
標空間に変換し、その透視座標空間において１つの視点
を通る直線上の複数の領域のうち、ばらつきが最小また
はその最小値よりも所定の値だけ大きい領域を結合して
いるため、対象物体の形状を高速で推定することができ
る。

【０１７６】また、３次元仮想空間において１つの視点
を通る直線上の複数の領域のうち、ばらつきが最小また
はその最小値よりも所定の値だけ大きい領域を結合して
いるため、対象物体の形状を高速で推定することができ
る。

【０１７７】また、３次元仮想空間の領域のうち存在領
域の内側にありかつ部分表面の各々の外側にある領域に
その領域から複数の部分表面までの距離を累積し、その
累積された距離の総和が所定の値よりも大きい領域を対
象物体の外側と認定しているため、対象物体の形状を比
較的正確に決定することができる。

【０１７８】また、３次元仮想空間の領域のうち部分表
面の各々の内側にある領域に所定の値を投票し、その投
票された値の総和が所定の値よりも大きい領域を対象物
体の内側と認定しているため、対象物体の形状を高速で
決定することができる。

【０１７９】また、複数の画素を含む所定ブロックごと
に画像情報を累積しているため、対象物体の立体モデル
をより精度良く生成することができる。

【０１８０】また、各物体画像内に複数の画素を含むブ
ロックを設定し、そのブロック間において互いに対応す
る画素の値の差をそれぞれ算出し、その算出された差の
絶対値の総和を画像情報のばらつきとして算出している
ため、対象物体の形状を高速で推定することができる。

【０１８１】また、各物体画像内に複数の画素を含むブ
ロックを設定し、そのブロック間において互いに対応す
る画素の値の差をそれぞれ算出し、その算出された差の
自乗の総和を画像情報のばらつきとして算出しているた
め、対象物体の形状を高速で推定することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による３次元モデリング
装置の全体構成を示す図である。

【図２】図１に示されたコンピュータの主要構成を示す
ブロック図である。

【図３】図１に示されたＣＤ−ＲＯＭに記録された３次
元モデリングプログラムを示すフローチャートである。

【図４】（ａ）は図３中の対象物体および背景の撮影ス
テップを説明するための図であり、（ｂ）は図３中のシ
ルエット画像作成ステップを説明するための図であり、
（ｃ）は図３中の形状推定処理ステップを説明するため
の図であり、（ｄ）は図３中のポリゴン作成ステップを
説明するための図であり、（ｅ）は図３中のテクスチャ
マッピングステップを説明するための図である。

【図５】図４（ａ）において対象物体を撮影する視点を
説明するための図である。

【図６】図４（ｃ）の形状推定処理で用いられるボクセ
ル空間を示す概念図である。

【図７】図３に示された形状推定処理の詳細を示すフロ
ーチャートである。

【図８】図７に示された概略形状推定処理を説明するた
めの図である。

【図９】図７に示された色ボーティング処理を説明する
ための図である。

【図１０】図７に示された概略形状推定処理、色ボーテ
ィング処理、および部分表面推定処理の詳細を示すフロ
ーチャートである。

【図１１】図７に示された部分表面統合処理の詳細を示
すフローチャートである。

【図１２】図１０中のステップＳ４５で用いられる投影
点を説明するための図である。

【図１３】図１０中のステップＳ５２で用いられるダイ
ナミックプログラミング法を示すフローチャートであ
る。

【図１４】図１０に示されたフローチャートによって計
算されたＹ＝ｙ０平面における標準偏差を示す鳥瞰図で
ある。

【図１５】図１０に示されたフローチャートによって計
算されたＹ＝ｙ０平面における標準偏差の数値を示す図
である。

【図１６】図１３に示されたフローチャートによって決
定された部分表面を示す図である。

【図１７】図１０中のステップＳ４０で得られた対象物
体の存在領域の初期形状を示す図である。

【図１８】本発明の実施の形態２による３次元モデリン
グ装置における形状推定処理を示すフローチャートであ
る。

【図１９】図１７中のステップＳ７０およびＳ７２で用
いられる投影点を説明するための図である。

【図２０】図１７中のステップＳ７４においてブロック
領域間で濃度が異なる画素の数を計算する方法を説明す
るための図である。

【図２１】本発明の実施の形態３による３次元モデリン
グ装置における部分表面推定処理の詳細を示すフローチ
ャートである。

【図２２】図２１中のステップＳ３００における直交座
標系のボクセル空間から直交座標系のボクセル空間への
座標変換を説明するための図である。

【図２３】図２１に示されたフローチャートに従って直
交座標系のボクセル空間から直交座標系のボクセル空間
への座標変換を行なった場合における部分表面の特定お
よびその統合方法を説明するための図である。

【図２４】標準偏差が最小のボクセルが必ずしも対称物
体の部分表面上に位置するとは限らない理由を明らかに
するために、同一のｘｙ座標をもつ複数のボクセルから
中心画像への投影点が異なる場合における色ボーティン
グ処理を説明するための図である。

【図２５】図２１中のステップＳ３００における座標変
換で使用可能な透視座標系のボクセル空間を示す斜視図
である。

【図２６】（ａ）は図２５に示された透視座標系のボク
セル空間をＹ方向から見た上面図であり、（ｂ）は図６
に示された直交座標系のボクセル空間をＹ方向から見た
上面図である。

【図２７】図２１中のステップＳ３００で図２５に示さ
れるような透視座標系のボクセル空間への座標変換が行
なわれた場合における部分表面の特定およびその統合方
法を説明するための図である。

【図２８】本発明の実施の形態４による３次元モデリン
グ装置における部分表面推定処理の詳細を示すフローチ
ャートである。

【図２９】本発明の実施の形態５による３次元モデリン
グ装置における部分表面推定処理の詳細を示すフローチ
ャートである。

【図３０】図２９に示されたフローチャートで用いられ
る座標系を説明するための図である。

【図３１】図２９に示された光線追跡による最小ばらつ
き探索法を説明するための図である。

【図３２】図２９に示された光線追跡による最小ばらつ
き探索法により特定された部分表面の統合方法を説明す
るための図である。

【図３３】図２９に示された光線追跡による最小ばらつ
き探索法により１つの部分表面が特定されたボクセルを
示す図である。

【図３４】本発明の実施の形態６による立体モデリング
装置における部分表面統合処理の詳細を示すフローチャ
ートである。

【図３５】（ａ）〜（ｅ）は、図３４に示された単純ボ
ーティング法を説明するための図である。

【符号の説明】 ２ デジタルスチルカメラ ３ コンピュータ ４ ＣＤ−ＲＯＭ ５ 中央処理装置 ７ ランダムアクセスメモリ １０ 対象物体 １１ ボクセル空間 １２ ボクセル １８ 立体モデル Ａ０〜Ａ１５ 物体画像 Ｂ０〜Ｂ１５ シルエット画像 Ｂｋ，Ｂｉ ブロック領域

Claims (55)

【特許請求の範囲】
1. 【請求項１】 対象物体の立体モデルを生成する３次元
   モデリング装置であって、 前記対象物体を複数の視点から撮影し、複数の物体画像
   を得る物体画像獲得手段と、 前記複数の物体画像のうち少なくとも２つの物体画像間
   において互いに対応する画像情報のばらつきに基づいて
   前記対象物体の形状を推定する形状推定手段と、 前記推定された形状に基づいて前記立体モデルを生成す
   る生成手段とを備える、３次元モデリング装置。
2. 【請求項２】 前記物体画像の画像情報は色および／ま
   たは濃度である、請求項１に記載の３次元モデリング装
   置。
3. 【請求項３】 前記形状推定手段は、 複数の領域から構成される３次元仮想空間の領域に前記
   少なくとも２つの物体画像の対応する画像情報を累積す
   る画像情報累積手段と、 前記領域に累積された画像情報のばらつきを算出する算
   出手段とを含む、請求項１または請求項２に記載の３次
   元モデリング装置。
4. 【請求項４】 前記複数の物体画像中の前記対象物体の
   輪郭に基づいて前記３次元仮想空間における前記対象物
   体の存在領域を概略的に推定する存在領域推定手段をさ
   らに備え、 前記画像情報累積手段は、前記３次元仮想空間の領域の
   うち前記存在領域内の領域に前記画像情報を累積する、
   請求項３に記載の３次元モデリング装置。
5. 【請求項５】 前記形状推定手段はさらに、前記対象物
   体の形状を推定するために、前記３次元仮想空間の領域
   のうち前記ばらつきの小さい領域を滑らかに結合する結
   合手段を含む、請求項３または請求項４に記載の３次元
   モデリング装置。
6. 【請求項６】 前記結合手段は、前記ばらつきの小さい
   領域を滑らかに結合するために、前記ばらつきの小ささ
   と前記結合されるべき領域の滑らかさとを変数とする評
   価関数を最小化する、請求項５に記載の３次元モデリン
   グ装置。
7. 【請求項７】 前記形状推定手段はさらに、 前記３次元仮想空間の座標空間を前記視点の１つから放
   射状に広がる座標軸を有する透視座標空間に変換する座
   標変換手段と、 前記対象物体の形状を推定するために、前記透視座標空
   間において前記１つの視点を通る直線上の領域のうち前
   記ばらつきが最小またはその最小値よりも所定の値だけ
   大きい領域を結合する結合手段とを含む、請求項３から
   請求項６のいずれかに記載の３次元モデリング装置。
8. 【請求項８】 前記形状推定手段はさらに、 前記対象物体の形状を推定するために、前記３次元仮想
   空間において前記視点の１つを通る直線上の領域のうち
   前記ばらつきが最小またはその最小値よりも所定の値だ
   け大きい領域を結合する結合手段を含む、請求項３から
   請求項６のいずれかに記載の３次元モデリング装置。
9. 【請求項９】 前記形状推定手段は、 前記複数の物体画像間において互いに対応する画像情報
   のばらつきに基づいて前記対象物体の複数の部分表面を
   推定する部分表面推定手段と、 前記複数の部分表面を統合して前記対象物体の形状を決
   定する統合手段とを含む、請求項１から請求項８のいず
   れかに記載の３次元モデリング装置。
10. 【請求項１０】 前記形状推定手段は、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    る画像情報累積手段と、 前記領域に累積された画像情報のばらつきを算出する算
    出手段と、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定する部分表面推定手段と、 前記複数の部分表面を統合して前記対象物体の形状を決
    定する統合手段とを含み、 前記統合手段は、 前記３次元仮想空間の領域のうち前記存在領域内にあり
    かつ前記部分表面の各々の外側にある領域に、その領域
    から前記複数の部分表面までの距離を累積する距離累積
    手段と、 前記累積された距離の総和が所定の値よりも大きい領域
    を前記対象物体の外側と認定する認定手段とを含む、請
    求項１または請求項２に記載の３次元モデリング装置。
11. 【請求項１１】 前記形状推定手段は、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    る画像情報累積手段と、 前記領域に累積された画像情報のばらつきを算出する算
    出手段と、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定する部分表面推定手段と、 前記複数の部分表面を統合して前記対象物体の形状を決
    定する統合手段とを含み、 前記統合手段は、 前記３次元仮想空間の領域のうち前記存在領域内にあり
    かつ前記部分表面の各々の外側にある領域に、その領域
    から前記複数の部分表面までの距離を累積する距離累積
    手段と、 前記累積回数を計算する累積回数計算手段と、 前記累積された距離の総和を前記計算された累積回数で
    除した距離平均値が所定の値よりも大きい領域を前記対
    象物体の外側と認定する認定手段とを含む、請求項１ま
    たは請求項２に記載の３次元モデリング装置。
12. 【請求項１２】 前記形状推定手段は、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    る画像情報累積手段と、 前記領域に累積された画像情報のばらつきを算出する算
    出手段と、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定する部分表面推定手段と、 前記複数の部分表面を統合して前記対象物体の形状を決
    定する統合手段とを含み、 前記統合手段は、 前記３次元仮想空間の領域のうち前記部分表面の各々の
    内側にある領域に所定の第１の値を投票する投票手段
    と、 前記投票された第１の値の総和が所定の第２の値よりも
    大きい領域を前記対象物体の内側と認定する認定手段と
    を含む、請求項１または請求項２に記載の３次元モデリ
    ング装置。
13. 【請求項１３】 前記画像情報累積手段は、前記物体画
    像の画素ごとに前記画像情報を累積する、請求項３から
    請求項１２のいずれかに記載の３次元モデリング装置。
14. 【請求項１４】 前記画像情報累積手段は、前記物体画
    像の複数の画素を含む所定ブロックごとに前記画像情報
    を累積する、請求項３から請求項１２のいずれかに記載
    の３次元モデリング装置。
15. 【請求項１５】 前記領域はボクセルであり、前記３次
    元仮想空間はボクセル空間である、請求項３から請求項
    １４のいずれかに記載の３次元モデリング装置。
16. 【請求項１６】 前記画像情報のばらつきは前記画像情
    報の標準偏差である、請求項１から請求項１５のいずれ
    かに記載の３次元モデリング装置。
17. 【請求項１７】 前記形状推定手段は、 前記物体画像ごとに複数の画素を含むブロックを設定す
    るブロック設定手段と、 前記ブロック間において互いに対応する画素の値の差を
    それぞれ算出し、その算出された差の絶対値の総和を前
    記画像情報のばらつきとして算出する算出手段とを含
    む、請求項１から請求項１６のいずれかに記載の３次元
    モデリング装置。
18. 【請求項１８】 前記形状推定手段は、 前記物体画像ごとに複数の画素を含むブロックを設定す
    るブロック設定手段と、 前記ブロック間において互いに対応する画素の値の差を
    それぞれ算出し、その算出された差の自乗の総和を前記
    画像情報のばらつきとして算出する算出手段とを含む、
    請求項１から請求項１６のいずれかに記載の３次元モデ
    リング装置。
19. 【請求項１９】 対象物体の立体モデルを生成する３次
    元モデリング方法であって、 前記対象物体を複数の視点から撮影し、複数の物体画像
    を得るステップと、 前記複数の物体画像のうち少なくとも２つの物体画像間
    において互いに対応する画像情報のばらつきに基づいて
    前記対象物体の形状を推定するステップと、 前記推定された形状に基づいて前記立体モデルを生成す
    るステップとを含む、３次元モデリング方法。
20. 【請求項２０】 前記物体画像の画像情報は色および／
    または濃度である、請求項１９に記載の３次元モデリン
    グ方法。
21. 【請求項２１】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップとを含む、請求項１９または請求項２０に記載の
    ３次元モデリング方法。
22. 【請求項２２】 前記複数の物体画像中の前記対象物体
    の輪郭に基づいて前記３次元仮想空間における前記対象
    物体の存在領域を概略的に推定するステップをさらに含
    み、 前記累積するステップは、前記３次元仮想空間の領域の
    うち前記存在領域内の領域に前記画像情報を累積する、
    請求項２１に記載の３次元モデリング方法。
23. 【請求項２３】 前記形状を推定するステップはさら
    に、前記対象物体の形状を推定するために、前記３次元
    仮想空間の領域のうち前記ばらつきの小さい領域を滑ら
    かに結合するステップを含む、請求項２１または請求項
    ２２に記載の３次元モデリング方法。
24. 【請求項２４】 前記結合するステップは、前記ばらつ
    きの小さい領域を滑らかに結合するために、前記ばらつ
    きの小ささと前記結合されるべき領域の滑らかさとを変
    数とする評価関数を最小化する、請求項２３に記載の３
    次元モデリング方法。
25. 【請求項２５】 前記形状を推定するステップはさら
    に、 前記３次元仮想空間の座標空間を前記視点の１つから放
    射状に広がる座標軸を有する透視座標空間に変換するス
    テップと、 前記対象物体の形状を推定するために、前記透視座標空
    間において前記１つの視点を通る直線上の領域のうち前
    記ばらつきが最小またはその最小値よりも所定の値だけ
    大きい領域を結合するステップとを含む、請求項２１か
    ら請求項２４のいずれかに記載の３次元モデリング方
    法。
26. 【請求項２６】 前記形状を推定するステップはさら
    に、 前記対象物体の形状を推定するために、前記３次元仮想
    空間において前記視点の１つを通る直線上の領域のうち
    前記ばらつきが最小またはその最小値よりも所定の値だ
    け大きい領域を結合するステップを含む、請求項２１ま
    たは請求項２２に記載の３次元モデリング方法。
27. 【請求項２７】 前記形状を推定するステップは、 前記複数の物体画像間において互いに対応する画像情報
    のばらつきに基づいて前記対象物体の複数の部分表面を
    推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含む、請求項１９から請求項２６の
    いずれかに記載の３次元モデリング方法。
28. 【請求項２８】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップと、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含み、 前記統合するステップは、 前記３次元仮想空間の領域のうち前記存在領域内にあり
    かつ前記部分表面の各々の外側にある領域に、その領域
    から前記複数の部分表面までの距離を累積するステップ
    と、 前記累積された距離の総和が所定の値よりも大きい領域
    を前記対象物体の外側と認定するステップとを含む、請
    求項１９または請求項２０に記載の３次元モデリング方
    法。
29. 【請求項２９】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップと、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含み、 前記統合するステップは、 前記３次元仮想空間の領域のうち前記存在領域内にあり
    かつ前記部分表面の各々の外側にある領域に、その領域
    から前記複数の部分表面までの距離を累積するステップ
    と、 前記累積回数を計算するステップと、 前記累積された距離の総和を前記計算された累積回数で
    除した距離平均値が所定の値よりも大きい領域を前記対
    象物体の外側と認定するステップとを含む、請求項１９
    または請求項２０に記載の３次元モデリング方法。
30. 【請求項３０】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップと、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含み、 前記統合するステップは、 前記３次元仮想空間の領域のうち前記部分表面の各々の
    内側にある領域に所定の第１の値を投票するステップ
    と、 前記投票された第１の値の総和が所定の第２の値よりも
    大きい領域を前記対象物体の内側と認定するステップと
    を含む、請求項１９または請求項２０に記載の３次元モ
    デリング方法。
31. 【請求項３１】 前記画像情報を累積するステップは、
    前記物体画像の画素ごとに前記画像情報を累積する、請
    求項２１から請求項３０のいずれかに記載の３次元モデ
    リング方法。
32. 【請求項３２】 前記画像情報を累積するステップは、
    前記物体画像の複数の画素を含む所定ブロックごとに前
    記画像情報を累積する、請求項２１から請求項３０のい
    ずれかに記載の３次元モデリング方法。
33. 【請求項３３】 前記領域はボクセルであり、前記３次
    元仮想空間はボクセル空間である、請求項２１から請求
    項３２のいずれかに記載の３次元モデリング方法。
34. 【請求項３４】 前記画像情報のばらつきは前記画像情
    報の標準偏差である、請求項１９から請求項３３のいず
    れかに記載の３次元モデリング方法。
35. 【請求項３５】 前記形状を推定するステップは、 前記物体画像ごとに複数の画素を含むブロックを設定す
    るステップと、 前記ブロック間において互いに対応する画素の値の差を
    それぞれ算出し、その算出された差の絶対値の総和を前
    記画像情報のばらつきとして算出するステップとを含
    む、請求項１９から請求項３４のいずれかに記載の３次
    元モデリング方法。
36. 【請求項３６】 前記形状を推定するステップは、 前記物体画像ごとに複数の画素を含むブロックを設定す
    るステップと、 前記ブロック間において互いに対応する画素の値の差を
    それぞれ算出し、その算出された差の自乗の総和を前記
    画像情報のばらつきとして算出するステップとを含む、
    請求項１９から請求項３４のいずれかに記載の３次元モ
    デリング方法。
37. 【請求項３７】 コンピュータに、対象物体を複数の視
    点から撮影して得られた複数の物体画像に基づいて前記
    対象物体の立体モデルを生成させる３次元モデリングプ
    ログラムを記録した媒体であって、 前記プログラムは、 前記複数の物体画像のうち少なくとも２つの物体画像間
    において互いに対応する画像情報のばらつきに基づいて
    前記対象物体の形状を推定するステップと、 前記推定された形状に基づいて前記立体モデルを生成す
    るステップとを含む、３次元モデリングプログラムを記
    録した媒体。
38. 【請求項３８】 前記物体画像の画像情報は色および／
    または濃度である、請求項３７に記載の３次元モデリン
    グプログラムを記録した媒体。
39. 【請求項３９】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップとを含む、請求項３７または請求項３８に記載の
    ３次元モデリングプログラムを記録した媒体。
40. 【請求項４０】 前記プログラムは、前記複数の物体画
    像中の前記対象物体の輪郭に基づいて前記３次元仮想空
    間における前記対象物体の存在領域を概略的に推定する
    ステップをさらに含み、 前記累積するステップは、前記３次元仮想空間の領域の
    うち前記存在領域内の領域に前記画像情報を累積する、
    請求項３９に記載の３次元モデリングプログラムを記録
    した媒体。
41. 【請求項４１】 前記形状を推定するステップはさら
    に、前記対象物体の形状を推定するために、前記３次元
    仮想空間の領域のうち前記ばらつきの小さい領域を滑ら
    かに結合するステップを含む、請求項３９または請求項
    ４０に記載の３次元モデリングプログラムを記録した媒
    体。
42. 【請求項４２】 前記結合するステップは、前記ばらつ
    きの小さい領域を滑らかに結合するために、前記ばらつ
    きの小ささと前記結合されるべき領域の滑らかさとを変
    数とする評価関数を最小化する、請求項４１に記載の３
    次元モデリングプログラムを記録した媒体。
43. 【請求項４３】 前記形状を推定するステップはさら
    に、 前記３次元仮想空間の座標空間を前記視点の１つから放
    射状に広がる座標軸を有する透視座標空間に変換するス
    テップと、 前記対象物体の形状を推定するために、前記透視座標空
    間において前記１つの視点を通る直線上の領域のうち前
    記ばらつきが最小またはその最小値よりも所定の値だけ
    大きい領域を結合するステップとを含む、請求項３９か
    ら請求項４２のいずれかに記載の３次元モデリングプロ
    グラムを記録した媒体。
44. 【請求項４４】 前記形状を推定するステップはさら
    に、 前記対象物体の形状を推定するために、前記３次元仮想
    空間において前記視点の１つを通る直線上の領域のうち
    前記ばらつきが最小またはその最小値よりも所定の値だ
    け大きい領域を結合するステップを含む、請求項３９ま
    たは請求項４０に記載の３次元モデリングプログラムを
    記録した媒体。
45. 【請求項４５】 前記形状を推定するステップは、 前記複数の物体画像間において互いに対応する画像情報
    のばらつきに基づいて前記対象物体の複数の部分表面を
    推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含む、請求項３７から請求項４５の
    いずれかに記載の３次元モデリングプログラムを記録し
    た媒体。
46. 【請求項４６】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップと、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含み、 前記統合するステップは、 前記３次元仮想空間の領域のうち前記存在領域内にあり
    かつ前記部分表面の各々の外側にある領域に、その領域
    から前記複数の部分表面までの距離を累積するステップ
    と、 前記累積された距離の総和が所定の値よりも大きい領域
    を前記対象物体の外側と認定するステップとを含む、請
    求項３７または請求項３８に記載の３次元モデリングプ
    ログラムを記録した媒体。
47. 【請求項４７】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップと、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含み、 前記統合するステップは、 前記３次元仮想空間の領域のうち前記存在領域内にあり
    かつ前記部分表面の各々の外側にある領域に、その領域
    から前記複数の部分表面までの距離を累積するステップ
    と、 前記累積回数を計算するステップと、 前記累積された距離の総和を前記計算された累積回数で
    除した距離平均値が所定の値よりも大きい領域を前記対
    象物体の外側と認定するステップとを含む、請求項３７
    または請求項３８に記載の３次元モデリング装置プログ
    ラムを記録した媒体。
48. 【請求項４８】 前記形状を推定するステップは、 複数の領域から構成される３次元仮想空間の領域に前記
    少なくとも２つの物体画像の対応する画像情報を累積す
    るステップと、 前記領域に累積された画像情報のばらつきを算出するス
    テップと、 前記ばらつきに基づいて前記対象物体の複数の部分表面
    を推定するステップと、 前記複数の部分表面を統合して前記対象物体の形状を決
    定するステップとを含み、 前記統合するステップは、 前記３次元仮想空間の領域のうち前記部分表面の各々の
    内側にある領域に所定の第１の値を投票するステップ
    と、 前記投票された第１の値の総和が所定の第２の値よりも
    大きい領域を前記対象物体の内側と認定するステップと
    を含む、請求項３７または請求項３８に記載の３次元モ
    デリングプログラムを記録した媒体。
49. 【請求項４９】 前記画像情報を累積するステップは、
    前記物体画像の画素ごとに前記画像情報を累積する、請
    求項３９から請求項４８のいずれかに記載の３次元モデ
    リングプログラムを記録した媒体。
50. 【請求項５０】 前記画像情報を累積するステップは、
    前記物体画像の複数の画素を含む所定ブロックごとに前
    記画像情報を累積する、請求項３９から請求項４８のい
    ずれかに記載の３次元モデリングプログラムを記録した
    媒体。
51. 【請求項５１】 前記領域はボクセルであり、前記３次
    元仮想空間はボクセル空間である、請求項３９から請求
    項５０のいずれかに記載の３次元モデリングプログラム
    を記録した媒体。
52. 【請求項５２】 前記画像情報のばらつきは前記画像情
    報の標準偏差である、請求項３７から請求項５１のいず
    れかに記載の３次元モデリングプログラムを記録した媒
    体。
53. 【請求項５３】 前記形状を推定するステップは、 前記物体画像ごとに複数の画素を含むブロックを設定す
    るステップと、 前記ブロック間において互いに対応する画素の値の差を
    それぞれ算出し、その算出された差の絶対値の総和を前
    記画像情報のばらつきとして算出するステップとを含
    む、請求項３７から請求項５２のいずれかに記載の３次
    元モデリングプログラムを記録した媒体。
54. 【請求項５４】 前記形状を推定するステップは、 前記物体画像ごとに複数の画素を含むブロックを設定す
    るステップと、 前記ブロック間において互いに対応する画素の値の差を
    それぞれ算出し、その算出された差の自乗の総和を前記
    画像情報のばらつきとして算出するステップとを含む、
    請求項３７から請求項５２のいずれかに記載の３次元モ
    デリングプログラムを記録した媒体。
55. 【請求項５５】 コンピュータに、対象物体を複数の視
    点から撮影して得られた複数の物体画像に基づいて前記
    対象物体の形状を推定させる３次元形状推定プログラム
    を記録した媒体であって、 前記プログラムは、 前記複数の物体画像のうち少なくとも２つの物体画像間
    において互いに対応する画像情報のばらつきを算出する
    ステップと、 前記算出されたばらつきに基づいて前記対象物体の形状
    を推定するステップとを含む、３次元形状推定プログラ
    ムを記録した媒体。