JPH10255081A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の異なるデータが混在する仮想環境を生
成し、その生成された仮想環境の変更処理を、異なるデ
ータを混在させた木構造を対象に行うことにより、様々
な種類のデータで構成される仮想環境に対して、より効
率的に変更処理を行う。 【解決手段】 形状データ、光線空間データ等を構成要
素とする木構造に基づいて、仮想環境を生成し、生成さ
れた仮想環境の元となる木構造に対して、構成要素の追
加を行う場合は、追加処理を行い（ステップS802〜S80
5）、構成要素の削除を行う場合は、削除処理を行い
（ステップS807、S808）、構成要素の入れ換えを行う場
合は、入れ換え処理を行い（ステップS810〜S815）、仮
想環境を再生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、バーチャルリアリ
ティのための仮想環境を生成して表示するための画像処
理方法及び画像処理装置に関するものである。

【０００２】

【従来の技術】従来、３次元の物体や空間を表現し、任
意の位置・向きからの観察画像を提示する手法として、
(1)ポリゴンデータや曲面データなどの形状モデルデー
タ、その表面属性や模様を表すテクスチャデータ、光源
データなどによって、３次元物体や空間を表現し、コン
ピュータグラフィクスのレンダリング技術により任意の
位置向きでの空間の見え方を画面に描画することによっ
て、３次元の物体や空間を再現する方法があった。

【０００３】この方法により、３次元の仮想環境を構築
する際に、仮想環境を構成する要素（座標変換データ、
形状データ、表面属性データ、照明など）を木構造によ
り表現する方法があった。これは、３次元空間を構成す
る空間、地面、建物、部屋、家具、照明、置物などは、
それぞれもともと階層的な入れ子関係にあると考えられ
るためである。例えば、机の上の置物は、机の配置とと
もに動くように、机の配置に依存する関係にあり、机の
存在する座標系から相対的に配置したほうが都合がよい
場合が多い。そのため、階層的に配置に依存関係のある
データ構造をとる。その方法として、仮想環境をn分木
構造によって表現する。

【０００４】たとえば、図４は、ある簡単な仮想環境の
例のイメージ図である。この図の場合、空間中の部屋、
机、ソファに注目すると、世界座標系C0から、座標変換
T2で変換された座標系C2上に部屋が記述され、その部屋
の中の机やソファは、それぞれ座標変換T3、T4によって
座標系C2から変換される座標系C3、C4上で記述されてい
る。そして、机の上の壷は、座標系C3から座標変換T5に
よって変換される座標系C5上で記述されている。さら
に、机の上に、光線空間データを配置している。これ
は、壷と同様に座標系C3から座標変換T6によって変換さ
れる座標系C6上で記述されている。これを、模式的な木
構造で表現すると図５に示す木となる。

【０００５】この木構造の木の各構成要素を、追加す
る、あるいは削除する、あるいは他のものと入れ換える
ことで木構造を変更することによって、仮想環境中の物
体や空間などの追加・削除・入れ換えを行う方法があっ
た。

【０００６】(2)３次元物体や空間の実写の画像群を基
にして光線空間データを生成し、その光線空間データか
ら、任意位置向きから見える画像を生成し、提示するこ
とによって３次元物体や空間を再現する方法があった。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術(1)及び(2)では、以下のような問題点があっ
た。

【０００８】まず、従来技術(1)の方法は、形状が非常
に複雑な物体に対してその形状データを生成する、ある
いは再現することが困難であるという問題があった。さ
らに、形状が複雑な物体の形状データを実物体から３次
元計測装置を用いて獲得することも困難であるという問
題があった。特に、既にある複雑な形状や、複雑な表面
の模様・反射特性（吸収透過特性）をもつような実物体
を再現することは、より困難である。さらに言えば一般
に人工物は表現しやすいが、自然物の表現が難しい。し
かし、部屋や街並みと言った人工的な単純な主に平面か
ら構成される３次元空間を表現することが、比較的少な
いデータ量にて比較的行いやすいという長所を持ってい
る。また、木構造によって仮想環境を表現する方法は優
れた方法であるといえる。

【０００９】また、従来技術(2)では、ある量の撮影画
像から光線空間データを生成してしまえば、後は任意視
点（正確には拘束条件がある）位置からの観察画像を生
成可能である。これは、対象の形状を復元せずに、対象
そのものの撮影画像を基に記述する方法であるため、対
象を写実性高く表現することのできる優れた記述方法で
ある。しかし、データ量が多く必要であること、また、
対象が広い範囲である場合に撮影が困難であることなど
から、どちらかというと、３次元物体を記述することに
向いている手法であって、部屋や街並みと言ったような
広い３次元空間を表現するのには、向いていないという
問題があった。

【００１０】さらに、従来技術(1)と従来技術(2)とはそ
れぞれ根本的に異なる技術であり、それらの特性を生か
し、それぞれの利点のみを有効に利用するように組み合
わせる方法がなかったという問題があった。

【００１１】また、生成した仮想環境を表現している木
構造を変更することによって、仮想環境を変更する方法
はなかった。

【００１２】

【課題を解決するための手段】上記問題を解決するため
に、本発明にかかる画像処理方法は、仮想環境を生成し
て表示する画像処理方法であって、３次元的な位置と３
次元的な向きと表面属性とを含む記述情報に基づいて、
3次元物体の形状や３次元空間の形状を記述する第1の記
述工程と、任意の視点からの3次元物体と３次元空間の
見え方に従って、実写画像に基づいて、該3次元物体と
該３次元空間を記述する第2の記述工程と、前記第1の記
述工程と前記第2の記述工程における記述内容を構成要
素とする木構造に基づいて、該記述内容を混在させた仮
想環境を生成する生成工程と、前記生成工程で生成され
た仮想環境の元となる該木構造の構成要素に対して、所
望の処理を指示する指示工程と、前記指示工程での指示
による該構成要素に対する処理により、前記木構造を変
更する変更工程と、前記変更工程での変更内容に基づい
て、前記仮想環境を再生成する再生成工程とを設けた。

【００１３】また、上記問題を解決するために、本発明
にかかる画像処理装置は、仮想環境を生成して表示する
画像処理装置であって、３次元的な位置と３次元的な向
きと表面属性とを含む記述情報に基づいて、3次元物体
の形状や３次元空間の形状を記述する第1の記述手段
と、任意の視点からの3次元物体と３次元空間の見え方
に従って、実写画像に基づいて、該3次元物体と該３次
元空間を記述する第2の記述手段と、前記第1の記述手段
と前記第2の記述手段による記述内容を構成要素とする
木構造に基づいて、該記述内容を混在させた仮想環境を
生成する生成工程と、前記生成手段によって生成された
仮想環境の元となる該木構造の構成要素に対して、所望
の処理を指示する指示手段と、前記指示手段による指示
による該構成要素に対する処理により、前記木構造を変
更する変更手段と、前記変更手段による変更内容に基づ
いて、前記仮想環境を再生成する再生成手段とを設け
た。

【００１４】

【発明の実施の形態】

（実施形態１）図１に実施形態１における画像処理装置
の各部を接続したブロック図を示す。1は、本実施形態
１の処理手順を実行するCPUである。2は、処理手順を記
憶しておく処理手順記憶装置である。この処理手順記憶
装置２に記憶してある処理手順は、予め記憶しておくこ
とにしてもよいが、FD、CD-ROM、ROM、磁気テープ等の
記憶媒体に記憶された処理手順を、後述する外部機器イ
ンターフェース8を通して供給することも可能である。

【００１５】3は、処理前後および処理中に生成または
入力されるデータを保持しておくデータ記憶装置であ
る。このデータ記憶装置３には、形状データ３ａ、表面
属性データ３ｂ、光線空間データ３ｃ、木構造データ３
d、視点位置・向き３e、画角・画面サイズ３fなどのデ
ータが含まれている。

【００１６】4は、処理過程、処理結果を提示するため
の画像を表示装置５に送るために蓄えておくフレームバ
ッファである。5は、フレームバッファ４にある画像を
表示するための表示装置としてのウインドウシステムで
ある。6は、文字や処理過程での指示を入力するキーボ
ードである。7は、画面上での位置を指定するマウスで
ある。8は、データや処理手順などを入出力するための
外部機器インターフェースである。９は、上述した各部
を接続するためのバスである。

【００１７】次に、図２に本実施形態１の処理の流れを
表すフローチャートを示し、この図を用いて本実施形態
１の詳細について述べる。仮想環境を幾何形状モデルで
生成するためには、なんらかのコンピュータグラフィク
スの幾何形状データおよび表面属性データを作成するこ
とが可能なモデラー装置などを用いて、その仮想環境を
構成する内部の物体や建物・背景などを作成していく必
要がある。

【００１８】この生成処理には既存の技術が使え、ステ
ップS201にて、本処理過程で幾何形状モデル３ａおよび
表面属性データ３ｂを生成するか、別処理にて別途生成
したデータを読み込むか、を選択する。本処理過程にて
幾何形状モデル３ａおよび表面属性データ３ｂを生成す
る場合には、ステップS202にて生成し、そうでない場合
は、ステップS203にて、別の生成装置により生成された
データを読み込む。ここで、形状データには、三角形パ
ッチなどのポリゴンデータや、NURBSなどの自由曲面デ
ータなどがある。表面属性データとは、その形状の材
質、反射特性や模様などであり、模様はテクスチャデー
タとして入力する。テクスチャデータとは、ポリゴンデ
ータや自由曲面データなどの表面の模様を表すデータ
で、模様の画像データとその画像が貼る対象である形状
とどういう位置対応となっているかの対応関係を記述し
たデータである。

【００１９】次に、ステップS204に進む。本実施形態で
は、仮想環境を構成する物体や空間などを表現するデー
タは、別々に複数存在していても良く、ステップS204に
おいて、さらに生成する、または読み込むデータがない
かどうかを判定する。そして、さらに必要なデータが他
にある場合には、ステップS201へと戻り、ない場合に
は、ステップS205に進む。

【００２０】そして、ステップS205にて、仮想環境に配
置する光線空間データ３ｃを生成するか、予め生成して
おいた光線空間データ３ｃを読み込むか、を選択する。
生成する場合にはステップS206にて生成し、読み込む場
合には、ステップS207にて読み込む。

【００２１】このステップS206で行う光線空間データ３
ｃの生成方法について、以下に示す。

【００２２】図１２に示すような座標系にz=0の平面を
仮定し、この平面（これを基準面１２０１と呼ぶことに
する）を通過する光線の集合として３次元空間を表現す
る手法（光線空間による３次元空間表現）が提案されて
いる。この手法では、３次元空間内のz＞0にある視点位
置Pで観察できる画像は、この基準面１２０１を通過す
る光線の集合からPを通過する光線のみをサンプリング
して得られる画像と等価になる（図１３参照）。一般的
には、各光線は基準面１２０１を通過する位置(x、y)、
各光線がx軸、y軸のそれぞれとなす角度をφ、ψ、光線
が平面を通過した時間t、光線の色(r、g、b)で表される
が、実際には、計算量やデータ量が膨大になるという問
題から、対象は静止物体でy軸方向の視差はないと仮定
されることが多い。この仮定のもとでu=tanφとおいて
各光線をx-u空間に射影し、この射影されたx-u空間で光
線空間を扱う場合、ある点Pを通過する光線は図１４に
示すように直線状の軌跡をなす。この軌跡は以下の式で
表される。

【００２３】x=X-Z・u (1) u=tanφ (2) ここで(X、Z)は観察視点位置を表し、xは光線がx-u空間
上のx軸と交差する位置を表す。また、φは光線がz軸と
なす角度を表す。

【００２４】まず、図１５に示すように多数の視点位置
で得られた画像から直線状の軌跡を求め、この軌跡群に
よりx-u空間が密に埋められていると仮定する。この
時、z＞0にある視点位置Qの画像は、図１５に示すよう
にx-u空間上でQを通過するの軌跡を求め、その軌跡上に
すでに記録されている光線の色を逆に求めることにより
得ることができる。ステップS206で行う光線空間データ
の生成は、この処理のうちのx-u空間上に多視点画像の
データを写像することに相当する。

【００２５】このように、ステップS206にて、光線空間
データを生成するか、もしくは、ステップS207にて、別
途生成された光線空間データを読み込むことによって、
光線空間データを取得するわけであるが、この光線空間
データも、先程のステップS201〜S204と同様に、別々の
データが複数あっても構わない。そこで、ステップS208
にて、さらに生成する、または読み込むデータがないか
どうかを判定し、ほかに必要な光線空間データがある場
合には、ステップS205へと戻り、ない場合には、ステッ
プS209に進む。

【００２６】さて、次に、ステップS209以降のステップ
にて、ここまで取得したデータを互いに組み合わせて配
置し、3次元空間と3次元物体とからなる3次元世界を構
築する処理へと進む。この構築する3次元世界が仮想環
境となるわけである。

【００２７】ここで、それらのデータを組み合わせて仮
想環境を構築する際に、従来技術(1)と同様に仮想環境
を構成する要素（座標変換データ、形状データ、表面属
性データ、照明など）を木構造により表現する手法を用
いる。これは、３次元空間を構成する空間、地面、建
物、部屋、家具、照明、置物などが、それぞれもともと
階層的な入れ子関係にあると考えられるためである。例
えば、机の上の置物は、机の配置とともに動くように、
机の配置に依存する関係にあり、机の存在する座標系か
ら相対的に配置したほうが都合がよい場合が多い。その
ため、階層的に配置に依存関係のあるデータ構造をと
る。

【００２８】そこで、まず、この仮想環境を形成する木
構造を、ステップS209にて、生成するか読み込むかを判
定する。生成すると判定された場合には、ステップS210
にて、ステップS201〜S208までの処理によって獲得した
各データを組み合わせて階層的な木構造を生成する。こ
の各データとは、形状データ3a、表面属性データ3b、光
線空間データ3cのそれぞれのことであり、また、それぞ
れの形式のデータが複数ある場合もある。また、ステッ
プS209にて読み込むと判定される場合は、ステップS201
〜S208までの処理によって獲得した各データによって形
成された階層的な木構造が既に存在している場合であ
り、ステップS211にて、その木構造のデータを読み込
む。

【００２９】ステップS210でデータを生成する場合、ス
テップS211でデータを読み込む場合のどちらの場合でも
同様であるが、仮想環境の構成要素の木構造は、n分木
構造によって表現される。

【００３０】図６は、ある簡単な仮想環境の例のイメー
ジ図である。この図の場合、空間中の部屋、机、ソファ
に注目すると、世界座標系C0から、座標変換T2で変換さ
れた座標系C2上に部屋が記述され、その部屋の中の机や
ソファは、それぞれ座標変換T3、T4によって座標系C2か
ら変換される座標系C3、C4上で記述されている。そし
て、机の上の壷は、座標系C3から座標変換T5によって変
換される座標系C5上で記述されている。ここで、従来技
術(1)にない本手法の新しい点は、形状データ3a、表面
属性データ3b、光線空間データ3cが混在した木構造デー
タを形成している点にある。図６の場合、机の上に、光
線空間データを配置している。このデータは、座標系C3
から座標変換T6によって変換される座標系C6上で記述さ
れている。この図６の仮想環境を、模式的な木構造で表
現すると図７に示す木のようになる。

【００３１】以上の処理が終わると、次にAに進む。Aか
らは、以降に述べる処理へと続く。Ａ以降の処理は、仮
想環境が操作者に提示され、提示された仮想環境が操作
者によって処理される場合の一連の処理である。

【００３２】以下、図3のフォローチャートを用いなが
ら、Ａ以降の処理について詳しく説明することにする。

【００３３】観察者が仮想環境を観察するためには、表
示画面にその視点から仮想環境を見たときの見え方を描
画する必要がある。図７に示すようなn分木のデータの
木を、左ノードを優先して深さ優先探索にて全ノード辿
ってくことにより、この木を構成するすべてのノードの
データにアクセスする。このとき、ノード内に書かれて
いる情報をもとに、ノードにアクセスした時点で順次表
示画面に描画していくことが基本的な方法である。

【００３４】まず、ステップS301にて、観察する画面の
初期設定を行う。次にステップS302にて観察視点の位置
・向き３eの初期設定を行う。それに引き続いて、ステ
ップS303に進み、木構造の探索を開始する。これは、上
述のように左優先で深さ優先探索の方法をとる（ステッ
プS304）。この探索が終了するまでノードの探索を続け
る（ステップS305）。

【００３５】そして、探索しているノードの内容が座標
変換であった場合（ステップS306）には、ステップS307
のカレント座標変換の処理に進む。これは、もし、今ま
でに座標変換であるノードがなかった場合には、それを
木のそのノードの深さよりも深い部分木の基本の座標変
換としてカレント座標変換としておき、そうでなけれ
ば、既存のカレント座標変換にその新しく現れたその座
標変換をかけることによってカレント座標変換を更新
し、木のその深さより深い部分木でのカレント座標変換
とする。木は深い方向への探索時には、現状のカレント
座標変換を渡すことにより、次の深さへカレント座標変
換を与える。深さ方向への枝が無くなり一段浅くなる時
には、木の深いときに更新されたであろうカレント座標
変換は浅い方向へは渡さない。以前にその深さの木を探
索しているときにあったはずであるカレント座標変換を
用いる。

【００３６】ステップS306が偽の場合ステップS308に進
む。このステップにて、ノードの内容が表面属性を表す
場合には、ステップS309のカレント表面属性の処理に進
む。これは、このノード現れた時点で木のそのノードの
深さよりも深い部分木の基本の表面属性としてカレント
表面属性とする。木の深い方向への探索時には、現状の
カレント表面属性を渡すことにより、次の深さへカレン
ト表面属性を与える。深さ方向への枝が無くなり一段浅
くなる時には、木の深いときに更新されたであろうカレ
ント表面属性は浅い方向へは渡さない。以前にその深さ
の木を探索しているときにあったはずであるカレント表
面属性を用いる。

【００３７】ステップS308が偽の場合ステップS310に進
む。このステップにて、ノードの内容が幾何形状モデル
を表す場合には、ステップS311の幾何形状モデル描画処
理に進む。これは、カレント座標変換を用いてその形状
モデルの位置・向き・スケーリングなどの座標変換を
し、カレント表面属性を用いて従来技術(1)に示した方
法により表示画像に２次元の画像として観察者に提示す
る画面に描画を行う。このとき、提示画面の各画素に対
応した奥行き値保存マップを用意しておく。そして、描
画処理の時に、形状モデルを描画するとき、視点位置か
ら見た画面の各画素に相当する位置の形状モデルの表面
の３次元位置の奥行き値を、奥行き値保存マップの同じ
画素に書き込む。このとき、もしも、すでに奥行き値保
存マップがすでにこの処理によって書き込まれていたな
らば、新たに描画するために得られた奥行き値がすでに
保存されている奥行き値よりも大きいときには、提示描
画へのこの画素の書き込み、および、奥行き値保存マッ
プの書き換えは行わない。

【００３８】ステップS310が偽の場合ステップS312に進
む。このステップにて、ノードの内容が光線空間データ
を表す場合には、ステップS313の光線空間データからの
描画処理に進む。これは、まず、カレント座標変換を用
いて光線空間データの位置・向き・スケーリングなどの
座標変換をする。そして、観察視点位置が、光線空間デ
ータの基準面からみて、どの位置・向きにあるかを計算
する。この計算結果などから、光線空間データからその
観察条件で生成すべき画像を生成する描画則を決定し、
提示画面に表示する画像を生成する。このとき、幾何形
状モデルからの描画の時と同様に、表示画面で画素単位
での奥行き判定を行う。視点位置と光線空間データの基
準面位置のおかれている位置との距離を光線空間データ
の奥行き値であるとし、この値と奥行き値保存マップに
格納されている奥行き値との比較を行う。奥行き値保存
マップの値よりも小さい画素には、光線空間データから
生成された画像を上書きし奥行き値保存マップを更新す
る。そうでない場合は、そのまま何もしない。

【００３９】ステップS307、S309、S311、S313が終わる
と、再び木の探索処理の先頭であるステップS304に戻
る。

【００４０】そして、ステップS305にて、木の探索が終
わったと判定されたならば、以上の処理によって、仮想
環境を構成している構成要素を一通り全部探索したこと
になり、仮想環境の１回目の描画が完了したこととな
る。

【００４１】その後、ステップS314にて観察視点位置・
向き３ｅの設定変更処理に進む。もし、観察者が仮想環
境内を動き回りたい場合には、ここにて視点位置・向き
３ｅを変更することになる。これは、図6あるいは図7の
例で示すと、座標変換T1を変更する処理を行うことにな
る。視点位置・向き３ｅを変更した場合、仮想環境の見
え方が変化するため、ステップS303に戻り、再度描画を
行い観察画像を生成する。別の観点から言い換えれば、
仮想環境の木構造自体は変化していないものの、木構造
を成す構成要素の中身が変化しているため、先程のステ
ップS303〜S313の処理による描画時と比べ、仮想環境を
表現している木が変化しているので、再度、木構造の探
索を行って描画をやり直す処理であるともいえる。

【００４２】次に、観察画面の設定変更処理に進む（ス
テップS315）。これは、仮想環境をもっと広く見渡した
いときに、視野角を広くするなどの処理であり、ちょう
ど、実際の実環境を実カメラで撮影する場合に、そのズ
ームを変えたりする行為と同等なものである。これも先
程と同じように、図6あるいは図7の例で示すと、座標変
換T1を変更する処理を行うことになる。なお、このステ
ップS315の処理は、なくてもかまわない。

【００４３】次に、ステップS316にて、仮想環境の変更
処理に進むかどうか判定する。ここで、この仮想環境の
変更処理とは、例えば、今、仮想環境に存在していない
物体を追加したり、仮想環境中の物体を削除したり、仮
想環境中の物体を仮想環境に存在していない別の物体と
入れ換えたりする処理のことを指す。ステップS316に
て、この処理を行うとした場合にはＢへと進み、行わな
いとした場合には、ステップS317に進み、終了処理を行
う。

【００４４】このＢ以降で行う仮想環境の変更処理を、
図8のフローチャートを用いながら、以下に詳しく説明
することにする。先程述べたように、ここでいう変更処
理とは、物体の追加・削除・入れ換えのことである。こ
の仮想環境における物体の追加・削除・入れ換えは、仮
想環境を表現している木構造Tの構造そのものを変更す
ることによって行う。

【００４５】まず、ステップS801にて、仮想環境に物体
を追加するかどうかを判定する。ここでいう物体とは、
仮想環境が木構造で表現されるときに、仮想環境を成す
構成要素であるノードの一つであるか、または、複数の
ノードを組み合わせたもののことである。物体が、複数
のノードを組み合わせたものである場合には、物体を表
現するために、それらを用いて小さな木を形成している
こととなり、本実施形態１ではこれを、物体を表現する
ための「部分木」と呼ぶことにする。そのため、ステッ
プS801における判定とは、仮想環境の木構造へ、物体を
表現しているノードあるいは部分木を追加するか否かの
判定を行うことである。追加を行う場合には、ステップ
S802へと進み、行わない場合には、ステップS806へと進
む。まず、追加する場合について説明する。

【００４６】ステップS802にて、仮想環境に追加すべき
物体をどれにするかを操作者に選ばせるための選択ウィ
ンドウを、表示装置であるウィンドウシステム5に提示
する。ここで、追加可能な物体は、予め、登録されてい
て、この選択ウィンドウに並べて表示してある。そし
て、操作者は、その選択ウィンドウの中から、追加した
い物体を選び、追加する物体として指示する。選ばれる
物体はノードあるいは部分木であり、ここでは、ノード
Aあるいは部分木Aを指定する（ステップS803）。なお、
ここでは、ステップS802で選択ウィンドウを提示して、
ステップS803でその中から対象を選択するという方法に
よって、追加物体の指定を行ったが、この方法に限ら
ず、例えば、キーボードの各キーに予め物体を割り振っ
ておき、そのキーを押すことによって物体を指定するな
どの方法を用いても構わない。

【００４７】次に、ステップS804にて、指定された物体
（ノードAまたは部分木A）のデータを読み込む。この物
体は、形状データであっても、光線空間データであって
も、それらの組み合わせであってもかまわない。いずれ
にしろ、必要となるデータをこのステップにて読み込
む。そして、ステップS805にて、ステップS804で読み込
んだ物体（ノードAまたは部分木A）を木構造Tへ追加す
る。前出の図7を例にして模式的に表すと、図9に示すよ
うに、図7の木構造に新しいノードまたは部分木を追加
する処理を行う。この図9の場合、光線空間データと座
標変換からなる部分木を木構造Tに追加している。

【００４８】以上のステップS802〜S805の処理が終わる
と、再び、図3のステップS303へと戻る。このような木
構造へのノードまたは部分木の追加処理を行うと、仮想
環境の木構造自体が変化してしまうため、先程のステッ
プS303〜S313の処理による描画時とは木構造が異なって
しまい、再度、木構造の探索を行って、描画をやり直す
ことになる。

【００４９】次に、ステップS801で追加を行わずに、ス
テップS806に進んだ場合の処理について説明する。ま
ず、ステップS806にて、仮想環境中の物体を削除するか
どうかを判定する。ここでいう物体とは、ノードまたは
部分木であるため、ここでは、仮想環境の木構造Tか
ら、ノードまたは部分木を削除するかどうかを判定する
ことになる。削除を行う場合には、ステップS807に進
み、行わない場合には、ステップS809へと進む。削除す
る場合について説明すると、ステップS807にて、仮想環
境の木構造T中で、削除したい物体を表しているノード
または部分木、ここでは、ノードＢまたは部分木Ｂを指
定する。そして、ステップS808にて、そのノードＢまた
は部分木Ｂを木構造Tから削除する。前出の図7を例にし
て模式的に表すと、図10に示すように、図7の木構造の
一部のノードまたは部分木を削除する処理である。この
図10の場合、壷を表す形状データと座標変換からなる部
分木を木構造Tから削除している。

【００５０】以上のステップS807、S808の処理が終わる
と、再び、図3のステップS303へと戻る。このような木
構造のノードまたは部分木の削除処理を行うと、仮想環
境の木構造自体が変化してしまうため、先程のステップ
S303〜S313の処理による描画時とは木構造が異なってし
まい、再度、木構造の探索を行って、描画をやり直すこ
とになる。

【００５１】また、ステップS806で削除を行わない場
合、ステップS809に進み、仮想環境中の物体を入れ換え
るかどうかの判定を行う。ここでいう物体とは、ノード
または部分木であるため、ここでは、仮想環境の木構造
Tから、ノードまたは部分木を入れ換えるかどうかを判
定することになる。物体の入れ換えを行う場合には、ス
テップS810に進み、行わない場合には、図3のステップS
303に戻る。

【００５２】物体の入れ換えを行う場合、まず、ステッ
プS810にて、仮想環境を形成している木構造Tの中か
ら、入れ換えの対象となるノードまたは部分木、ここで
は、ノードCまたは部分木Cを指定する。次に、ステップ
S811にて、このノードCまたは部分木Cと入れ換えるため
の新しいノードまたは部分木をどれにするかを操作者に
選ばせるための選択ウィンドウを、表示装置であるウィ
ンドウシステム5に提示する。そして、入れ換えるノー
ドまたは部分木、ここでは、ノードＤまたは部分木Ｄを
指定する（ステップS812）。また、ここでは、ステップ
S811で選択ウィンドウを提示して、ステップS812でその
中から対象を選択するという方法によって、入れ換える
物体の指定を行ったが、この方法に限らず、例えば、キ
ーボードの各キーに予め物体を割り振っておき、そのキ
ーを押すことによって物体を指定するなどの方法を用い
ても構わない。

【００５３】次に、ステップS813にて、指定された物体
（ノードＣまたは部分木Ｃ）のデータを読み込む。そし
て、ステップS814にて、ステップS810で指定したノード
Cまたは部分木Cを木構造Tから削除し、そして、ステッ
プS815にて、ステップS812で指定したノードDまたは部
分木Dを追加する。このとき、木構造T中で、ノードCま
たは部分木Cを削除した位置に、ノードDまたは部分木D
を追加することによって、入れ替わっているのと同様な
効果をもたせる。すなわち、以上のステップS810〜S815
の入れ換え操作は、追加と削除を組み合わせた処理であ
るともいえる。前出の図9を例にして模式的に表すと、
図11に示すように、図9の木構造のあるノードまたは部
分木を別の新しいノードまたは部分木に入れ換える処理
である。この図11の場合、光線空間データと座標変換か
らなる部分木を別の光線空間データと形状データと座標
変換からなる部分木に入れ換えている。

【００５４】以上のステップS801〜S815の処理が終わる
と、再び、図3のステップS303へと戻る。このような木
構造のノードまたは部分木の入れ換え処理を行うと、仮
想環境の木構造自体が変化してしまうため、先程のステ
ップS303〜S313の処理による描画時とは木構造が異なっ
てしまい、再度、木構造の探索を行って、描画をやり直
すことになる。

【００５５】このように、本実施形態１によれば、以上
述べたような仮想環境の変更処理を、形状データ3a、表
面属性データ3b、光線空間データ3c等が混在する木構造
を対象に行うことが可能になるので、様々なデータが混
在する仮想環境の変更処理を、より効率的に行うことが
できる。

【００５６】それでは最後に、本実施形態１を用いて、
実際に仮想環境を生成して、操作者によってその観察が
行われている場合の描画画面例を図19〜図22に示すこと
にする。

【００５７】まず、図19は、操作者が、ある仮想環境を
ある視点から観察している様子である。この仮想環境に
対して、ステップS801〜S805における木構造へのノード
または部分木の追加処理を行うと、新しい物体を追加す
ることができ、物体を追加した後の描画画面例を、図20
に示す。この図20では、光線空間データで表現されてい
る洋服が仮想環境に追加されている。

【００５８】次に、その図20の状態から、ステップS809
〜S815の処理によって、物体を入れ換えた後の描画画面
例を、図21に示す。この図21では、光線空間データで表
現されている洋服が、他の光線空間データで表現されて
いる洋服に入れ替わっている。

【００５９】さらに、図21の仮想環境から、ステップS8
06〜S808の処理によって、物体を削除した後の描画画面
は、再び図19のようになる。この例では、図21にあっ
た、光線空間データで表現された洋服が仮想環境からな
くなっている。

【００６０】また、図19の状態から、図20の状態に変化
する際の処理に関連して、どの物体を追加するのかを操
作者に指定させるための選択ウィンドウの表示例を図22
に示す。フローチャートで説明すると、これは、ステッ
プS802において選択ウィンドウが提示されている状態で
ある。

【００６１】（実施形態２）実施形態１においては、光
線空間データから表示画像を生成していたが、本実施形
態２では、光線空間データを用いるかわりに、以下の方
法により、多視点画像から表示に必要な画像を生成す
る。

【００６２】まず、図１６は入力された多視点画像から
画像を再構成する原理を示す図である。この図のよう
に、本実施形態２では多視点画像の撮影条件として、撮
影方向に対して垂直な一直線上にカメラを並べて撮影し
ておく必要がある。図中、１６０１は被写体、１６０２
は入力画像の撮影位置を結んだ撮影視点並び直線、1603
は仮想カメラの仮想CCD面を表す仮想CCD、1604は観察者
の位置(x'、z')に置かれた仮想カメラである。

【００６３】図１７のフローチャートを用いて、多視点
画像から画像を生成する処理を説明する。ステップS170
1において注目ラインjを画像Pの先頭ラインにセット
し、注目画素をjライン目の左端の画素にセットする。

【００６４】次に、ステップS1702において、画像Pのj
ラインi番目画素に対応した撮影視点並び直線1602上の
画像Qの位置を計算する。

【００６５】これは次にようにすることで計算できる。

【００６６】物体中の一点Aが、視点位置Pの仮想カメラ
の画素位置Piに写っているとする。また、位置AとPを結
ぶ直線が撮影視点並び直線1602と交差する位置をQとす
る。このとき、図１８から、画素位置Piに写っているも
のは、視点位置Qで撮影した画像の画素位置Qiに写って
いるものと等価であることが分かる。図１６の幾何的な
制約条件から、視点位置QのX座標は(1)式で表すことが
できる。但し、スキャンラインの中央の画素位置を0番
目の画素とする。また、仮想カメラ1604の画素ピッチを
d、焦点距離をf、原点から撮影視点並び直線1602までの
距離をgとする。

【００６７】x = x'+ I・d・(g-z')/f (3) 同様に視点位置Pの仮想カメラの画素位置Pjに写ってい
るものは、記憶装置13に記憶された視点位置Rの画像の
画素位置Rjに写っているものと等価である。

【００６８】この方法により、例えば画像Qのjラインi
番目の画素値を画像Pのjラインi番目画素にコピーして
画像を再構成した場合、再構成された画像が歪む、すな
わち、画像中の物体が縦に伸びたり、縮んだりすること
がある。

【００６９】そこで、これを解消するために、ステップ
S1702での処理の後に、ステップS1703において、画像P
のjライン目に対応する画像Qのライン番号を求める。

【００７０】この画像Qのライン番号の求め方に関し
て、図１８を参照しながら説明する。

【００７１】図１８は上記で再構成された画像の歪みを
補正する原理を示す図である。図中、1801は被写体、18
02は再構成したい視点位置Pの画像、1803は撮影視点並
び直線32上の視点位置Sの画像である。

【００７２】被写体1801中の一点Bについて考える。点B
がY軸に近いか、再構成したい視点位置Pの画像1802のｚ
座標値Ｐｚ、撮影視点並び直線1602上の視点位置Sの画
像1803のz座標値Ｓｚが十分に大きい、または、再構成
したい視点位置Pの画像1802のｚ座標値Ｐｚ、撮影視点
並び直線1602上の視点位置Sの画像1803のz座標値Ｓｚが
ほぼ同じ値であると仮定する。このとき、点Bから発す
る光線は再構成したい視点位置Pの画像1802中のmライン
目と撮影視点並び直線1602上の視点位置Sの画像1803中
のnライン目に記録される。そこで、仮想CCD1603の画素
ピッチをd、仮想カメラ1604の焦点距離をf、仮想CCD160
3のライン数をNとすれば、 Pz・tanα= Sz・tanβ (4) tanα= d・(N/2-m)/f (5) tanβ= d・(N/2-n)/f (6) となる。(4)式、(5)式、(6)式より、 n = N/2 + (m - N/2)・Sz/Pz (7) が得られる。

【００７３】従って、再構成したい視点位置Pの画像180
2のm番目のスキャンラインの値は、撮影視点並び直線16
02上の視点位置Sの画像1803の(7)式で与えられるn番目
のスキャンラインの値と等価になる。

【００７４】そこで、ステップS1703での処理の後に、
ステップS1704に進み、画像Pのjラインi番目画素に、画
像Qのnラインi番目画素の値をコピーする。この処理に
より、撮影視点並び直線1602上でない視点位置の画像を
再構成するときに画像が歪むという現象をある程度抑え
ることができる。

【００７５】その後、ステップS1705に移り、注目ライ
ンj中のすべての画素の処理が終了しているかどうかを
判断し、終了していればステップS1707に移り、そうで
なければステップS1706に移る。ステップS1706では、注
目画素iを右隣の画素に移し、ステップS1702に戻る。

【００７６】また、ステップS1707では、画像P中のすべ
てのラインに対して処理が終了しているかどうかを判断
し、終了している場合は、このサブルーチン自体を終了
する。そして、そうでない場合には、ステップS1708に
おいて、注目ラインjを次のラインに移し、注目画素iを
ラインjの左端にセットした後に、ステップS1702に戻
る。

【００７７】このように、撮影視点並び直線1602上で微
小間隔で撮影された多視点画像群が得られているとする
と、上記の考え方に基づき、すべてのスキャンラインに
ついて同様のことを繰り返せば、撮影視点並び直線1602
上でない視点位置の画像を再構成することができる。

【００７８】（その他の実施形態）なお、本発明は、複
数の機器から構成されるシステムに適用しても、一つの
機器からなる装置に適用してもよい。また、本発明はシ
ステムあるいは装置にプログラムを供給することによっ
て実施される場合にも適用されることは言うまでもな
い。この場合、本発明に係わるプログラムを格納した記
憶媒体が、本発明を構成することになる。そして、該記
憶媒体からそのプログラムをシステムあるいは装置に読
み出すことによって、そのシステムあるいは装置が予め
定められた方法で動作する。

【００７９】

【発明の効果】以上説明したように、本発明によれば、
複数の異なるデータが混在する仮想環境を生成し、その
生成された仮想環境の変更処理を、異なるデータを混在
させた木構造を対象に行うことにより、様々な種類のデ
ータで構成される仮想環境に対して、より効率的に変更
処理を行うことが可能になる。

【図面の簡単な説明】

【図１】実施形態１のブロック図である。

【図２】実施形態１の前半部分のフローチャートであ
る。

【図３】実施形態１の後半部分のフローチャートであ
る。

【図４】従来技術(2)の仮想環境の例のイメージ図であ
る。

【図５】図４の仮想環境を木構造で表現した図である。

【図６】実施形態１で生成する仮想環境の例のイメージ
図である。

【図７】図６の仮想環境を木構造で表現した図である。

【図８】実施形態１の木構造要素の追加・削除・入れ替
えのフローチャートである。

【図９】仮想環境の木構造に部分木を追加した例の図で
ある。

【図１０】仮想環境の木構造から部分木を削除した例の
図である。

【図１１】仮想環境の木構造を他の部分木と入れ換えた
例の図である。

【図１２】光線空間の原理を説明するための３次元空間
の模式図である。

【図１３】実空間中のある点とその点を通る光線の関係
図である

【図１４】実空間中のある１点を通る光線が、光線空間
であるx-u空間へ写像されたときの写像の図である。

【図１５】実空間と光線空間の相互変換を表す原理図で
ある。

【図１６】実施形態２で用いる多視点画像からの画像生
成原理図である。

【図１７】実施形態２で用いる多視点画像からの画像生
成のフローチャートである。

【図１８】実施形態２の画像生成における縦方向の歪み
補正の原理図である。

【図１９】実施形態１にてある視点で仮想環境を観察中
の描画例の図である。

【図２０】図１９の仮想環境に物体を追加したときの描
画例の図である。

【図２１】図２０の仮想環境中の物体を他の物体と入れ
換えたときの描画例の図である。

【図２２】図１９の仮想環境に物体を追加する際に、操
作者に追加する物体を提示している様子を示す図であ
る。

【符号の説明】

１ 中央処理装置（ＣＰＵ） ２ 処理手順記憶装置 ３ データ記憶装置 ４ フレームバッファ ５ ウインドウシステム ６ キーボード ７ マウス ８ 外部機器との入出力インターフェース ９ バス

Claims (12)

【特許請求の範囲】
1. 【請求項１】 仮想環境を生成して表示する画像処理方
   法であって、 ３次元的な位置と３次元的な向きと表面属性とを含む記
   述情報に基づいて、3次元物体の形状や３次元空間の形
   状を記述する第1の記述工程と、 任意の視点からの3次元物体と３次元空間の見え方に従
   って、実写画像に基づいて、該3次元物体と該３次元空
   間を記述する第2の記述工程と、 前記第1の記述工程と前記第2の記述工程における記述内
   容を構成要素とする木構造に基づいて、該記述内容を混
   在させた仮想環境を生成する生成工程と、 前記生成工程で生成された仮想環境の元となる該木構造
   の構成要素に対して、所望の処理を指示する指示工程
   と、 前記指示工程での指示による該構成要素に対する処理に
   より、前記木構造を変更する変更工程と、 前記変更工程での変更内容に基づいて、前記仮想環境を
   再生成する再生成工程とを具備することを特徴とする画
   像処理方法。
2. 【請求項２】 前記表面属性は、表面色反射特性を含む
   ことを特徴とする請求項1記載の画像処理方法。
3. 【請求項３】 前記指示工程で指示される所望の処理
   は、前記木構造の構成要素の追加処理であることを特徴
   とする請求項１記載の画像処理方法。
4. 【請求項４】 前記指示工程で指示される所望の処理
   は、前記木構造の構成要素の削除処理であることを特徴
   とする請求項１記載の画像処理方法。
5. 【請求項５】 前記指示工程で指示される所望の処理
   は、前記木構造の構成要素の入れ換え処理であることを
   特徴とする請求項１記載の画像処理方法。
6. 【請求項６】 前記第2の記述工程において、該3次元物
   体と該３次元空間を、光線空間データによって記述する
   ことを特徴とする請求項１記載の画像処理方法。
7. 【請求項７】 仮想環境を生成して表示する画像処理装
   置であって、 ３次元的な位置と３次元的な向きと表面属性とを含む記
   述情報に基づいて、3次元物体の形状や３次元空間の形
   状を記述する第1の記述手段と、 任意の視点からの3次元物体と３次元空間の見え方に従
   って、実写画像に基づいて、該3次元物体と該３次元空
   間を記述する第2の記述手段と、 前記第1の記述手段と前記第2の記述手段による記述内容
   を構成要素とする木構造に基づいて、該記述内容を混在
   させた仮想環境を生成する生成工程と、 前記生成手段によって生成された仮想環境の元となる該
   木構造の構成要素に対して、所望の処理を指示する指示
   手段と、 前記指示手段による指示による該構成要素に対する処理
   により、前記木構造を変更する変更手段と、 前記変更手段による変更内容に基づいて、前記仮想環境
   を再生成する再生成手段とを具備することを特徴とする
   画像処理装置。
8. 【請求項８】 前記表面属性は、表面色反射特性を含む
   ことを特徴とする請求項７記載の画像処理装置。
9. 【請求項９】 前記指示手段により指示される所望の処
   理は、前記木構造の構成要素の追加処理であることを特
   徴とする請求項７記載の画像処理装置。
10. 【請求項１０】 前記指示手段により指示される所望の
    処理は、前記木構造の構成要素の削除処理であることを
    特徴とする請求項７記載の画像処理装置。
11. 【請求項１１】 前記指示手段により指示される所望の
    処理は、前記木構造の構成要素の入れ換え処理であるこ
    とを特徴とする請求項７記載の画像処理装置。
12. 【請求項１２】 前記第2の記述手段は、該3次元物体と
    該３次元空間を、光線空間データによって記述すること
    を特徴とする請求項７記載の画像処理装置。