JPH09231408A

JPH09231408A - 動画像合成装置

Info

Publication number: JPH09231408A
Application number: JP8041944A
Authority: JP
Inventors: Yoshimori Nakase; 義盛中瀬
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-02-28
Filing date: 1996-02-28
Publication date: 1997-09-05

Abstract

(57)【要約】【目的】撮影時とは異なる視点からの画像表示がで
き、複数の被写体の前後関係、重複部分を考慮した動画
像合成が可能な動画像合成装置を提供すること。【構成】２つの被写体の動画オブジェクトを入力し、
各動画オブジェクトの被写体の分割領域について、仮想
カメラにおける奥行き値と分割領域に対応する変形領域
とをそれぞれ算出する座標変換手段３と、その算出され
た奥行き値と変形領域に基づき、入力された各動画オブ
ジェクト上の分割領域を変形し、輝度値を修正する画像
変形手段４と、仮想カメラにおける変形領域の奥行き値
に基づき、その変形領域内の画素を描画するか否かを判
定する描画判定手段６と、描画すると判定された画素の
輝度値を格納するフレームメモリ５とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の異なる被写
体を実写した異なる複数の動画像を仮想の３次元空間内
に配置し、仮想のカメラ位置から撮影した新たなる動画
像を編集する動画像合成装置に関するものである。

【０００２】

【従来の技術】近年、動画像合成はノンリニア編集に見
られるように実時間で異なる動画像を接続したり、画面
内のある領域に動画像をはめ込む編集がなされている。
また、コンピュータグラフィックス（以下CGと呼ぶ）技
術の発展により、実写画像を仮想の３次元物体の表面に
写像して映像特殊効果を生み出す装置や、カメラで実物
を撮影すると同時に、カメラの動きに同期してCG映像を
生成し、実写映像とCG映像を前後関係を比較して合成す
る試みも放送業界においてなされている。

【０００３】以下図面を参照しながら、上記した従来の
動画像合成装置の一例について説明する。

【０００４】図１０は、従来の動画像合成装置の構成を
示すブロック図である。図１０において、１０１は第１
の被写体を撮影した動画像を蓄える第１のフレームメモ
リで、１０２は第２の被写体を撮影した動画像を蓄える
第２のフレームメモリ、１０３は第１の動画像を描画す
る領域を算出する第１の領域指定手段、１０４は第２の
動画像を描画する領域を算出する第２の領域指定手段、
１０５は第１の動画像を変形する第１の再配列手段、１
０６は第２の動画像を変形する第２の再配列手段、１０
７は変形された第１の動画と第２の動画を合成して描画
するための第３のフレームメモリである。

【０００５】以上のように構成された動画像合成装置に
ついて、以下その動作について説明する。

【０００６】まず、ビデオカメラで撮影された第１の動
画像は、フレームメモリ１０１に実時間で蓄えられる。
第１の領域指定手段１０３はフレームメモリ１０１内の
元の領域と、フレームメモリ１０７内に描画する領域を
算出する。同様に、第２の動画像はフレームメモリ１０
２に蓄えられ、領域指定手段１０３によってフレームメ
モリ１０２の変形前の領域と描画すべきフレームメモリ
１０７の領域とを算出する。第１、第２の再配列手段１
０５は、それぞれフレームメモリ１０１，１０２から読
み出す画素データのアドレスと、フレームメモリ１０７
内に書き込むアドレスを算出し、読み出した画素データ
にフィルタ処理を行ってフレームメモリ１０７に書き込
む。

【０００７】

【発明が解決しようとする課題】しかしながら、上記の
ような構成では、第１、第２の被写体を撮影した際の３
次元空間上の情報を利用する手段がないので、撮影時と
は異なる視点からの画像表示が困難である。また、撮影
された第１、第２の被写体の前後関係と、撮影された第
１、第２の被写体の全領域もしくは部分領域の重なり関
係を表現できないという課題を有していた。

【０００８】本発明は、従来の動画合成におけるこのよ
うな課題を考慮し、撮影時とは異なる視点からの画像表
示ができ、複数の被写体の前後関係、重複部分を考慮し
た動画像合成が可能な動画像合成装置を提供することを
目的とするものである。

【０００９】

【課題を解決するための手段】請求項１の本発明は、被
写体を撮影した時のカメラパラメータ及び各フレームに
おける被写体の所定の分割領域の奥行き値と輝度値及び
各フレーム間の分割領域の対応関係情報を持つ動画オブ
ジェクトを複数の異なる被写体についてそれぞれ入力
し、各動画オブジェクト毎に分割領域について、指定さ
れた仮想カメラのカメラパラメータに基づき、その仮想
カメラにおける奥行き値と分割領域に対応する変形領域
とをそれぞれ算出する座標変換手段と、その座標変換手
段によって算出された奥行き値と変形領域に基づいて、
入力された各動画オブジェクト上の分割領域を変形し、
輝度値を修正する画像変形手段と、算出された仮想カメ
ラにおける変形領域の奥行き値に基づいて、その変形領
域と仮想カメラとの間に他の変形領域が存在するか否か
を判定する描画判定手段と、その描画判定手段により他
の変形領域が存在しないと判定された領域の輝度値を格
納するフレームメモリとを備えた動画像合成装置であ
る。

【００１０】上記の構成によって、実カメラパラメータ
及び仮想カメラパラメータ及び撮影画像の奥行き値と輝
度値を用いて、座標変換手段が撮影画像の分割領域を仮
想カメラにおける新たな分割領域に変形する。画像変形
手段が分割領域内の画像から射影変換によりパースのあ
る画像を生成する。他の被写体を撮影した同様の画像
も、同一の仮想空間内に配置でき、仮想カメラからの奥
行き値を算出できるため描画判定手段によって隠れ面消
去が可能となる。

【００１１】請求項３の本発明は、各被写体毎に、同一
被写体を同時に異なる位置から撮影し、撮影時の各カメ
ラパラメータ及び各フレームにおける被写体の所定の分
割領域の奥行き値と輝度値及び各フレーム間の分割領域
の対応関係を持つ複数の動画オブジェクトからなる動画
オブジェクト群をそれぞれ入力し、指定された仮想カメ
ラのカメラパラメータに基づいて、各動画オブジェクト
群から全部又は一部の動画オブジェクトをそれぞれ選択
する複数の動画選択手段と、その選択された各複数の動
画オブジェクト間で対応する分割領域から、仮想カメラ
における奥行き値と分割領域に対応する変形領域とを被
写体毎に算出する複数の座標補間手段と、その複数の座
標補間手段によって算出された各変形領域に対し、選択
された各複数の動画オブジェクト間で対応する分割領域
の輝度値をそれぞれ変形合成する複数の画像変形合成手
段と、算出された仮想カメラにおける変形領域の奥行き
値に基づいて、変形領域と仮想カメラとの間に他の変形
領域が存在するか否かをそれぞれ判定する描画判定手段
と、その描画判定手段により他の変形領域が存在しない
と判定された領域の輝度値を格納するフレームメモリと
を備えた動画像合成装置である。

【００１２】上記の構成により、更に、同一被写体を異
なる位置から撮影した画像を用いているので、仮想カメ
ラにおいて生じるオクルージョン領域を少なく、あるい
は無くすことができる。

【００１３】

【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。

【００１４】図１及び図２は、本発明にかかる第１の実
施の形態の動画像合成装置の構成図である。図１におい
て、１は動画オブジェクト１、２のそれぞれの分割領域
に対し、時間的スケーリング１、２の指示に従い分割領
域のフレーム間の幾何的補間を行う領域補間手段、２は
分割領域内の画像データをフレーム間で補間する画像補
間手段である。又、図２において、３は図１の画像補間
手段２によって得られた領域に対し、指定された仮想の
カメラ視点から見た幾何変換を行う座標変換手段、４
は、座標変換手段３によって得られた領域に、画像補間
手段２によって得られた画像データを変形する画像変形
手段、５は描画する画像データを蓄積するフレームメモ
リ、６は変形された領域の奥行き判定をして隠れ面処理
を実行する描画判定手段である。

【００１５】以上のように構成された動画像合成装置に
ついて、以下図１、図２、及び図３を用いてその動作を
説明する。

【００１６】まず、図３は、動画オブジェクト１の時間
的に連続する２枚のフレームＮ、フレームＮ＋１と分割
領域等を示す図である。

【００１７】元動画オブジェクトとしての動画オブジェ
クト１のフレームＮ内には、Ｐ１１−Ｐ１２−Ｐ１３か
らなる分割領域（Ｎ、１）と、Ｐ１１−Ｐ１３−Ｐ１４
からなる分割領域（Ｎ、２）が存在する。フレームＮ＋
１内には同様に、Ｐ２１−Ｐ２２−Ｐ２３からなる分割
領域（Ｎ＋１、１）と、Ｐ２１−Ｐ２３−Ｐ２４からな
る分割領域（Ｎ＋１、２）が存在する。又、フレームＮ
＋２内には同様に、Ｐ３１−Ｐ３２−Ｐ３３からなる分
割領域（Ｎ＋２、１）と、Ｐ３１−Ｐ３３−Ｐ３４から
なる分割領域（Ｎ＋２、２）が存在する。撮影時のズー
ム角等のカメラパラメータは固定値で既知であり、及び
Ｐ１１〜Ｐ１４、Ｐ２１〜Ｐ２４、Ｐ３１〜Ｐ３４の各
頂点の撮影時におけるカメラ視点からの奥行き値とフレ
ーム内の２次元座標値も既知で、分割領域（Ｎ、１）と
分割領域（Ｎ＋１、１）と分割領域（Ｎ＋２、１）が対
応することも既知であるとする。

【００１８】図１において、領域補間手段１は、カメラ
パラメータとフレーム内の各頂点の２次元座標値と奥行
き値から３次元空間内の各頂点の動きをスプライン補間
等によって算出し、指定された動画オブジェクト１に対
する指定された時間スケーリング１に従って実サンプリ
ングのフレームＮ、Ｎ＋１、Ｎ＋２間内の各頂点の座標
値及び奥行き値を算出する。次に、画像補間手段２は、
図３に示すように、得られた頂点から、分割領域（Ｎ、
１）、（Ｎ＋１、１）に対応する時間スケーリング１を
ほどこし、時間Ｎと時間Ｎ＋１内の時間Ｔ（Ｎ＜Ｔ＜Ｎ
＋１）における新たな分割領域の一つを分割領域（Ｔ、
１）とし、分割領域（Ｎ、１）と分割領域（Ｎ＋１、
１）内の画素輝度値を補間して分割領域（Ｔ、１）内の
画素輝度値を算出する。このとき、Ｔ−Ｎ：Ｎ＋１−Ｔ
の比率で分割領域（Ｎ＋１、１）内の画素輝度値と分割
領域（Ｎ、１）内の画素輝度値を合成する。

【００１９】図２において、座標変換手段３は、算出さ
れた分割領域（Ｔ、１）について、さらに指定された仮
想カメラの位置、ズーム情報などの仮想カメラパラメー
タをもとに分割領域（Ｔ、１）の頂点の座標変換による
幾何変形処理と奥行き値を求め、変形領域としての新た
な分割領域（ＴＶ、１）を算出する。次に、画像変形手
段４は、分割領域（Ｔ、１）内の画素輝度値から分割領
域（ＴＶ、１）内の画素輝度値にマッピング処理をす
る。

【００２０】動画オブジェクト１内の他の分割領域、及
び動画オブジェクト２内の分割領域についても同様の演
算がなされる。ここで、座標変換手段３によって動画オ
ブジェクト１から得られる分割領域、例えば分割領域
（ＴＶ、１）と、動画オブジェクト２から得られる分割
領域の前後判定を行い隠れ面処理を行う。描画判定手段
６は、分割領域（ＴＶ、１）の各頂点の奥行き値から領
域内の各画素の奥行き値を補間演算して求め、フレーム
メモリ５の各画素に対応して保存されている奥行き値
（先に格納された別の動画オブジェクト、あるいはデフ
ォルト値等が考えられる）と比較演算して、結果として
奥行き値が最小を示す仮想カメラに一番近い画素の輝度
値をフレームメモリ５に保存する。

【００２１】以上のように本実施の形態によれば、時間
的スケーリングと仮想カメラ視点からの画像を生成可能
で、なおかつ分割領域の画素単位で隠れ面処理を行うこ
とによって複数の動画オブジェクトを違和感なく合成す
ることができる。

【００２２】図４及び図５は、本発明にかかる第２の実
施の形態を示す動画像合成装置の構成図である。

【００２３】図４及び図５に示すように、本実施の形態
の動画像合成装置は、同一被写体を異なる位置から複数
のカメラで同時に撮影した動画オブジェクト群１から指
定された仮想カメラ位置に近い隣接動画オブジェクト群
１を選択する第１の動画選択手段２１と、その選択され
た隣接動画オブジェクト群１内の対応する分割領域をも
とに仮想カメラパラメータに対応する分割領域を生成す
る第１の座標補間手段２２と、仮想カメラに対応して生
成された分割領域に、隣接動画オブジェクト群１内の分
割領域内の画素輝度値を変形合成する第１の画像変形合
成手段２３と、もう一つの被写体を異なる位置から複数
のカメラで同時に撮影した動画オブジェクト群２から仮
想カメラ位置に近い隣接動画オブジェクト群２を選択す
る第２の動画選択手段２４と、その選択された隣接動画
オブジェクト群２内の対応する分割領域をもとに仮想カ
メラパラメータに対応する分割領域を生成する第２の座
標補間手段２５と、仮想カメラに対応して生成された分
割領域に、隣接動画オブジェクト群２内の分割領域内の
画素輝度値を変形合成する第２の画像変形合成手段２６
と、第１の実施の形態と同様の構成の描画判定手段２７
及びフレームメモリ２８により構成されている。

【００２４】以上のように構成された動画像合成装置に
ついて、以下その動作を図４、図５及び図６を用いて説
明する。

【００２５】図６に示すように、各カメラパラメータが
既知である複数のカメラによって、動く被写体１を同期
撮影する。各カメラからの画像は、第１の実施の形態と
同様に、奥行き値から３次元空間上で同一平面となる三
角形もしくは四角形からなる領域に分割され、一つの動
画オブジェクト内のこの分割領域はフレーム間で対応が
とれているとする。さらに、動画オブジェクト群１は、
複数の動画オブジェクトからなり、その動画オブジェク
ト間で同一フレームの分割領域の対応もとられていると
仮定する。これら動画オブジェクト群１が動画選択手段
２１に入力され、仮想カメラの視点位置、視点方向、ズ
ーム角等からなる仮想カメラパラメータに基づいて、各
フレーム単位で仮想カメラに隣接する複数の動画オブジ
ェクトからなる隣接動画オブジェクト群１が選択され
る。図６において説明すると、フレームＮにおける塗り
つぶされたフレームで構成される動画オブジェクトＡ〜
Ｄが隣接動画オブジェクト群１である。

【００２６】次に、隣接動画オブジェクト群１は、座標
補間手段２２に入力される。座標補間手段２２は、動画
オブジェクトＡ〜Ｄ間で対応する分割領域ＱＡ、分割領
域ＱＢ、分割領域ＱＣ、分割領域ＱＤの奥行き値とスク
リーン座標と実カメラのカメラパラメータと仮想カメラ
パラメータを用いて補間演算し、仮想カメラで撮影した
ときの新たな分割領域Ｒの頂点の仮想スクリーンの座標
と奥行き値を算出する。画像変形合成手段２３は、分割
領域ＱＡ、分割領域ＱＢ、分割領域ＱＣ、分割領域ＱＤ
内の画素輝度値を分割領域Ｒに変形合成する。動画オブ
ジェクトＡ〜Ｄ内の他の分割領域についても同様の演算
を行う。

【００２７】一方、他の被写体２を前述の被写体１と同
様に撮影して生成された動画像オブジェクト群２につい
ても、動画選択手段２４、座標補間手段２５、及び画像
変形合成手段２６によって仮想カメラ視点から撮影した
画像を合成する。その後、描画判定手段２７は、第１の
実施の形態と同様に、分割領域の各画素の奥行き値が仮
想カメラに最も近いか否かを判定して隠れ面消去し、フ
レームメモリ２８に画像を書き込む。

【００２８】図８は上記の図４における座標補間手段２
２，２５の構成例を示す図である。３１は第１の実施の
形態の座標変換手段３と同じ構成であり隣接動画オブジ
ェクト群の各動画オブジェクト内の対応する各分割領域
を仮想カメラパラメータに基づいて幾何変形する座標変
換手段である。３２は隣接動画オブジェクト群の各カメ
ラ位置と仮想カメラ位置との距離の比を算出する距離算
出手段、３３は、距離算出手段３２によって算出された
距離の比に基づいて、座標変換手段３１によって幾何変
形された分割領域の各頂点の仮想スクリーン座標と奥行
き値を平均化する座標平均化手段である。図６のフレー
ムＮにおける例では、動画オブジェクトＡ〜Ｄ間で対応
する分割領域ＱＡ、分割領域ＱＢ、分割領域ＱＣ、分割
領域ＱＤに対して、座標変換手段３１による幾何変形を
施した場合、同一の新たな分割領域を算出することがで
きず誤差を生じる。そこで、座標変換手段３１によって
幾何変形された分割領域の各頂点の仮想スクリーン座標
と奥行き値に対し、距離算出手段３２によって算出され
た距離の比を用いた重み付けを座標平均化手段３３で行
うことによって分割領域Ｒを算出する。

【００２９】また、図９は、図４の座標補間手段２２，
２５における別の構成例を示す図であり、時間的スケー
リングを可能にした座標補間手段を示す。図９におい
て、領域補間手段４１と画像補間手段４５は、第１の実
施の形態における領域補間手段１と同じ構成であり、座
標変換手段４２、距離算出手段４３、及び座標平均化手
段４４は、それぞれ図８の座標変換手段３１、距離算出
手段３２、及び座標平均化手段３３と同一構成のもので
ある。本実施の形態において、図５の画像変形合成手段
２３，２６の入力は、領域補間手段４１によって得られ
た分割領域に画像補間手段４５によって描画された画素
輝度値である。本構成により、撮影時の実時間を仮想の
時間スケールに変更して画像合成を行うことが可能とな
る。

【００３０】以上のように本実施の形態では、同一の被
写体に対して、異なる位置から複数のカメラで同時撮影
することにより得られた動画オブジェクト群の中から、
仮想カメラのカメラパラメータに基づいて、全部又は一
部の動画オブジェクトを選択して用いるので、仮想カメ
ラ位置からの画像をオクルージョンを少なくして合成す
ることを可能とする。

【００３１】以上のように、撮影時のカメラパラメータ
と、画面内の分割領域に関してカメラからの奥行き値と
を備えた実写映像に対して、仮想の視点位置からの映像
を生成するとともに、異なる被写体を撮影した映像とを
分割領域単位もしくは画素単位で前後判定して表示する
ことができる。

【００３２】なお、上記第１の実施の形態では、被写体
の数を２個として入力する動画オブジェクトの数が２個
の例について説明したが、被写体、すなわち動画オブジ
ェクトの個数はこれに限定されるものではない。

【００３３】また、上記第２の実施の形態では、被写体
の数を２個として入力する動画オブジェクト群の数が２
個の例について説明したが、被写体、すなわち動画オブ
ジェクト群の個数はこれに限定されるものではない。そ
の場合、動画選択手段、座標補間手段、画像変形合成手
段の各手段を動画オブジェクト群の個数だけ並列に設け
ればよい。

【００３４】また、上記実施の形態では、いずれも描画
判定手段による描画するか否かの判定は画素毎に行う構
成としたが、これに限らず、分割領域内の一部の領域、
あるいは全領域に対して判定する構成としてもよい。

【００３５】また、上記実施の形態では、いずれも領域
補間手段などの各手段を専用のハードウェアにより構成
したが、これに代えて、同様の機能をコンピュータを用
いてソフトウェア的に実現してもよい。

【００３６】

【発明の効果】以上述べたところから明らかなように本
発明は、撮影時とは異なる視点からの画像表示ができ、
複数の被写体の前後関係、重複部分を考慮した動画像合
成が可能になるという長所を有する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施の形態の動画像合成
装置の前半部を示す構成図である。

【図２】同第１の実施の形態の動画像合成装置の後半部
を示す構成図である。

【図３】同第１の実施の形態における処理の一例を説明
する図である。

【図４】本発明にかかる第２の実施の形態の動画像合成
装置の前半部を示す構成図である。

【図５】同第２の実施の形態の動画像合成装置の後半部
を示す構成図である。

【図６】同第２の実施の形態におけるカメラ配置の一例
を説明する図である。

【図７】図６におけるカメラによる動画オブジェクト群
を説明する図である。

【図８】同第２の実施の形態における座標補間手段の一
例を示す構成図である。

【図９】同第２の実施の形態における座標補間手段の別
の一例を示す構成図である。

【図１０】従来の動画像合成装置の構成図である。

【符号の説明】

１領域補間手段２画像補間手段３座標変換手段４画像変形手段５、２８フレームメモリ６、２７描画判定手段２１、２４動画選択手段２２、２５座標補間手段２３、２６画像変形合成手段３２、４３距離算出手段３３、４４座標平均化手段１０３領域指定手段１０５再配列手段

Claims

【特許請求の範囲】

【請求項１】被写体を撮影した時のカメラパラメータ
及び各フレームにおける被写体の所定の分割領域の奥行
き値と輝度値及び各フレーム間の前記分割領域の対応関
係情報を持つ動画オブジェクトを複数の異なる被写体に
ついてそれぞれ入力し、前記各動画オブジェクト毎に前
記分割領域について、指定された仮想カメラのカメラパ
ラメータに基づき、その仮想カメラにおける奥行き値と
前記分割領域に対応する変形領域とをそれぞれ算出する
座標変換手段と、その座標変換手段によって算出された
奥行き値と変形領域に基づいて、前記入力された各動画
オブジェクト上の分割領域を変形し、輝度値を修正する
画像変形手段と、前記算出された前記仮想カメラにおけ
る変形領域の奥行き値に基づいて、その変形領域と前記
仮想カメラとの間に他の変形領域が存在するか否かを判
定する描画判定手段と、その描画判定手段により他の変
形領域が存在しないと判定された領域の輝度値を格納す
るフレームメモリとを備えたことを特徴とする動画像合
成装置。
【請求項２】被写体を撮影した時のカメラパラメータ
及び各フレームにおける分割領域の奥行き値と輝度値及
び各フレーム間の前記分割領域の対応関係情報を持つ元
動画オブジェクトを複数の異なる被写体についてそれぞ
れ入力し、その各元動画オブジェクトに対して時間的ス
ケーリング指示に基づいて奥行き値及び分割領域の補間
演算を行う領域補間手段と、その領域補間手段によって
算出された分割領域と奥行き値から、前記入力された元
動画オブジェクト上の分割領域の輝度値を修正すること
により前記各動画オブジェクトを生成する画像補間手段
とを備え、前記座標変換手段に入力される各動画オブジ
ェクトが、前記画像補間手段により生成された動画オブ
ジェクトであることを特徴とする請求項１記載の動画像
合成装置。
【請求項３】各被写体毎に、同一被写体を同時に異な
る位置から撮影し、撮影時の各カメラパラメータ及び各
フレームにおける被写体の所定の分割領域の奥行き値と
輝度値及び各フレーム間の前記分割領域の対応関係を持
つ複数の動画オブジェクトからなる動画オブジェクト群
をそれぞれ入力し、指定された仮想カメラのカメラパラ
メータに基づいて、前記各動画オブジェクト群から全部
又は一部の動画オブジェクトをそれぞれ選択する複数の
動画選択手段と、その選択された各複数の動画オブジェ
クト間で対応する分割領域から、前記仮想カメラにおけ
る奥行き値と前記分割領域に対応する変形領域とを前記
被写体毎に算出する複数の座標補間手段と、その複数の
座標補間手段によって算出された各変形領域に対し、前
記選択された各複数の動画オブジェクト間で対応する分
割領域の輝度値をそれぞれ変形合成する複数の画像変形
合成手段と、前記算出された仮想カメラにおける変形領
域の奥行き値に基づいて、前記変形領域と前記仮想カメ
ラとの間に他の変形領域が存在するか否かをそれぞれ判
定する描画判定手段と、その描画判定手段により他の変
形領域が存在しないと判定された領域の輝度値を格納す
るフレームメモリとを備えたことを特徴とする動画像合
成装置。
【請求項４】座標補間手段はそれぞれ、前記選択され
た各動画オブジェクトに対するカメラ視点と前記仮想カ
メラの仮想視点との距離の比を算出する距離算出手段
と、前記選択された各動画オブジェクト間で対応する分
割領域に対し、前記仮想カメラにおける奥行き値と前記
分割領域に対応する変形領域を算出する座標変換手段
と、前記距離算出手段によって得られた距離の比をもと
に、前記算出された前記仮想カメラにおける変形領域と
奥行き値を補間演算する座標平均化手段とを有すること
を特徴とする請求項３記載の動画像合成装置。
【請求項５】座標補間手段はそれぞれ、前記選択され
た各動画オブジェクトの時間的スケーリング指示に基づ
いて奥行き値及び前記分割領域の補間演算を行う領域補
間手段と、前記選択された各動画オブジェクトに対する
カメラ視点と前記仮想カメラの仮想視点との距離の比を
算出する距離算出手段と、前記領域補間手段によって算
出された分割領域に対し、前記前記仮想カメラにおける
奥行き値と前記分割領域に対応する変形領域を算出する
座標変換手段と、前記距離算出手段によって得られた距
離の比をもとに、前記算出された前記仮想カメラにおけ
る変形領域と奥行き値を補間演算する座標平均化手段
と、前記領域補間手段によって算出された変形領域の輝
度値を、その変形領域に対応する前記入力された各動画
オブジェクト上の分割領域の輝度値から算出する画像補
間手段とを有することを特徴とする請求項３記載の動画
像合成装置。