JPH04184683A - 動画像生成方法および動きベクトル算出方法 - Google Patents

動画像生成方法および動きベクトル算出方法

Info

Publication number
JPH04184683A
JPH04184683A JP2317193A JP31719390A JPH04184683A JP H04184683 A JPH04184683 A JP H04184683A JP 2317193 A JP2317193 A JP 2317193A JP 31719390 A JP31719390 A JP 31719390A JP H04184683 A JPH04184683 A JP H04184683A
Authority
JP
Japan
Prior art keywords
image
data
time
generates
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2317193A
Other languages
English (en)
Other versions
JP2591337B2 (ja
Inventor
Toshiya Naka
俊弥 中
Makoto Hirai
誠 平井
Yoshimori Nakase
義盛 中瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2317193A priority Critical patent/JP2591337B2/ja
Publication of JPH04184683A publication Critical patent/JPH04184683A/ja
Application granted granted Critical
Publication of JP2591337B2 publication Critical patent/JP2591337B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明ζよ コンピュータグラフィ・ンクス(CG)の
分野において計算機内に構築したモデルを実物に近い高
画質で、しかL 実時間に近い連続した動画像として生
成する高画質の動画像生成方法およびその装置に関する
ものであム 従来の技術 近年のCGで(よ 物理現象に忠実な画像を生成するた
めの各種アルゴリズムが開発されている。
今後のCG利用を考えたときに これらの画質の向上と
ともに 動画像(アニメーション)を高速に生成するこ
とが重要な要因となム 高画質のアニメーションを得る
に(よ 1枚のフレーム画像の画質(空間解像度や輝度
レベルなど)を向上させると同時に 時間軸方向の解像
度つまりはフレーム数を向上させる必要があム 現行の
NTSC方式のTVと同等の動画像の画質を得るには 
フレーム数は毎秒30フレーム必要であム また滑らか
な動きを得るために(よ 毎秒20フレ一ム以上は必要
であるとする実験結果もあム このた数 高画質のCG
アニメーションの生成では 画像生成に必要な演算量と
データ量は画質の向上に伴って膨大な量となa そこで
従来のCGアニメーション生成で6よ 1枚のフレーム
画像を画像生成アルゴリズムを用いて時間をかけて生成
し それぞれのフレーム画像をビデオなどでコマ取りす
ることによりアニメーションにしていtも 発明が解決しようとする課題 しかしながら上記のようなコマ取り法でζ戴 数十秒間
のアニメーションを作成する場合でL 数百枚のフレー
ム画像が必要となり、 1連続シーン当り数時間は必要
で、効率が非常に悪b〜 またアニメーションの概要を
見たり、作成の途中で変更を加える場合L 全でのアニ
メーション生成が終了しないと不可能で、実用性や対話
性が低いと言った問題点を有してい九 本発明は上記問題点に鑑ム 高画質のCGアニメーショ
ンを高速に生成することを目的とする動画像生成方法お
よびその装置を提供するものである。
課題を解決するための手段 上記問題点を解決するために本発明の動画像生成方法お
よびその装置は 時間方向に連続する工。
I、 I+2・・・の動画像を得る際に  時刻Iおよ
びI+k (kは整数)でのフレーム画像を画像生成に
より生成し その間の時刻I十1 (nはに以下の整数
)でのフレーム画像を、時刻1+nでの物体の移動量(
動きベクトル)を算出し その値をもとに時刻Iおよび
I+kフレーム上の全画素を移動させることで内挿する
作   用 本発明は上記した構成により、時刻I+nでのフレーム
上の各物体の動きベクトルを、時刻1+nでの物体の3
次元空間内での移動量をもとに算出すムまたこの移動量
をもとに 時刻IおよびI+kフレーム上の全画素を移
動させ、時刻1+n(nはに以下の整数)でのフレーム
画像を内挿すも 実施例 以下本発明の一実施例のCG動画像生成方法および装置
について、図面を参照にしながら説明すも 第1図は本
発明の実施例における動画像生成方法および装置の構成
を示すものであム 第1図において、 1は画像生成部
 2は動きベクトル算出部 3は動画像生成部であム 
以上のように構成された動画像生成方法および装置につ
いて、以下第1図を用いてその動作を説明すも なお本
実施例では 画像生成法としてレイトレーシングを例に
説明すも 画像生成部1では 3次元空間内での物体の形状デー久
 物体表面の反射率や模様などの属性データおよび物体
表面での照度データから、 任意の視点での隠面消去さ
れた画像を時刻I、I+k(kは整数)について生成す
も 隠面消去C友  視点からフレーム(スクリーン)
上の全ての画素に対して光線(レイ)を飛ばし 空間内
の全ての物体表面で反舷 屈折される状態を追跡する(
レイトレーシング法)。その給気 各レイ毎に視点から
最も手前にある物体(ポリゴン)だけを表示すも また
画像生成部1では 時刻I、 I+kでのフレーム画像
データと、フレーム上の各画素に対応する物体の視点か
らの奥行きデータSzおよび物体の識別番号IDを画素
毎に保存しておく。 (第3図参照)動きベクトル算出
部2では 時刻1+n(nはに以下の整数)におけるフ
レーム画像に対応する物体のフレーム上での動きベクト
ル(Dx、 Dy)を算出すムこの動きベクトルCa1
  時刻1. I、 I+2・・・で3次元空間内の物
体の位置と視点の位置か叔 空間内での移動ベクトルを
求め、 それを視点座標に透視変換して算出すも フレ
ーム上の動きベクトルの算出法を、物体の移動と視点の
移動を例に以下に述べも (1)物体だけが移動する場合(第4図(a))物体が
点Pから点Pに移動する場合(よ (1)式で動きベク
トル(Dx、Dy)が与えられもDx−X/Z −((
X +mx )バZ +rnz ))])y −Y/Z
 −[(Y +tr’! )バz+ mz ))・・・
 (1) (2)視点だけが移動する場合(第4図(b))視点が
Y軸(紙面に垂直方向)の回りに回転する場合It  
(2)式2で動きベクトル(Dx、Dy)が与えられも Sx = −X/Z、    Sy −−Y/ZX =
 X cose −Z 5irl−Y Z = X sinθ−Z cose Dx −Sx −Sx −((Z”  +  X”)sinθ )  /  (
Z(Xsinθ+Zcosθ ))Dy −Sy −S
y =[XYsinθ+YZ(cose −1))/(Z(
Xsinθ+Zcos&  ))・・・  (2) (3)視点と物体がともに移動する場合(1)式と(2
)式の組合わせで与えられも動画像生成部3では 時刻
1. I+kでのフレーム画像データは画像生成部1で
生成した画像データを用1.X、時刻I+nでのフレー
ム画像データ線 動きベクトル算出部で計算される時刻
I+nでの各物体の動きベクトル(I)x、Dy)をも
とlへ  時刻1. I+kの画像データを画素毎に移
動させて生成したもの(内挿フレームと呼ぶ)を用いも
 動画像生成部3ζ表 前処理部31、内挿フレーム生
成部32に分かれも 前処理部31で沫 時刻I+nで
のフレーム画像の初期化を行う。時刻I、 I+kのフ
レーム画像上の全ての画素データに対して、対応する物
体のIDを比較すムIDが同じであれば2つの画素の平
均値を新しい画素値とL  IDが異なっていれ6区 
奥行き値Szを比較して大きい方の画素値を新しい画素
値とすム内挿フレーム生酸部32でit  動きベクト
ル算出部2で求まる動きベクトルに基づいて、時刻1.
 I+kでのフレーム画像データをそれぞれ(Dx、D
y)移動させ、前処理部31で作成されたフレーム画像
上に重ね合わせも このときに  移動先の画素のアド
レスが等しい場合は 対応する物体のIDを比較す、4
 1Dが同じであればそれらの画素の平均値を新しい画
素値とL  IDが異なっていれば 奥行き値Szを比
較して最も小さい画素値を新しい画素値とすム以上一連
の処理の流れを第5図にまとめも また 第2図は動き
ベクトルを用いたフレーム内挿による動画像生成法の説
明図であ本 発明の効果 以上のように本発明(よ 時間方向に連続するI。
■利、 I+2・・・の動画像を得る際!ミ 時刻I+
nでのフレーム上の各物体の動きベクトルを、時刻I+
nでの物体の3次元空間内での移動量をもとに算出する
ことにより、動きベクトルを正確に算出できも また 
この移動量をもと番へ  時刻IおよびI十にフレーム
上の全画素を移動させ、時刻1+n (nはに以下の整
数)でのフレーム画像を生成することにより、高画質の
CGアニメーションを高速に生成できも
【図面の簡単な説明】
第1図は本発明の実施例における動画像生成方法および
その装置の構成図 第2図は動きベクトルを用いたフレ
ーム内挿による動画像生成法の説明!l 第3図は本発
明のCG画像内挿法のデータの関係を示す阻 第4図は
内挿フレームの動きベクトルの関係を説明する医 第5
図は本手法の画像内挿アルゴリズムを説明する図であa
l・・・画像生成ff1L2・・・動きベクトル算出銀
3・・・動画像生成R,31・・・前処理部32・・・
内挿フレーム生成糺 代理人の氏名 弁理士 小鍜治 明 ほか2名 第2図 (nン フレーム1χ1゛神 Δ ′−゛ ト

Claims (9)

    【特許請求の範囲】
  1. (1)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時間方向に連続する動画像を生
    成する際に時刻IおよびI+k(kは整数)での画像を
    前記画像生成部で生成し、時刻IおよびI+kの間の時
    刻I+n(nはk以下の整数)での画像を、時刻Iおよ
    びI+kの画像中の全ての画素に対応する物体の、時刻
    I+nにおける移動量である動きベクトルから、時刻I
    およびI+kの全ての画素を移動量に応じて移動させる
    ことにより生成する動画像生成方法。
  2. (2)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時間方向に連続する動画像を生
    成する際に時刻IおよびI+k(kは整数)での画像を
    前記画像生成部で生成し、時刻IおよびI+kの間の時
    刻I+n(nはk以下の整数)での画像を、時刻Iおよ
    びI+kでの画像中の全ての画素に対応する物体の、時
    刻I+nにおける移動量である動きベクトルから、時刻
    IおよびI+kの全ての画素を移動量に応じて移動させ
    、さらに移動する画素値を時刻IおよびI+kからの時
    間的な隔たりに応じてそれぞれ重み付けして重ね合わせ
    ることにより生成する動画像生成方法。
  3. (3)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時刻I+nにおけるフレーム画
    像上の全ての画素の移動量(動きベクトル)を求める際
    に、連続する時刻I、I+1、I+2・・・での、3次
    元空間内での物体の移動量と視点の移動量から3次元空
    間内での移動ベクトルを求め、それを透視変換すること
    で時刻I+nにおけるフレーム画像上の全ての画素の動
    きベクトルを算出する動きベクトル算出方法。
  4. (4)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時刻I+nにおけるフレーム画
    像上での全ての画素の移動量である動きベクトルを求め
    る際に、任意の画素をN*N(Nは整数)個に分割した
    微小画素に分け、それぞれの微小画素毎に動きベクトル
    を算出し、N*N個の動きベクトルの平均値をその画素
    の動きベクトルとする動きベクトル算出方法。
  5. (5)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時刻I+nにおけるフレーム画
    像中の全ての画素の移動量である動きベクトルを求める
    際に、連続する時刻I、I+kでの全ての物体の識別番
    号および視点からの奥行き値を、前記画像生成部で時刻
    IおよびI+kのフレーム画像生成時に、時刻I、I+
    k毎に画素値とともに保存しておく動画像生成方法。
  6. (6)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時刻IおよびI+kの間の時刻
    I+nでの画像を生成する際に、前処理として、時刻I
    およびI+kでのそれぞれの画像中の同じ位置であるア
    ドレスでの画素に対して、それと対応する物体の識別番
    号を比較し、同じ物体であれば両方の画素値を平均した
    値をその位置の新しい画素値とし、異なった物体であれ
    ば、視点からの奥行き値の大きい方の画素値を新しい画
    素値とすることで時刻I+nでのフレーム画像の初期値
    を決める動画像生成方法。
  7. (7)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時刻IおよびI+kの間の時刻
    I+nでの画像を生成する際に、請求項6の前処理を施
    した時刻I+nでのフレーム画像に、請求項3で求まる
    動きベクトルをもとに、時刻IおよびI+kのそれぞれ
    の画素を移動させた位置であるアドレスに重ね合わせる
    ことにより時刻I+nでのフレーム画像を生成する動画
    像生成方法。
  8. (8)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時刻IおよびI+kの間の時刻
    I+nでの画像を生成する際に、請求項3で求まる動き
    ベクトルをもとに、時刻IおよびI+kでの全画素を移
    動させた先の位置であるアドレスが一致する場合に、物
    体の識別番号を比較し、その値が同じであれば、対象と
    なる全ての画素を平均したものを新しい画素値とし、識
    別番号が異なっていれば、物体の視点からの奥行き値の
    最も小さい物体の画素値を新しい画素値とする動画像生
    成方法。
  9. (9)物体の3次元空間内での形状データと、物体表面
    の属性データおよび各物体表面の照度データから任意の
    時刻Iでの、任意の視点からの隠面消去された画像を生
    成する画像生成部と、前記形状データと視点データとか
    ら時刻I、I+1、I+2・・・における物体の移動量
    を算出する動きベクトル算出部と、前記画像データを時
    間方向に連続して生成する動画像生成部とを具備した動
    画像生成装置において、時間方向に連続する動画像を生
    成する際に時刻IおよびI+k(kは整数)での画像を
    前記画像生成部で生成し、時刻IおよびI+kの間の時
    刻I+n(nはk以下の整数)での画像を、時刻Iおよ
    びI+kでの画像中の全ての画素に対応する物体の、時
    刻I+nにおける移動量である動きベクトルから、時刻
    IおよびI+kの全ての画素を移動に応じて移動させる
    ことにより生成する動画像生成装置。
JP2317193A 1990-11-20 1990-11-20 動画像生成方法および動きベクトル算出方法 Expired - Fee Related JP2591337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2317193A JP2591337B2 (ja) 1990-11-20 1990-11-20 動画像生成方法および動きベクトル算出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2317193A JP2591337B2 (ja) 1990-11-20 1990-11-20 動画像生成方法および動きベクトル算出方法

Publications (2)

Publication Number Publication Date
JPH04184683A true JPH04184683A (ja) 1992-07-01
JP2591337B2 JP2591337B2 (ja) 1997-03-19

Family

ID=18085496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2317193A Expired - Fee Related JP2591337B2 (ja) 1990-11-20 1990-11-20 動画像生成方法および動きベクトル算出方法

Country Status (1)

Country Link
JP (1) JP2591337B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785311A (ja) * 1993-09-16 1995-03-31 Nec Corp 空間図形動画表示装置
WO2017212679A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2019026388A1 (ja) * 2017-08-01 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2019026184A1 (ja) * 2017-08-01 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03144868A (ja) * 1989-10-31 1991-06-20 Nec Corp 物体変形方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03144868A (ja) * 1989-10-31 1991-06-20 Nec Corp 物体変形方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785311A (ja) * 1993-09-16 1995-03-31 Nec Corp 空間図形動画表示装置
WO2017212679A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JPWO2017212679A1 (ja) * 2016-06-08 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10607417B2 (en) 2016-06-08 2020-03-31 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
WO2019026388A1 (ja) * 2017-08-01 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2019026183A1 (ja) * 2017-08-01 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2019026184A1 (ja) * 2017-08-01 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JPWO2019026388A1 (ja) * 2017-08-01 2020-03-19 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JPWO2019026184A1 (ja) * 2017-08-01 2020-03-26 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10999567B2 (en) 2017-08-01 2021-05-04 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method
US11050993B2 (en) 2017-08-01 2021-06-29 Sony Interactive Entertainment Inc. Image generating apparatus and image generating method

Also Published As

Publication number Publication date
JP2591337B2 (ja) 1997-03-19

Similar Documents

Publication Publication Date Title
CN108537881B (zh) 一种人脸模型处理方法及其设备、存储介质
US5870136A (en) Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
US5577175A (en) 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation
JPH11331874A (ja) 画像処理装置、奥行き画像計測装置、複合現実感提示システム、画像処理方法、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体
Patterson et al. Facial animation by spatial mapping
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した3dディスプレイ装置
JPH02239376A (ja) 動画像の動き検出方法及びその装置
Thomas et al. Augmented blendshapes for real-time simultaneous 3d head modeling and facial motion capture
KR100317138B1 (ko) 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법
JP2004510271A (ja) スクリーンに表示される画像を提供する方法及び装置
Eisert et al. Volumetric video–acquisition, interaction, streaming and rendering
KR100411760B1 (ko) 애니메이션 영상 합성 장치 및 방법
JP2802725B2 (ja) 表情再現装置および表情再現に用いられるマトリックスの算出方法
JPH10240908A (ja) 映像合成方法
JP4285422B2 (ja) 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体
CN108230431A (zh) 一种二维虚拟形象的人体动作动画生成方法及系统
JPS6324289A (ja) ビデオ信号処理装置
JP3538263B2 (ja) 画像生成方法
JPH09305798A (ja) 画像表示装置
JP3643511B2 (ja) 3次元画像処理方法,3次元モデリング方法および3次元画像処理プログラムを記録した記録媒体
CN119941944B (zh) 网格序列驱动二维人脸动画生成方法、装置、设备及介质
Eisert et al. Facial expression analysis for model-based coding of video sequences
JPH04184683A (ja) 動画像生成方法および動きベクトル算出方法
Paier et al. Video-based facial re-animation
JP2002525764A (ja) グラフィックスおよび画像処理システム

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees