JPH11219446A

JPH11219446A - 映像音響再生システム

Info

Publication number: JPH11219446A
Application number: JP10021855A
Authority: JP
Inventors: Koshin Shimada; 康臣島田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-02-03
Filing date: 1998-02-03
Publication date: 1999-08-10
Also published as: US6556775B1

Abstract

(57)【要約】【課題】背景となる映像の中の所定部分を他の静止画
と置き換えて再生することができる映像音響再生システ
ムを提供する。【解決手段】任意の第１の静止画を背景となる第２の
複数の静止画に静止画合成手段１０６で合成し、さらに
合成再生制御手段１２７によって静止画合成手段１０６
を制御することで、第１の静止画を前記第２の複数の静
止画に合成する位置情報に従って第１の静止画と第２の
静止画とを合成するとともに合成映像を順次再生する。
この際、基準となるダミー静止画の一部の領域（ダミー
オブジェクト）の位置を決め、このダミー静止画の位置
座標に従って第１の静止画の一部（ユーザオブジェク
ト）の合成位置を決める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、背景となる映像の
所定部分に他の静止画の一部または全部を合成する際
に、グラフィックインタラクティブデータ（以下、ＧＩ
データという）に従って、上記の任意の静止画の一部ま
たは全部を合成したり置き換えて内容を変化させなが
ら、順次再生、あるいは組み合わせを変化させながら繰
り返し再生する等の多様な再生をすることが容易な映像
音響再生システムに関するものである。なお、ＧＩデー
タというのは、静止画あるいは静止画の中のオブジェク
トの種類や合成位置、および大きさ、水平反転、垂直反
転、前後反転、角度、回転、２次元座標上あるいは３次
元座標上の歪み、あるいは、これらを組み合わせた動き
などの情報を示す制御データである。

【０００２】

【従来の技術】従来、背景となる映像のなかの一部を置
き換えるには、背景を青色で撮影したオブジェクトを背
景となる映像に合成するという、いわゆるクロマキー技
術によっていた。これによると、オブジェクトの動作変
化に関連した制御データがないため、オブジェクトを撮
影した後あるいはオブジェクトと背景画とを合成した後
に、撮影したオブジェクトの形、様子、照明、あるいは
音声などを変化させた合成映像を作成することは困難で
あるという欠点があった。

【０００３】また、コンピュータグラフィックス（以
下、ＣＧと呼ぶ）技術においては、対象物の所定部分の
動きをセンサにより直接的または間接的に測定して、Ｃ
Ｇ中の対象物を上記対象物の所定部分の動き情報で制御
する、いわゆるモーションキャプチャによる制御などが
ある。ところが、このようなＣＧには、既に映像化され
た後の背景となる映像の各フレームと連動して変化する
オブジェクトの動作に関連した制御信号を出力させる手
段、あるいは合成する静止画を選択、変化させる手段、
あるいは外部から取り込まれる他の静止画やオブジェク
トと合成する際の背景となる連続した静止画のそれぞれ
の番号と背景と異なる任意のユーザ画像とを合成する場
所を記述した位置情報あるいは補正された位置情報とを
関連付けるなどの制御手段がなく、さらにこれらに関連
した制御データを保存する手段がないため、オブジェク
トを撮影した後あるいはオブジェクトと背景となる映像
とを合成などで映像化した後に、オブジェクトの動作に
合わせてそのオブジェクトの種類、大きさ、明るさ、あ
るいは音声などを選択変化させた他のオブジェクトを背
景となる映像のオブジェクトと置き換えたり、または両
者を重ね合わせることによる合成映像を作成することは
困難であるという欠点があった。

【０００４】また、ポリゴンデータを使った３次元ＣＧ
を背景となる映像にする場合には、多角形ポリゴンの座
標の数が多くデータ処理が複雑で時間がかかるため、３
次元ＣＧをリアルタイムに制御して２次元映像にレンダ
リングするには、高速でかつ専用の画像演算生成手段と
しての専用ハードウェアが必要となり、コストがかさん
だり、画像の再生速度やポリゴンの数、画質などが制限
されたり、開発期間が長期にわたるなどの問題がある。
さらに、一度再生された動画映像の中のオブジェクトの
動作に関連した制御データを保存し出力する場合は、よ
り画像の再生速度やポリゴンの数、画質などが制限され
るなどの欠点があった。またこの場合、合成する対象の
ユーザオブジェクトを選択入力する手段または選択情報
がなく、ユーザが写真を入れ替えるだけで合成動画を入
れ替えるということはできなかった。

【０００５】

【発明が解決しようとする課題】上記したように、従来
の背景となる映像ファイル中の部分的な置き換えを実現
する手段は、非常に高度な技術や専用のハードウェアを
必要とし、かつ高価である。すなわち、従来の動画ファ
イルは、各フレーム毎に、背景となる映像の合成や置き
換えの対象となる静止画を制御するような情報と、合成
する静止画の番号とが関連付けられた動き選択情報とし
てのＧＩデータがないため、合成や置き換えの対象とな
る静止画と任意の異なる静止画とを合成したり置き換え
ることが容易にできなかった。さらには、合成や置き換
えの素材としての静止画や静止画の一部を切り出したオ
ブジェクトが３次元座標で表されたモデルの場合にはデ
ータ量が多く、非常にシステムが複雑になるという課題
があった。

【０００６】言い換えると、従来の背景となる映像は、
いずれも各映像の一こま一こまがフレームデータとして
加工済みのデータであるために、各フレーム内のデータ
を変化させる手段がなく、後加工は困難であったという
ことである。もう少し分かりやすく説明すると、以下の
ようになる。従来の映画ソフトは、俳優が出演するのみ
で、一般の人が自分で映画に登場するということは、実
写を使う以上、自分自身がその撮影現場にいなければ不
可能であった。また、撮影後に配役を置き換えたりする
ことも不可能であった。また、ＣＧなどで合成した顔の
形を自由に変形して遊ぶことができても、これを映画な
どの予め完成された映像に自動的に取り入れる手段がな
いために、１こま１こま別途静止画を作成し映画などの
動画に手動で背景合成する必要があり、手軽にユーザが
楽しむことができなかった。

【０００７】本発明の目的は、背景となる映像の中の所
定部分を他の静止画と置き換えるとともに背景となる映
像中の所定部分の位置、動きなどを表したＧＩデータに
従って静止画を制御することができ、しかもその静止画
の置き換えおよび制御が容易で安価に実現可能な映像音
響再生システムを提供することである。具体的に説明す
ると、ユーザの顔や姿を背景となる映像に登場する人の
顔、姿とを容易に置き換えるだけで、同じ背景映像で容
易に新しい動画にしたり、同じユーザ画像でも背景映像
を容易に取り替えるだけで、新しい動画ができるもので
あり、さらには、ユーザ画像の種類や数によって容易に
ストーリを選択することができる映像の再生を可能とす
る映像音響再生システムを容易にかつ安価に提供すると
いうことである。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、本発明の映像音響再生システムは、（１）任意の第
１の静止画を背景となる第２の複数の静止画に合成する
静止画合成手段と、前記第１の静止画を前記第２の複数
の静止画に合成する位置情報または前記少なくとも１つ
以上の任意の第１の静止画からいずれか１つを選択する
選択情報に従って前記第１の静止画と第２の静止画とを
合成するとともに前記合成映像を順次再生するように前
記静止画合成手段を制御する合成再生制御手段（請求項
１）、（２）位置情報または選択情報を使って前記第１
の静止画とこれとは異なる任意の第ｎ（ｎは任意の整
数）の静止画を取り込む手段を組み合わせて再生する手
段（請求項２，４）、（３）位置情報または選択情報を
使って第２の複数の静止画とは異なる任意の第ｍ（ｍは
任意の整数）の複数の静止画を取り込む手段を組み合わ
せて再生する手段（請求項３，４）、（４）背景となる
第２または第ｍの静止画の中に複数のダミーオブジェク
トを設定し、前記各ダミーオブジェクトに付与された位
置情報に従って第１の静止画あるいは第ｎの静止画と第
２の複数の静止画あるいは第ｍの複数の静止画とを合成
するとともに合成映像を順次再生するように静止画合成
手段を制御する合成再生制御手段（請求項５）、（５）
基準となるダミー静止画の一部の領域（以下、ダミーオ
ブジェクトという）を設定するとともに前記ダミーオブ
ジェクトの任意の位置座標に対応する前記第１の静止画
の一部（以下、ユーザオブジェクトという）を抽出する
ユーザーオブジェクト抽出手段と、前記ユーザーオブジ
ェクト抽出手段により抽出されたユーザオブジェクトの
エッジを検出するエッジ検出手段と、前記エッジ検出手
段により検出されたエッジの任意の画素座標とこれに対
応する前記第１のダミーオブジェクトの画素座標を関連
つけた位置補正情報を算出するとともに、前記位置補正
情報に基づいて、前記第１の静止画を背景となる第２の
複数の静止画、あるいは第ｎの複数の静止画に合成する
位置情報を補正する補正手段（請求項６）、（６）第１
のダミーオブジェクトまたは、ユーザオブジェクトとは
異なる任意の第Ｌのダミーオブジェクトの一部の領域
（以下、ユニットオブジェクトという）を設定するとと
もに前記ユニットオブジェクトをユーザオブジェクトの
画像と合成する合成手段（請求項７）、（７）第１の静
止画あるいは第１の静止画の中のオブジェクトに番号を
付与するとともに、第１の静止画あるいは第１の静止画
の中のオブジェクトの大きさ、水平反転、垂直反転、前
後反転、角度、回転、２次元座標上あるいは３次元座標
上の歪み、あるいは、これらを組み合わせたもの等の変
形情報と合成する場所を記述した位置情報を関連付ける
関連付け手段（請求項８）、（８）動画ファイルを連続
した静止画ファイルに分解するとともにそれぞれの静止
画を前記第１の静止画と異なる第ｍの複数の静止画とし
て番号を付加する手段（請求項９）、（９）音響を含む
動画ファイルから音響情報を動画と分離する動画音響分
離手段と、映像処理によって合成再生された映像と前記
動画ファイルから分離された音響情報とを一つの動画音
響ファイルにする動画音響合成手段（請求項１０）、
（１０）外部の音声を取り込む手段と、取り込まれた外
部の音響情報と映像処理によって合成再生された映像と
前記動画ファイルから分離された音響情報とを一つの動
画音響ファイルにする動画音響合成手段（請求項１
１）、（１１）第１の静止画を取り込む手段と、取り込
まれた前記第１の静止画の一部をマスクする手段（請求
項１２）、（１２）静止画マスク形状を複数設定する手
段（請求項１３）、（１３）（１２）の手段によって
マスクされた状態の被マスク静止画を表示する手段と、
被マスク静止画の中から任意の被マスク静止画を選択す
る手段（請求項１４）、（１４）被マスク静止画を表示
する手段と、前記被マスク静止画をユーザが観察しなが
らユーザの取り込み位置、あるいは表情などを適切に調
整して決定するする手段（請求項１５）、（１５）第１
の静止画と３次元座標で構成された標準モデルを関連つ
けるモデル変換手段と、前記モデル変換手段によるモデ
ル変換の結果得られたモデルを任意の角度から観察した
２次元映像を生成する２次元映像生成手段と、前記２次
元映像を複数の第１の静止画として背景となる複数の静
止画に合成する合成手段（請求項１７）、（１６）被写
体を撮影する手段とは別に前記撮影手段による映像を表
示する表示手段と、前記表示手段を被写体とともに移動
させる手段（請求項１６）、（１７）第１の静止画の
数、種類に応じて関連付ける位置情報または選択情報を
選択する手段（請求項１８）、（１８）任意の再生許可
手段と、前記再生許可手段による許可情報によって合成
映像の順次再生を開始する手段（請求項１９）、（１
９）任意の第ｎの静止画とこれに関連つけられた任意の
複数の位置情報を選んで背景となる第ｍの静止画とを再
生順序を組み合わせて再生する手段あるいは、前記再生
を繰り返す手段（請求項２０）、（２０）背景となる映
像をディスクの第１レイヤに記録するとともに位置情報
あるいは、静止画あるいは静止画の中のオブジェクトの
大きさ、水平反転、垂直反転、前後反転、角度、回転、
２次元座標上あるいは３次元座標上の歪み、あるいは、
これらを組み合わせたもの等の変形情報を第２レイヤに
分別して記録する記録手段、あるいは前記記録された第
１レイヤを第２レイヤに記録された情報に基づいて順次
再生する再生手段（請求項２１，２２，２３，２４）、
（２１）得られた合成映像の内の任意の静止画をプリン
ト出力する手段（請求項２５）、（２２）合成後の静止
画を第２または第ｍの静止画の一つとして扱う手段（請
求項２６）、（２３）合成後の動画を動画ファイルの一
つとして扱う手段（請求項２７）、等の手段を具備する
ものである。

【０００９】上記の合成する手段としては、動画の中の
置き換え対象となる元オブジェクトの上に、置き換える
対象の新オブジェクトを重ねあわせる方法、元々の背景
となる映像である動画の中の置き換え対象となる元オブ
ジェクトが存在しないが、その上に置き換える対象の新
オブジェクトを重ねあわせて合成する方法、および元々
の背景となる映像である動画の中の置き換え対象となる
元オブジェクトが存在していても、置き換える対象の新
オブジェクトと入れ替える方法などのいずれでもかまわ
ない。

【００１０】また、背景となる映像の中の置き換え対象
となる元オブジェクトが複数であってもよいし、置き換
える対象の新オブジェクトが複数であってもよい。ま
た、置き換える対象の新オブジェクトの位置情報や変形
情報を使って置き換える対象の新オブジェクトとは異な
る第ｎ新オブジェクトと置き換えることも任意に行うこ
とが可能である。なお、第ｎという表現は、多数個の新
オブジェクトのうちのｎ番目（ｎは正整数）の新オブジ
ェクトのことを意味する。同様にｍという表現は、背景
となる一連の映像群のうち種類の異なる映像群のｍ番目
（ｍは正整数）の一連の映像群のことを意味する。

【００１１】つぎに、上記の（１）から（２６）の各構
成による作用について説明する。（１）の構成によると、背景となる静止画の上で任意の
静止画の合成位置が位置情報によって自由に設定できる
ので、前記合成映像を順次再生すると、前記の任意の静
止画が移動するため、あたかも任意の静止画が背景の複
数の静止画の動きとともに動作する合成動画として再生
することができる。また、順次再生する各第１の静止画
の番号Ｐの位置情報に対してＰ＋１番目の位置情報は第
１の静止画の中のオブジェクトの移動分だけの補正であ
るため、位置情報の設定が容易であるという効果があ
る。また、同一のユーザの顔写真でも、正面の顔写真と
少し斜めに向いた顔写真とを選択することによってユー
ザの顔が動いたように見える合成動画として即時再生で
きる。

【００１２】（２）の構成によると、第１のユーザの顔
と異なる第２のユーザの顔写真を入れ換えるだけで同じ
位置情報であっても位置情報を変えることなく異なるユ
ーザの顔による合成動画として即時再生することができ
る。（３）の構成によると、背景となる静止画を異なる静止
画に置き換えるだけで、同一のユーザの一連の顔の向き
や表情を入れ換えることなく背景の違う合成動画として
即時再生できる。また、位置情報を変えることなく同一
ユーザの顔や他の種類のまったく異なる、例えば自動車
などの写真による合成動画として即時再生できるもので
ある。

【００１３】（４）の構成によると、ユーザオブジェク
トである例えばＡさんの写真を背景の中で任意のダミー
オブジェクトの位置を選んで合成することができるよう
になる。（５）の構成によると、ユーザの顔を撮影するときに、
手振れなどで撮影画像のうちのユーザの顔の位置があら
かじめ設定されたダミーオブジェクトの位置と異なる場
合、合成位置がずれないように補正することができる。

【００１４】（６）の構成によると、ダミーオブジェク
トの口の部分、あるいは任意のユーザオブジェクトの口
の部分をダミーオブジェクトとして利用することで、あ
るユーザ写真が一枚しかない場合、ダミーオブジェクト
の口の部分をユーザ写真の口の部分として利用すること
で、一枚しかないユーザの口の部分に動きを与え、あた
かも話しているように見せることが可能となるため、複
数の写真を撮影する手間が省ける。

【００１５】（７）の構成によると、一枚しかないユー
ザの顔であっても、これを、大きさ、水平反転、垂直反
転、前後反転、角度、回転、２次元座標上あるいは３次
元座標上の歪み、あるいは、これらを組み合わせたもの
などの変形した静止画としてあらかじめ用意されたもの
を順次再生できるため、ユーザの動きや表情などの変化
を豊かにすることができる。

【００１６】（８）の構成によると、動画の中の各静止
画に番号が付加されるので、合成する位置情報を各任意
の静止画全てに関連付けることが可能となり、同じ背景
となる動画の一シーンを繰り返し利用したりシナリオを
変えても任意の背景を利用することが可能となる。（９）の構成によると、背景となる動画ファイルに含ま
れる音響情報を合成後に、そのまま利用すること、ある
いは他の音響情報とファイル毎に一度に置き換えること
が可能となるとともに、一つのファイルであるため各情
報を順次連続再生する命令が一つの再生コマンドで済
み、順次再生コマンドを出力する手間が省ける。

【００１７】（１０）ユーザが取り込んだ任意の音声を
元の動画ファイルに入っていた音声に代えて映像ととも
に再生することができる。（１１）の構成によると、ユーザの顔を撮影するとき、
体の部分を隠して顔だけにしたり、好みの部分だけを利
用して合成・置き換えをすることができる。（１２）の構成によると、ユーザの色々な角度の顔や任
意の自動車など、合成する形状が大きく異なる場合でも
複数のマスクを用意することで上記（１１）と同様の作
用が得られる。

【００１８】（１３）の構成によると、上記の（１２）
の複数マスクで複数撮影した中から最も好みの顔による
合成にしたり、同じ背景動画でも自分の異なるマスク状
態や表情を使った合成動画を即時に置き換えて見ること
ができる。また、ユーザの顔を撮影するときに、表示さ
れた被マスク状態を確認しながら撮影できるため、あら
かじめ設定されたダミーオブジェクトの位置とずれるこ
となく好みの位置で撮影できるとともに、後で位置を補
正する手間も省ける。

【００１９】（１４）の構成によると、ユーザが任意の
瞬間にシャッタを切ることでユーザの好みの表情が作れ
た瞬間や合成位置、あるいは自動車などのモデルで照明
や反射状態が最も好みの状態になった瞬間の静止画を合
成することができる。（１５）の構成によると、ユーザの写真を複数撮影する
手間が省ける。また、３次元モデル座標を動かすことで
複雑な変形を作ることが可能となり、合成動画の変化を
豊かにすることができる。また、あらかじめ３次元化さ
れた置き換える対象の顔または、口部分の形状の３次元
モデルから２次元変換することによって得られた２次元
の映像情報を置き換える対象の新オブジェクトの口部分
の形状として出力し、必要に応じて２次元の映像情報を
置き換える対象の新オブジェクトの被選択信号として選
択的に表示する方法は、複数の角度のオブジェクトの選
択表示も可能となり、複数の角度から撮影する必要がな
くなるという利点を有するものである。上記の３次元モ
デルからの２次元変換は、奥行き、高さ、幅などの３方
向軸に座標をもつ３次元モデルを座標原点であるカメラ
ポイントから眺めた時、カメラに映った映像が２次元の
高さと幅の２方向軸に座標データをもつモデルとして変
換するレンダリングという処理によって実現される。

【００２０】（１６）の構成によると、ユーザが正面を
向いたままでも自分の横顔の表情変化や位置を確認する
ことができるので、自分の好みの横顔や合成位置による
撮影が可能となり、気に入らないときに何度も写真を撮
影しなおす必要がなくなる。（１７）の構成によると、第１の静止画の種類として、
ユーザの表情のうち、怒ったり泣いたりする顔を設定す
れば、それに合致したストーリの位置情報または選択情
報を選択し、例えば怒った静止画がある場合は怒ったス
トーリ展開の合成動画となり、同様に泣いた静止画の場
合は泣いた静止画ストーリとして再生される。また、第
１の静止画の数が少なく、顔の表情の変化が少ない場合
は、変形情報を使って顔の色々な表情を作る必要が発生
したり、逆に静止画の数が多く既に変形情報を必要とし
ないなど、変形処理が必要か否かを決定することが可能
となるので、変形処理が不要な場合は、処理速度を高く
することができる。

【００２１】（１８）の構成によると、ゲームなどで、
ある得点を達成したときに、再生が開始されるなどの機
能をもたせることができる。（１９）の構成によると、同一のユーザの顔写真を使っ
て異なる複数の映画に合成したり、泣いた顔と笑ったス
トーリや逆に笑った顔と泣いたストーリを合成して、そ
のアンバランスさによる面白さを創造することができ
る。

【００２２】（２０）の構成によると、第１レイヤのみ
再生するプレーヤと第２レイヤも再生できるプレーヤを
区別できるため、第１レイヤと第２レイヤを同一ディス
クに記録することで第２レイヤを利用するユーザに対し
て利用料金を第１レイヤのみ利用するユーザと区別して
課金するとともに、記録ディスクを複数用意することな
く、ユーザの操作の手間が省け、ディスクも種類が増え
ることなくコストダウンになる。

【００２３】（２１）の構成によると、得られる合成動
画をお土産として提供する場合に、ユーザが再生機を持
っていなくても好みのシーンのみ一枚、あるいは複数ま
たは複数の連続シーンをプリントしてお土産に提供でき
る。（２２），（２３）の構成によると、一つの動画ファイ
ルに複数の第１の静止画を配置することができる。

【００２４】

【発明の実施の形態】以下の実施の形態の説明に先立っ
て、本発明の映像音響再生システムの基本的な構成につ
いて説明する。本発明の映像音響再生システムでは、背
景となる映像の各静止画フレームと連動して変化させる
第１の静止画や上記静止画の中のオブジェクトの動作に
関連した位置情報などを含む制御データ（以下、ＧＩデ
ータと呼ぶ）を保存する手段として、光ディスクや半導
体メモリなどの保存メディアを用い、この保存メディア
に記録された上記制御データを読み出すようにしてい
る。

【００２５】また、第１の静止画として人の顔などを用
いる場合、生成されるＧＩデータを読み取り、あるいは
半導体メモリから出力させ、他の顔オブジェクトの動作
を変化させる手段、あるいは他の顔オブジェクトと置き
換えるなどの編集をする際に、置き換えあるいは動作制
御する対象の顔オブジェクトの口部分の形状が背景とな
る映像の中のオブジェクトが発声する内容、またはユー
ザーが発声する内容に関連付けられた選択信号に基づい
て選択表示する手段を備えることによって、置き換え対
象の新オブジェクトのＧＩデータを生成し、一般ユーザ
が、既に記録が完了している背景となる映像であって
も、前述のＧＩデータを使って簡単に置き換える対象と
なるユーザデータを選択処理できるものである。

【００２６】以下の実施の形態では、ＧＩデータを保存
し、その後読み出す手段としては光ディスクや半導体メ
モリなどの記録再生手段を用いて処理が行われるが、こ
のような記録再生手段について周知であるので、説明は
省く。また、３次元ＣＧなどで一般的なポリゴン映像を
背景とし、置き換え合成対象のポリゴンにユーザオブジ
ェクトをテクスチャマッピングによって合成する場合
は、限られた数のユーザオブジェクトであっても本発明
のような選択情報によって容易に少ない枚数の静止画で
あっても動画を合成できるようになる。

【００２７】さらに、既に合成された静止画あるいは動
画をつぎの静止画合成の元になる静止画あるいは動画と
して用いることで、一つの合成動画の中に複数のユーザ
オブジェクトを配置することができる。いずれにして
も、本発明の映像音響再生システムは、各フレーム毎に
背景となる映像中の置き換えられる対象となる所定の限
られた領域を部分的に利用するため、置き換え素材とし
て任意の少ない枚数の静止画を置き換えるだけで特別な
操作を必要とせずに任意の合成動画を得ることができ
る。したがって、特別な技術を有しない者でも、映画の
主人公を自分や他の俳優の映像に簡単に置き換えること
が可能である。また、背景となる映像の中の主人公の口
の動きを自分や他の俳優の声に合わせることができるの
で、自分の声を話す俳優を鑑賞することも可能である。

【００２８】また、紙芝居で使われる背景となる映像と
無関係な音声の進行に合わせて紙絵を鑑賞することも可
能である。このように楽しみ方は登場オブジェクトの数
の組み合わせだけ広がり、その楽しみ方はほぼ無限に存
在するものである。特に、動画などの連続して変化する
情報をもつ映像の場合は、その効果が大きいものであ
る。

【００２９】もちろん、動画像の中から一つのフレーム
を切り出した場合は、静止画の置き換え合成として、例
えば表面に静止画を印刷したプリントシールとしての利
用も可能である。つぎに、図面を参照しながら、本発明
の映像音響再生システムの実施の形態について説明す
る。

【００３０】初めに、上記の課題を解決するための手段
で述べた各手段を表す番号と図１との関係を記述する。
（１）は、第１の静止画ファイル群１１４、動画ファイ
ル群１０２から第２の複数の静止画群を生成するための
動画ファイル選択手段１０３、動画音響分離手段１０
４、静止画ファイル変換手段１０５、静止画合成手段１
０６、ＧＩデータ生成手段１１２、合成再生制御手段１
２７で構成されている。

【００３１】以下、同様にして、（２）は、上記の
（１）および第１の静止画ファイルと異なる第ｎの静止
画入力部１４２で構成されている。（３）は、第２の複
数の静止画および、第２の複数の静止画と異なる第ｍの
複数の静止画が同じ動画ファイル群１０２の中に含まれ
て合成再生制御手段１２７で設定された第ｍの複数の静
止画が選択されるように構成されている。

【００３２】（４）は、合成再生制御手段１２７によ
り、背景となる第２または第ｍの静止画の中に複数のダ
ミーオブジェクトを設定し、各ダミーオブジェクトに付
与された位置情報に従って第１の静止画あるいは第ｎの
静止画と第２の複数の静止画あるいは第ｍの複数の静止
画とを合成するとともに合成映像を順次再生するように
静止画合成手段１０６を制御するように構成されてい
る。

【００３３】（５）は、ダミー静止画ファイル群１０
９，ダミーファイル選択手段１１０，ダミーオブジェク
ト座標設定手段１１１，オブジェクト座標比較手段１１
９，第１の静止画ファイル群１１４，ユーザオブジェク
ト生成手段１１５，ユーザマスク設定手段１１６，ユー
ザオブジェクト表示手段１１７，ユーザオブジェクト選
択手段１１８，オブジェクト座標補正手段１２０で構成
されている。

【００３４】（６）は、第１のダミーオブジェクトとユ
ーザオブジェクトとは異なる任意の第Ｌのダミーオブジ
ェクトが同じダミー静止画群１０９に含まれていて、こ
のダミーオブジェクトの中の一部をユニットオブジェク
ト生成手段１３８で生成し、ＧＩデータ選択手段１１３
のＧＩデータに基づいてユニットオブジェクト合成手段
１３９で合成しユーザオブジェクト群１２５とするよう
に構成されている。

【００３５】（７）は、第１の静止画ファイル群１１
４，ユーザオブジェクト生成手段１１５，ダミーファイ
ル選択手段１１０，ユーザオブジェクト表示手段１１
７，ユーザオブジェクト選択手段１１８，ユーザオブジ
ェクト加工処理手段１２１，ユーザーオブジェクト群１
２５で構成されている。（８）は、動画ファイル群１０
２，動画ファイル選択手段１０３，静止画ファイル変換
手段１０５で構成されている。

【００３６】（９）は、動画ファイル群１０２，動画フ
ァイル選択手段１０３，動画音響分離手段１０４，静止
画合成手段１０６，動画変換手段１２９，動画音響合成
手段１３０で構成されている。（１０）は動画音響合成
手段１３０，外部音声入力１３３で構成されている。
（１１）は、第１の静止画入力部１３６，第１の静止画
ファイル群１１４，ユーザオブジェクト生成手段１１
５，ユーザマスク設定手段１１６で構成されている。

【００３７】（１２）は、ユーザマスク設定手段１１６
で構成されている。（１３）は、ユーザオブジェクト表
示手段１１７，ユーザオブジェクト選択手段１１８で構
成されている。（１４）は、ユーザマスク設定手段１１
６，ユーザオブジェクト表示手段１１７，ユーザオブジ
ェクト選択手段１１８で構成されている。

【００３８】（１５）は、ユーザオブジェクト選択手段
１１８，３次元ユーザモデル生成手段１２３，２次元レ
ンダリング手段１２４，ユーザーオブジェクト群１２５
で構成されている。（１６）は、被写体が座る椅子１９
０２とこれに固定された表示モニタ１９０３と撮影カメ
ラ１９０６とから構成されている。

【００３９】（１７）は、ユーザーオブジェクト群１２
５，ストーリ制御手段１３７，動画音響合成手段１３０
で構成されている。（１８）は、動画ファイル選択手段
１０３，合成再生制御手段１２７，動画音響合成手段１
３０で構成されている。（１９）は、音声認識手段１４
０，ＧＩデータ選択手段１１３，動画ファイル選択手段
１０３，合成再生制御手段１２７，静止画合成手段１０
６，動画変換手段１２９，動画音響合成手段１３０で構
成されている。

【００４０】（２０）は、ＧＩデータ選択手段１１３，
静止画合成手段１０６，動画変換手段１２９，動画音響
合成手段１３０，動画記録手段１３２で構成されてい
る。（２１）は、合成再生制御手段１２７，ＧＩデータ
選択手段１１３，静止画合成手段１０６，静止画印刷手
段１２８で構成されている。（２２）は、静止画合成手
段１０６の出力から静止画合成手段１０６の静止画入力
部分へのフィードバック経路によって実現される。

【００４１】（２３）は、動画音響合成手段１３０から
動画ファイル群１０２へのフィードバック経路によって
実現される。なお、この（２３）の構成は動画変換手段
１２９から動画ファイル群１０２へのフィードバックを
行うことによっても実現可能である。動画変換手段１２
９からのフィードバックの場合には、音響は合成されて
いないので、フィードバック後に動画音響分離手段１０
４で音響を分離する処理は不要である。

【００４２】図１は、本発明の第１の実施の形態におけ
る映像音響再生システムの構成を示すブロック図であ
る。図１において、１０１は映画やＣＧなどで、既に記
録が完了した音響データを含む動画ファイルを入力する
動画ファイル入力部であり、この動画ファイル入力部１
０１から入力される動画ファイルは背景映像となるもの
である。

【００４３】１０２は背景映像となる複数の動画ファイ
ルが取り込まれている動画ファイル群である。この中か
ら後に述べる合成再生制御手段１２７で設定された１つ
の動画ファイルが動画ファイル選択手段１０３で選択さ
れ、動画音響分離手段１０４で動画部分と音響部分とに
分離される。動画ファイル選択手段１０３は、背景とな
る動画ファイルを置き換えるときに選んだ動画ファイル
を選択設定する手段、あるいは後に述べるストーリ制御
手段１３７によって選択された動画ファイルを設定する
手段である。選択された動画データは静止画ファイル変
換手段１０５で静止画それぞれにフレーム番号Ｆが付与
された静止画ファイルに変換され、静止画合成手段１０
６に入力される。一方、動画音響分離手段１０４で分離
された音響データは動画音響合成手段１３０へ入力され
る。

【００４４】つぎに、ユーザオブジェクトを背景となる
映像に合成する際の形、大きさ、位置などの基準となる
ダミー静止画がダミー静止画入力部１０８から入力され
る。これは合成する対象となるもので、映画であれば登
場する人物や自動車、家などのオブジェクトである。ダ
ミー静止画入力部１０８から入力されたダミー静止画
は、ダミー静止画ファイル群１０９に格納され、ダミー
ファイル選択手段１１０で後に述べるダミーファイル選
択情報によって任意のダミー静止画ファイルが選択さ
れ、ダミーオブジェクト座標設定手段１１１でダミーオ
ブジェクトの原点や後に述べるオブジェクトの水平、垂
直方向のエッジなどの所定の場所を指す座標データが付
与され、ＧＩデータ生成手段１１２でＧＩデータを制作
する際のダミーオブジェクトの形、大きさ、位置などを
設定するための情報となるものである。

【００４５】一方、合成されるユーザデータとなるユー
ザの静止画は、第１の静止画入力部１３６から複数入力
されて第１の静止画ファイル群１１４に格納され、ユー
ザオブジェクト生成手段１１５で合成の対象となる第１
の静止画の所定の部分を背景から切り出したユーザオブ
ジェクトというオブジェクトに変換され、さらにユーザ
マスク生成手段１１６でユーザオブジェクトの中でさら
に一部を隠す必要のある、たとえば人物であれば顔以外
の体や首の部分にマスクが設定される。すなわち、ブル
ーバックなどで人物を映像から切り出す際に人物の体の
部分に背景と異なる色の場合は体が顔と一緒に切り出さ
れるため、さらに体の部分をマスクする処理が必要とな
るが、ユーザマスク生成手段１１６を利用すると背景と
同じブルー色の服を人物に着せる必要がなくなるという
メリットがあるものである。

【００４６】つぎに、ユーザマスク生成手段１１６で設
定されているマスクは、色々なオブジェクトに対応でき
るように複数設定されていて、この複数のマスクとユー
ザオブジェクトが合成された映像がユーザオブジェクト
表示手段１１７に表示され、ユーザは、前述のユーザマ
スク生成手段１１６で設定されているマスクとユーザオ
ブジェクトが合成された映像を見ながら最も上手く切り
出されているユーザオブジェクトをユーザオブジェクト
選択手段１１８で選択する。

【００４７】以上の実施の形態におけるＧＩデータは、
データ入力ソースとしての動画ファイルである背景映像
と、背景映像の中のオブジェクトを置き換える仮のユー
ザオブジェクトの写真として用意されたダミー静止画フ
ァイル群１０９の中のダミーオブジェクト選択情報Ｄ、
合成されるユーザオブジェクトの位置をあらわすＸ座
標，Ｙ座標および大きさＳと背景映像のフレーム番号Ｆ
などのオブジェクトを選択制御する情報である。

【００４８】さらに、例えば第１の静止画の中に複数の
オブジェクトが存在して対象となるユーザオブジェクト
を選ぶ必要のある時は、ユーザオブジェクトの存在する
位置がダミーオブジェクトの存在する位置と比べてずれ
ているため、ユーザオブジェクト座標をダミーオブジェ
クト座標と一致させる必要がある。このため、本発明の
実施の形態では、選択されたユーザオブジェクトの内、
ダミーオブジェクト座標設定手段１１１でダミーオブジ
ェクトの原点やユーザオブジェクトなどの所定の場所に
対応するユーザオブジェクト座標データが前述のダミー
オブジェクトの原点や水平、垂直方向のエッジなどの座
標データとともにオブジェクト座標比較手段１１９へ入
力され、ユーザオブジェクト座標データとダミーオブジ
ェクト座標データの差分がオブジェクト座標補正手段１
２０で補正され、常にユーザオブジェクト座標がダミー
オブジェクト座標と一致するように補正され、補正され
た状態が、前述のユーザオブジェクト表示手段１１７に
表示されている。

【００４９】また、上記オブジェクト座標補正手段１２
０は、元々ダミーオブジェクトの中心座標がダミー静止
画の中心に設定されている場合はユーザオブジェクトの
水平、垂直方向のエッジから算出される中心座標を第１
の静止画の中心に補正するだけで良いので前記の計算が
容易になることはもちろんである。上記オブジェクト座
標補正手段１２０は、ユーザオブジェクトの基になる第
１の静止画の中の対象となるユーザオブジェクトが撮影
時の手ぶれによって中心からずれている場合に自動的に
座標を補正するというメリットがあるものである。

【００５０】つぎに、ユーザーオブジェクト画像加工処
理手段１２１では、ユーザオブジェクトの形を歪めてユ
ーザオブジェクトの種類を増やしたり、必要とするユー
ザオブジェクトの斜め左の顔を同じユーザの斜め右の顔
から水平反転して生成することで設定し、ユーザオブジ
ェクトの取り込みを少なくして、見かけ上ユーザオブジ
ェクトの枚数を増やしたように見せるなどのユーザオブ
ジェクトへの画像加工を加えている。

【００５１】さらには、３次元ユーザモデル生成手段１
２３では、２次元画像データであるユーザオブジェクト
から後に述べる３次元モデル変換によってユーザオブジ
ェクトの３次元モデルを作成し、このユーザオブジェク
トの３次元モデルからユーザオブジェクト斜め方向など
正面以外の画像データを２次元レンダリング手段１２４
で生成している。

【００５２】こうして設定されたユーザオブジェクト群
１２５は、静止画合成手段１０６でＧＩデータによって
設定された番号のユーザオブジェクトが加工処理されて
背景となる静止画と合成され、動画変換手段１２９へ入
力されるとともに、さらに合成再生制御手段１２７で設
定された番号の合成静止画を静止画印刷（記録）手段１
２８へ出力して、上記合成静止画を印刷する。

【００５３】また、ＧＩデータ生成手段１１２で生成さ
れたＧＩデータ群の中から合成再生制御手段１２７で設
定された再生ストーリに対応するＧＩデータが、ＧＩデ
ータ選択手段１１３で選択され、対応するストーリの動
画ファイルから静止画に変換された背景と前記の設定さ
れた番号の加工済みユーザオブジェクトとが静止画合成
手段１０６で合成される。

【００５４】こうして合成された映像が動画変換手段１
２９を介して動画音響合成手段１３０で前述の音響デー
タとともに合成されて合成再生制御手段１２７で設定さ
れた再生順序にしたがって合成映像出力部１３１に出力
されて合成映像をモニタするとともに、動画記録手段１
３２で記録される。また、ストーリ制御手段１３７で
は、選択されたユーザオブジェクト群１２５から選ばれ
るユーザオブジェクトの内容情報によって内容に合致す
るストーリを選択し、ＧＩデータ選択手段１１３で、こ
れに相当するＧＩデータを設定することでユーザオブジ
ェクト群１２５のユーザオブジェクトの種類や枚数によ
ってストーリを選択するように構成されている。

【００５５】また、ユニットオブジェクト生成手段１３
８では、ダミー静止画ファイル群１０９の中から一部の
ユニットオブジェクトを切り出す。また、ユニットオブ
ジェクト合成手段１３９では、ユーザオブジェクト選択
手段１１８で選択されたユーザオブジェクトの前述の切
り出されたユニットオブジェクトに相当する部分へ前述
の切り出されたユニットオブジェクトを、選択されたＧ
Ｉデータに基づいて合成してユーザオブジェクト群１２
５に追加するようになっている。これによって、例え
ば、口を開いて話している様子の対象となるユーザオブ
ジェクトが第１の静止画の中にない場合にダミー静止画
の中の口部分だけの映像を利用して、あたかもユーザが
話しているかのように構成することが可能となるもので
ある。

【００５６】さらに、図１の形態では、外部からの音声
信号を音声認識手段１４０に入力し、音声認識手段１４
０の制御信号をＧＩデータ生成手段１１２を介してユニ
ットオブジェクト選択手段１４１へ入力することによっ
てユニットオブジェクトのうちの外部入力音声にあった
発音形態の口の形をユニットオブジェクト合成手段１３
９でユーザオブジェクトと自動的に合成する構成として
いるので、ユーザの発音に対応する第１の静止画をユー
ザの発音に対応する数だけ取り込む手間が不要になるメ
リットがある。

【００５７】同様に、動画ファイルからの音声信号を動
画音響分離手段１０４を介して音声認識手段１４０に入
力する場合は、動画音響分離手段１０４からの動画ファ
イルの中の音声信号による発音形態を音声認識手段１４
０で認識し、ユニットオブジェクトのうちの背景となる
動画ファイルの中の音声にあった発音形態の口の形をユ
ニットオブジェクト合成手段１３９でユーザオブジェク
トと自動的に合成する構成としているので、背景となる
動画ファイルの中の発音に対応する第１の静止画をユー
ザの発音に対応する数だけ取り込む手間が不要になるメ
リットもある。

【００５８】また、ＧＩデータはＧＩデータ出力部１３
４に出力したり動画記録手段１３２に記録し、さらにＧ
Ｉデータ入力部１３５で外部からＧＩデータを取り込み
ＧＩデータ選択手段１１３で選択する構成にしている。
この実施の形態では、ＧＩデータとしては、合成する位
置情報だけでなくユーザオブジェクト選択手段１１８で
ダミーファイル選択情報によって選択されるユーザオブ
ジェクトの番号、ユーザオブジェクト画像加工処理手段
１２１で新たに生成されるユーザオブジェクト番号、あ
るいは、３次元モデルから生成されるユーザオブジェク
ト番号、さらにはユニットオブジェクト合成手段１３９
で生成されるユーザオブジェクト番号、ユーザの発音や
背景となる動画ファイルの中の音声にあった発音形態の
口の形をユニットオブジェクト番号、あるいは、それぞ
れのユーザオブジェクトの静止画ごとに設定されるユー
ザオブジェクト大きさ情報などが静止画の各フレーム番
号とともに適切な所定のフォーマットに従って格納さ
れ、記録される構成となり、さらにユーザオブジェクト
種類や、数に基づくストーリ選択情報や、再生の組み合
わせ情報、ゲームの場合のある得点に達したときに出さ
れる再生許可情報が所定のフォーマットに従って格納さ
れ、記録される構成となっている。

【００５９】これらの情報は、動画ファイルとともにこ
の段階でＤＶＤやＣＤ−ＲＯＭなどのパソコンソフトと
して記録され販売することもできる。あるいは、ネット
ワーク通信等で配信することも考えられる。第１の静止
画やダミーオブジェクトは、電子スチルカメラやイメー
ジスキャナなどの画像入力手段でとった複数の静止画
（情報）である。

【００６０】先に述べた静止画合成手段１０６では、取
り込まれた第１の静止画の所定個所をダミー静止画に対
応するように設定されるＧＩデータに基づいて、背景と
なる動画ファイルから生成される各静止画フレーム上に
不透明画像としてフレーム毎に貼り付ける。このように
することにより、動画ファイルの所定部分の一連の動き
に対応して上記の貼り付けた静止画が自動的に動くよう
に観察される。上記の静止画の所定個所という表現は、
例えば人物の顔を、写真等の四角形の静止画から顔だ
け、あるい口先だけ切り出す場合を意味するが、例えば
四角形の風景動画に、その風景とは異なる場所の丸形の
静止風景画を入れる場合は、丸形の静止画全体を貼り付
けることになる。

【００６１】つぎに、シーンが変わったり、対象人物を
変化させたい時には、複数の静止画の中の上記とは異な
る所望の静止画を選び、上記したのと同じ方法で動画フ
ァイルの所定部分のＧＩデータとの対応を指定して貼り
付ける。すなわち、ユーザオブジェクトである例えばＡ
さんの写真を背景の中で任意のダミーオブジェクトの位
置を選んで合成する場合には、ダミー静止画ファイル群
１０９の中に複数の位置に設定されたダミーオブジェク
トがあって、これをダミーファイル選択手段１１０で選
択し、ダミーオブジェクト座標設定手段１１１でどの位
置のダミーオブジェクトと合成するかの座標を設定し、
ＧＩデータ生成手段１１２でどのダミーオブジェクトと
合成するかを設定するデータを生成し、ＧＩデータ選択
手段１１３でそれを選択し、静止画合成手段１０６でユ
ーザオブジェクトと合成することによって得られる。

【００６２】以上のように、本発明の映像音響再生シス
テムの実施の形態は、背景となる映像の中の顔の部分を
背景となる映像オブジェクトと考えたときに、背景とな
る映像オブジェクトの顔の位置や口の位置などの位置情
報および、顔の向きを表すダミーオブジェクトの番号な
どを１つのオブジェクト選択情報で現し、これに近い顔
の向きのユーザの顔写真を複数の静止画から選び、顔の
上下長さ、顔の横方向幅は前記静止画を拡大縮小するよ
うに構成している。

【００６３】同様に、口部分は、ユニットオブジェクト
選択情報で現すこともできるように構成している。ま
た、外部音声入力１３３は、動画ファイル１０２に含ま
れる人物の口の動き（あるいは口から発せられる音声）
に同期して他の人物が発生した音声として利用され、動
画ファイル１０２の中の言葉と異なった内容のものがし
ばしば使われる。すなわち、同期するといっても所定の
時間に収まり、見かけ上同期しているような内容ならど
のようなものでもよい。

【００６４】音声認識手段１４０は、音声信号を入力と
し、その音声から母音を抽出しそれを口の形の情報に変
換して所定の個所に所定のフォーマットで格納する。こ
の場合、口の形の情報としては、口の部分の中心位置、
上唇を等間隔で３分割する点位置、下唇を等間隔で３分
割する点位置、口の横方向幅等で表される。ユニットオ
ブジェクト選択手段１４１では、前述の口の形の情報に
対応したユニットオブジェクトが選択されるように構成
されている。

【００６５】このようにすることにより、動画ファイル
の所定部分の一連の動きに対応して上記の貼り付けた静
止画が自動的に動く。このようにすることにより、映画
の顔の部分がまったく異なった人物で置き換えられると
ともに、まったく異なった言葉に置き換えられることに
なり、口の動きは音声情報から推論して変換するので自
然なものとなる。

【００６６】また、動画音響合成手段１３０から得られ
る動画音響ファイルを動画ファイル群１０２に戻した
り、あるいは、静止画合成手段１０６で合成された静止
画を静止画ファイル変換手段１０５に戻し、かつ新たな
ユーザオブジェクトと前記の合成後の静止画とを合成す
ることにより、一つの動画音響ファイルに複数の第１の
静止画を配置、つまり、一つの画面にユーザオブジェク
トを配置することができることになる。

【００６７】図２は、本発明の映像音響再生システムの
主な操作メニューのフローチャートで、２０１，２０
２，２０３，２０４，２０５はユーザの操作のためのモ
ニタ画面である。２０１は、背景の原画となる動画ファ
イルのうち、どのタイトルにするかを設定するモニタ画
面で、文字で入力検索したり、背景の原画となる複数の
動画の最初の画面あるいはタイトルをイラスト的なイメ
ージ図やテキストで表した画面をタイトル毎に複数表示
する画面である。

【００６８】２０２は、ユーザが登場するユーザオブジ
ェクトが男性か女性かをボタンを押して選び、名前を記
入して再生する合成映像のファイル名にするためのモニ
タ画面である。男性か女性かを選ぶことは、ユーザオブ
ジェクトあるいはダミーオブジェクトの種類を選択して
読み込む手段を意味するものであり、名前も含めて修正
がない場合はつぎのモニタ画面に進む。

【００６９】２０３は、ユーザ写真の入力状態の一覧表
示を示すモニタ画面であり、この時点でユーザオブジェ
クトの設定状態が望ましくなく、例えばユーザの撮影位
置が大きくずれていて予め設定されているマスクによっ
てユーザの顔の一部が隠れていたり、あるいはユーザの
表情などを変えたい場合には、取り替えたい写真をダブ
ルクリックなどの方法で選ぶことでつぎの修整画面に進
むものである。

【００７０】２０４は、入れ替えるために予め撮影され
た写真を複数一覧表示するモニタ画面であり、取り替え
たい写真をダブルクリックなどの方法で選ぶことでモニ
タ画面２０３で選んだ写真と取り替えられ、モニタ画面
２０３に戻るというものである。２０５は、モニタ画面
２０３で修正がなくなって実行ボタンを押すことによっ
てユーザが登場する原画との合成映像が見られるモニタ
画面を示している。このモニタ画面２０５中には、上記
のユーザが登場する原画との合成映像の再生状態を選ぶ
ボタン２０６が設けられている。このボタン２０６とし
ては、連続再生、繰り返し再生、組み合わせ再生、早送
り、巻き戻し、静止、スキップ送りなど任意の機能を有
するボタンが設定されている。また、モニタ画面２０５
中には、シール出力ボタン２０７と記録ボタン２０８と
が設けられ、任意の再生状態の画面を表示中にシール出
力ボタン２０７を押すことでプリントアウトしたり、記
録ボタン２０８を押してディスクやテープに記録できる
ように構成されている。

【００７１】図３は、静止画合成手段１０６、ＧＩデー
タ生成手段１１２および音声認識手段１４０の動作を説
明する基本的な構成図である。原画３０１は背景となる
映像で静止画ファイル変換手段１０５から出力される各
映像フレームである。３０７は、ＧＩデータ選択手段１
１３から出力されるＧＩデータ、３０９はユーザオブジ
ェクト選択部、３１０はＧＩデータの中の位置情報、大
きさ、角度などの情報に対応させてユーザオブジェクト
を映像処理するユーザオブジェクト映像処理部である。
３０３はダミーオブジェクト選択部、３０４はＧＩデー
タ生成部である。

【００７２】ダミーオブジェクト設定部３０２では、背
景となる映像のなかの合成の際にユーザオブジェクトの
代わりに基準となるダミーオブジェクトを設定する。具
体的に説明すると、上記のダミーオブジェクトの動きを
合成画表示部３１３で見ながら背景と合致するように、
ユーザオブジェクトを合成する位置を表すＸ座標，Ｙ座
標および大きさＳと、ダミーオブジェクト選択部３０３
によって選択設定されるダミーオブジェクトの向きや口
の形状を表わすダミーオブジェクト選択情報Ｄおよび動
画音響分離手段１０４から分離した背景となる映像のサ
ウンド３０５の中の背景となる映像オブジェクトの発声
する音声を認識する原画オブジェクトの音声認識部３０
６からの音声選択情報Ａによってダミーオブジェクトが
設定される。そして、ＧＩデータ生成部３０４にて、前
述のＸ座標，Ｙ座標，大きさＳ，ダミーオブジェクト選
択情報Ｄ，音声選択情報Ａおよび映像フレーム番号Ｆ
が、ユーザオブジェクトの選択制御情報（ＧＩデータ３
０７）として対応付けられる。この段階で既に、背景と
なる映像オブジェクトの向きや口の形状によく似たダミ
ーオブジェクトが対応付けされている構成になってい
る。

【００７３】つぎに、ユーザオブジェクト群１２５から
ＧＩデータ３０７に基づいて、背景となる映像オブジェ
クトの位置、顔の向き、口の形状に対応するユーザオブ
ジェクトを予め対応付けされているユーザオブジェクト
選択部３０９で選択する。ここでも、上記のダミーオブ
ジェクトと同様に背景となる映像オブジェクトの顔の向
きや口の形状によく似たユーザオブジェクトが対応付け
されている構成になっている。

【００７４】つぎに、選ばれたユーザオブジェクトの映
像処理として、ユーザオブジェクト映像処理部３１０で
ユーザオブジェクトの位置座標を上記のＸ座標，Ｙ座標
で設定し、同様にユーザオブジェクトの大きさを上記の
大きさＳで設定するとともに、画面の中のユーザオブジ
ェクト以外の部分が背景となる映像に対して透明になる
合成マスクをユーザオブジェクトマスク生成部３１１で
生成する。上記のユーザオブジェクトの大きさの設定方
法としては、入力された静止画の大きさを初期値として
そのまま大きさＳで拡大縮小する場合と、入力された静
止画をいったん基準となる大きさに一律に設定してから
大きさＳで拡大・縮小する場合のいずれでもよい。

【００７５】この際に、合成マスクの透明領域を設定す
るためにユーザオブジェクトの画素がある領域以外の画
素を単一色にして、この画素のみ除去するという処理が
必要なことは言うまでもない。こうして得られたユーザ
オブジェクトと、画面の中のユーザオブジェクト以外の
部分が背景となる映像に対して透明になる合成マスク
を、背景となる静止画ファイル変換手段１０５から出力
される各静止画の上に静止画合成部３１２（図１の静止
画合成手段１０６に相当）で重ね合わせることによっ
て、背景となる映像の背景となる映像オブジェクトとユ
ーザオブジェクトとが見かけ上置き換え・合成される。

【００７６】図４は、以上の背景となる静止画ファイル
を原画として、ダミーファイル選択情報や合成位置情報
などで構成されたＧＩデータによってユーザオブジェク
ト、合成マスク、合成画などの時間軸の映像処理の様子
をタイムシーケンスで示している。背景となる映像の各
映像フレームをＧ１，Ｇ２，…とし（原画シーケン
ス）、各映像のフレームＧ１，Ｇ２，…間で背景となる
映像の中のオブジェクトの顔の向き、表情や口の形状が
変化が小さく、置き換えるユーザオブジェクトの選択を
変える必要がない区間を区切り、それぞれＴ１，Ｔ２，
…としてこれに対応するダミーファイル選択情報をＤ
１，Ｄ２，…とする（ダミーオブジェクト選択情報シー
ケンス）。

【００７７】つぎに、ＧＩデータのうちダミーオブジェ
クトの位置座標および大きさをそれぞれフレーム毎に、
Ｘ１，Ｘ２，…、Ｙ１，Ｙ２，…、Ｓ１，Ｓ２，…とす
る（ＧＩデータシーケンス）。つぎに、ユーザオブジェ
クト選択手段１１８で選択されたユーザオブジェクトの
大きさを大きさＳ１，Ｓ２，…の情報によって合わせ
る。同様に、ユーザーオブジェクトの位置座標について
も位置座標Ｘ１，Ｘ２，…になるように設定する。

【００７８】同様に、音声認識手段１４０による音声選
択情報で、母音で変化するフレームシーケンスは、それ
ぞれＡ１，Ａ２，…という音声選択情報とする。こうし
て得られた各フレーム毎のＧＩデータのうち、音声選択
情報Ａ１，Ａ２，…に対応するユーザオブジェクトが選
択される。こうして映像処理されたユーザオブジェクト
の各フレームは画面Ｅ１，Ｅ２，…として設定される
（ユーザオブジェクト映像処理シーケンス）。また、背
景となる映像に対して透明になる合成マスクも同様にし
て、画面Ｅ１，Ｅ２，…の中で設定されたユーザオブジ
ェクトの残りの領域に設定され、それぞれ、Ｍ１，Ｍ
２，…として設定される（合成マスクシーケンス）。

【００７９】以上のようにして得られたユーザオブジェ
クトＥと合成マスクＭが背景となる映像Ｇの上に重ね合
わされて各フレーム毎にそれぞれＧ＋Ｍ＋Ｅとして出力
される（合成画シーケンス）。具体的には、Ｇ１＋Ｍ１
＋Ｅ１、Ｇ２＋Ｍ２＋Ｅ２、Ｇ３＋Ｍ３＋Ｅ３、‥‥‥
のように出力される。図５はユーザオブジェクト選択手
段１１８のユーザオブジェクト選択部を示す模式図であ
る。図５においては、ダミーオブジェクトで「あ」、
「う」、「え」、「お」と発音しているものをそれぞれ
符号５０１，５０２，５０３，５０４で示し、これらの
ダミーオブジェクト５０１，５０２，５０３，５０４に
対応するようにユーザオブジェクト群１２５の中から選
ばれるユーザオブジェクトをそれぞれ符号５０５，５０
６，５０７，５０８で示して、両者の関連付けしてい
る。

【００８０】ユーザは、ユーザオブジェクト群１２５の
中からダミーオブジェクト５０１，５０２，５０３，５
０４にできるだけ似た写真をユーザオブジェクト選択部
３０９で選択する。例えば、ダミーオブジェクトで
「あ」と発音しているもの、すなわちダミーオブジェク
ト５０１に似た写真をユーザオブジェクト写真群５０９
の中から選んでユーザオブジェクト５０５として、
「あ」と発音しているダミーオブジェクト５０１の横に
並べ写真番号「１」、あるいは、写真記号「ａ」とす
る。

【００８１】同様にして、ダミーオブジェクトで
「う」、「え」、「お」と発音しているもの、すなわち
ダミーオブジェクト５０２，５０３，５０４に似た写真
をユーザオブジェクト写真群５０９の中から選んでユー
ザオブジェクト５０６，５０７，５０８として、
「う」、「え」、「お」と発音しているダミーオブジェ
クト５０２，５０３，５０４の横に並べ写真番号
「２」，「３」，「４」、あるいは、写真記号「ｕ」，
「ｅ」，「ｏ」とする。

【００８２】表１は、以上のようにして、背景となる映
像オブジェクトの音声情報も含めてユーザオブジェクト
を選択するためのオブジェクト制御情報として構成した
ＧＩデータの例を表したものである。表１では、連続し
た各静止画フレーム番号Ｆに対し、ダミーオブジェクト
の写真番号Ｄ、ユーザオブジェクトの写真記号Ａ、ユー
ザオブジェクトを置く位置として縦、横座標をそれぞれ
Ｘ，Ｙ、ユーザオブジェクトの大きさＳを例として示し
ている。

【００８３】

【表１】

【００８４】以上の説明では、ユーザーオブジェクト写
真群が、人物であれば、男性のＡさんだけ写真群として
いるが、ユーザーオブジェクト写真群の中に男性のＡさ
ん以外に、その他の男性Ｂさんや、女性のＣさん、Ｄさ
ん、Ｅさん、あるいは犬やある人物の服装だけや、髪型
あるいは風景などを写真群として含ませておき、ダミー
オブジェクトと直接関連のない写真をオブジェクトとし
て合成すると、視聴者の興味をそそるような面白い効果
（映像の特殊効果）が得られるという特徴も有してい
る。

【００８５】図６は、本発明の実施の形態におけるＧＩ
データ生成手段１１２の具体的な構成を示すもので、Ｇ
Ｉデータ作成の各工程を示するものである。図６におい
て、７０１は背景となる原画取り込み部、７０２は動画
編集部、７０３は背景となる原画フレーム作成部、７０
４は画像処理ファイル設定部、７０５はダミーオブジェ
クト選択部、７０６はＧＩデータ編集部、７０７はプレ
ビュー部、７０８はＧＩデータ出力部である。

【００８６】連続した動画である背景となる原画映像が
背景となる原画取り込み部７０１で取り込まれ、動画編
集部７０２でオブジェクト置き換えの対象となる部分や
その周辺などの最終完成映像音響に必要な部分をつな
ぎ、その他を切り捨てる編集処理が行われる。こうして
編集された動画は、背景となる原画フレーム作成部７０
３で静止画である各フレームファイルに分解変換され
る。この際に、背景となる原画映像に含まれるサウンド
は、上記各フレームの編集に合わせて編集されている必
要があることはいうまでもない。

【００８７】一方、ダミーオブジェクト選択部７０５
で、置き換えられる背景となる映像オブジェクトの代わ
りとして設定されるダミーオブジェクトとして、ダミー
オブジェクト群の中から背景となる映像オブジェクトの
複数の顔の向きに似た写真をそれぞれ複数選択して、画
像処理ファイル設定部７０４に予め設定しておく。ま
た、画像処理ファイル設定部７０４では、後述の写真番
号Ｄ、座標Ｘ，座標Ｙ、大きさＳなどのＧＩデータがＧ
Ｉデータ出力部７０８からフィードバックされ、これら
Ｄ，Ｘ，Ｙ，Ｓのデータに基づいて写真番号Ｄの中のオ
ブジェクト（ダミーオブジェクトは予めブルーバック処
理窓の抜き処理されオブジェクトのみになっている）が
座標Ｘ，Ｙと大きさＳのオブジェクトに画像処理され、
ＧＩデータ編集部７０６で背景となる映像フレームと合
成され、プレビュー部７０７で画像を確認することがで
きる。

【００８８】ＧＩデータ編集部７０６では、プレビュー
部７０７の画面を見ながら、画面にふさわしい置き換え
の編集対象をダミーオブジェクト写真のうちどれにする
か決めるために、そのダミーオブジェクト番号Ｄを選
び、ユーザオブジェクトを置く位置として縦、横座標で
あるそれぞれＸ，Ｙ（ＣＧの場合は奥行き座標Ｚも含ま
れる）および、ユーザオブジェクトの大きさＳを設定す
る。このようにして設定した写真番号Ｄ、座標Ｘ，Ｙ、
大きさＳが背景となる映像フレームとともにＧＩデータ
編集部７０６で背景となる映像フレーム番号と対応付け
て編集できるようにＧＩデータ編集部７０６が構成され
ている。

【００８９】ＧＩデータ編集部７０６では、写真番号
Ｄ、座標Ｘ，Ｙ、大きさＳが背景となる映像フレーム番
号とともにＧＩデータとしてファイル化されるとともに
所定の座標Ｘ，Ｙ、大きさＳに画像処理されたダミーオ
ブジェクトと背景となる映像フレームの合成映像がプレ
ビュー部７０７へ出力される。この結果をプレビュー部
７０７で動画として確認し、変更なければＧＩデータ出
力部７０８へ出力される。

【００９０】こうして得られたダミーオブジェクト番号
Ｄ、座標Ｘ，Ｙ、大きさＳ、および背景となる映像フレ
ーム番号Ｆなどの一連の出力データをディスクなどの記
録メディアに保存することによって、後から他の第ｎオ
ブジェクトを使った合成や複数のオブジェクトを重ねて
合成することも可能になる。なお、ＧＩデータは、声、
ストーリ、面白さにあわせて作成する。

【００９１】図７は、背景となる原画映像を背景画とし
てユーザオブジェクトとの合成画を生成する工程を図示
したものである。図７では、ユーザオブジェクト８０２
で顔の領域８０５を、背景となる原画８０１の中の顔の
領域８０４に重ね合わせるために、ユーザオブジェクト
８０２で顔の領域８０５以外の領域を背景となる映像８
０１に対して透明にした合成用の透明マスク８０３を示
している。透明マスクとは、ビットマップ形式ファイル
の中で画素データを置かずフレームのみ存在するものを
指し、これを１つの独立したレイヤとしてファイルにす
る場合と、独立したレイヤを設定しないで、画像メモリ
などのフレームメモリへユーザオブジェクト８０２の顔
の領域８０５以外の領域に背景となる映像８０１の画素
データを直接書き込む場合がある。

【００９２】いずれにしても、上記のようにして設定さ
れたユーザオブジェクト８０２の顔の領域８０５以外の
領域を見かけ上透明にするようにした透明マスク８０３
の上にユーザオブジェクト８０５、下に背景となる原画
８０１を重ね合わせると、背景となる映像オブジェクト
の体の部分８０６を含む合成画８０７が生成される。ま
た、図７のプレビュー部７０７では合成結果を確認する
だけでよいため、透明マスク８０３を各フレーム毎に保
存する必要がない。したがって、ＧＩ編集する効率を高
くするためには、透明マスク８０３を設定することなく
画像メモリなどのフレームメモリへ直接書き込む合成手
段を用いる方法が望ましい。

【００９３】ＣＧの場合は、背景となる原画８０１の中
で顔８０４だけが表示されず、背景となる原画８０１の
中に体８０６が表示されるので、テクスチャーマッピン
グなどの貼り付け時に背景となる原画８０１の中の顔の
領域８０４とユーザオブジェクト８０２の顔の領域８０
５の貼り付けを置き換えるだけでよい。図８は、本発明
の実施の形態における具体的な画像作成の各工程を示
し、ブルーバック９０１、ユーザ９０２、カメラ９０
３、背景抜き部９０４、窓処理部９０５、窓画生成部９
０６、ダミーオブジェクト（あるいは俳優のショット）
９０７、モニタ９０８、ユーザオブジェクト設定部９０
９、背景となる原画映像を入力する原画入力部９１０、
ＧＩファイル画像処理部９１１、ＧＩデータ入力部９１
２、合成部９１３、動画化設定部９１４、ＡＶデータ作
成部９１７、サウンド入力部９１８、出力モニタ部９１
９で構成されている。

【００９４】ブルーバック９０１は青色などの１色の背
景であり、ユーザ９０２の背景が青色などの１色にカメ
ラ９０３で撮影され、背景抜き部９０４で背景色である
青の画素データのみ抜いて背景を透明にするためのもの
である。ユーザの顔の部分を抜き出すために体の部分を
除去するための窓を窓画生成部９０６にて予め用意して
おき、窓処理部９０５では、上記窓画生成部９０６にて
生成した窓と背景抜き部９０４のユーザ写真を画像合成
するとともに、モニタ９０８に映像を出力する。また、
モニタ９０８には、ユーザオブジェクト設定部９０９で
予め設定された撮影目標としてのダミーオブジェクト９
０７が表示され、ユーザ９０２は、ダミーオブジェクト
９０７の顔の向き、表情に合わせて自分の顔の向き、表
情を調整する。調整が完了すると、ユーザ９０２はシャ
ッタ９２０を押す。この際に、ダミーオブジェクト９０
７の代わりに背景となる原画映像の中のオブジェクトで
ある俳優のショットをモニタ９０８へ表示した方がユー
ザ９０２にとってやりやすいことも考えられるが、いず
れでもよい。

【００９５】こうして得られたユーザ写真は顔の部分だ
けが抜き出され、かつ目標であるダミーオブジェクト９
０７あるいは、背景となる原画映像の中のオブジェクト
である俳優の表情、顔の向きに合った状態にある。以上
のようにして、合成の際に使われる枚数だけユーザオブ
ジェクト設定部９０９からモニタ９０８へ表示される１
枚以上のダミーオブジェクト９０７とこれに合うユーザ
写真とがユーザオブジェクト設定部９０９からＧＩファ
イル画像処理部９１１へ出力されると、予め図６のＧＩ
データ生成手段１１２で生成保存されていたＧＩデータ
がＧＩデータ入力部９１２から入力され、ＧＩファイル
画像処理部９１１で各フレーム毎にファイルに設定され
る。

【００９６】合成部９１３では、こうして得られたファ
イルをメモリから読み出すとともに、図６の背景となる
原画フレーム作成部７０３で編集されフレーム化された
背景となる映像が原画入力部９１０から入力され、ＧＩ
データの中の各フレーム番号に合わせて図７で述べたよ
うに映像合成され、動画化設定部９１４で各合成フレー
ムが連続する１つの動画ファイルとして生成され、ＡＶ
データ作成部９１７で、サウンド入力部９１８から入力
される背景となる原画映像に含まれた音とともに合成さ
れる。

【００９７】こうして、合成された動画が１つの映像音
響データとして生成され、出力モニタ部９１９にサウン
ドとともに出力される。つぎに、ユーザの音声を外部か
ら入力し、その声で静止画撮影を制御し、かつ背景とな
る原画映像に含まれる原音の声とユーザの声とを置き換
える場合について説明する。

【００９８】図９では、図８の構成と同様のものは同じ
番号を付しているが、この図９は図８の構成の全てとユ
ーザの音声を入力するためのマイク９２１および音声認
識部９２２とで構成されている。以下、ユーザの音声を
認識する部分以外は、図８の構成と同様であるのでユー
ザの音声の処理についてのみ図面とともに説明する。

【００９９】図９で音声認識部９２２は、既にパソコン
ソフトで販売されているような音声認識ソフトウェアあ
るいは、音声認識ボードなどのハードウェアである。ユ
ーザ９０２が「あ」と発音すると、マイク９２１を介し
て音声認識部９２２で、「あ」と認識され、ユーザオブ
ジェクト設定部９０９へ「ａ」という記号を入力し、予
め設定されている「あ」という発音したダミーオブジェ
クト９０７をモニタ９０８に表示するとともにユーザが
シャッタ９２０を押して撮影された映像がユーザオブジ
ェクトとして背景抜き、窓処理によって「あ」という発
音の顔のみの映像としてＧＩファイル画像処理部９１１
へ出力される。

【０１００】こうしてユーザの声によってモニタ９０８
へのダミーオブジェクトの提示を制御しながらユーザの
静止画撮影を行うようにしたものである。以降は、図８
の実施の形態と同様にして、映像合成および動画化され
る。この際に「あ」という発音したダミーオブジェクト
が含まれる背景となる原画映像フレームで、ユーザの声
による「あ」という発音がＡＶデータ作成部９１７でサ
ウンド入力部９１８を介してＧＩデータのフレーム番号
に対応した映像とともに合成され、背景となる原画映像
に含まれる原音の声とユーザの声とが置き換えられる。

【０１０１】また、ユーザの実録音信号をそのまま利用
しないでテキスト信号やＭＩＤＩ（ＭｕｓｉｃａｌＩ
ｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａ
ｃｅ）信号で入力し、これを音声合成で人工の音声を生
成し映像を合成したものでもかまわない。図１０は、本
発明の映像音響再生システムで動画音響分離手段１０
４、静止画ファイル変換手段１０５、動画音響合成手段
１３０の動作説明図で映像音響ファイルの分離と合成映
像の動画化と音響ファイルとの合成についてのファイル
処理形態を図で示している。

【０１０２】図１０で、（１）は音響データを含む動画
ファイル、（２）は動画音響分離手段１０４で分離され
たオーディオデータ群、（３）は静止画ファイル変換手
段１０５で得られる静止画ファイルデータ群、（４）は
ユーザオブジェクトデータ群、（５）はＧＩデータ群、
（６）は音響データと合成フレームを一つのファイルに
した合成動画ファイルである。

【０１０３】動画音響分離手段１０４で動画ファイル
（１）に含まれる動画部分（フレーム１からフレーム
ｍ）と音響部分が分離される。音響部分は連続した信号
であるので、適当に単位時間毎のデータファイルとして
オーディオ１からオーディオｍとして区切られたもので
ある。動画データ（動画部分）は静止画ファイル変換手
段１０５で静止画それぞれにフレーム番号Ｆが付与され
た静止画ファイルデータ群（３）に変換され静止画合成
手段１０６に入力される。一方、ユーザオブジェクトデ
ータ群（４）は、ＧＩデータ群（５）の位置情報やユー
ザオブジェクト選択情報などに基づいて、静止画ファイ
ルデータ群（３）と合成され、動画音響合成手段１３０
で合成フレーム１から合成フレームｍが動画音響分離手
段１０４で分離されたオーディオデータ群（２）ととも
に一つの合成動画音響ファイルに変換されている。動画
ファイルから音響データを分離したり、合成して一つの
データファイルにする手段は、コンピュータ上の一般的
なデータファイル処理の一つとして公知の方法によるの
で、詳細な説明は省略する。

【０１０４】図１１は、本発明のユーザオブジェクト生
成手段１１５の具体構成を示すブロック図である。図１
１において、１１０１は背景を含む人物の静止画ファイ
ルである。１１０２は上記静止画ファイル１１０１から
人物を切り取り背景を削除した静止画ファイルである。

【０１０５】１１０３は、ユーザマスク設定手段１１６
に予め設定されているマスクの静止画ファイル群で、マ
スクＭＡからマスクＭＩからなる。この段階で上記静止
画ファイル１１０２とマスクの静止画ファイル群のマス
クＭＡからマスクＭＩを静止画合成したものがマスク合
成静止画ファイル群１１０４としてユーザオブジェクト
表示手段１１７で表示されている。この段階でユーザは
どのマスクＭＡ〜ＭＩが最も上手く体の部分をマスクし
て顔だけのユーザオブジェクトになっているかを観察し
ながら選択できる状態にあり、さらには、ユーザの表情
もより良い状態にしながら選択決定できるように構成さ
れている。

【０１０６】つぎに、上記マスク合成静止画ファイル群
１１０４から選択決定したユーザオブジェクトが選択オ
ブジェクトの集合である設定静止画ファイル群１１０５
として表示される。上記実施の形態では、ＧＩデータと
してダミーオブジェクトの顔や口等の位置情報あるい
は、顔の向きを写真番号や、記号等の選択情報で現し、
これに近い顔の向きの顔写真を複数の静止画から選択
し、位置と大きさを制御する方法で説明したが、この他
には、背景となる映像と静止画のなじみをよくするた
め、あるいは、いろいろな角度の静止画を撮影しなくて
も静止画の種類を増やして変化を豊富にするために、そ
れぞれ静止画の明るさや、色合い、あるいは、陰影を変
化させる制御データや顔の片側の写真を水平方向や垂直
方向に反転した映像を一般的な映像の演算処理によって
作成しＧＩデータにすることも、上記実施の形態で説明
した静止画を選択し、位置や大きさ等を制御する方法と
同様の方法を用いることで、図３のユーザオブジェクト
映像処理部３１０において処理され実現するものであ
る。

【０１０７】この様子を一つの例として図１１の新たに
生成した静止画ファイル群１１０６に示す。すなわち、
マスク後のユーザの静止画Ａから垂直方向に引き伸ばし
た面白い顔をＡ’，水平方向に引き伸ばした面白い顔を
Ａ”、右横顔のＦを水平方向に反転した左横顔のＦ’、
さらにこれを三角形に変形したＦ”としてユーザオブジ
ェクトを歪ませたり、新たに横顔として生成した静止画
ファイル群１１０６を示している。

【０１０８】また、前述の静止画の明るさや、色合い、
あるいは、陰影を変化させたり顔の片側の写真を水平方
向や垂直方向に反転した映像を作成する方法（モーフィ
ング）は、ユーザオブジェクトの大きさを縮小拡大する
とき、それぞれオブジェクトを構成する画素を間引いた
り、補間画素を作成して画素の不足領域を補間するなど
の方法と同様であり、それぞれ、色のヒストグラム関数
の係数を変えたり画素を左右上下に反転させることによ
って実現されるものである。こうした処理を静止画に加
えることによって、対象とする新オブジェクトの写真枚
数が少ない場合でも、動画化ができるという特徴を有し
ている。

【０１０９】こうした画像処理は、ＧＩデータ編集のと
きには、図６の画像処理ファイル設定部７０４で、また
合成動画作成のときには、図８、図９のＧＩファイル画
像処理部９１１でそれぞれ実施されるものである。こう
した一連のファイル設定や、メモリなどへの書き込みに
よる合成、あるいは音響とのデータ合成のための圧縮演
算、あるいは、画像の制御などは、現在一般的なパーソ
ナルコンピュータなどの演算処理装置、あるいは専用合
成演算処理回路や半導体メモリやディスクなどの記録メ
ディアを用いて実行されるものである。

【０１１０】図１２は、ユーザの体の部分を隠すユーザ
マスク設定手段１１６の設定および、ユーザオブジェク
ト表示手段１１７で設定されたユーザマスクがユーザの
適切な位置とずれているかあるいは、ユーザの撮影位置
がユーザマスクの位置に対してずれている状態を示して
いる。すなわち、図１２の（１）は、ユーザが撮影され
た後、第１の静止画入力部１３６から第１の静止画ファ
イル群１１４に取り込まれた静止画の一つであり、ユー
ザオブジェクト生成手段１１５で背景が削除されユーザ
の顔と体が表示されている。この（１）では、ユーザマ
スク設定手段１１６で設定されているユーザマスクとユ
ーザの顔と体が合成表示されていて、両者の位置が適切
な状態になっている。

【０１１１】同図の（２）および（３）は、ユーザマス
ク設定手段１１６で設定されているユーザマスクとユー
ザの顔と体が合成表示されているが、それぞれ、横方
向、縦方向にユーザマスクがずれている。そのため、こ
のままユーザマスクでユーザの顔と体を隠した場合はユ
ーザの顔と体の一部が消えることになる。この場合に、
ユーザはユーザオブジェクト表示手段１１７でこの様子
を観察しながら自分の体を移動してマスクに合うように
することができる。あるいは、合うユーザマスクを設定
することができる。

【０１１２】同図の（４）および（５）は、それぞれ顔
の形が四角形あるいは、三角形等で、予め設定されたユ
ーザマスクが同図の（１）のような半円では顔の一部が
消えることになるので、それぞれ四角形あるいは三角形
に切り欠いたユーザマスクが追加設定され、そのユーザ
マスクとユーザの顔と体が合成表示されている。図１３
は、「あ」、「う」、「え」、「お」の各発音によるダ
ミーオブジェクトの口の部分の映像をユーザの口の動き
映像と置き換えて利用するユニットオブジェクト生成手
段１３８、ユニットオブジェクト合成手段１３９、ユニ
ットオブジェクト１４１の動作説明図である。図１３に
おいて、１３０１は、「あ」、「う」、「え」、「お」
と発音している状態のダミーオブジェクトである。１３
０２は４個のダミーオブジェクト１３０１の各々の口の
部分を抜き出すためのダミーオブジェクトマスクであ
り、口部分以外の画面領域を隠すように設定された窓か
らなり、「あ」、「う」、「え」、「お」の発音に対応
してそれぞれＭあ、Ｍう、Ｍえ、Ｍおという記号が付加
されている。

【０１１３】このように構成された状態でダミーオブジ
ェクト１３０１からダミーオブジェクトマスク１３０２
で口部分以外の画面領域を隠すことによって得られるオ
ブジェクトをユニットオブジェクト１３０３という。例
として「あ」の発音のダミーオブジェクト１３０１の口
の部分１３０５がユーザである第１の静止画に合成され
てユニット合成オブジェクト１３０４として次工程であ
るユーザオブジェクト画像加工処理手段１２１へ出力さ
れる。

【０１１４】こうして得られたユニットオブジェクト１
３０３は、ダミー静止画ファイルの中の口部分が抜き出
されてユーザである第１の静止画から設定されたユーザ
オブジェクトの口部分へ合成され、ユーザの静止画が
「あ」、「う」、「え」、「お」等と発音している状態
でなくても、あたかも口の動きがあるユーザ静止画とし
て利用できるようになる。

【０１１５】上記の口の動きは、音声認識手段１４０に
よって口の動きのある映画の音声部分の母音を認識し、
それぞれ母音に対応するユニットオブジェクトをユニッ
トオブジェクト選択手段１４１で選択することで実現で
き、例えば、「あ」という発音のユニットオブジェクト
１３０３がユニット合成オブジェクト１３０４として出
力されるようになる。以上のようなユニットオブジェク
トとしては、顔が正面のときの色々な口の形に限らず、
横顔での口の動きや目玉の向き・まぶたの開閉などでも
同様に、あらかじめダミーオブジェクトの中の一部の映
像を利用することで、その都度ユーザの写真を撮影する
手間が省けるものである。

【０１１６】上記の選択されたユニットオブジェクト選
択番号あるいは音声認識番号は、ＧＩデータとともに所
定の個所に所定のフォーマットに従って格納される。図
１４は、オブジェクト座標比較手段１１９、オブジェク
ト座標補正手段１２０の動作説明図である。図１４にお
いて、（１）は、Ｏ_Dを原点とするダミーオブジェクト
座標、（２）は、Ｏ_Uを原点とするユーザオブジェクト
座標である。同図において、（１）のダミーオブジェク
ト座標では、オブジェクト座標設定手段１１１で設定さ
れた原点Ｏ_Dを座標原点に持つ背景のないオブジェクト
が、オブジェクトの基準となる座標ｘ，ｙをそれぞれｘ
_D，ｙ_Dとし、オブジェクトの水平方向の最小値ｘ₁、
最大値をｘ₂、垂直方向の最小値をｙ₁、最大値をｙ₂
として、オブジェクト座標比較手段１１９で設定され
る。

【０１１７】同様にして、（２）のユーザオブジェクト
座標では、ユーザオブジェクト選択手段１１８で選択さ
れた背景のないユーザオブジェクトが座標原点Ｏ_Uを持
つオブジェクトが、オブジェクトの基準となる座標ｘ，
ｙをそれぞれｘ_U，ｙ_Uとし、オブジェクトの水平方向
の最小値ｘ₃、最大値をｘ₄、垂直方向の最小値を
ｙ ₃、最大値をｙ₄として、オブジェクト座標比較手段
１１９で設定される。

【０１１８】上記の各座標点は、それぞれ基準座標
ｘ_D，ｙ_D，ｘ_U，ｙ_Uの画像の中のオブジェクトのエ
ッジ検出という一般的な手法によってオブジェクト座標
比較手段１１９で検出され、次式のように計算される。（ｘ₂−ｘ₁）／２＝ｘ_D （ｘ₄−ｘ₃）／２＝ｘ_U （ｙ₂−ｙ₁）／２＝ｙ_D （ｙ₄−ｙ₃）／２＝ｙ_U ここで、それぞれの差分であるｘ_T＝ｘ_D−ｘ_U，ｙ_T
＝ｙ_D−ｙ_Uに相当する分だけユーザオブジェクトの基
準座標ｘ_U，ｙ_U、またはユーザオブジェクト座標原点
Ｏ_Uの座標移動によって、ユーザオブジェクトの基準座
標Ｏ_Uがダミーオブジェクトの基準座標Ｏ_Dと一致する
ようになるものである。

【０１１９】上記の場合は、比較的単純な計算になるよ
うに、水平方向および垂直方向の２つの座標で計算する
ように説明したが、他には、オブジェクトの外周エッジ
の任意の最大外形位置を少なくとも２点以上設定して前
記の２点が通過する円を描き、前記の円の中心を使って
オブジェクトの基準点を移動する方法でも良い。図１５
は、３次元ユーザモデル生成手段１２３および２次元レ
ンダリング手段１２４の動作説明図である。

【０１２０】１５０１はユーザオブジェクト選択手段１
１８またはユニットオブジェクト合成手段１３９で設定
された背景のないユーザオブジェクトである。１５０２
は予め用意された人の顔で、３次元の座標データで構成
された標準ポリゴン３次元ユーザモデルで、図１５に示
すような多角形のポリゴンで形成されている。１５０４
は対応テーブル、１５０５はテクスチャーマッピング手
段、１５０６は上記のユーザオブジェクト１５０１がテ
クスチャーマッピングされたユーザの３次元モデル、１
５０７はカメラビューポイント１５０８から眺めた２次
元レンダリング後のユーザオブジェクトの横顔である。

【０１２１】ユーザオブジェクト選択手段１１８または
ユニットオブジェクト合成手段１３９で設定された背景
のないユーザオブジェクト１５０１は、基準となる標準
ポリゴン３次元ユーザモデル１５０２に対応した各ポリ
ゴンの座標に対応する画像エッジ画素が対応テーブル１
５０４で対応つけられ、テクスチャーマッピング手段１
５０５で上記対応テーブル１５０４で対応つけられた内
容にしたがってユーザオブジェクトの各画像エッジ画素
が標準ポリゴン３次元ユーザモデル１５０２に貼り付け
られ、３次元空間の中でユーザ３次元モデル１５０６と
して構成される。

【０１２２】上記の対応テーブル１５０４では、基準と
なる標準ポリゴン３次元ユーザモデル１５０２の各ポリ
ゴンの座標とこれに対応するユーザオブジェクト１５０
１の２次元座標上の位置とを対応付けるため、例えばユ
ーザオブジェクト１５０１が正面写真の場合は、３次元
モデル１５０２を正面からレンダリングした時に得られ
る各ポリゴンの座標データを作成するとともに、標準ポ
リゴン３次元ユーザモデル１５０２を正面からレンダリ
ングしたポリゴンの座標によってユーザオブジェクト１
５０１を座標分割するものであり、同様にユーザオブジ
ェクト１５０１が斜め横の場合も標準ポリゴン３次元ユ
ーザモデル１５０２を同じ斜め横から見たレンダリング
結果と対応付けるものである。

【０１２３】つぎに、カメラビューポイント１５０８か
らユーザ３次元モデル１５０６を眺めると、２次元レン
ダリング後のユーザオブジェクトの横顔が構成される。
上記のテクスチャーマッピングおよび２次元レンダリン
グなどは、公知であるので詳細な説明は省く。また、上
記は人の顔を例にしたが、人でなく一般的なオブジェク
トでも、これにあった標準の３次元モデルを設定すれば
よい。

【０１２４】図１６は、ストーリ制御手段１３７の動作
説明図で、ストーリを制御するための制御テーブルであ
る。以下、制御テーブルを参照しながら説明する。ま
ず、ストーリ群の中にはストーリが３個用意されてい
て、ストーリ１ではユーザオブジェクトとして、が
設定されていてユーザオブジェクト群１２５からストー
リ番号１が、ストーリ制御手段１３７へ入力される。同
様に、ストーリ２では、、あ、う、え、おの発音の
口の形のユーザオブジェクトが設定されていてユーザオ
ブジェクト群１２５からストーリ番号２が、ストーリ制
御手段１３７へ入力される。ストーリ３では、、
あ、う、え、おの発音の口の形のユーザオブジェクト、
およびの泣いた顔のユーザオブジェクトが設定されて
いてユーザオブジェクト群１２５からストーリ番号３
が、ストーリ制御手段１３７へ入力される。同様に、
の怒った顔のユーザオブジェクトがあれば、ストーリ４
としてストーリ制御手段１３７へ入力される。

【０１２５】図１７は、図１６のストーリ制御テーブル
を使ってストーリ制御手段１３７の動作をフローチャー
トで示したものである。すなわち、ユーザオブジェクト
群１２５から入力されるストーリ番号をストーリ制御テ
ーブルのストーリ群と比較し、ストーリ番号が１であれ
ばストーリ１をＧＩデータとして所定のフォーマットで
格納してＧＩデータ選択手段１１３へ出力して、これに
対応する背景となる動画ファイルを選択するように動画
ファイル選択手段１０３へ出力することで、ユーザが入
力設定したオブジェクトの種類や数によって背景ととも
にストーリを選択できるように構成されている。

【０１２６】以下、ストーリ番号が２，３，４の場合も
同様にこれに対応するストーリとＧＩデータおよび背景
となる動画ファイルが選択され、泣いた顔の第１の静止
画をを入れると泣いたストーリ展開をする背景の動画フ
ァイルが、あるいは、怒った顔の第１の静止画を入れる
と怒ったストーリ展開をする背景の動画ファイルが選択
されるようになる。

【０１２７】なお、該当するストーリ番号がストーリ制
御テーブルにない場合は終了となる。図１８は合成再生
制御手段１２７の動作を説明するためのブロック図であ
る。図１８において、１８０１は一般のクイズなどのク
イズ設定処理プログラム（得点処理プログラム）であ
る。１８０２は背景となる動画ファイルを選択するため
にユーザが観察できる動画ファイルのタイトル表示部で
ある。１８０８はユーザがタイトルを選択するタイトル
選択部である。１８０３は１回再生１８０４、組み合わ
せ再生１８０５、繰り返し再生１８０６などの再生モー
ドを選択する再生モード選択部である。１８０７はどの
動画フレームをプリントするかを設定するプリントコマ
設定部である。

【０１２８】例えば、ゲーム、クイズなどで設定される
ところの、ユーザがゲームをしていて、ある程度の得点
に達するとクイズ設定処理プログラム１８０１から得点
が出力され、得点が予め設定された値Ｑ以上であれば、
再生許可信号として値Ｑに応じた複数のタイトルがタイ
トル表示部１８０２へ出力され、ユーザはこの表示を見
ながらタイトル選択部１８０８でタイトルを選択する。

【０１２９】つぎに、タイトル選択部１８０８で選択さ
れたタイトルに相当する動画ファイルが動画ファイル選
択手段１０３で設定されるとともに、ＧＩ選択手段１１
３で動画ファイルに対応するＧＩデータが選択され、動
画ファイルから映像だけ動画音響分離手段１０４で分離
され、動画は静止画ファイルに変換され静止画合成手段
１０６で先に述べたものと同様にユーザである第１の静
止画ファイル群と合成される。また、ストーリ制御につ
いても同様である。

【０１３０】つぎに、再生モード選択部１８０３では、
上記の選択された動画ファイルに合成された合成映像が
１回だけ再生されたり、繰り返し再生されたり、あるい
は、複数の動画ファイルが選択され合成されている場合
にそれらを組み合わせて再生するなどを制御するもので
ある。また、ＧＩデータの対象とするオブジェクトの
数、種類も制約はなく、複数のオブジェクトを合成する
場合は第１のオブジェクトの合成動画を背景となる動画
ファイル群１０２に転送した後に、第２のオブジェクト
を合成するという同様の過程を繰り返すことによって無
制限に複数のオブジェクトを合成できたり、あるいは、
同じＧＩデータと異なる写真を使って異なる動画合成を
することや、同じ写真を使って異なるＧＩデータで異な
る動きの動画合成を得ることなど、さらにまた、同じ写
真、同じＧＩデータでも異なる背景となる動画ファイル
と組み合わせることで、同じＧＩデータでも背景を入れ
替えて複数の動画を得る飛行機シミュレータなどの応用
も考えられ、その組み合わせは無限である。このような
組み合わせは、全て合成再生制御手段１２７で行われる
ものである。

【０１３１】また、動画ファイル群１０２からの変換さ
れた静止画ファイル変換手段１０５の静止画の代わりに
任意の複数の静止画を用いると、動画でなく洋服など複
数の静止画に複数のオブジェクトを取り替えながら合成
することなども可能である。こうした再生モードに基づ
いて動画音響分離手段１０４の音声、あるいは外部音声
とともに動画音響合成手段１３０で一つのファイルにし
て合成映像音響信号を出力するものである。

【０１３２】さらには、動画のなかのプリントしたいフ
レームを再生してプリント命令を出力するものである。
図１９は、ユーザが自分は前を向いた状態で自分の横顔
を見ながら撮影することを可能にする治具を示す。１９
０１はユーザ、１９０２はユーザが座る椅子、１９０３
はモニタ、１９０４はシャッタ、１９０５はモニタ１９
０３を固定するアングル、１９０６はカメラである。図
１９の（１）では、ユーザ１９０１は、椅子１９０２に
座るとともにモニタ１９０３に写る自分の顔を見なが
ら、気に入った表情の時にシャッタ１９０４を押すこと
で、カメラ１９０６が撮影を完了するものである。

【０１３３】つぎに、（２）、（３）は、この様子をユ
ーザの上から眺めたもので、（２）はユーザの正面、
（３）はユーザの横顔を撮影する状態にある。すなわ
ち、（３）でユーザが横に回ると、椅子１９０２のアン
グル１９０５に固定されたモニタ１９０５がユーザ１９
０１とともに回るので、ユーザ１９０１は正面を向いて
モニタ１９０３を見たままでカメラ１９０６はユーザ１
９０１の横顔を撮影するように構成されている。

【０１３４】すなわち、本治具によると、一人で自分の
気に入った表情の時に自分は前を向いた状態で自分の横
顔を見ながら撮影することができるという特徴を有して
いるので、背景となる動画に自分の映像を合成する際に
一人で自分の後ろ姿や自分の気に入った表情の横顔や斜
め顔を納得して入力できるというメリットがあるもので
ある。

【０１３５】図１９では、椅子１９０２を用いたが、ユ
ーザ１９０１が立脚した場合はユーザ１９０１が立脚し
ている足元の台とアングル１９０５が一体に動くもので
あれば同様である。また、複数のカメラを正面と横など
の異なる方向に配置する場合は、ユーザオブジェクト表
示手段１１７をカメラの方向と対応して複数設定するこ
とで、ユーザは正面と横のユーザオブジェクトの様子を
みながら撮影する方法でもかまわない。なお、ユーザオ
ブジェクト表示手段１１７はユーザの正面に配置されて
いる方が好ましいが、ユーザから確認できるどの位置で
あってもかまわない。

【０１３６】また、第１の静止画入力部としてはカメラ
でなく、スキャナなどの順次走査型のイメージキャプチ
ャでも構わない。なお、他の実施の形態は、動画ファイ
ル１０２やＧＩデータ１１２、あるいは、動画ファイル
の代わりに静止画ファイル群として記録された光ディス
クなどの記録メディアから信号を読み取りる形態が考え
られる。

【０１３７】この場合には、ディスクがレイヤ１とレイ
ヤ２等の複数の記録層の構造になっている場合はレイヤ
１に上記の動画ファイル１０２を、レイヤ２に上記のＧ
Ｉデータ１１２、あるいは、動画ファイルの代わりに静
止画ファイル群を記録しておくことによって、レイヤ１
のみ再生するプレイヤが先に販売され、後から本発明の
機能を有するプレイヤが販売される時、従来のレイヤ１
を再生するプレイヤはレイヤ２を再生せず、後から販売
されるレイヤ２の再生にも対応する本発明の機能を有す
るプレイヤとの互換性が確保されるというメリットがあ
る。

【０１３８】また、複数の記録層を有する記録ディスク
の１層目に背景となる元画像を記録し、２層目にＧＩデ
ータを記録することによって、従来のプレーヤでは、１
層目のみの再生とし、本発明の機能を有するプレーヤで
は、１層目を再生するときに２層目のデータを利用でき
るようにすることで、従来の再生ディスクプレーヤと異
なる再生を可能にするという特徴を有する構成となしう
るものである。

【０１３９】また、実施の形態では、出力モニタ部９１
９はテレビモニタなどを指しているが、完成した合成動
画の一部を複数の静止画としてプリントし、ある程度連
続して紙芝居のようにみる方法でもかまわない。また、
実施の形態では、顔の置き換えについて説明したが、体
全体の動きを現した人の姿の場合や模型、工作物などの
オブジェクトであっても同様である。

【０１４０】なお、上記の実施の形態では、動画ファイ
ルにＧＩデータを付与するＧＩデータ生成手段を設けて
いたが、外部から所定部分（口部分等）の属性情報をも
つ動画ファイルを取り込む場合には、ＧＩデータ生成手
段はなくてもよい。

【０１４１】

【発明の効果】本発明の映像音響再生システムによれ
ば、動画の中の所定部分を他の静止画と合成あるいは、
置き換えるための動画中の所定部分の位置情報、変形情
報、動きなどの情報を再生あるいは、外部から取り込む
ことで、特別に知識を持たない一般ユーザであっても撮
影した写真を選択するだけで任意の静止画を制御した任
意の合成映像の再生をすることができ、しかもその再生
のために必要となる静止画取り込み撮影においては、位
置補正情報や、マスク選択手段あるいは、専用の治具を
用いることによってユーザの静止画取り込みを容易で精
度良く、かつ安価に実現可能となる。また、外部の音声
を使ったり、クイズ、ゲーム等と連動して複数の合成映
像を限りなく組み合わせて楽しむことも可能になる実質
的な任意の合成映像のための再生システムを構成できる
ものである。

【図面の簡単な説明】

【図１】本発明の実施の形態における映像音響再生シス
テムの構成を示すブロック図である。

【図２】本発明の映像音響再生システムの実施の形態に
おける操作および操作のための表示構成を示すフローチ
ャートである。

【図３】本発明の実施の形態を具体的に実施した映像音
響再生システムの静止画合成手段１０６、ＧＩデータ生
成手段１１２、音声認識手段１４０の動作を説明するた
めの基本的な構成を示すブロック図である。

【図４】本発明の実施の形態を具体的に実施した映像音
響再生システムのタイムシーケンス図である。

【図５】本発明の実施の形態を具体的に実施した映像音
響再生システムのユーザオブジェクト選択部を示す模式
図である。

【図６】本発明の実施の形態を具体的に実施した映像音
響再生システムのＧＩデータ作成工程を示す概略図であ
る。

【図７】本発明の実施の形態を具体的に実施した映像音
響再生システムの合成画を生成する工程を示す概略図で
ある。

【図８】本発明の実施の形態を具体的に実施した映像音
響再生システムの画像作成工程を示す概略図である。

【図９】本発明の実施の形態でユーザの音声を使う例を
具体的に実施した他の映像音響再生システムの画像作成
工程を示す概略図である。

【図１０】本発明の映像音響再生システムの実施の形態
で動画音響分離手段１０４、静止画ファイル変換手段１
０５、動画音響分離手段１３０の動作説明図で映像音響
ファイルの分離と合成映像の動画化と音響ファイルとの
合成についてのファイル処理形態を示す概略図である。

【図１１】本発明のユーザオブジェクト生成手段１１５
の構成を示すブロック図である

【図１２】ユーザの体の部分を隠すユーザマスク設定手
段１１６の設定および、ユーザマスクがユーザの適切な
位置とずれている状態を示す概略図である。

【図１３】ユニットオブジェクト生成手段１３８、ユニ
ットオブジェクト合成手段１３９およびユニットオブジ
ェクト１４１の動作説明のための概略図である。

【図１４】オブジェクト座標比較手段１１９、オブジェ
クト座標補正手段１２０の動作説明のための概略図であ
る。

【図１５】３次元ユーザモデル生成手段１２３、２次元
レンダリング手段１２４の動作説明のための概略図であ
る。

【図１６】ストーリ制御手段１３７の動作説明のための
概略図である。

【図１７】ストーリ制御手段１３７の動作を示すフロー
チャートである。

【図１８】合成再生制御手段１２７の動作説明のための
概略図である。

【図１９】ユーザが自分は前を向いた状態で自分の横顔
を見ながら撮影することを可能にする治具の構成を示す
模式図である。

【符号の説明】

１０１動画ファイル１０２動画ファイル群１０３動画ファイル選択手段１０４動画音響分離手段１０５静止画ファイル変換手段１０６静止画合成手段１０７ユーザオブジェクトマスク生成部１０８ダミー静止画入力部１０９ダミー静止画ファイル群１１０ダミーファイル選択手段１１１ダミーオブジェクト座標設定手段１１２ＧＩデータ生成手段１１３ＧＩデータ選択手段１１４第１の静止画ファイル群１１５ユーザオブジェクト生成手段１１６ユーザマスク設定手段１１７ユーザオブジェクト表示手段１１８ユーザオブジェクト選択手段１１９オブジェクト座標比較手段１２０オブジェクト座標補正手段１２１ユーザオブジェクト加工処理手段１２３３次元ユーザモデル生成手段１２４２次元レンダリング手段１２５ユーザーオブジェクト群１２７合成再生制御手段１２８静止画印刷手段１２９動画変換手段１３０動画音響合成手段１３２動画記録手段１３７ストーリ制御手段１３８ユニットオブジェクト生成手段１３９ユニットオブジェクト合成手段１４０音声認識手段１４１ユニットオブジェクト選択手段１４２第ｎの静止画入力部７０４画像処理ファイル設定部７０７ＧＩデータ編集部７０８ＧＩデータ出力部９０１ブルーバック９０２ユーザ９０３カメラ９０４背景抜き部９０５窓処理部９０６窓画生成部９０７ダミーオブジェクト９０８モニタ９０９ユーザオブジェクトの設定部９１０背景となる映像入力部９１１ＧＩファイル画像処理設定部９１２ＧＩデータ入力部９１３合成部９１４動画化設定部９１７ＡＶデータ作成部９１８サウンド入力部９１９出力モニタ部９２０シャッタ９２１マイク９２２音声認識部１１０１静止画ファイル１１０２静止画ファイル１１０３静止画ファイル群

Claims

【特許請求の範囲】

【請求項１】少なくとも１つ以上の任意の第１の静止
画を背景となる第２の複数の静止画に合成する静止画合
成手段と、前記第１の静止画を前記第２の複数の静止画
に合成する位置情報または前記少なくとも１つ以上の任
意の第１の静止画からいずれか１つを選択する選択情報
に従って前記第１の静止画と第２の静止画とを合成する
とともに合成映像を順次再生するように前記静止画合成
手段を制御する合成再生制御手段とを備えた映像音響再
生システム。
【請求項２】合成再生制御手段が、位置情報または選
択情報を使って第１の静止画とは異なる任意の第ｎ（ｎ
は任意の整数）の静止画を背景となる第２の複数の静止
画に合成するとともに合成映像を順次再生するように静
止画合成手段を制御したことを特徴とする請求項１記載
の映像音響再生システム。
【請求項３】合成再生制御手段が、位置情報または選
択情報を使って背景となる第２の複数の静止画とは異な
る任意の第ｍ（ｍは任意の整数）の複数の静止画に第１
の静止画を合成するとともに合成映像を順次再生するよ
うに静止画合成手段を制御したことを特徴とする請求項
１記載の映像音響再生システム。
【請求項４】合成再生制御手段が、位置情報または選
択情報を使って第１の静止画とは異なる任意の第ｎ（ｎ
は任意の整数）の静止画を、背景となる第２の複数の静
止画とは異なる任意の第ｍ（ｍは任意の整数）の複数の
静止画に合成するとともに合成映像を順次再生するよう
に静止画合成手段を制御したことを特徴とする請求項１
記載の映像音響再生システム。
【請求項５】合成再生制御手段が、背景となる第２ま
たは第ｍの静止画の中に複数のダミーオブジェクトを設
定し、前記各ダミーオブジェクトに付与された位置情報
に従って第１の静止画あるいは第ｎの静止画と第２の複
数の静止画あるいは第ｍの複数の静止画とを合成すると
ともに、合成映像を順次再生するように静止画合成手段
を制御したことを特徴とする請求項１記載の映像音響再
生システム。
【請求項６】基準となるダミー静止画の一部の領域
（以下、第１のダミーオブジェクトという）を設定する
とともに前記第１のダミーオブジェクトの任意の位置座
標に対応する第１の静止画の一部（以下、ユーザオブジ
ェクトという）を抽出するユーザオブジェクト抽出手段
と、前記ユーザオブジェクト抽出手段により抽出された
ユーザオブジェクトのエッジを検出するエッジ検出手段
とを備え、前記エッジ検出手段により検出されたエッジ
の任意の画素座標とこれに対応する前記第１のダミーオ
ブジェクトの画素座標を関連つけた位置補正情報を算出
するとともに、前記位置補正情報に基づいて位置情報を
補正する補正手段を備えた請求項１，請求項２，請求項
３，請求項４または請求項５記載の映像音響再生システ
ム。
【請求項７】第１のダミーオブジェクトまたは、ユー
ザオブジェクトとは異なる任意の第Ｌのダミーオブジェ
クトの一部の領域（以下、ユニットオブジェクトとい
う）を設定するとともに前記ユニットオブジェクトを前
記ユーザオブジェクトの画像と合成する合成手段を備え
た請求項６記載の映像音響再生システム。
【請求項８】第１の静止画あるいは前記第１の静止画
の中のオブジェクトに番号を付与するとともに、前記第
１の静止画あるいは前記第１の静止画の中のオブジェク
トの大きさ、水平反転、垂直反転、前後反転、角度、回
転、２次元座標上あるいは３次元座標上の歪み、あるい
は、これらを組み合わせたもの等の変形情報と位置情報
とを関連付ける関連付け手段を備えた請求項１，請求項
２，請求項３，請求項４または請求項５記載の映像音響
再生システム。
【請求項９】動画ファイルを連続した静止画ファイル
に分解するとともにそれぞれの静止画を第１の静止画と
異なる第ｍの複数の静止画として番号を付加する手段を
備えた請求項１，請求項２，請求項３，請求項４または
請求項５記載の映像音響再生システム。
【請求項１０】音響を含む動画ファイルから音響情報
を動画と分離する動画音響分離手段と、前記動画ファイ
ルを連続した静止画ファイルに分解するとともにそれぞ
れの静止画を前記第１の静止画と異なる第２の複数の静
止画とし、静止画合成手段および合成再生制御手段によ
る映像処理によって再生した映像と前記動画ファイルか
ら分離された前記音響情報とを一つの動画音響ファイル
にする動画音響合成手段とを備えた請求項１，請求項
２，請求項３，請求項４または請求項５記載の映像音響
再生システム。
【請求項１１】外部の音声を取り込む手段と、取り込
まれた外部の音響情報と映像処理によって合成再生され
た映像と動画ファイルから分離された音響情報とを一つ
の動画音響ファイルにする動画音響合成手段とを備えた
請求項１，請求項２，請求項３，請求項４または請求項
５記載の映像音響再生システム。
【請求項１２】第１の静止画を取り込む手段と、取り
込まれた前記第１の静止画の一部をマスクする手段とを
備えた請求項１，請求項２，請求項３，請求項４または
請求項５記載の映像音響再生システム。
【請求項１３】静止画マスクの形状を複数設定する手
段を備えた請求項１２記載の映像音響再生システム。
【請求項１４】取り込まれた第１の静止画が複数の形
状の静止画マスクによってそれぞれマスクされた状態の
複数の被マスク静止画を表示する手段と、前記複数の被
マスク静止画の中から任意の被マスク静止画を選択する
手段とを備えた請求項１３記載の映像音響再生システ
ム。
【請求項１５】取り込まれた第１の静止画の一部がマ
スクされた状態の被マスク静止画を表示する手段と、前
記被マスク静止画をユーザが観察しながら前記ユーザの
取り込み位置あるいは表情などを適切に調整して決定す
る手段とを備えた請求項１２記載の映像音響再生システ
ム。
【請求項１６】被写体を撮影する撮影手段と、この撮
影手段とは別体で前記撮影手段による映像を表示する表
示手段とを備え、前記表示手段が前記被写体とともに移
動するように構成した請求項１，請求項２，請求項３，
請求項４または請求項５記載の映像音響再生システム。
【請求項１７】位置情報を使うとともに、第１の静止
画と３次元座標で構成された標準モデルを関連つけるモ
デル変換手段と、前記モデル変換手段によるモデル変換
の結果得られたモデルを任意の角度から観察した２次元
映像を生成する２次元映像生成手段と、前記２次元映像
を複数の第１の静止画として背景となる複数の静止画に
合成する合成手段とを備えた請求項１，請求項２，請求
項３，請求項４または請求項５記載の映像音響再生シス
テム。
【請求項１８】第１の静止画の数、種類に応じて関連
付ける動きデータを選択する手段を備えた請求項１，請
求項２，請求項３，請求項４または請求項５記載の映像
音響再生システム。
【請求項１９】任意の再生許可手段と、前記再生許可
手段による許可情報によって合成映像の順次再生を開始
する手段を備えた請求項１，請求項２，請求項３，請求
項４または請求項５記載の映像音響再生システム。
【請求項２０】任意の第ｎの静止画とこれに関連つけ
られた任意の複数の位置情報を選んで背景となる第ｍの
複数の静止画とを再生順序を組み合わせて再生する手段
あるいは、前記再生を繰り返す手段を備えた請求項４記
載の映像音響再生システム。
【請求項２１】背景となる映像をディスクの第１レイ
ヤに記録するとともに位置情報を第２レイヤに分別して
記録する記録手段を備えた請求項１，請求項２，請求項
３，請求項４または請求項５記載の映像音響再生システ
ム。
【請求項２２】ディスクの第１レイヤに記録された背
景となる映像を第２レイヤに記録された位置情報に基づ
いて順次再生する再生手段を備えた請求項１，請求項
２，請求項３，請求項４または請求項５記載の映像音響
再生システム。
【請求項２３】背景となる映像をディスクの第１レイ
ヤに記録するとともに位置情報あるいは、第１の静止
画、あるいは前記第１の静止画の中のオブジェクトの大
きさ、水平反転、垂直反転、前後反転、角度、回転、２
次元座標上あるいは３次元座標上の歪み、あるいは、こ
れらを組み合わせたもの等の変形情報を第２レイヤに分
別して記録する記録手段を備えた請求項８記載の映像音
響再生システム。
【請求項２４】ディスクの第１レイヤに記録された背
景となる映像を第２レイヤに記録された情報に基づいて
順次再生する再生手段を備えた請求項８記載の映像音響
再生システム。
【請求項２５】合成映像の内の任意の静止画をプリン
ト出力するプリント手段を備えた請求項１，請求項２，
請求項３，請求項４または請求項５記載の映像音響再生
システム。
【請求項２６】合成後の静止画を第２または第ｍの静
止画の一つとして扱うことを特徴とする請求項１，請求
項２，請求項３，請求項４または請求項５記載の映像音
響再生システム。
【請求項２７】合成後の動画を動画ファイルの一つと
して扱うことを特徴とする請求項９記載の映像音響再生
システム。