JPH1155620A - 動画合成システム - Google Patents

Abstract

(57)【要約】 【課題】 利用者がカメラの前で動くことを許容し、し
かも利用者の動作と背景画像とにインタラクティブ的な
関係を持たせて合成することができる動画合成システム
を提供すること。 【解決手段】 合成される画像の背景となる背景動画を
再生する背景動画再生手段（２０）と、利用者の映像を
撮影するカメラ（４Ｃ、４Ｒ、４Ｌ）と、前記背景動画
と前記利用者の映像とを合成する動画合成手段（２）
と、前記利用者の映像の撮影中に、利用者の移動位置を
指示する位置ポインタ（８）と、利用者の視線方向を指
定しつつ利用者の台詞を表示する字幕ポインタ（７）
と、前記利用者の映像と前記背景動画との合成画像を記
録するビデオテープレコーダ（３）とを有する構成とし
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カメラの前の利
用者を撮影して得られる映像と所定の動画映像とを合成
する動画合成システムに関する。

【０００２】

【従来の技術】従来より、利用者の静止画を撮影して、
所定の画像と合成し、シールやスタンプなどの形態で出
力する画像合成システムが知られている。この様なシス
テムにおいては、単に静的な画像が出力されるに過ぎ
ず、合成される背景画像を変えることによりバリエーシ
ョンを増やすことはできるものの、画面上での利用者の
構図は型にはまったものとなりがちであった。

【０００３】背景画として動画を用い、またその出力手
段として、ビデオテープなどを用いれば、静止画に比べ
てさらにバリエーションを増やすことができ、エンター
テインメント性を持たせることができるが、単に利用者
の画像と背景動画を合成するだけでは、両者の間にイン
タラクティブな関係が無いため、結局は型にはまった合
成画像が得られることになってしまう。

【０００４】

【発明が解決しようとする課題】この発明は、上記事情
に鑑み、利用者がカメラの前で動くことを許容し、しか
も利用者の動作と背景画像とにインタラクティブ的な関
係を持たせて合成することができる動画合成システムを
提供することを目的としている。

【０００５】

【課題を解決するための手段】上記課題を解決するた
め、本発明の動画合成システムは、合成される画像の背
景となる背景動画を再生する背景動画再生手段と、利用
者の映像を撮影する撮影手段と、前記背景動画と前記利
用者の映像とを合成する背景動画画像合成手段と、前記
利用者の映像の撮影中に、利用者の移動位置を指示する
移動位置指示手段と、前記利用者の映像と前記背景動画
との合成画像を記録する記録手段と、を有することを特
徴としている（請求項１に対応）。

【０００６】この様な動画合成システムによれば、利用
者が指示された移動位置に移動することにより、背景画
に対応した動きをすることになり、合成された画像にお
いては、利用者が背景画像に違和感無く溶け込むことに
なる。

【０００７】また、別の観点からは、本発明の動画合成
システムは、合成される画像の背景となる背景動画を再
生する背景動画再生手段と、利用者の映像を撮影する撮
影手段と、前記背景動画と前記利用者の映像とを合成す
る背景動画画像合成手段と、前記利用者の映像の撮影中
に、利用者の台詞を字幕として、背景画像とマッチする
位置に表示する表示手段と、前記利用者の映像と前記背
景動画との合成画像を記録する記録手段と、を有するこ
とを特徴としている（請求項２）。

【０００８】この場合には、利用者は単に字幕の位置に
目を向け字幕を読むだけで、合成された画像において
は、適切な位置に視線を向けて台詞を喋ることになる。

【０００９】また、さらに別の観点から見ると、本発明
の動画合成システムは、合成される画像の背景となる背
景動画を再生する背景動画再生手段と、利用者の映像を
撮影する撮影手段と、前記背景動画と前記利用者の映像
とを合成する背景動画画像合成手段と、前記利用者の映
像の撮影中に、利用者の移動位置を指示する移動位置指
示手段と、前記利用者の映像の撮影中に、利用者の台詞
を、合成される画像において利用者の視線が適切な方向
を向くような位置に、字幕として表示する表示手段と、
前記利用者の映像と前記背景動画との合成画像を記録す
る記録手段と、を有することを特徴としている（請求項
３）。

【００１０】さらに異なる観点から見た場合、本発明の
動画合成システムは、合成される画像の背景となる背景
動画を再生する背景動画再生手段と、利用者の映像を撮
影する撮影手段と、前記背景動画と前記利用者の映像と
を合成する背景動画画像合成手段と、前記利用者の映像
の撮影中に、合成された画像において利用者の視線が適
切な方向を向くように前記利用者の視線の位置をガイド
する視線位置指示手段と、前記利用者の映像と前記背景
動画との合成画像を記録する記録手段と、を有すること
を特徴としている（請求項４）。

【００１１】即ち、利用者は、視線位置指示手段にガイ
ドされるままに視線を移動させることにより、合成され
た画面では背景画と完全に対応した視線移動が行われ
る。

【００１２】なお、前記視線位置指示手段が、利用者が
喋る台詞を字幕として表示する字幕表示手段を兼ねるよ
うな構成とすることができる（請求項５）。

【００１３】また、上記の動画合成システムが所定の情
報入力手段を備える構成とし、前記所定の情報入力手段
により入力された情報に基づいて前記視線位置表示手段
が指示する前記利用者の視線の位置を補正することによ
り、合成された画像に於ける利用者の視線位置をより正
確なものとすることができる（請求項６）。

【００１４】この時、前記所定の情報入力手段により入
力された情報に基づいて前記視線位置指示手段により指
示される前記利用者の視線の位置を演算する演算手段を
有する構成とすることができる（請求項７）。

【００１５】前記利用者の身長が前記所定の情報入力手
段により入力されるようにすることができる。即ち、利
用者の身長に応じて視線位置を補正するような構成とす
ることができる（請求項８）。

【００１６】前記背景動画合成手段はクロマキー処理に
より、前記利用者の映像と前記背景動画とを合成するこ
とを特徴としている（請求項９）。

【００１７】また、前記背景動画再生手段が、複数のシ
ーンにそれぞれ対応した複数種の背景画像を再生するこ
とが可能な構成とし、前記複数の背景動画から利用者が
所望の映像を選択するための選択手段をさらに備える構
成とすることが好ましい（請求項１０）。

【００１８】前記記録手段に記録された合成画像を再生
する合成画像再生手段をさらに備えることにより、合成
された画像を直ちに利用者が確認することが可能となる
（請求項１１）。

【００１９】前記利用者の撮影中に、少なくとも前記背
景画像を表示するための、複数の表示装置を有する構成
とすることが可能である（請求項１２）。さらに、この
表示装置には、利用者の撮影中に利用者が演じる役の模
範演技の画像を合成して表示することも可能である。前
記撮影手段は複数のカメラを有し、前記複数のカメラの
うち少なくとも１つは移動可能な構成とすることが好ま
しい（請求項１３）。

【００２０】前記背景画像に対応した音声を再生する音
声再生手段を有する構成とすることもできる（請求項１
４）。また、前記利用者の撮影中に利用者の台詞を拾う
ための音声入力手段をさらに有する構成とすることもで
きる（請求項１５）。前記記録手段としてビデオテープ
レコーダを用いることができる（請求項１６）。

【００２１】

【発明の実施の形態】以下、図面を参照しつつ、本発明
の実施の形態について説明する。図１は、本発明の第１
の実施の形態の動画合成システム１００の構成を示す図
である。動画合成システム１００においては、背景画像
として、例えば人物が台詞を喋る画像を準備しておく。
そして、背景画像における人物の台詞と対応した台詞を
利用者が喋り、それを撮影して背景画像と合成すること
により、簡単なスキットなどを創り、記録媒体に記録す
ることができる。

【００２２】動画合成システム１００は、動画合成を行
う際に利用者が入る部屋１０を有する。部屋１０の内部
には、利用者を撮影するためのカメラ４Ｃ、カメラ４Ｒ
およびカメラ４Ｌが、部屋１０の後方（図中下側）の側
壁１０Ｂ、部屋１０の図中右側の側壁１０Ｒおよび部屋
１０の図中左側の側壁１０Ｌにそれぞれ取り付けられて
いる。

【００２３】カメラ４Ｃは、側壁１０Ｌから側壁１０Ｂ
を経て側壁１０Ｒに渡り円弧状に延設されたガイドレー
ル１上に移動可能に載置されている。カメラ４Ｃには図
示しない駆動機構が設けられており、後述する背景動画
に合わせて予め設定されている移動データに基づいてガ
イドレール１上を移動する。また、図２に示すようにカ
メラ４Ｃは、上下方向に角度を変えることができると共
に、図示しない機構によりカメラ４Ｃがレール１に沿っ
た可動範囲の中央に位置する時（即ち図１に示す位置の
時）には、図２に示すように上下方向に移動可能であ
る。

【００２４】カメラ４Ｒ、カメラ４Ｃおよびカメラ４Ｌ
はそれぞれズーム機構を備えており、遠隔制御により撮
影中にズーミングを行うことができる。なお、各カメラ
のズーミング動作は、後述する背景動画に合わせて予め
設定されているズーミングデータに基づいて実行され
る。

【００２５】動画合成システム１００においては、背景
画像とカメラ４Ｒ、カメラ４Ｃおよびカメラ４Ｌを用い
て撮影した利用者の動画像とをクロマキー処理により合
成する。このため、部屋１０の内部はクロマキー処理に
一般に好適とされているブルースクリーンとして構成さ
れている。なお、部屋１０の全ての壁面をブルースクリ
ーンにする必要はなく、カメラ４Ｒ、カメラ４Ｃ及びカ
メラ４Ｌの撮影画角範囲内のみがブルースクリーンとな
っていればよい。

【００２６】カメラ４Ｒ、カメラ４Ｃおよびカメラ４Ｌ
により撮影された画像はそれぞれ画像Ｒ、Ｃ、Ｌとして
合成用ワークステーション２に送られる。合成用ワーク
ステーション２には、背景画像も入力され、カメラ４
Ｒ、カメラ４Ｃおよびカメラ４Ｌにより撮影された画像
のいずれかが背景画像と合成され、画像Ｂとしてビデオ
テープレコーダ３に送られて、記録媒体であるビデオテ
ープに記録される。利用者が図２の状態で撮影された場
合の画像Ｒ、Ｃ、Ｌの例を図７、８、９に示す。

【００２７】なお、合成用ワークステーション２へ背景
画像を入力する画像入力手段としては、ビデオテープレ
コーダ、ビデオディスクプレーヤなどの画像再生装置
や、ケーブルテレビシステム、衛星放送システム等を利
用することができる。上記画像入力手段は、背景画像に
加えて、前述のズーミングデータ、カメラ４Ｃの位置を
設定するためのデータ、後述する字幕データ、位置デー
タおよび、利用者が演ずる役を役者が演じた模範デー
タ、音声データも合成用ワークステーション２に入力す
る。

【００２８】動画合成システム１００においては、上記
ビデオテープレコーダ３、合成用ワークステーション２
は部屋１０の後方壁１０Ｂより外側に設置されている。
これは、本システムにおいては利用者が部屋１０の中で
移動することを可能としているため、撮影に必要な装置
以外は部屋１０の外に出すようにしているためである。
なお、ビデオテープレコーダ３のテープ取り出し口は部
屋１０の内側に露出している。

【００２９】動画合成システム１００には、さらに、利
用者が画像をモニタするための確認用モニタが設けられ
ている。部屋１０の前方（図中上方）壁面１０Ｆには確
認用モニタ５Ｆ、側壁１０Ｒおよび１０Ｌには確認用モ
ニタ５Ｒ及び５Ｌが、そして後方壁面１０Ｂには確認用
モニタ５Ｃが取り付けられている。確認用モニタに表示
される画像は、背景画像と上述の模範データ、さらに上
述の字幕データを画像データに変換したものを合成した
画像となっている。従って、利用者は、確認用モニタに
表示された、役者によって演じられている振り付けを真
似ることにより、何度も練習することなく自分の役を容
易に演ずることができる。

【００３０】背景画像を図１１に示す画像Ａとした場合
の、模範データと字幕とを合成したものは、図１０に画
像Ｄとして示すような画像として表示される。撮影中に
は画像Ｄが、確認用モニタ５Ｒ、５Ｌおよび５Ｃに表示
される。この時ビデオテープレコーダ３に入力される画
像Ｂは図１２の用になる。画像Ｄにおいて表示されてい
る模範データが、画像Ｂにおいては利用者の画像に置き
換えられている。

【００３１】図２は、部屋１０を側壁１０Ｒの外側から
透視した図である。図２に示すように、カメラ４Ｃは比
較的低い位置に設置されている。一方、カメラ４Ｒおよ
び４Ｌは、それぞれ側壁１０Ｒおよび１０Ｌの、比較的
高い位置に取り付けられている。これは、カメラ４Ｒお
よび４Ｌがカメラ４Ｃの撮影画角の中に入らないように
するためである。

【００３２】確認用モニタ５Ｃは、ガイドレール１のや
や上方に設けられている。壁面１０Ｂはいずれのカメラ
４Ｒ、４Ｃ、４Ｌの画角にも入らないため、確認用モニ
タ５Ｂは低い位置でもよい。

【００３３】確認用モニタ５Ｒおよび５Ｌも図２に示す
ように比較的低い位置に設置されている。しかし、確認
用モニタ５Ｒおよび５Ｌはカメラ４Ｃがガイドレール１
上を移動すると、その画角内に入る可能性がある。この
ため、図１に示すように、確認用モニタ５Ｒおよび５Ｌ
のカメラ４Ｃ側には遮蔽板６Ｒおよび６Ｌが設けられて
いる。カメラ４Ｃがガイドレール１上を側壁１０Ｌ寄り
に移動した場合、確認用モニタ５Ｒはカメラ４Ｃから見
ると遮蔽板６Ｒの陰に隠れるようになっている。同様
に、カメラ４Ｃが図１中最も右寄りに移動した場合に
も、カメラ４Ｃから見て、確認用モニタ５Ｌが遮蔽板６
Ｌの陰に隠れる。なお遮蔽板６Ｒおよび６Ｌのカメラ４
Ｃ側の面もブルースクリーンとして構成されている。図
２においては、側壁１０Ｒに設置された確認用モニタ５
Ｒに表示された合成画像を側壁１０Ｒの外側から透視し
た場合の状態を示している。

【００３４】確認用モニタ５Ｆは、図２に示すように、
壁面１０Ｆの上方に設置されている。これは、壁面１０
Ｆの上方部分以外はカメラ４Ｃの撮影画角内に入るため
である。

【００３５】動画合成システム１００は、更に、字幕ポ
インタ７、位置ポインタ８、マイク９を有する。

【００３６】字幕ポインタ９は、部屋１０の壁面に字幕
を投影するための装置で、部屋１０の天井面１０Ｔに設
けられている。字幕ポインタ９は例えばレーザ光源を有
しており、投影する情報（上記字幕データ）に応じてレ
ーザ光を走査することにより、字幕あるいはその他の情
報を壁面に投影する。利用者は壁面に投影された字幕を
声を出して読むことで、背景画像に対応した台詞を喋る
ことができる。なお、詳しくは後述するが、字幕ポイン
タ９により投影される字幕を利用者が見ることにより、
利用者の視線が背景画像に対応した位置（高さおよび方
向）に来るようになっている。

【００３７】なお、通常３台のカメラ４Ｃ、４Ｒおよび
４Ｌは常に利用者の顔が見える位置から利用者を撮影す
るよう切り換えられるようになっている。従って、字幕
が投影される壁面は背景画像と合成される利用者画像を
撮影しているカメラの画角には入らない。

【００３８】なお、字幕ポインタ７は、利用者の台詞を
表示するだけでなく、利用者への指示、例えば、どのよ
うな表情をすればよいか、どのような演技をすればよい
かなどの情報を利用者に知らせるためにも利用すること
ができる。また、単に利用者の視線位置を指定するため
に用いることもできる。字幕の内容は背景画像に対応し
た字幕データとして保存されている。字幕データには各
字幕を表示する基準位置が含まれており、この基準位置
と、利用者が入力する身長データ（後述）に基づいて最
適な字幕の表示位置が演算され、字幕ポインタ７は、こ
の最適表示位置に当該字幕を表示するよう制御される。

【００３９】位置ポインタ８は、撮影中に利用者が部屋
１０のどの位置に移動すればよいのかを示すための装置
で、部屋１０の天井面に設けられている。位置ポインタ
８も、例えばレーザ光源を有しており、利用者の移動位
置（移動先）を、床面に光点を投影することにより、利
用者に知らせる。なお、利用者の移動位置は、背景画像
データに対応した位置データとして背景画像と共に入力
される。

【００４０】動画合成システム１００は、更に、スイッ
チパネル１１を有する。スイッチパネル１１には、後述
する画像の選択や、文字・数字を入力するためのキーが
設けられている。また、本システムが商用システムの場
合、料金挿入口もスイッチパネル１１上に設けることが
できる。図１および図２に示すようにスイッチパネル１
１は後壁１０Ｂのやや低い位置、かつ側壁１０Ｌ寄りに
設置されている。前述のように、後壁１０Ｌはいずれの
カメラの画角にも入らないため、スイッチパネル１１の
位置は後壁１０Ｂ上で、利用者が操作しやすい位置であ
ればどこでも良い。

【００４１】マイク９は、字幕ポインタ７により表示さ
れ利用者に読み上げられた台詞をビデオテープレコーダ
３に入力するため、部屋１０の天井に設置されている。
字幕ポインタ７、位置ポインタ８、マイク９は、必ずし
も天井に設置する必要はないが、カメラの画角から外れ
た位置にあることと、カメラの撮影可能範囲の全ての位
置に対して機能する必要があるため、本システム１００
においては好適な位置として部屋１０の天井に設置され
ている。

【００４２】動画合成システム１００は、更に、音声出
力手段としてスピーカ１２Ｌおよび１２Ｒを備えてい
る。スピーカ１２Ｌおよび１２Ｒは、背景画像に同期し
て再生される音を出力するためのものである。例えば、
背景画像に登場する人間の台詞や、効果音、音楽などが
スピーカ１２Ｌおよび１２Ｒから再生される。スピーカ
１２Ｌおよび１２Ｒは、カメラ４Ｌ、４Ｃ、４Ｒの画角
から外れるよう、図１および図２に示すように、壁面１
０Ｆの両端部上方に設置されている。

【００４３】図３は、動画合成システム１００の制御系
の概略を示すブロック図である。動画合成システム１０
０はシステム全体の動作を司る制御手段３０を有する。
制御手段３０には、スイッチパネル１１上の各種のキー
操作が入力される。また、スイッチパネル１１には料金
挿入口が設けられており、料金が挿入されると料金検出
器１１Ｃにより料金が挿入されたことが検出される。

【００４４】背景画像入力手段２０により入力された背
景画像、位置データ、字幕データはワークステーション
２において合成され、確認用モニタ５Ｆ、５Ｌ、５Ｒお
よび５Ｂに送られる。位置データおよび字幕データは、
制御手段３０にも送られ、制御手段３０は位置データお
よび字幕データに基づいて、位置ポインタ８および字幕
ポインタ７をそれぞれ制御して、字幕および移動位置を
投影する。

【００４５】カメラ４Ｃ、４Ｒおよび４Ｌは制御手段３
０の制御下で利用者を撮影し、その映像をワークステー
ション２に送る。なお、カメラ４Ｃ、４Ｒおよび４Ｌの
切り換えを行うための切換データが背景画像入力手段２
０よりワークステーション２に送られており、ワークス
テーション２では、切換データに基づいてカメラ４Ｃ、
４Ｒ、４Ｌからの画像信号を選択し、背景画像と合成し
てビデオテープレコーダ３へ出力する。

【００４６】ビデオテープレコーダ３は制御手段３０の
制御下で、ワークステーション２から送られてきた画像
信号を、マイク９からの音声信号と共にビデオテープに
記録する。なお、カメラ４Ｒ、４Ｌ、４Ｃのズーミング
データおよび移動データは、ワークステーション２を介
して制御手段３０へ入力される。制御手段３０は、上記
データに基づいて、カメラ４Ｃ、４Ｒ、４Ｌそれぞれの
ズーミング、および、カメラ４Ｃを移動させるための駆
動手段４０の制御も行う。なお、カメラ４Ｃ、４Ｒ、４
Ｌの切換え、カメラ４Ｃの移動は、背景画像撮影時のカ
メラワークに依拠しており、背景画像が撮影されたとき
と同じようにカメラ４Ｃ、４Ｒ、４Ｌを用いることによ
り、合成画像（画像Ｂ）において利用者と背景画像との
動きが一致する。

【００４７】図４は、動画合成システム１００による動
画合成処理を示すフローチャートである。この処理は、
利用者がビデオテープをビデオテープレコーダ３に装着
すると、制御手段３０により実行される処理である。Ｓ
１において制御手段３０は、料金検出器１１Ｃの検出結
果に基づいて、料金が挿入されたかどうかを判定する。
料金が挿入されていない場合には（Ｓ１：ＮＯ）、制御
手段３０は料金が挿入されるのを待つ。

【００４８】料金が挿入されると（Ｓ１：ＹＥＳ）、次
にシーン選択の処理を実行する。本動画合成システム１
００においては、背景画像入力手段２０は複数の背景画
像を有しており、この中から選択的に画像をワークステ
ーション２に入力することができる。Ｓ３のシーン選択
処理では、利用者に利用可能な複数のシーン（背景画
像）のうちいずれかを選択するよう要求する。複数のシ
ーンは、例えば確認用モニタ５Ｂ等にタイトルをリスト
表示したり、シーンを示す画像（静止画あるいは動画）
を表示したりして利用者に知らせることができる。利用
者は複数のシーンの中から所望のものを、スイッチパネ
ル１１を用いて選択する。

【００４９】利用者がシーンを選択すると、制御手段３
０はＳ５において、選択されたシーンに共演者が含まれ
るか否かを判定する。すなわち、背景画像の内容が、利
用者の演ずることになる役のみを除いたスキットで、他
の人物が背景画像中に登場して利用者と対話するように
なっているような場合、合成された映像（すなわち、利
用者の映像と背景画像が合成された映像）において利用
者がうまく他の人物と対話する様子が現れるように、利
用者の視線などを調整する必要がある。

【００５０】このため、Ｓ５において、他の人物（共演
者）が背景画像中に登場するか否かの判定を行い、共演
者がある場合には（Ｓ５：ＹＥＳ）、利用者に身長を入
力するよう要求する。すなわち、例えば音声や確認用モ
ニタ等を用いて利用者にメッセージを伝えることにより
利用者に身長を入力するよう求める。利用者は、身長入
力が必要な場合（即ち共演者有りと判定された場合）、
Ｓ７において、スイッチパネル１１上のキーを利用して
自分の身長を入力する。制御手段３０は入力された身長
に基づき補正量を演算する。なお、共演者がいない場合
には（Ｓ５：ＮＯ）、Ｓ７の処理はスキップされる。

【００５１】制御手段３０は、Ｓ９において、利用者が
スイッチパネル１１上のスタートボタンを操作したかど
うかを判定する。スタートボタンが操作されると（Ｓ
９：ＹＥＳ）、制御手段３０は、まずリハーサルを実行
する（Ｓ１１）。スタートボタンが操作されない限り処
理はＳ９でスタートボタンの操作を待ち続ける。なお、
この実施の形態においては、スタートボタンの操作によ
ってのみ処理が進行するようになっているが、例えば、
タイマーを用いて、所定時間以上スタートボタンが操作
されない場合に自動的に次のステップへ処理が進められ
るようにしても良い。もしくは、所定時間以上スタート
ボタンが操作されない場合、処理を中断し、料金を返還
するようにしても良い。

【００５２】Ｓ１１のリハーサルでは、利用者の選択し
た背景画像が背景画像入力手段２０からワークステーシ
ョン２に入力され、合成用ワークステーション２は、確
認用モニタ５Ｆ、５Ｂ、５Ｒおよび５Ｌに対し、背景画
像と模範データおよび字幕データを合成した確認用の画
像（画像Ｄ：図５参照）を出力すると共に、音声をスピ
ーカ１２Ｌ、１２Ｒより出力する。また、上記と同時
に、位置ポインタ８、字幕ポインタ７を制御して利用者
の移動位置および利用者の台詞を部屋１０の壁面に投影
する。また、背景画像に応じてカメラ４Ｃ、４Ｒ、４
Ｌ、およびカメラ４Ｃを移動させるための駆動手段４０
の制御も行われる。利用者は、位置ポインタ８により床
に投影された移動位置に移動し、字幕ポインタ７により
壁面に投影された字幕を読むことにより、自分の役を演
ずる。なお、振り付けは確認用モニタ５Ｆ、５Ｂ、５Ｒ
および５Ｌに表示されている模範演技を真似すればよ
い。

【００５３】リハーサルに於ける利用者の演技は、カメ
ラ４Ｃ、４Ｒ、４Ｌにより撮影され、合成用ワークステ
ーション２に映像信号（画像Ｃ、画像Ｒ、画像Ｌ）が送
られる。合成用ワークステーション２では、背景画像と
利用者の映像とを合成し、画像Ｂとしてビデオテープレ
コーダー３に送出し、ビデオテープに合成映像を記録す
る。この時、マイク９により利用者の音声もビデオテー
プレコーダ３に入力され、合成映像と共にビデオテープ
に記録される。

【００５４】上記のリハーサルが終了すると、制御手段
３０は、ビデオテープレコーダ３を制御してビデオテー
プを巻き戻し、リハーサルの様子をチェックするために
ビデオ再生を行う（Ｓ１３）。再生された画像は、ビデ
オテープレコーダ３から合成用ワークステーション２へ
一旦送られた後、確認用モニタ５Ｆ、５Ｂ、５Ｒおよび
５Ｌに送られ、表示される。利用者はこの時自分の演技
をチェックすることができる。

【００５５】Ｓ１３のリハーサルチェックが終了する
と、制御手段３０は、第１回目の撮影の待機状態とな
る。すなわちＳ１５において、利用者がスタートボタン
を操作するまでは第１回目の撮影は開始されず（Ｓ１
５：ＮＯ）、利用者がスタートボタンを操作すると（Ｓ
１５：ＹＥＳ）、１回目の撮影が行われる（Ｓ１７）。
Ｓ１７の処理は実質的にはＳ１１のリハーサルと同一の
処理である。そして、１回目の撮影が終了すると、制御
手段３０はビデオテープレコーダ３を制御して、１回目
の撮影分だけビデオテープを巻き戻し、１回目の撮影に
より録画された映像をチェックのため再生する（Ｓ１
９）。

【００５６】Ｓ１９の撮影結果のチェックが終了する
と、制御手段３０は、第２回目の撮影の待機状態とな
る。すなわちＳ２１において、利用者がスタートボタン
を操作するまでは第２回目の撮影は開始されず（Ｓ１２
１：ＮＯ）、利用者がスタートボタンを操作すると（Ｓ
１２１：ＹＥＳ）、２回目の撮影が行われる（Ｓ２
３）。Ｓ２３の処理も実質的にはＳ１１、Ｓ１７と同一
の処理である。そして、２回目の撮影が終了すると、制
御手段３０はビデオテープレコーダ３を制御して、２回
目の撮影に使用された分だけビデオテープを巻き戻し、
２回目の撮影により録画された映像をチェックのため再
生する（Ｓ２５）。

【００５７】２回目の撮影が終了すると、制御手段３０
はビデオテープレコーダ３を制御して、テープを排出
し、１回の動画合成処理を終了する。利用者が引き続き
同一のテープを用いて動画合成を行いたい場合には、排
出されたテープを再度ビデオテープレコーダ３に装着す
ることにより図４の処理を開始させることができる。

【００５８】なお、本実施の形態においては、利用者が
ビデオテープをビデオテープレコーダ３に装着すること
により処理が始まる形態となっているが、予めビデオテ
ープレコーダ３にビデオテープが装着されており、制御
手段３０は料金挿入の待機状態（Ｓ１でＮＯの判定を繰
り返している状態）となっているようにしても良い。

【００５９】本実施の形態では料金挿入が必要となって
いるが、料金を必要としないシステムを構築することも
可能である。この場合、例えば図４におけるＳ１を省略
し、Ｓ３でシーンが選択されるまで待機状態を継続する
ようにすれば良い。

【００６０】上述の動画合成処理においては、リハーサ
ルと、第１回および第２回の撮影処理が実質的に同一と
なっている。リハーサルの場合には利用者が自分の位置
や台詞の表示位置などを認識し、練習しやすくなるよう
に、画像の再生・停止を利用者が操作できるようにした
り、再生速度を遅くしたりすることができる構成とする
ことも可能である。またこの場合、リハーサルの時には
ビデオテープへの記録を行わないような制御とすること
も可能である。

【００６１】また、慣れた利用者に対して、リハーサル
のステップ（図４においてはＳ９〜Ｓ１３）をスキップ
することができるよう、シーン選択と同時にリハーサル
を行うか否かの選択ができるようにしても良い。この選
択もパネルスイッチ１１のキー操作により選択できる構
成とすることができる。

【００６２】また、リハーサル時に撮影された映像を、
次の第１回の撮影を行う前にビデオテープを巻き戻すこ
とにより、消去するような構成とすることも可能であ
る。

【００６３】また、シーンを選択する際に、同時に、利
用者がタイトルや名前、メッセージ等を入力することが
できるようにし、撮影された映像に、タイトル、メッセ
ージなども合成されるような構成としても良い。

【００６４】また、利用者のスイッチパネル１１の操作
により、各撮影の後のチェックのための画像再生をスキ
ップできるようにしても良い。あるいは、チェックのス
テップを行わない制御としてもよい。

【００６５】また、別の観点からは、実質的に同一の撮
影処理を３回実行していることになる。この撮影処理の
回数を選択可能としても良い。また、その場合、料金を
選択した撮影処理の回数に合わせて設定するようにして
もよい。あるいは、挿入された料金に応じて撮影処理の
回数が決定されるような制御とすることもできる。

【００６６】次に第２の実施の形態について図面を参照
して説明する。図５は第２の実施の形態の動画合成シス
テム１００Ｍの構成を示す図である。動画合成システム
１００Ｍは、第１の実施例の動画合成システム１００と
同じく部屋１０を有しており、部屋の内部はクロマキー
処理に好適なブルースクリーンとして構成されている。
なお、本実施の形態においては、スイッチパネルは遮蔽
板６Ｒの、カメラ４Ｃの反対側に設けられている。

【００６７】第２の実施の形態の動画合成システム１０
０Ｍは、字幕ポインタを有していない。また、確認用モ
ニタも備えていない。字幕ポインタおよび確認用モニタ
に変わるものとして、動画合成システム１００Ｍはプロ
ジェクタ６０Ｒ、６０Ｌを有する。

【００６８】プロジェクタ６０Ｌ、６０Ｒはそれぞれ側
壁１０Ｌおよび１０Ｒに向けて画像を投影するように、
部屋１０の天井に取り付けられている（図６参照）。側
壁１０Ｌおよび１０Ｒの、プロジェクタ６０Ｌ、６０Ｒ
により画像が投影される部分はブルースクリーンではな
くホワイトスクリーン６１Ｌ、６１Ｒとなっている（図
５、図６参照）。

【００６９】プロジェクタ６０Ｒ、６０Ｌからは画像
Ｄ、すなわち背景画像と模範データと字幕データとが合
成された画像が投影される。従って、動画合成システム
１００Ｍにおいては、利用者の視線は、スクリーン６１
Ｌまたは６１Ｒに表示される字幕により規定されること
になる。字幕の位置は、第１の実施形態の場合と同様利
用者の身長などの情報に基づいて補正するようにしても
よいし、プロジェクタ６０Ｌ、６０Ｒで投影する画像の
中での位置補正は処理が煩雑になるため、身長による補
正を行わないようにしても良い。

【００７０】カメラ４Ｃが図５に示す中央位置にある時
にカメラ４Ｃの画角内にスクリーン６１Ｌ、６１Ｒが入
るのを防ぐために、遮蔽板６Ｌ、６Ｒが設けられてい
る。遮蔽板６Ｌ、６Ｒのカメラ４Ｃ側の面はブルースク
リーンとなっている。なお、カメラ４Ｃはレール１上を
移動する。この時にはスクリーンがカメラ４Ｃの画角内
に入ることになる。例えば、カメラ４Ｃが図５の側壁１
０Ｌ側に移動すると、スクリーン６１Ｒがカメラ４Ｃの
画角に入る。しかし、常に利用者の顔が撮影されるよう
にカメラを移動するとすれば、カメラ４Ｃが側壁１０Ｌ
側に移動するのは利用者は側壁１０Ｌ側を向いている場
合であり、その場合にはスクリーン６１Ｒに画像Ｄを投
影する必要はない。このため、カメラ４Ｃを図５に示す
位置から側壁１０Ｌ側に移動した場合には、スクリーン
６１Ｒには画像Ｄを投影せず、青色の画像を投影するよ
うにしている。スクリーン６１Ｒはホワイトスクリーン
であるが、青色の画像をスクリーン６１Ｒに投影するこ
とにより、クロマキー処理の際にスクリーン６１Ｒが影
響を与えることは無い。カメラ４Ｃが側壁１０Ｒ側に移
動する場合にも、上記と同様の理由で、スクリーン６１
Ｌには画像Ｄではなく青色の画像が投影される。

【００７１】動画合成システム１００Ｍの動画合成処理
は、第１の実施の形態の場合と同様であるため、ここで
は説明を省略する。

【００７２】第２の実施の形態の動画合成システム１０
０Ｍは、プロジェクタ６０Ｒ、６０Ｌを用いることによ
り、第１の実施の形態と比較して簡単な構成となってい
る。カメラ４Ｃは移動可能となっているが、位置固定と
してもカメラ４Ｌ、４Ｒとの間で切換を行いつつ撮影を
進めれば、十分に変換に飛んだ映像を撮影することがで
きる。また、カメラ４Ｃを位置固定とすれば、レール１
が不要となるため、動画システム１００Ｍ全体をコンパ
クトな構造とすることができる。

【００７３】以上説明したように、本発明の動画合成シ
ステムによれば、利用者が背景画像（動画）の中で違和
感無く移動する映像を合成することができる。背景画像
中で演技をおこなっている別の人物と、あたかも実際に
対話を行っているような画像を合成することができる。
この時、利用者の視線を共演者の方向へ確実に向けさ
せ、しかも台詞を利用者に確実に知らせることもでき
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の動画合成システム
の構成を示す上面図である。

【図２】図１の動画合成システムの構成を示す側面図で
ある。

【図３】動画合成システムの制御系を示すブロック図で
ある。

【図４】動画合成システムの動作を説明するフローチャ
ートである。

【図５】本発明の第２の実施の形態の動画合成システム
の構成を示す上面図である。

【図６】図５の動画合成システムの構成の一例を示す側
面図である。

【図７】カメラ４Ｌで撮影された画像Ｌの一例を示す図
である。

【図８】カメラ４Ｃで撮影された画像Ｃの一例を示す図
である。

【図９】カメラ４Ｒで撮影された画像Ｒの一例を示す図
である。

【図１０】ワークステーションから確認用モニタに出力
される画像Ｄの一例を示す図である。

【図１１】背景画像入力手段からワークステーションに
入力される画像Ａの一例を示す図である。

【図１２】利用者の映像と背景画像とが合成された画像
Ｂの一例をを示す図である。

【符号の説明】

１００ 動画合成システム（第１の実施の形態） １００Ｍ 動画合成システム（第２の実施の形態） ２ 合成用ワークステーション ３ ビデオテープレコーダ ４Ｃ、４Ｒ、４Ｌ カメラ ５Ｃ、５Ｒ、５Ｌ 確認用モニタ ７ 字幕ポインタ ８ 位置ポインタ １１ スイッチパネル １１Ｃ 料金検出器 ２０ 背景画像入力手段 ３０ 制御手段 ４０ 駆動手段 ６０Ｒ、６０Ｌ プロジェクタ ６１Ｒ、６１Ｌ プロジェクタ用スクリーン

Claims (16)

【特許請求の範囲】
1. 【請求項１】 合成される画像の背景となる背景動画を
   再生する背景動画再生手段と、 利用者の映像を撮影する撮影手段と、 前記背景動画と前記利用者の映像とを合成する背景動画
   画像合成手段と、 前記利用者の映像の撮影中に、利用者の移動位置を指示
   する移動位置指示手段と、 前記利用者の映像と前記背景動画との合成画像を記録す
   る記録手段と、を有する動画合成システム。
2. 【請求項２】 合成される画像の背景となる背景動画を
   再生する背景動画再生手段と、 利用者の映像を撮影する撮影手段と、 前記背景動画と前記利用者の映像とを合成する背景動画
   画像合成手段と、 前記利用者の映像の撮影中に、利用者の台詞を、合成さ
   れる画像において利用者の視線が適切な方向を向くよう
   な位置に、字幕として表示する表示手段と、 前記利用者の映像と前記背景動画との合成画像を記録す
   る記録手段と、を有する動画合成システム。
3. 【請求項３】 合成される画像の背景となる背景動画を
   再生する背景動画再生手段と、 利用者の映像を撮影する撮影手段と、 前記背景動画と前記利用者の映像とを合成する背景動画
   画像合成手段と、 前記利用者の映像の撮影中に、利用者の移動位置を指示
   する移動位置指示手段と、 前記利用者の映像の撮影中に、利用者の台詞を、合成さ
   れる画像において利用者の視線が適切な方向を向くよう
   な位置に、字幕として表示する表示手段と、 前記利用者の映像と前記背景動画との合成画像を記録す
   る記録手段と、を有する動画合成システム。
4. 【請求項４】 合成される画像の背景となる背景動画を
   再生する背景動画再生手段と、 利用者の映像を撮影する撮影手段と、 前記背景動画と前記利用者の映像とを合成する背景動画
   画像合成手段と、 前記利用者の映像の撮影中に、合成された画像において
   利用者の視線が適切な方向を向くように前記利用者の視
   線の位置をガイドする視線位置指示手段と、 前記利用者の映像と前記背景動画との合成画像を記録す
   る記録手段と、を有する動画合成システム。
5. 【請求項５】 前記視線位置指示手段が、利用者が喋る
   台詞を字幕として表示する字幕表示手段を兼ねることと
   特徴とする請求項４に記載の動画合成システム。
6. 【請求項６】 所定の情報入力手段を備え、前記所定の
   情報入力手段により入力された情報に基づいて前記視線
   位置表示手段が指示する前記利用者の視線の位置を補正
   することを特徴とする、請求項４または５に記載の動画
   合成システム。
7. 【請求項７】 前記所定の情報入力手段により入力され
   た情報に基づいて前記視線位置指示手段が指示する前記
   利用者の視線の位置を演算する演算手段を有することを
   特徴とする、請求項６に記載の動画合成システム。
8. 【請求項８】 前記所定の情報入力手段により入力され
   る情報は前記利用者の身長であることを特徴とする請求
   項６または７に記載の動画合成システム。
9. 【請求項９】 前記背景動画合成手段はクロマキー処理
   により、前記利用者の映像と前記背景動画とを合成する
   ことを特徴とする請求項１から８に記載のいずれかの動
   画合成システム。
10. 【請求項１０】 前記背景動画再生手段は、複数のシー
    ンにそれぞれ対応した複数種の背景画像を再生すること
    が可能であり、前記複数種の背景動画から利用者が所望
    の動画を選択するための選択手段をさらに備えることを
    特徴とする請求項１から９のいずれかに記載の動画合成
    システム。
11. 【請求項１１】 前記記録手段に記録された合成画像を
    再生するための合成画像再生手段をさらに備えることを
    特徴とする請求項１から１０のいずれかに記載の動画合
    成システム。
12. 【請求項１２】 前記利用者の撮影中に、少なくとも前
    記背景画像を表示するための、複数の表示装置を有する
    ことを特徴とする請求項１から１１のいずれかに記載の
    動画合成システム。
13. 【請求項１３】 前記撮影手段は複数のカメラを有し、
    前記複数のカメラのうち少なくとも１つは可動であるこ
    とを特徴とする請求項１から１２のいずれかに記載の動
    画合成システム。
14. 【請求項１４】 前記背景画像に対応した音声を再生す
    る音声再生手段を有することを特徴とする請求項１から
    １３のいずれかに記載の動画合成システム。
15. 【請求項１５】 前記利用者の撮影中に利用者の音声を
    入力するための音声入力手段を更に有することを特徴と
    する請求項１から１４のいずれかに記載の動画合成シス
    テム。
16. 【請求項１６】 前記記録手段はビデオテープレコーダ
    を有することを特徴とする請求項１から１５のいずれか
    に記載の動画合成システム。