JP2000228758A - 映像再生装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】パッケージメディアによって提供される映像と
ユーザ自身が用意した映像とを合成して再生したり、そ
の合成映像と原画像とを切り替えながら再生するといっ
た自由度の高い映像再生を実現する。 【解決手段】記録媒体１には、通常の符号化画像と、対
象物を除いた背景画像の符号化画像の両方が記録されて
いる。第１のモードでは、通常の符号化画像の再生が行
われる。第２のモードでは、ユーザがカメラ装置４から
の入力したカメラ画像１４と記録媒体に記録されている
背景画像との合成が行われる。この場合、記録媒体１か
ら出力される多重化信号１０の内、映像符号化信号１３
に含まれる背景映像がデマルチプレクサ３を通して映像
復号化回路５に送られ、そこで背景映像の復号が行われ
る。復号化された背景画像上には映像合成回路８によっ
てカメラ画像１４が合成され、その合成画像が映像デー
タとして出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は記録媒体に記録され
た符号化映像を再生するための映像再生装置および記録
媒体に関する。

【０００２】

【従来の技術】近年、マルチメディア技術の発展によ
り、ＤＶＤに代表されるように、ユーザが気軽に楽しめ
るディジタル映像データの提供が可能になった。ユーザ
はマルチメディア関連の技術製品を購入し、プロバイダ
ーが提供するパッケージメディアの製品を購入・借用す
れば、自由にいつでもどこでもディジタル映像を再生し
て見ることができる。

【０００３】しかし、これらのパッケージメディアは再
生専用のものであり、よしんば、特殊な再生方法やマル
チアングルモードなどの提供があっても、それらはあく
までプロバイダーが提供する再生専用の映像のみであっ
た。

【０００４】したがって、パッケージメディアによって
提供される映像中の主人公の代わりにユーザ自身の映像
を合成して再生したり、その合成映像と原画像とを切り
替えながら再生するといった再生処理を行うことはでき
なかった。

【０００５】

【発明が解決しようとする課題】上述のように、従来で
は、パッケージメディアによって提供される映像はそれ
単独での再生のみを考慮して作成されているため、パッ
ケージメディアによって提供される映像とユーザ自身が
用意した映像とを合成して再生したり、その合成映像と
原画像とを切り替えながら再生することはできなかっ
た。

【０００６】本発明はこのような点に鑑みてなされたも
のであり、パッケージメディアによって提供される映像
を有効活用できるようにし、そのパッケージメディアに
よって提供される映像とユーザ自身が用意した映像とを
合成して再生したり、その合成映像と原画像とを切り替
えながら再生するといった自由度の高い映像再生を実現
することが可能な映像再生装置および記録媒体を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】上述の課題を解決するた
め、請求項１に係る本発明の映像再生装置は、記録媒体
に記録する映像を２種類にして、そのうちの一つは原映
像をそのまま符号化した第１の映像を、もう一つは背景
映像を符号化した第２の映像を用いている。そして、ユ
ーザーが用意した任意の第３の映像を合成したい場合
は、第２の映像を復号化して第３の映像と合成して出力
し、また通常の再生を行いたい場合は、第１の映像を再
生するようにしたものである。どちらの再生を行うか
は、映像再生装置に用意された第１および第２の２つの
モードを選択することによって決定される。したがっ
て、パッケージメディアによって提供される映像とユー
ザ自身が用意した映像とを合成して再生したり、その合
成映像と原画像とを切り替えながら再生することが可能
となる。

【０００８】また、請求項２に係る本発明は、前記符号
化された第１および第２の２つの映像データがシームレ
スに切り替え再生可能なように所定単位で交互に記録媒
体上に配置してあることを特徴とする。これにより、再
生処理中に合成映像と通常映像とを瞬時に画面の破錠な
く切り替えたり、あるいは異なる映像を切り替えながら
又は同時に再生すると云ったマルチアングル方式での再
生も実現できる。

【０００９】また、請求項３に係る本発明は、前記背景
映像が、前記符号化される原映像から所定の対象物を消
去することによって生成されたものであることを特徴と
する。

【００１０】また、請求項４に係る本発明は、合成映像
を生成するための前記合成情報を記録媒体に記録してお
き、前記第２モードでは、前記第２の背景映像と共に合
成情報を記録媒体から読み出すことを特徴とする。この
場合、合成情報は符号化対象の原映像を解析することに
よって得られ、原映像から対象物を消去することによっ
て第２の映像が作られている場合には、消去した対象物
の位置を示す情報が合成情報として用いられる。また、
記録媒体に記録される映像信号のフォーマットとして、
ＤＶＤビデオフォーマットのように、ビデオデータとそ
れに合成するサブピクチャデータとを含むフォーマット
を使用する場合には、合成情報はサブピクチャデータと
して記録媒体に記録しておくことができる。

【００１１】また、請求項７に係る発明は、前記第３の
映像からその背景領域と前景領域とを検出することによ
って、前記合成映像を生成するための合成情報を生成す
る手段をさらに具備し、第３の映像に対応する合成情報
を用いて合成処理を行うことを特徴とする。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１３】（第１実施形態）図１には、本発明の第１
実施形態に係る映像再生装置の構成が示されている。こ
の映像再生装置は、ＤＶＤのようなビデオデータ記録メ
ディアに符号化されて記録されている動画像を復号・再
生するためのものであり、図示のように、記録媒体を再
生するためのドライブ装置である記録媒体再生装置１、
その記録媒体再生装置１の再生制御を行う媒体制御回路
２、記録媒体から出力された多重化データ１０を分配す
るデマルチプレクサ３、外部から動画映像を取り込むた
めのカメラ装置４、記録媒体に記録されている符号化さ
れた映像１３を復号化する映像復号化回路５、カメラ４
から入力された映像データのうちある対象物と背景画像
の境界を検出するクロマキー検出回路６、クロマキー検
出回路６からの出力または記録媒体に記録された合成情
報１２を切り替えるセレクタ７、映像復号化回路５から
の信号１５とカメラ映像１４を合成する映像合成回路
８、および本装置全体を制御する制御回路９から構成さ
れている。

【００１４】また、図１中、１０は記録媒体に記録され
た原画像をそのまま符号化したデータ、原画像から任意
の対象物を除いた背景画像を符号化したデータ、および
合成に必要な情報などが多重された信号である。１１は
記録媒体に記録されているカメラ制御情報である。１２
は記録媒体に記録されていた合成情報であり、１３は記
録媒体に記録されていた映像符号化信号である。１４は
カメラ装置４から出力されるカメラ画像信号であり、１
５は映像復号化回路５からの映像復号化信号である。１
６はカメラ画像信号１４をクロマキー検出回路６で検出
することによりそのクロマキー検出回路６から出力され
るキー信号であり、対象物画像と背景画像の境界を示
す。１７は７のセレクタ回路で選択された、合成画像を
生成するための合成情報である。

【００１５】記録媒体には、原画像をそのまま符号化し
た映像データと、原画像から任意の対象物たとえば人物
像を除いた残りの背景画像のみを符号化した背景画像デ
ータとが映像符号化信号として記録されている。さら
に、背景画像とカメラ画像との合成画像を生成するのに
必要な合成情報やカメラ制御情報も記録されている。

【００１６】本映像再生装置においては、記録媒体の映
像を再生するためのモードとして、第１および第２の２
つのモードが用意されている。第１のモードは、記録媒
体に符号化して記録されている原画像をそのまま再生す
るという通常再生のためのモードであり、また第２のモ
ードは、記録媒体に符号化して記録されている背景画像
と、カメラ画像とを合成して再生するモードである。こ
れらモードはユーザによるボタン操作やモード設定処理
によって切り替えることができる。

【００１７】第１のモードでは、記録媒体からは多重化
信号１０に含まれる信号の内、映像符号化信号１３に含
まれる原画像がデマルチプレクサ３を通して映像復号化
回路５に送られ、そこで原画像の復号が行われる。ま
た、制御回路９によって映像合成回路８は合成を行わな
いモードに設定され、映像復号化回路５で復号された原
画像の復号化映像信号１５がそのまま映像合成回路８か
ら表示用の映像データとして出力される。

【００１８】第２のモードでは、ユーザがカメラ装置４
からの入力したカメラ画像１４と記録媒体に記録されて
いる背景画像との合成が行われる。この場合、記録媒体
から出力される多重化信号１０の内、映像符号化信号１
３に含まれる背景映像がデマルチプレクサ３を通して映
像復号化回路５に送られ、そこで背景映像の復号が行わ
れる。復号化された背景画像上には映像合成回路８によ
ってカメラ画像１４が合成され、その合成画像が映像デ
ータとして出力される。また、背景画像とカメラ画像と
の合成を制御するための合成情報としては、記録媒体に
記録されている合成情報、またはクロマキー検出回路６
から出力されるキー信号が用いられる。記録媒体に記録
されている合成情報を使用する場合には、記録媒体から
出力される多重化信号１０から合成情報１２がデマルチ
プレクサ３を通して取り出され、その合成情報１２がセ
レクタ７を介して映像合成回路８に入力される。映像合
成回路８では、画面を構成する各座標位置毎に背景画像
とカメラ画像のどちらか一方が選択される。合成情報１
２は、記録媒体に記録すべき原画像を解析処理すること
によって予め生成されたものであり、原画像から消去し
た人物等の位置や、背景画像とカメラ画像との合成比率
の情報などを含む。この合成比率の情報に基づいて映像
合成回路８ではカメラ画像の拡大・縮小等の処理が行わ
れ、そして、原画像から消去した人物等の位置情報に基
づいて、背景画像とカメラ画像のどちらを選択するかが
決定される。

【００１９】また、多重化信号１０の中で合成に必要な
ズーム・パンなどのカメラ制御情報１１はデマルチプレ
クサ３を通してカメラ装置４に送られ、このカメラ制御
情報１１に基づいて合成用のカメラ画像１４が得られ
る。カメラ制御情報１１も、記録媒体に記録される原画
像を予め解析処理することによって得られたものであ
る。

【００２０】また、記録媒体に記録されている合成情報
１２を使用しなくても、つまり、記録媒体に合成情報１
２が記録されていなくても、背景画像とカメラ画像との
合成画像を生成することができる。その場合は、カメラ
画像１４をクロマキー検出回路６に入力することによ
り、カメラ画像１４からその背景領域と前景領域（合成
する対象画像）を検出し、その境界を示すキー信号１６
を生成する。検出されたキー信号１６はセレクタ７で選
択され、合成情報１７として映像合成回路８に入力され
る。そして、記録媒体に記録された符号化した背景画像
が復号化回路５で復号化され、カメラ画像１４内の対象
物だけが背景画像上に合成されるように、カメラ画像１
４と合成処理が映像合成回路８にて行われる。

【００２１】また、符号化した原画像と符号化した背景
画像は、図２で示すようなマルチアングルフォーマット
で記録媒体に記録しておくことが好ましい。この場合、
符号化した原画像と符号化した背景画像は、それらがシ
ームレスに切り替え再生可能なように、所定の単位再生
時間あるいは所定のデータサイズ単位で交互に配置され
る。図２においては、第１アングルの映像データ（アン
グル１情報）として原画像の符号化データが記録され、
第２アングルの映像データ（アングル２情報）として背
景画像の符号化データと前述のカメラ制御情報および合
成情報とが記録されている場合が示されている。

【００２２】このように符号化した原画像と符号化した
背景画像とをマルチアングルフォーマットで記録媒体に
記録しておくことにより、合成画像と通常の映像を瞬時
に画面の破綻なく切り替えるシームレス再生や、これら
の２つ以上の映像を同時に再生するマルチ画面での再生
が可能になる。また、このように記録媒体に原画像と背
景画像がマルチアングル再生が可能な配置で記録される
と、原画像と合成画像をシームレスに切り替えて再生が
可能なように制御回路９は、記録媒体制御回路２と映像
合成回路８を制御する。また、マルチアングル方式で再
生を行う場合も同様に制御回路９は、記録媒体制御回路
２と合成回路８を制御する。すなわち、たとえば映像を
シームレスに切り替える場合は、現在記録媒体から順番
に読み出している第１アングルおよび第２アングルの一
方の映像データを、その一方のデータの最終読み出し位
置に対応する第１アングルおよび第２アングルの他方の
映像データに切り替えて順次記録媒体から読み出すよう
にし、またこれに合わせて映像合成回路８による合成動
作の許可／禁止の制御を行えばよい。また、マルチ画面
での再生を行う場合には、記録媒体から第１アングルお
よび第２アングルの双方の映像データを連続して読み出
し、第１アングルの映像データについては合成せずにそ
のままその復号データを表示用映像データとして出力す
るようにし、第２アングルの映像データについてはその
復号結果とカメラ画像とを映像合成回路８にて合成して
出力する。

【００２３】図３には、図１で説明した記録媒体にデー
タを記録するシステムの構成例が示されている。

【００２４】このシステムは、入力動画像信号（原画像
信号）を用いて原画像と背景画像の２種類の符号化デー
タを記録媒体に記録する第１モードと、別途入力される
背景画像とカメラ画像とを用い、その合成画像を符号化
したものを原画像の符号化データとして、また背景画像
を符号化したものを原画像に対応する背景画像として記
録する第２モードとを有している。

【００２５】図３の４〜１６までは図１の４〜１６と同
じ機能構成である。図３の２６は背景画像を生成する回
路であり、２５は外部から入力される原画像から、任意
の対象物の解析を行う解析回路である。２７は入力され
た原画像から任意の対象物を消去する加工回路である。
２８は原画像や合成画像を符号化する符号化回路で、２
９は背景画像を符号化する符号化回路である。３０は記
録媒体に入力信号を記録する装置である。３１は背景生
成回路２６から生成された背景画像である。３２はカメ
ラ装置４から出力されるカメラ制御情報であり、３３は
解析回路２５で任意の対象物の解析を行い、その対象物
を消去し、さらに再生側では合成情報となる消去情報で
ある。３４は解析回路２５で入力原画像の解析を行った
結果の解析情報であり、再生側ではカメラ制御情報とな
る。３５は選択されたカメラ制御情報であり、３６は選
択された合成情報である。３７はカメラ画像１４と背景
画像３１を合成した合成画像と、外部から入力した原画
像を選択した信号である。３８は加工回路２７の出力で
ある入力原画像から対象物を消去した背景画像と、背景
生成回路２６で生成された背景画像３１を選択した信号
である。３９は記録媒体に記録する選択信号である。５
０は外部から入力される原画像であり、５１は記録媒体
に記録する画像や情報を切り替えるセレクタである。

【００２６】以下に記録媒体に記録する方法について説
明する。

【００２７】まず、第１のモードで、外部から入力され
る原画像を使用して記録を行う場合を説明する。

【００２８】図３に示す外部から入力される原画像信号
５０が、セレクタ５１で選択され符号化回路２８に入力
されて符号化される。そして、この符号化データが記録
装置３０によって記録媒体に記録される。同時に、原画
像信号５０から消去する対象物が加工回路２７で消去さ
れ、これにより生成された背景画像がセレクタ５１で選
択され、符号化回路２８に入力されて符号化される。そ
して、この符号化データが記録装置３０によって記録媒
体に記録される。この場合、解析回路２５では、入力原
画像５０を入力して対象物の解析を行うことにより、消
去対象の対象物の位置を示す消去情報３３と、消去した
対象物のズームの度合い等を示す解析情報３４が生成さ
れる。消去情報３３は、加工回路２７に送られ、加工回
路２７ではその消去情報３３に従って対象物が消去され
る。対象物を消去した背景画像は、セレクタ５１で選択
され、符号化回路２９に入力されて符号化される。さら
に、解析回路２５で解析した解析情報３４と、加工回路
２７に送った消去情報３３は、セレクタ５１で選択さ
れ、カメラ制御情報３５および合成情報３６として記録
媒体に記録される。

【００２９】上記２つの符号化データならびにカメラ制
御情報や合成情報は、図２で示すようなマルチアングル
フォーマットで記録媒体に記録される。

【００３０】次に、第２のモードで記録する場合につい
て説明する。

【００３１】第２のモードは、カメラ画像１４と背景画
像３１とをクロマキー合成した合成画像を使用して記録
を行う方法である。図３のカメラ装置４からは、カメラ
画像１４とカメラ制御情報３２が出力される。カメラ制
御情報３２は、撮影中のカメラ装置４のズーム・パンな
どの情報である。カメラ画像１４は、クロマキー検出回
路６に入力され、そこでカメラ画像１４の対象物と背景
画像を分離するためのキー信号１６が生成される。背景
生成回路２６で生成された背景画像３１と、カメラ画像
１４が映像合成回路８に入力され、カメラ画像中の対象
物が背景画像３１上に合成される。合成された画像は、
セレクタ５１で選択され、符号化回路２８に入力されて
符号化され、その符号化データが記録媒体装置３０によ
り記録媒体に記録される。

【００３２】次に、背景生成回路２６で生成された背景
画像３１のみが符号化回路２９に入力されて符号化さ
れ、記録媒体装置３０によって記録媒体に記録される。
さらに、カメラ制御情報３２およびキー信号１６がそれ
ぞれセレクタ５１で選択され、カメラ制御情報３５およ
び合成情報３６として記録媒体装置３０により記録媒体
に記録される。

【００３３】上記の合成画像と背景画像は、図２で示す
ようなマルチアングルフォーマットで記録媒体に記録さ
れる。以上は第２の方法で記録媒体に記録する方法であ
る。

【００３４】なお、図３の解析回路２５は、任意の対象
物と背景画像の境界を検出できればどのような方法のも
のでも構わない。また、図３の加工回路２７も同様に、
原画像から任意の対象物を消去できればどのような方法
・構成を用いても構わない。

【００３５】次に、第１実施形態の応用例として、クロ
マキーカラオケ等として称されるシステムの構成例を図
４を用いて説明する。

【００３６】図４の２〜１７までは、図１と同じもので
ある。図４の２２は、ユーザの映像を撮影するためのス
タジオ（クロマキースタジオ）であり、２３は図１の記
録媒体再生装置１に相当するものであるが、ここでは光
ディスク再生装置を使用する場合を想定する。２４は映
像モニタである。

【００３７】図４では、記録媒体に光ディスクを使用
し、ユーザはクロマキースタジオ２２上でユーザ自身を
カメラ装置４によって写し、カメラ装置４から入力され
るユーザ自身の画像と、光ディスク上に記録された背景
画像との合成画像（クロマキー合成画像）が映像合成回
路８にて生成され、それがモニター２４で映される。光
ディスク上には、通常の符号化した原画像と、カメラ画
像を合成する符号化した背景画像が、シームレスに切り
替えられるよう図２で説明した形式で記録されており、
ユーザは好みに応じてクロマキー合成画像と原画像とを
マルチアングルモードなどのシームレスに切り替えなが
らモニター上で再生する。なお、第１の実施形態と同様
に、光ディスク上にある合成情報を用いて合成画像を生
成することも可能である。

【００３８】以上により、ユーザ自身をカメラ装置で写
し、光ディスクに記録されている背景画像と合成画像を
生成でき、さらに、通常の映像とのシームレスな切り替
え再生ができるクロマキーカラオケが行える。

【００３９】（第２実施形態）図５は本発明の第２実施
形態に係る映像再生装置の構成例である。

【００４０】図５の１〜１５までは、図１と同じもので
ある。図５の１８は映像復号化回路５から出力される映
像復号化信号を一定時間遅延させる遅延回路であり、１
９は映像復号化信号１５を解析する解析回路である。ま
た、２０は解析回路１９によって得られたカメラ装置４
制御用のカメラ制御情報信号であり、２１は解析回路１
９で得られた合成情報信号である。

【００４１】図５においては、記録媒体に記録されてい
るデータは、符号化された原画像と符号化された背景画
像のみである。記録媒体ではこれらの両方の信号を、映
像復号化回路５に送り映像復号化信号１５が生成され、
この信号は遅延回路１８と解析回路１９に入力される。
遅延回路１８の遅延時間は、解析回路１９の解析時間分
である。解析回路１９では、これらの映像復号化信号１
５からカメラ制御情報２０と合成情報２１が生成され、
カメラ制御情報２０はカメラ装置４に送られ、合成情報
２１は映像合成回路８に入力される。映像合成回路８で
は、合成情報２１に基づき、カメラ画像１４が映像復号
化信号１５内の背景画像上に合成される。

【００４２】解析回路１９では、たとえば原画像と背景
画像の差分を検出することにより対象物が切り出され、
その対象物の位置や大きさから合成情報が生成される。
この合成情報に従ってカメラ画像１４から対象物の画像
のみを切り出し、それを背景画像上の所定位置に合成し
たり、あるいはカメラ画像１４を拡大・縮小して背景画
像上の所定位置に合成することができる。また、カメラ
制御情報についても、切り出した対象物の像を解析する
ことなどにより生成することができる。

【００４３】なお、解析回路１９による解析処理は、必
要な合成情報を生成できればどのような方法を用いても
構わない。また、カメラ制御情報の生成も同様にどのよ
うな方法を用いても構わない。

【００４４】以上のように、本第２実施形態によれば、
たとえ記録媒体に合成情報や、カメラ制御情報が記録さ
れていなく、かつクロマキー検出回路がなくても、復号
化される画像を解析して必要な情報を生成し、合成画像
が生成できる。

【００４５】（第３実施形態）次に本発明の第３実施形
態について説明する。

【００４６】本第３実施形態は、ビデオデータとその画
面上に合成するサブピクチャデータとを規定したＤＶＤ
ビデオフォーマットなどの形式で符号化データを記録媒
体に記録する場合を想定している。図６に、第３実施形
態に係る映像再生装置の構成を示す。

【００４７】図６の１〜１７までは図１と同じものであ
る。また、図６の１８〜２１は図５と同じものである。
図６の４０は記録媒体から読み出されたサブピクチャ情
報をデコードする回路であり、４１は記録媒体から読み
出されるサブピクチャ情報である。

【００４８】記録媒体からは、サブピクチャ情報を含ん
だ多重化信号１０が出力される。サブピクチャとは、符
号化された映像データと比較して情報量が少なく、映像
復号化信号上にオーバーラップ表示される矩形領域の情
報である。このオーバーラップする矩形領域の情報は平
行移動ができ、図８のように左端のポイント（ｘ，ｙ）
を（ｘ′，ｙ′）に変更するだけで平行移動が可能であ
る。図８にサブピクチャ４２が復号化画面４３上を移動
する様子を示す。さらに、この矩形領域の変形や回転な
ども可能である。しかしながら、本実施形態では、この
サブピクチャを合成情報の記録および伝送に用い、サブ
ピクチャを画像として表示することはしない。

【００４９】これらサブピクチャは、記録媒体上には図
７で示すようなフォーマットで記録されており、符号化
された映像信号１３は、映像復号化回路５で復号化する
が、サブピクチャ情報はサブピクチャデコード回路４０
で復号化されて、背景画像との輪郭情報や、合成位置の
情報が取り出される。図７のフォーマットに示すように
サブピクチャ情報には、パターン（輪郭）情報、パター
ン制御情報、サブピクチャ位置情報、サブピクチャ領域
情報があり、これらの情報をデコードすることにより、
カメラ装置４からのカメラ画像１４をサブピクチャ情報
に従って映像合成回路８で合成を行うことができる。サ
ブピクチャデコード回路４０では、サブピクチャ情報を
デコードしてカメラ制御情報２０と合成情報２１を出力
し、カメラ装置４と映像合成回路８に送られる。さら
に、サブピクチャ情報にはカメラ画像１４を入力する際
の背景画像と対象画像の輪郭情報がビットマップデータ
として生成されており、映像合成回路８では、パターン
（輪郭）情報に従って画像を合成し、サブピクチャの矩
形領域内の輪郭領域以外の背景領域は、映像合成回路８
で透過処理を行えば、復号化した背景画像１５とカメラ
画像１４との合成画像が生成できる。また、輪郭情報の
移動・変形もサブピクチャと同様に行える。

【００５０】以上のようにサブピクチャ領域に合成映像
を生成するための合成情報を記録すれば、少ない情報量
で効率良く画像合成を行うとが可能となる。

【００５１】（第４実施形態）次に本発明の第４の実施
形態を説明する。

【００５２】図９は本発明の第４実施形態に係る映像再
生装置の構成図である。図９の１〜１７は図１と同じも
のである。図９の４４はユーザーから入力されるコンピ
ュータグラフィックス（以下ＣＧと称する）生成コマン
ドであり、４５はそのＣＧ生成コマンド信号をデコード
するＣＧデコード回路である。さらに、４６はＣＧ画像
を生成するＣＧ画像生成回路である。４７はＣＧデコー
ド回路４５から出力される合成情報であり、４８はＣＧ
デコード回路４５から出力されるＣＧ画像生成のための
コマンドであり、４９は生成されたＣＧ画像である。

【００５３】図９の記録媒体１には、通常の符号化した
映像と符号化した背景画像が記録されている。ユーザー
はＣＧ用生成コマンド４４を入力する。入力されたコマ
ンド４４はＣＧデコード回路４５によってデコードさ
れ、ＣＧ画像生成回路４６に対してはＣＧ生成のための
コマンドが送られ、映像合成回路８には合成情報４７が
送られる。ＣＧ画像生成回路４６は、入力されたコマン
ドに従ってＣＧ画像を生成し、映像合成回路８に出力す
る。また、合成情報４７は、セレクタ７で選択され映像
合成回路８に入力される。映像合成回路８では、記録媒
体１に記録されていた背景画像と、ユーザーが入力した
ＣＧ画像とを合成する。これらは第１の実施形態と同様
に、通常の符号化した映像と符号化した背景画像とのシ
ームレス再生が可能な配置で記録媒体１に記録されてい
る。さらに、第１の実施形態と同様に、記録媒体１上に
ある合成情報と、ＣＧデコード回路４５からの合成情報
４７とを選択的に合成情報として使用することが可能で
ある。

【００５４】以上のように、本発明ではカメラ画像以外
の画像、例えばＣＧ画像でも合成画像を生成することが
できる。

【００５５】なお、本発明は記録媒体については特に指
定はせず、符号化された映像情報が一定時間以上記録さ
れるものならば、何を使用しても構わない。さらに、第
１の実施形態や第３の実施形態にて図２や図７のフォー
マットを示したが、これらはあくまでも１つの例であり
必ずしもこのフォーマットで記録されている必要はな
く、ユーザーが使用する記録媒体に付随するフォーマッ
トであり、マルチアングルやシームレス再生が可能なよ
うな配置をしているものであればよい。また、第３の実
施形態にてサブピクチャを用いた例を説明したが、サブ
ピクチャを使用するシステムでかつ記憶媒体を用いるシ
ステムであればよい。また、本発明は図１を本発明の構
成図にしたが、本発明が実現しようとしている映像再生
装置ならば、たとえ図１のような構成でなくても構わな
い。さらに、本発明の各実施形態においては、ユーザー
が合成を行うための画像を通常の映像信号としたが、ユ
ーザーが入力する画像は記憶媒体に記憶されている画像
情報でもよく、あるいは背景画像を検出し、合成情報を
生成できるような画像であれば、どのような画像でも構
わない。

【００５６】記録媒体から常に原画像と背景画像を同時
に読み出して、モードに応じて復号する画像を切り替え
たり、あるいはモードに応じて記録媒体から原画像と背
景画像を選択的に読み出すようにすることもできる。

【００５７】

【発明の効果】以上の説明のように本発明によれば、記
録媒体に記録する映像を２種類にして、そのうちの一つ
は原映像をそのまま符号化した第１の映像を、もう一つ
は背景映像を符号化した第２の映像とすることにより、
カメラ画像と背景画像との合成画像の再生と、通常の原
映像再生とを選択的に行うことが可能となる。合成情報
は、記録媒体上のものを使用しても、さらに、再生側で
その合成情報を生成することもできる。また、記録媒体
に通常の符号化した映像と符号化した背景画像とをシー
ムレス再生が可能な配置で記録すれば、通常の画像と合
成画像のシームレスな再生やマルチアングル等の再生が
可能になる。また、記録媒体に上記２つの符号化データ
を記録する際は、原画像を符号化して記録媒体に記録
し、次に、その原画像を解析して必要な処理を行い背景
画像を生成し、その背景画像を符号化して記録媒体に記
録する。その際に解析の結果であるカメラ制御情報や合
成情報等も同時に記録媒体に記録させる。このようにす
れば、記録媒体に通常画像と背景画像が記録され、記録
媒体の再生時には容易に合成画像と、合成画像と通常の
画像とのシームレス再生が得られる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る映像再生装置の構
成を示すブロック図。

【図２】同第１実施形態に係る映像再生装置で使用され
る映像信号記録フォーマットを示す図。

【図３】同第１実施形態に係る映像再生装置で使用され
る記録媒体に映像を記録する装置の構成を示すブロック
図。

【図４】同第１実施形態に係る映像再生装置の応用例を
示す図。

【図５】本発明の第２実施形態に係る映像再生装置の構
成を示すブロック図。

【図６】本発明の第３実施形態に係る映像再生装置の構
成を示すブロック図。

【図７】同第３実施形態で使用される映像信号記録フォ
ーマットを示す図。

【図８】同第３実施形態の映像再生装置におけるサブピ
クチャの動作を示す図。

【図９】本発明の第４実施形態に係る映像再生装置の構
成を示すブロック図。

【符号の説明】

１…記録媒体ならびに記録媒体装置、２…記録媒体制御
回路、３…デマルチプレクサ、４…カメラ装置、５…映
像復号化回路、６…クロマキー検出回路、７…セレク
タ、８…映像合成回路、９…システム制御回路、１０…
出力多重信号、１１…カメラ制御情報、１２…合成情
報、１３…映像符号化信号、１４…カメラ画像信号、１
５…映像復号化信号、１６…キー信号、１７…合成情報
信号、１８…遅延回路、１９…解析回路、２０…カメラ
制御情報、２１…合成情報、２２…クロマキースタジ
オ、２３…光ディスク再生装置、２４…モニタ、２５…
解析回路、２６…背景生成回路、２７…加工回路、２８
…符号化回路、２９…符号化回路、３０…記録媒体装
置、３１…背景画像、３２…カメラ制御情報、３３…消
去情報、３４…合成情報、３５…カメラ制御情報、３６
…合成情報、３７…原画像または合成画像信号、３８…
背景画像信号、３９…記録信号、４０…サブピクチャデ
コード回路、４１…サブピクチャ情報、４２…サブピク
チャ画面、４３…再生全画面、４４…入力ＣＧコマン
ド、４３…ＣＧデコード回路、４６…ＣＧ画像生成回
路、４７…ＣＧ合成情報、４８…ＣＧコマンド、４９…
ＣＧ生成画像、５０…入力原画像信号、５１…セレク
タ。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 記録媒体に記録された符号化映像信号を
   再生する映像再生装置において、 前記記録媒体には、第１の符号化された映像と、この第
   １の映像の背景映像である第２の符号化された映像とが
   記録されており、 通常再生のための第１モードが選択されたとき、前記記
   録媒体に記録されている前記第１の映像を復号化して再
   生する手段と、 外部入力される第３映像と前記記録媒体上の映像との合
   成映像を再生するための第２モードが選択されたとき、
   前記記録媒体に記録されている前記第２の映像を復号化
   し、この第２の復号化映像と前記外部入力される第３映
   像とを合成情報に基づいて合成して再生する手段とを具
   備することを特徴とする映像再生装置。
2. 【請求項２】 前記符号化された第１および第２の２つ
   の映像データは、それらがシームレスに切り替え再生可
   能なように所定単位で交互に記録媒体上に配置されてい
   ることを特徴とする請求項１記載の映像再生装置。
3. 【請求項３】 前記第２の符号化された映像として用い
   られる背景映像は、前記第１の符号化された映像を構成
   する原映像から所定の対象物を消去することによって生
   成されたものであることを特徴とする請求項１記載の映
   像再生装置。
4. 【請求項４】 前記合成情報は前記記録媒体に記録され
   ており、前記第２モードでは、前記第２の符号化された
   映像と共に前記合成情報が前記記録媒体から読み出され
   ることを特徴とする請求項１記載の映像再生装置。
5. 【請求項５】 前記第２の符号化された映像として用い
   られる背景映像は、前記第１の符号化された映像を構成
   する原映像から所定の対象物を消去することによって生
   成されたものであり、 消去した対象物の位置を示す情報が、前記合成情報とし
   て前記記録媒体に記録されていることを特徴とする請求
   項１記載の映像再生装置。
6. 【請求項６】 前記記録媒体に記録される映像信号のフ
   ォーマットとして、ビデオデータとその画面上に合成す
   るサブピクチャデータとを含む映像信号フォーマットが
   用いられており、 前記合成情報は、前記記録媒体上のサブピクチャデータ
   の領域に記録されていることを特徴とする請求項１記載
   の映像再生装置。
7. 【請求項７】 前記外部入力される第３の映像からその
   背景領域と前景領域とを検出し、その検出結果に基づい
   て前記合成情報を生成する手段をさらに具備し、 前記外部入力される第３の映像に対応する合成情報を用
   いて、前記第２の復号化映像と前記第３の映像との合成
   が行われることを特徴とする請求項１記載の映像再生装
   置。
8. 【請求項８】 第１の符号化された映像と、この第１の
   映像に対する背景映像である第２の符号化された映像と
   が、シームレスに切替え再生可能なように所定のデータ
   単位で交互に配置して記録されていることを特徴とする
   記録媒体。
9. 【請求項９】 前記第２の符号化された映像に対して外
   部入力される第３の映像を合成するために必要な合成情
   報がさらに記録されていることを特徴とする請求項８記
   載の記録媒体。