JPH09219836A - 画像情報記録方法と画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 再生デジタル動画像中の動く特定部分を別の
画像と連続的に画面合成するには別の画像を再生動画像
に合わせて３次元的に演算必要があるが、この演算デー
タの生成を容易にすることを目的とする。 【解決手段】 演算用データが予め記録された媒体の再
生信号から演算用データを遅滞なく同時に検出して別の
画像データを再生動画像に各場面毎に同期して演算し同
様に検出したキーデータにて合成する特定部分を決定し
て精度の高い画像合成を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】動画像をデジタル信号に変換
し記録再生するビデオＣＤやデジタルビデオディスク
（以下ＤＶＤと呼ぶ）において、利用者が任意に入力す
る別の画像を再生画像に合成することによって、新たな
動画像を創造するための画像情報記録方法と画像合成装
置に関するものである。

【０００２】

【従来の技術】最近、動画像をデジタル処理し、デジタ
ル信号として記録再生する記録再生装置が注目をあびて
きている。これらは、デジタル処理によって、高い記録
密度、すぐれた信号再現性と信号を加工しやすいという
利点を有している。

【０００３】従来、主としてアナログ信号において、２
つの画像を合成する手段としてスーパーインポーズやク
ロマキー等と呼ばれる手段があった。しかしこれらの手
段では固定した場所、背景の画像合成はできても、例え
ば動く主人公の顔のような動画像の特定部分を連続して
入替えたり合成することはできなかった。それは動画像
の特定部分を連続して検出する手段及びその特定部分に
対応した第２の画像作成が複雑かつリアルタイムでは非
常に困難なためであった。これらも、動画像のデジタル
処理化によって、可能に成りつつある。

【０００４】

【発明が解決しようとする課題】しかしながら、デジタ
ル信号としての動画像の特定部分を連続的に別の動画像
と置換え又は変更するには画像の特定部分の検出及び置
換える画像を動画像の特定部分の向き等に合わせて３次
元変換し、画像合成をしなければならず、これらの処理
は大変複雑であった。また、画像の特定部分を表現する
何等の情報も記録されていなかった。

【０００５】本発明はこの点に鑑み、映像をデジタル信
号で記録再生する機器、例えばＤＶＤにおいて記録時に
連続して変化する動画像の特定部分を抜取るための情報
を予め同じ記録媒体に副デジタルデータとしてデジタル
動画信号と共に記録し、再生時においてはそれらの情報
に基づいて、信号処理を行い、再生動画信号に合成する
ことにより、画像合成を簡単に行えることを目的とする
ものである。

【０００６】

【課題を解決するための手段】この課題を解決するため
に本発明は、デジタル動画信号の各映像フレーム毎にデ
ジタル動画信号の特定部分を抜取るキーデータと特定部
分を表現する３次元データとを副デジタルデータとして
デジタル動画信号の所定の区間毎に挿入する画像情報記
録方法で記録された記録媒体を再生する画像合成装置で
あって、デジタル動画信号を元の映像信号に復元する第
１復元手段と、副デジタルデータを抽出してキーデータ
と３次元データとに復元する第２復元手段と、デジタル
映像信号を入力し蓄えるメモリと、メモリのデジタル映
像信号を３次元データによって演算し２次元映像を作成
する映像演算手段と、第１復元手段の出力をキーデータ
で抜取り、２次元映像信号と合成する合成手段とを備え
たものである。

【０００７】これにより、記録過程において特定部分を
抜取るキーデータ及びその３次元データを動画像と共に
記録されているので、再生器側で画像合成のために必要
なキーデータや３次元データを作成せずにすみ、再生過
程で画像合成を簡単にすることができる。

【０００８】更に再生器側で画像合成の過程で発生する
動画像と第２の２次元画像との時間のずれに対しては、
あらかじめずれを補正するタイミングデータを記録時に
挿入することで解決できる。

【０００９】本発明は上記した構成により再生器側では
記録済媒体から読取った３次元データで第２の画像デー
タを３次元処理し、同キーデータで動画像上の特定位置
を決定して前記３次元処理後の第２の画像を動画像上に
合成する。

【００１０】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像情報記録方法であって、デジタル動画信号の各
映像フレーム毎にデジタル動画信号の特定部分を抜取る
キーデータと特定部分を表現する３次元データとを副デ
ジタルデータとしてデジタル動画信号の所定の区間毎に
挿入して記録媒体に記録するものであり、デジタル動画
信号の特定部分に関する情報がそのデジタル動画信号の
所定の区間毎に検知できうるという作用を有する。

【００１１】本発明の請求項２に記載の発明は、請求項
１に記載の画像情報記録方法で記録された記録媒体を再
生する画像合成装置であって、デジタル動画信号を元の
映像信号に復元する第１復元手段と、副デジタルデータ
を抽出してキーデータと３次元データとに復元する第２
復元手段と、デジタル映像信号を入力し蓄えるメモリ
と、メモリのデジタル映像信号を３次元データによって
演算し２次元映像を作成する映像演算手段と、第１復元
手段の出力をキーデータで抜取り、２次元映像信号と合
成する合成手段とを備えたものであり、請求項１の画像
情報記録方法によって検知できうるデジタル動画信号の
特定部分の情報からキーデータと３次元データとを復元
して、デジタル動画信号から復元した映像信号から特定
部分を抜き取り、別に入力されたデジタル映像信号を２
次元映像信号にして合成するという作用を有する。

【００１２】

【実施例】以下本発明の一実施例について、図面を参照
しながら説明する。

【００１３】図１は本発明の画像合成装置の第１の実施
例の回路構成を示すブロック図である。また、図２は本
発明の第１の実施例における画像情報記録方法の画像の
関係説明図、図３は画像情報記録方法の記録信号の構造
図である。

【００１４】まず、本発明の画像情報記録方法について
説明を行う。図２において、ａは動画像を構成する一場
面、ｂはその場面ａの特定部分を示すキーデータ、ｃは
特定部分の線画など３次元データ、ｄは３次元データｃ
の拡大画であって、ｅ、ｆは後述する画像合成装置に関
するもので、ｅは入力映像、ｆは最終的な合成出力画像
を示す。

【００１５】図３において、ａ、ｂ、ｃはそれぞれ図２
で示した一場面ａ、キーデータｂ、３次元データｃであ
り、複数のフレームをひとまとめとして取り扱い、この
単位をＧＯＰ（Ｇroup Ｏf Ｐicture）と言う。このＧ
ＯＰの単位でデータ列は、図３に示したｇのように、動
画像データ複数フレームをひとまとめとしてＭ、同様
に、キーデータ、３次元データの同数のフレーム分をひ
とまとめとしてＤ、そしてヘッダＨ、文字データＰ、音
声データＡなどと共にＧＯＰを構成する。さらにＤＶＤ
などでは伝送系の信号欠落を補うためのインターリーブ
がかけられ媒体に記録される。動画のデジタル記録再生
で画像データはある一定のまとまった単位毎に区切って
他のデータと共にストリームを構成している。その一例
として、画像の１５フレーム毎に一つのＧＯＰを構成す
る場合のデータ構造を、図３に示している。

【００１６】図２に示した場面ａの動画像は、図３に示
すＶ１〜Ｖｎにデジタル化され、これにヘッダＨ、文字
データＰ、音声データＡ等を加えた標準データストリー
ムとしてエンコードされ、連続的に記録媒体に記録され
る。後述するように、再生時にはこの逆動作を行なうデ
コーダ（本発明の画像構成装置を示す図１における第１
復元手段１）に依って元の動画像に復元される。

【００１７】本発明において、動画像の特定部分の場所
を表すのがキーデータであり、特定部分の立体的な座標
を線で連結したいわゆる線画像を表すのが３次元データ
である。この２つのデータを副デジタルデータとしてフ
レーム毎に作成し１５フレーム分まとめてＧＯＰ単位毎
に図３のデータ列ｇに示すように挿入され、記録され
る。例えば、副デジタルデータを作成する手段としては
動画像の特定部分にセンサを貼り付けて異なる角度から
複数の撮像機にて撮像すると共に、撮像機が受信するこ
のセンサの角度を検出して撮像した複数の画像データを
演算して生成したり、撮像した画像データをフレーム毎
に分析し特定部分の上記データを疑似的に演算生成する
方法や、初めから３次元データを生成して、コンピュー
タグラフィックスとして作成する方法なども考えられる
が、いずれの方法も従来技術で行うことができる。

【００１８】すなわち、本発明では、このような動画信
号の特定部分の情報を副デジタルデータとしてデジタル
動画信号と同時に記録することにより、再生時に新しい
機能を提供することができる。

【００１９】次に、このような画像情報記録方法で記録
された記録媒体を再生する画像合成装置の構成、動作の
説明を行う。

【００２０】図１において、入力端子６にはデジタル動
画信号に副デジタルデータが挿入された信号が入力さ
れ、第１復元手段１はデジタル動画信号を元の再生動画
像に復元する手段で、第２復元手段２は副デジタルデー
タを抽出し、動画像の特定部分の場所を表すキーデータ
と、特定部分の立体的な座標を線で連結したいわゆる線
画像を表す３次元データとに復元する。一方、第２の画
像は入力端子７に入力されメモリ３に映像データを蓄え
る。映像演算手段４はメモリ３の映像データを３次元デ
ータに依って方向や表情を演算し、２次元画像とし、合
成手段５は再生動画像からキーデータに依って必要な部
分を抜取り、２次元画像と合成する。

【００２１】図４は画像合成装置における第２の２次元
画像とそのデジタルデータの一例である。第２の画像
は、例えばデジタルカメラに依って簡単に生成できる
し、複数の画像をコンピュータで疑似的に合成すること
も可能である。

【００２２】このように第２の画像は、２次元データと
してデジタル化されメモリ３に蓄えられる。このメモリ
３は再生器の映像演算手段４に接続され、２次元映像信
号は、副デジタルデータに依って３次元演算され、動画
像の特定部分に対応した角度、大きさ、表情、周辺部分
への影響等を網羅した新たな２次元映像が生成される。
この新たな２次元映像信号は副デジタルデータのキーデ
ータと共に合成手段５に送られ再生動画像（図２のｆ）
に合成される。

【００２３】なお、第１の実施例では人物の顔を第２の
画像に置き換える場合を説明したが、図２、図３におい
て顔以外の部分のデータを新たに追加して記録すれば、
再生時に人物の顔以外の部分を同様の技術を活用して置
き換えることができることはいうまでもない。

【００２４】さらに、実施例においてビデオＣＤやＤＶ
Ｄの例を掲げたが、必ずしもこれに限らず、例えばカラ
オケ、ゲーム等においても同様の手段と原理によって今
までできなかった動画像を提供することができる。

【００２５】

【発明の効果】以上のように本発明は動画像の特定部分
を再現するための副デジタルデータを予め記録すること
に依って再生器では前記特定部分を置き換える別の画像
データを容易に生成し画像合成することができるので、
映画の主人公の顔を利用者の顔に置換えたり、背景画像
を別の背景に置換える等、利用者に密着した画像を提供
でき、その実施効果は大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像合成装置の
ブロック図

【図２】本発明の第１の実施例における画像情報記録方
法の画像の関係説明図

【図３】同、記録信号の構造図

【図４】同、第２の画像とデータ構造説明図

【符号の説明】

１ 第１復元手段 ２ 第２復元手段 ３ メモリ ４ 映像演算手段 ５ 合成手段 Ａ 音声データ Ｄ 副デジタルデータ Ｈ ヘッダ Ｍ 動画像データ Ｏ１ 正面画像データ Ｏ２ 上面画像データ Ｏ３ 側面画像データ Ｐ 文字データ Ｑ ヘッダ ａ 特定部分を含む人物画像 ｂ 動画像の特定部分 ｃ 特定部分の座標軸線画 ｄ ｃの拡大線画 ｅ 特定部分の画像 ｆ 合成出力画像

Claims (2)

【特許請求の範囲】
1. 【請求項１】 デジタル動画信号の各映像フレーム毎に
   前記デジタル動画信号の特定部分を抜取るキーデータと
   前記特定部分を表現する３次元データとを副デジタルデ
   ータとして前記デジタル動画信号の所定の区間毎に挿入
   して記録媒体に記録する画像情報記録方法。
2. 【請求項２】 請求項１に記載の画像情報記録方法で記
   録された記録媒体を再生する画像合成装置であって、デ
   ジタル動画信号を元の映像信号に復元する第１復元手段
   と、副デジタルデータを抽出してキーデータと３次元デ
   ータとに復元する第２復元手段と、デジタル映像信号を
   入力し蓄えるメモリと、前記メモリのデジタル映像信号
   を前記３次元データによって演算し２次元映像を作成す
   る映像演算手段と、前記第１復元手段の出力を前記キー
   データで抜取り、前記２次元映像信号と合成する合成手
   段とを備えた画像合成装置。