WO1998002001A1 - Method of encoding image information, its encoder, its decoding/synthesizing method, its decoder/synthesizer and recording medium on which those methods are recorded - Google Patents

Description

明 細 書

発明の名称

複数の画像情報の符号化方法、 符号化装置、 復号化 · 合成 方法、 復号化 · 合成装置および上記方法を記録 した記録媒体 技術分野

本発明は、 画像信号の圧縮符号化、 復号化に係 り 、 特に複 数の画像情報を圧縮符号化する方法、 その方法を用いた符号 化装置、 及び圧縮符号化された複数のデジタ ル画像データ を 復号化 し合成 （C o m p o s i I i o n )する方法、その方法を用 いた装置、 更にはそれ ら の方法を記録 した記録媒体に関する ものである。 背景技術

デジタル画像を効率よ く 蓄積も し く は伝送する には、 圧縮 符号化する必要がある。 デジタル画像を圧縮符号化するため の方法と して、 J P E Gや M P E G に代表さ れる離散コサイ ン変換 D C T ) のほかに、 サブバ ン ドやウ ェ アブ レ ッ ト 、 フ ラ ク タルな どの波形符号化方法がある。 また、 画像間の冗 長な信号を取 り 除 く には動き補償を用 いた画像間予測を行レ 差分信号を波形符号化する。

最近、 圧縮効率を向上させる と 同時に画像を構成する物体 単位の再生ができ るよ う に、 画像を構成する物体を別々 に圧 縮符号化 し伝送 し 、 再生側では、 それぞれの物体を復号化 し 、 再生 した物体を合成 し画像を表示する符号化、 復号化方法が 実施されている。 この符号化、 復号化方法は、 物体単位に符号化する こ とで、 物体を 自 由 に組み合わせて合成する こ と によ り 動画像を簡単 に再編集でき る特徴を有する。 また、 通信路の混み具合や再 生装置の性能、 視聴者の好みによ っ て、 比較的に重要でない 物体を再生 しな く て も、 動画像を見る こ と もできる。 すなわ ち 、 物体単位のスケー ラ ビ リ ティ が実現できる。

上記の機能を実現するために、 物体の合成を簡単に変更可 能である こ とが要求さ れる。 従来の技術では、 物体を合成す る ために必要な情報は、 各物体の圧縮符号化されたデ一夕 の 中 に付加されている。 一方、 合成情報と して物体の奥行き 、 配置や可視性な どがあ るが、 その物体の圧縮符号化 されたデ 一夕 の中 に こ の合成情報が付加される と、 合成の再編集や物 体単位のス ケー ラ ビ リ テ ィ を実現 しょ う とする と 、 圧縮符号 化さ れたデー タ を解祈 した後に、 合成情報に該当するデー夕 を変更 しなければな らない。 発明の開示

本発明は、 画像を構成する物体を別々 に圧縮符号化 し伝送 する場合、 その複数の画像情報を伝送 し、 それを受信 して、 その物体等の複数の画像情報の合成を行う 際に、 合成情報を 簡単に変更でき る よ う な符号化、 復号化 · 合成方法、 装置を 提供 し、 特に、 圧縮符号化さ れたデータ を解析せずに合成情 報を簡単に変更でき る こ と を 目的と している。

本願発明の画像符号化方法は、 複数の画像信号を入力 し、 こ の複数の画像信号のそれぞれに、 画像信号を識別するため の画像識別子を付加する。 そ して、 こ の複数の画像信号のい く つかを合成して 1 つの画像信号を構成する 目 的があ る場合 は、 その 目的に応じた合成を達成するための合成順序な どの 合成情報を作成する。 そ して、 少な く と も画像識別子が付加 された画像信号と、 合成情報を圧縮符号化する ものである。

その方法を用 いた符号化装置 と して、 複数の画像信号を入 力する画像入力手段と、 この複数の画像信号のそれぞれに、 画像信号を識別するための画像識別子を付加する識別子付加 手段と、 複数の画像信号を合成するための合成情報を出力す る合成情報作成手段と 、 · 識別子付加手段によ り 少な く と も画 像識別子が付加さ れたそれぞれの画像信号と 前記合成情報を 圧縮符号化する符号化手段と を有する画像符号化装置提供す る こ とができる。

また他の符号化方法と して、 符号化の際に、 1 つの画像を その画像の中にある複数の物体等の要素毎に分解する処理を して、 1 つの画像信号を複数の部分画像信号に分解 し、 こ の 部分画像信号のそれぞれに、 部分画像信号を識別するための 画像識別子を付加する。 そ して、 この部分画像信号の合成 し て 1 つの画像信号を再現でき る合成順序などの合成情報を作 成する。 そ して、 少な く と も画像識別子が付加された部分画 像信号と、 合成情報を圧縮符号化する ものである。

その方法を用 いた符号化装置と して、 1 つの画像信号が複 数の画像の合成で構成さ れる様に、 画像信号を複数の部分画 像信号に分解する画像分解手段と 、 この部分画像信号のそれ ぞれに、 部分画像信号を識別するための画像識別子を付加す る識別子付加手段と、 部分画像信号の合成によ り 1 つの画像 信号を構成するための合成情報を出力する合成情報作成手段 と 、 識別子付加手段によ り 少な く と も画像識別子が付加され た部分画像信号と合成情報を圧縮符号化する符号化手段と を有する ものである。

以上の符号化方法に基づいて符号化された圧縮符号化画像 信号を復号化する方法と して、 複数の圧縮符号化データ を受 信 して、 こ の圧縮符号化データ を復号する と共に、 こ の圧縮 符号化データ に付加されている画像識別子を抽出する。 一方、 複数の圧縮符号化データ を合成するための合成情報を受信 し、 少な く と も前記画像識別子と こ の合成情報に基づいて、 複数 の圧縮符号化デ一夕 を合成 し、 1 つの画像と して復号する画 像復号化、 合成方法である。

こ の方法を用 いた復号化。 合成装置 と して、 複数の圧縮符 号化データ を受信する受信手段 と 、 こ の受信手段によ り 受信 した圧縮符号化デー タ を復号する復号手段と 、 こ の復号化手 段によ り 復号さ れる圧縮符号化デ一夕 に付加さ れた画像識別 子を抽出する識別子抽出手段と 、 複数の圧縮符号化データ を 合成するための合成情報を受信する合成情報受信手段 と 、 少 な く と も画像識別子と合成情報に基づいて、 複数の圧縮符号 化デー タ を合成する合成手段と を有する画像復号化、 合成装 置を提供する。 合成情報には、 少な く と も合成の対象 となる 画像の画像識別子 と 合成順序とが記述されてお り 、 合成順序 によ り 画像識別子によ っ て指定さ れた画像の奥行きや配置を 決定 し複数の異なる 再生画像を合成する ものであ る。 また、 入力手段を具備する こ と によ り 、 入力手段を経由 し、 圧縮符 号化データ とは別に合成情報のみを変更 し、 変更された合成 情報に したがって再生画像を合成する。

これによ り 、 画像を構成する物体等画像を構成する要素毎 に別々 に圧縮符号化 した り 、 複数の画像を合成 して新 し い画 像を構成するための複数の画像信号を圧縮符号化 して伝送す る場合に、 合成情報を簡単に変更できる と共に、 柔軟かつ自 由 に画像の合成ができ、 イ ンタ ラ ク ティ ブ性を向上する顕著 な効果が得 られる。 図面の簡単な説明

図 1 は本発明の実施の形態 1 による複数画像信号の圧縮符 号化方法の フ ローチヤ一 ト を示す。

図 2 は本発明の実施の形態 2 によ る複数画像信号の圧縮符 号化方法の フ ローチヤ一 卜 を示す。

図 3 は本発明の実施の形態の圧縮符号化さ れた画像デー タ 及び復号す る画像データ の構造を示 している

( Λ ) は第一の圧縮された画像デ一 夕

( B ) は第一、 第二の圧縮された 2 つの画像デー タ をパ ケ ッ ト化 して、 多重化 した多重データ

( C ) は第二の圧縮された画像データ

図 4 は本発明の実施の形態における合成情報の内容を記述 した例であ る。

図 5 は本発明の実施の形態 3 によ る複数画像信号多重デー 夕 の復号方法のフ ローチヤ一ト を示す。 図 6 は本発明の実施の形態 3 による復号化 · 合成装置を示 すブロ ッ ク 図であ る。

図 7 は本発明の実施の形態における複数の画像信号の合成 例を示し、 物体毎の画像の合成を示す模式図である。

図 8 は本発明の実施の形態の復号化の動作を説明するため の画像合成 · 表示のタイ ミ ングを示す図である。

図 9 は本発明の実施の形態 4 による復号化 · 合成装置を示 すブロ ッ ク 図であ る。 発明を実施する最良の形態

以下、 本発明の実施の形態について説明する。

(実施の形態 1 )

図 1 、 図 3 、 図 4 を用 いて説明する。 図 1 は本発明の実施 の形態の複数の画像信号を符号化する符号化方法の フ ローチ ヤ ー ト を示す。 図 3 はその複数の画像信号がデジタル圧縮符 号化さ れた結果どのよ う なデータ構成の ビ ッ ト ス ト リ ーム と なるかを示 している。 図 4 はそのデータ の記述例を示 してい る。

図 1 に於いて、 ステ ッ プ 1 1 で複数の画像信号を まず入力 する。 この複数の画像信号の例 と して図 3 ( A ) と図 3 ( C ) について以後説明する。 図 1 のステ ッ プ 1 2 において入力 し た複数の画像信号のそれぞれに画像信号を識別するための画 像識別子を付加する。 図 3 ( A ) の画像信号の時間 （ i ) の 画像デ一夕 3 0 4 においては画像識別子 （ I D ) 3 0 2 がそ れに相当する。 図 3 ( C ) の画像信号の時間 （ i ) の画像デ 一夕 3 2 8 においては画像識別子 （ I D ) 3 2 3 がそれに相 当する。

図 1 のステ ッ プ 1 3 において、 複数の画像信号の合成によ り 1 つの合成画像信号を構成するための合成情報を出力する。 図 3 ( B ) は図 3 ( A ) 、 ( C ) の圧縮符号化された画像信 号をバケ ツ 卜化 して多重送信する ビ ッ ト ス 卜 リ ーム構成を示 してい るが、 その合成情報パケ ッ ト 3 1 9 がその合成情報に 相当する。

図 1 のステ ッ プ 1 4 に於いて、 少な く と も画像識別子が付 加さ れた画像信号と 、 合成情報が圧縮符号化される。 その結 果、 圧縮符号化された画像信号の 1 つが画像識別子 （ I D ) 3 0 2 、 3 0 7 、 時間識別子 （ T R ) 3 0 3 、 3 2 9 が付加 された画像信号 3 0 4 、 3 3 0 であ り 、 圧縮符号化された画 像信号の他の 1 つが画像識別子 （ I D ) 3 2 3 、 3 2 7 、 時 間識別子 （ T R ) 3 2 4 が付加さ れた画像信号 3 2 8 、 であ る。

図 1 のステ ッ プ 1 5 におい て、 図 3 ( A ) 、 図 3 ( C ) の 圧縮符号化された画像信号を図 3 ( B ) のよ う にパケ ッ ト化 して、 多重送信する。 こ の場合、 合成情報は画像信号がパケ ッ 卜 さ れる ビデオパケ ッ ト 3 1 1 、 3 1 5 と は別の合成情報 パケ ッ ト 3 1 9 が設け られる。 この中 に、 図 3 ( A ) 、 ( C ) の画像信号を どのよ う に合成 して出力するかの情報の合成パ ラ メ一夕 （Compos i l ion parameter)が記述され伝送さ れる。

図 4 はその一例であ り 、 合成情報 4 0 1 の例を示す。 4 0 2 は合成時刻 （COMPOSITION TIME)で有 り 、 合成の時の時刻が 記録されている。 4 0 3 は合成順序（COMPOSITION ORDER)であ り 、 画像識別子 （〇 I D ) 、 時間識別子 （ T R ) 、 奥行き （ C O ) 、 配置 （ X P O S 、 Y P 0 S ) が記述されている。 4 0 4 は合成平滑化情報 （BLENDING FILTER)であ り 、 4 0 5 はフ レ —ムメモ リ 管理情報 （FRAME MEMORY MANAGEMENT)である。

なお、 こ の事例では合成情報と して合成順序が記載されて いるが、 合成すべき複数の画像の大き さ が異なる場合には、 座標変換パラ メ 一夕 も同時に記載する こ と によ り 、 合成の際 に合成情報を変更 してよ り バラエティ に富んだ組み合わせが 容易に実現でき る こ と になる。

(実施の形態 2 )

図 2 、 図 3 、 図 4 を用 いて説明する。 図 2 は本発明の実施 の形態の複数の画像信号を符号化する符号化方法のフ ローチ ヤ ー 卜 を示すが、 図 1 と異なるのはまず 1 つの画像を入力 し、 複数の画像に分解する作業が追加さ れた こ と であ る。 図 3 は その分解 した複数の画像信号がデジタル圧縮符号化された結 果 どのよ う なデ一夕構成の ビ ッ ト ス ト リ 一ム となるかを示 し てお り 、 こ れは実施の形態 1 と 同動作 となる。 また図 4 も実 施の形態 1 と 同動作であ り 、 データ の記述例を示 してい る。

図 2 のステ ッ プ 2 1 において、 圧縮符号化すべき画像信号 を入力 し 、 ステ ッ プ 2 2 にお いて入力 し た画像信号を画像内 の物体や背景な どの各要素毎に分解する等の手法によ り 複数 の部分画像信号に分解する

これ以降のス テ ッ プ 2 3 カゝ ら ステ ッ プ 2 6 までは、 図 】 の 画像信号を部分画像信号に置き換える以外は同様の作業ステ ッ プがなされ、 1 つの画像信号が複数の部分画像信号と合成 情報に分解され、 それぞれが圧縮符号化された画像データ と して図 3 ( B ) の構成の ビッ ト ス ト リ ームが出力 される。

これによ り 、 1 つの画像を精度良 く 伝送でき る と共に、 復 号の際に合成情報を書き換えて 目的に応 じた画像の編集が容 易に行う こ とができる効果を有する。

(実施の形態 3 )

図 5 は実施の形態 3 の復号化、 合成に係る フ ローチャ ー ト を示 し、 図 6 はその方法を用 いた復号化 · 合成装置を示 し、 図 7 は二つの画像を合成する模式図を示 して いる。 図 6 の装 置の動作を図 5 、 7 との関係で説明する

図 6 において 1 0 0 は入力端子、 1 0 1 は分離器、 1 0 2 はコ ン ト 口 一リレデコ ーダ、 1 0 3 はと 1 0 4 はビデオデコ 一 ダ、 1 0 5 はフ レーム メ モ リ ノ ンク 、 1 0 6 は合成器 （Compo scr)、 1 0 7 は表示器である。

以上のよ う に構成された画像復号化 · 合成装置について， 以下、 その動作を述べる。 入力端子 1 0 0 に、 受信 した画像 デー タ と合成情報を入力する （図 5 ステ ッ プ 5 1 ) 。 次に、 分離器 1 0 1 によ っ て、 合成情報を ライ ン 1 0 8 を経由 し コ ン 卜 ロールデコ ー ダ 1 0 2 に送 り 、 制御信号に変換する （ス テ ツ プ 5 2 、 5 5 、 5 6 ) 。 圧縮符号化さ れた画像デー タ を ビデオデコ ーダ 1 0 3 と 1 0 4 に入力する （ステ ッ プ 5 3 ) 。 こ の実施の形態では二つの ビデオデコーダを具備 し ているが、 説明 しやす く するためであって、 任意の個数の ビデオデコ一 ダがあっ て もよ い。 ビデオデコーダ 1 0 3 と 1 0 4 にて圧縮 符号化された画像データ を復号化し異なる再生画像を生成 し、 フ レームメモ リ バンク 1 0 5 に格納する （ステッ プ 5 3 、 5 4 ) 。 本実施の形態の ビデオデコーダは M P E G 1 に代表さ れる フ レーム間動き補償 · 離散コサイ ン変換方式を用 いてい るが、 これに限る ものではない。

一方、 コ ン ト ロ ールデコーダ 1 0 2 か ら ライ ン 1 1 7 を経 由 して送 られた制御信号に基づいて、 フ レーム メ モ リ バ ン ク 1 0 5 か ら 合成の対象となる再生画像をア クセス し、 合成器 1 0 6 に送る。 合成器 1 0 6 では、 ライ ン 1 1 8 を経由 して 送 られた制御信号に したがっ て、 ライ ン 1 1 5 を経由 し送 ら れた再生画像を合成する （ステ ッ プ 5 7 ) 。 その合成画像を 必要に応 じて、 表示器 1 0 7 に出 力 し表示する （ス テ ッ プ 5 8 ) 。

図 7 に示す具体的な画像の事例で上記動作を説明する と 、 2 0 1 は第一の再生画像、 2 0 2 は第二の再生画像である。 本実施の形態では、 第一の再生画像 2 0 1 は ビデオデコーダ 1 0 3 、 第二の再生画像 2 0 2 は ビデオデコ ーダ 1 0 4 によ つ て生成される。

第一の再生画像 2 0 1 と第二の再生画像 2 0 2 を合成器 1 0 6 で合成さ れた画像は 2 0 3 である。 第一の再生画像 2 0 1 が前景で、 第二の再生画像 2 0 2 が後景である こ と は図 6 のライ ン 1 1 8 を経由 し送 られた制御信号に基づいている。

実施の形態 1 、 2 の図 3 を用 いて詳細に説明する と 、 図 3 ( A ) の第一の圧縮された画像データ、 と図 3 ( C ) の第二 の圧縮さ れた画像デ一夕 を合成する こ とになる。

時間 （ i ) の画像データ 3 0 4 には同期信号 3 0 1 か ら は じま り 、 画像識別子 （ I D ) 3 0 2 、 時間識別子 （ T R〉 3 0 3 と圧縮符号化データが続いている。 本実施の形態では、 画像識別子 （ I D ) は 5 ビ ッ ト 、 時間識別子 （ T R ) は 1 6 ビ ッ 卜で表わされる。

時間 （ i + 1 ) の画像デ一夕 3 3 0 は同様に、 同期信号 3 0 6 カゝ ら は じ ま り 、 画像識別子 （ I D ) 3 0 7 、 時間識別子 ( T R ) 3 2 9 と圧縮符号化データが続く 。 図 3 ( A ) は同 じ画像系列の圧縮データであ るために、 画像識別子 （ I D ) は全部同 じであ る。 時間識別子は表示時間に依存 し、 異なる 値になる。

図 3 ( C )の第二の圧縮された画像データ の構造は図 3 ( A ) と同 じである力 図 3 ( A ) と区別できるよ う に、 図 3 ( C ) の画像識別子 （ I D ) は図 3 ( A ) のそれと異なる値になる。

図 3 ( B ) は画像データ をパケ ッ ト化 し多重化 したデ一 夕 を示す。 図 3 ( A ) の第一の圧縮された画像デ一夕 と図 3 ( C ) の第二の圧縮さ れた画像デ一 夕 をそれぞれ複数のバケ ツ 卜 に 分けて多重化する。 た と えば、 時間 （ i ) の画像 3 0 4 は ビ デォパケ ッ ト 3 1 1 と ビデオパケ ッ ト 3 1 5 に、 時間 （ i ) の画像 3 2 8 はビデオバケ ツ ト 3 1 3 と ビデオバケ ツ 卜 3 1 7 にわけて多重化される。 各 ビデオバケ ツ 卜 にヘ ッ ダ 3 1 0 、 3 1 2 . 3 1 4 、 3 1 6 が付力 [] してあ る。 これ ら のヘ ッ ダに バケ ツ 卜識別子が記述されている。 本実施の形態では， ノ ケ ッ 卜識別子を 6 ビッ ト の固定長符号化で記述する。 第一の圧 縮された画像データ と第二の圧縮された画像デ一夕 のバケ ツ 卜 を区別するために異なるバケ ツ ト識別子を用いる。 また、 合成情報もパケ ッ ト化 し、 合成情報パケ ッ ト 3 1 9 と して多 重化する。 合成情報パケ ッ ト 3 1 9 にも ヘ ッ ダがあ り 、 その ヘッ ダにビデオバケ ツ 卜 と異なるバケ ツ 卜識別子を付加する。 パケ ッ ト識別子一覧表 （ O A T ) 3 0 9 に合成情報パケ ッ ト のパケ ッ ト識別子と、 合成情報に記述さ れている合成の対象 となる画像のバケ ツ 卜 のバケ ツ 卜識別子とが記述されている。

こ の図 3 ( B ) の多重化デ一夕 を受信する こ と になる （図 5 のステ ッ プ 5 1 ) 。 図 6 の分離器 1 0 1 はパケ ッ ト識別子 一覧表を参照に、 記述 さ れたバケ ツ 卜識別子のついている ビ デォバケ ツ 卜や合成情報バケ ツ 卜 を選別 し、 ビデオパケ ッ ト か ら圧縮された画像データ に戻 して ビデオデコーダ 1 0 3 、 1 0 4 に入力する （ステ ッ プ 5 2 ) 。

一方、 合成情報パケ ッ ト を合成情報に戻 してコ ン ト ロ ール デコ ー ダ 1 0 2 に送っ て、 合成情報を解析 し制御情報に変換 する （ステ ッ プ 5 5 、 5 6 ) 。 本実施の形態のコ ン ト ロール デコ ーダを ス ク リ プ ト · イ ン タ プリ タ一であ り 、 以下に説明 する合成情報のス ク リ プ ト を解析する。

図 4 にその合成情報 4 0 1 の例を示す。 4 0 2 は合成時刻、 4 0 3 は合成順序、 4 0 4 は合成平滑化情報、 4 0 5 はフ レ ーム メ モ リ 管理情報であ る。 以上のよ う に構成さ れた合成情 報につ いて、 以下のよ う に用 い られて画像の合成を行う 。

合成時刻 4 0 2 は合成の時分秒を示 し 、 装置の時間にあわ せて、 合成時刻になっ た時点で合成順序 4 0 3 、 合成平滑化 情報 4 0 4 に基づいて画像を合成し表示する。 合成順序 4 0 3 には画像識別子 （ O I D ) 、 時間識別子 （ T R ) 、 奥行き ( C O ) 、 配置 （ X P 〇 S 、 Y P O S ) が記述されている。 合成時刻になっ た時点で、 画像識別子と時間識別子によ っ て 指定された画像を フ レーム メモ リ バンク 1 0 5 か ら アクセス し、 該当する画像の奥行き と配置に したがっ て合成を行う 。 本実施の形態では C 〇 = 0 は.合成 した画像において最も背 景にある画像を示 し、 C O = l は 0 の背景よ り 上、 C O = 2 は 0 と 1 の層よ り 上になる。 配置は表示領域における画像の 位置の座標を示す。 本実施の形態では、 （ 0 、 0 ) は表示領 域の中心位置を示す。

合成平滑化情報 4 0 は合成 した画像の境界部を平滑化す る ためのフ ィ ルタ の係数を記述する。 本実施の形態では、 3 X 3 の フ ィ ル夕 の係数を示す。 フ レーム メモ リ 管理情報 4 0 5 はフ レーム メ モ リ ノ ' ンク 1 0 5 (図 6 ) の開放 ' 確保を管 理する。 本実施の形態では、 画像識別子 { 0 } の画像が占領 された メモ リ 領域を開放する こ と を示す。

図 4 に示す合成情報を も と に、 画像を合成 · 表示する タ イ ミ ン グについて説明する。 図 8 はそのタ イ ミ ン グの一部を示 す。 横軸は合成 し た画像の表示時間を示す。 合成情報は 5 1 3 か ら 5 1 7 までに、 画像識別子 2 ( < 0 I D > ί 2 } ) の 画像は 5 0 1 か ら 5 0 5 までに、 画像識別子 3 (ぐ O 1 D〉 { 3 } ) の画像は 5 0 6 、 5 0 7 に、 画像識別子 4 (ぐ〇 I D > { 4 } ) の画像は 5 0 8 力、 ら 5 1 2 に示される。 時間 t 5 では、 画像 5 0 1 、 5 0 6 , 5 0 8 と合成情報 5 1 3 とがあっ て合成情報 5 1 3 に したがって画像を合成し表 示する。 通信路の混み具合や装置の性能によ り 画像 5 0 8 が 受信されなかっ た り 、 再生できなかっ た り する場合、 画像 5 0 1 と 5 0 6 だけを合成する。 時間 t 8 では、 画像識別子 3 の画像がな く 、 画像 5 0 4 、 5 1 1 と合成情報 5 1 6 しかな い。 こ の場合の合成情報 5 1 6 は図 4 に示されてお り 、 画像 識別子の 3 の画像の時間識別子は 5 と示されている （図 4 に おける順序を示す 4 0 3 のく O I D〉 { 3 } ， < T R > { 5 ) , の記述を指す） 。 すなわち、 時間 t 8 では、 画像 5 0 4 、 5 0 6 、 5 1 1 を合成すればよ い。 指定されている時間識別 子の画像がない場合、 その前の時間識別子の画像を用 いて合 成する。 た と えば、 画像識別子 4 、 時間識別子 8 の画像 5 1 1 がない場合、 画像 5 1 0 を用 いて合成する。 なお、 t 6 、 t 7 において も同様の処理が必要になる。

図 8 の例では、 合成情報は継続 し受信 した場合であ る。 合 成情報が継続 して受信さ れない場台 、 合成情報が更新 さ れる までに最近に受信された合成情報を用 いて画像を合成する。 た と えば合成情報 5 1 4 、 5 1 5 、 5 1 6 力 されない と き 、 合成情報 5 1 7 がく る までに合成情報 5 1 3 を用 いて合成を 行う 。 こ の場合、 合成情報 5 1 3 に記述されている時間識別 子を各再生さ れた画像についている時間識別子で置き換えて 合成を行う 。

なお、 図 4 の合成情報 4 0 1 には、 合成平滑化情報 4 0 4 やフ レーム メ モ リ 管理情報 4 0 5 がな く て もよ い。 また、 合 成順序 4 0 3 には画像の配置や時間識別子がな く もよい。 時 間識別子がない場合、 各再生された画像についている時間識 別子で合成の対象となる画像を識別する。 合成情報に上記以 外のデータ を記述してもよい。

なお、 本発明の復号化 · 合成装置を画像について説明 した が、 音声やオーディ オを合成する場合に も適用可能である。

(実施の形態 4 )

図 9_は本発明の実施の形態 4 によ る復号化 · 合成装置を示 すブロ ッ ク 図であ る。 構成と基本動作は図 6 と同 じである。 図 6 の構成に加えて、 入力端末 6 0 1 を具備 してい る。 入力 端子 6 0 1 と して、 リ モー ト コ ン ト ロー ラゃキ一ボー ド を用 いてよ い。 入力端末 6 0 1 を経由 し、 合成情報の一部を変更 する。 た とえば、 合成順序 4 0 3 の中か ら奥行きのデータ を 変更 し、 背景の画像を前景にする こ とが可能であ る。 産業上の利用可能性

本願発明は、 画像を構成する物体等画像を構成する要素毎 に別々 に分解 し て複数の画像信号と して圧縮符号化 して伝送 する場合や、 複数の異なる画像を合成 して新 し い画像を構成 するための複数の画像信号を圧縮符号化 して伝送する場合に、 その複数の画像信号を どのよ う に して合成するかを伝える合 成情報を併せて伝送する ので、 復号の際にその合成情報を簡 単に変更でき る と 共に 、 柔軟かつ 自 由 に画像の合成ができ 、 送 り 手、 受け手の 目的に応 じたイ ンタ ラ ク テ ィ ブ性に富んだ 編集が可能となる という顕著な効果が得られる

Claims

請 求 の 範 囲

1 . 複数の画像信号に入力するステッ プと、 前記複数の画像 信号のそれぞれに、 画像信号を識別するための画像識別子 を付加するステ ッ プと、 前記複数の画像信号の合成によ り 1 つ の画像信号 を構成するための合成情報を出力する ス テツ プと 、 少な く と も画像識別子が付加された画像信号と、 前記合成情報を圧縮符号化するステッ プと、 を有する画像 符号化方法。

2 . 複数の画像信号を入力する画像入力手段と、 前記複数の 画像信号のそれぞれに、 画像信号を識別するための画像識 別子を付加する識別子付加手段と 、 前記複数の画像信号を 合成するための合成情報を出力する合成情報作成手段と、 前記識別子付加手段によ り 少な く と も 画像識別子が付加 されたそれぞれの画像信号と、 前記合成情報を圧縮符号化 する符号化手段と 、 を有する画像符号化装置。

3 . 画像信号が複数の画像の合成で構成される様に、 前記画 像信号を複数の部分画像信号に分解する ステ ッ プと、 前記 部分画像信号のそれぞれに、 部分画像信号を識別するため の画像識別子を付加する ステッ プと、 前記部分画像信号の 合成によ り 前記画像信号 を構成する ため の合成情報 を 出 力するステ ッ プと 、 少な く と も画像識別子が付加された部 分画像信号と、 前記合成情報を圧縮符号化するステ ッ プと 、 を有する画像符号化方法。

4 . 画像信号が複数の画像の合成で構成される様に、 前記画 像信号を複数の部分画像信号に分解する画像分解手段と、 前記部分画像信号のそれぞれに、 部分画像信号を識別する ための画像識別子を付加する識別子付加手段と、 前記部分 画像信号の合成によ り 前記画像信号を構成する ため の合 成情報を出力する合成情報作成手段と、 前記識別子付加手 段に よ り 少な く と も画像識別子が付加さ れた部分画像信 号と 、 前記合成情報を圧縮符号化する符号化手段と、 を 有する画像符号化装置。

. 複数の圧縮符号化デ一夕 を受信するステ ッ プと 、 前記圧 縮符号化デ一夕 を復号するステ ッ プと 、 前記圧縮符号化デ

— 夕 に付加さ れた画像識別子を抽出する ステ ッ プと 、 前 記複数の圧縮符号化デ一夕 を合成するための合成情報'を 受信するステ ッ プと、 少な く と も前記画像識別子と前記合 成情報に基づいて、 前記複数の圧縮符号化データ を合成す るステ ッ プと、 を有する画像復号化、 合成方法。

- 複数の圧縮符号化データ を受信する受信手段と 、 前記受 信手段によ り 受信 した圧縮符号化デー タ を復号す る復号 手段と、 前記復号化手段によ り 復号される圧縮符号化デー 夕 に付加された画像識別子を抽出する識別子抽出手段と 、 前記複数の圧縮符号化データ を合成する ため の合成情報 を受信する合成情報受信手段と、 少な く と も前記画像識別 子と前記合成情報に基づいて、 前記複数の圧縮符号化デ一 夕 を合成する合成手段 と 、 を有する画像復号化、 合成装 置。

7 . 画像識別子と時間識別子と を付加 し た複数の異なる画像 の圧縮符号化データ と、 前記複数の異なる画像を合成する ための合成情報と を受信し、 前記複数の異なる画像を復号 化し、 複数の異なる再生画像を生成し、 前記合成情報に し たがっ て前記複数の異なる再生画像を合成 し表示する こ と を特徴とする画像復号化 · 合成装置。

画像識別子と時間識別子と を付加 した複数の異なる画像 の圧縮符号化データ と 、 前記複数の異なる画像を合成する ための合成情報と を受信 し、 前記複数の異なる画像を復号 化 し 、 複数の異なる再生画像を生成し、 前記合成情報に し たがっ て前記複数の異なる再生画像 を合成する画像復号 化 · 合成装置において、 前記合成情報には、 少な く と も合 成の対象 と な る 画像の前記画像識別子 と 合成順序 と が記 述されてお り 、 前記合成順序によ り 、 前記画像識別子によ つ て指定 さ れた画像の奥行き を決定 し 前記複数の異な る 再生画像を合成する こ と を特徴とする画像復号化 ， 合成装 置。

合成情報には、 少な く と も合成の対象となる画像の画像 識別子と合成順序とが記述されてお り 、 前記合成順序によ り ， 前記画像識別子によ っ て指定された画像の奥行き と配 置 と を決定 し 前記複数の異な る 再生画像を 合成 し表示す る こ と を特徴 とする請求項 8 記載の画像復号化 · 合成装置。0 . 画像識別子と時間識別子と を付加 した複数の異なる画 像の圧縮符号化データ と、 前記複数の異なる画像を合成す るための合成情報と を受信 し 、 前記複数の異なる画像を復 号化 し 、 複数の異なる再生画像を生成し、 前記合成情報に したがっ て前記複数の異な る再生画像を合成する画像復 号化 · 合成装置において、 前記合成情報には、 少な く と も 合成の対象となる画像の前記画像識別子と、 前記時間識別 子と合成順序とが記述されてお り 、 前記合成順序によ り 、 前記画像識別子およ び前記時間識別子によ っ て指定さ れ た画像の奥行き を決定 し前記複数の異なる再生画像を合 成し表示する こ と を特徴とする画像復号化 · 合成装置。 1 . 合成情報には、 少な く と も合成の対象となる画像の画 像識別子と 、 時間識別子と合成順序とが記述されてお り 、 前記合成順序によ り 、 前記画像識別子および前記時間識別 子によ っ て指定 さ れた画像の奥行き と配置 と を決定 し 前 記複数の異なる再生画像を合成 し表示する こ と を特徴 と する請求項 ] 0 記載の画像復号化 · 合成装置。

2 . 合成情報に記述 さ れた画像識別子に該当する再生画像 がない場合、 前記再生画像を合成 しな い こ と を特徴とする 請求項 8 か ら 1 1 のいずれかに記載の画像復号化 · 合成装 置。

3 . 合成情報に記述さ れた時間識別子に該当する再生画像 がない場合、 前記再生画像と同 じ画像識別子で最も最近に 再生さ れた画像を用 いて を 合成す る こ と を特徴 とする 請 求項 1 0 又は 1 1 に記載の画像復号化 · 合成装置。

4 . 画像識別子と時間識別子と を付加 した複数の異なる画 像の圧縮符号化データ と、 前記複数の異なる画像を合成す るための合成情報と を受信 し、 前記複数の異なる画像を復 号化 し、 複数の異なる再生画像を生成 し 、 前記合成情報に したがっ て前記複数の異なる再生画像を合成する画像復 号化 · 合成装置において、 前記合成情報に少な く と も合成 時刻が記述されてお り 、 装置の時刻にあわせて前記合成時 刻になった とき、 前記合成情報に したがって再生画像を合 成する こ と を特徵とする画像復号化 ， 合成装置。

1 5 . 画像識別子と時間識別子とを付加 した複数の異なる画 像の圧縮符号化データ と、 前記複数の異なる画像を合成す るための合成情報と を受信 し、 前記複数の異なる画像を復 号化 し、 複数の異なる再生画像を生成 し、 前記合成情報に し たがっ て前記複数の異な る再生画像 を合成する画像復 号化 · 合成装置において、 前記合成情報が更新される まで に、 最も最近受信された合成情報に したがって前記複数の 異な る 再 生画像 を 合成す る こ と を特徴 と す る 画 像復 号 化 · 合成装置。

1 6 . 画像識別子と時間識別子と を付加 した複数の異なる画 像の圧縮符号化データ と、 前記複数の異なる画像を合成す るための合成情報と を受信 し、 前記複数の異なる画像を復 号化 し、 複数の異なる再生画像を生成 し、 前記合成情報に し たがっ て前記複数の異な る再生画像を合成する画像復 号化 · 合成装置において、 前記合成情報に少な く と も合成 平滑化情報が記述さ れてお り 、 前記合成情報に したがつ て 再生画像を合成する際に、 前記合成平滑化情報に したがつ て合成画像を平滑化する こ と を特徴とする画像復号化 · 合 成装置。

1 7 . 画像識別子と時間識別子と を付加 した複数の異なる画 像の圧縮符号化データ と、 前記複数の異なる画像を合成す るための合成情報と を受信 し、 前記複数の異なる画像を復 号化 し、 複数の異なる再生画像を生成し、 前記合成情報に したがっ て前記複数の異なる 再生画像を合成する画像復 号化 ， 合成装置において、 入力手段を具備し、 前記入力手 段を経由 し、 前記合成情報を変更 し、 変更された前記合成 情報に したがっ て再生画像を合成する こ と を特徴とする 画像復号化 · 合成装置。

8 . 画像識別子と時間識別子と を付加 した複数の異なる画 像の圧縮符号化データ と 、 前記複数の異なる画像を合成す るための合成情報と をバケ ツ 卜化 し、 前記複数の異なる画 像のバケ ツ ト およ び前記合成情報のバケ ツ 卜 に対 し互い に異なるパケ ッ ト識別子を付加 し多重化 し、 前記パケ ッ ト 識別子を記述 し たバケ ツ ト 識別子一覧表 と一緒 に伝送す る こ と を特徴とする画像データ伝送方法。

9 . 分離器と、 画像復号化器と 、 合成情報復号化器と 、 フ レーム メモ リ と 、 合成器と を具備 し、 画像識別子と時間識 別子 と を付加 し た複数の異な る画像の圧縮符号化デー タ と、 前記複数の異な る画像を合成するための合成情報と を パケ ッ ト化し、 前記複数の異なる画像のパケ ッ ト および前 記合成情報のパケ ッ 卜 に対 し互い に異な るパケ ッ ト 識別 子を付加 し多重化 し 、 前記パケ ッ ト識別子を記述 したパケ ッ 卜 関連情報と一緒に伝送されたデータ を入力 し、 前記分 離器にて、 前記バケ ツ 卜 関連情報に記述されたパケ ッ 卜識 別子のつ いたパケ ッ ト を選別 し 、 前記複数の異なる画像の バケ ツ 卜 のデータ を前記画像復号化器に、 前記合成情報の バケ ツ ト のデ一夕 を前記合成情報復号化器に送 り 、 前記画 像復号化器にて、 前記複数の異なる画像の圧縮符号化デー 夕 を再生画像に復号化 し、 前記フ レームメモ リ に格納 し、 前記合成情報復号化器にて、 前記合成情報を制御信号に変 換 し、 前記制御信号に したがって、 前記フ レームメ モ リ に 格納された前記再生画像を前記合成器に送 り 、 前記合成器 にて、 前記制御信号に したがっ て前記複数の異なる画像を 合成する こ と を特徴とする画像復号化 * 合成装置。

2 0 . 合成情報に フ レーム メ モ リ の開放と確保の情報が記述 されてお り 、 前記合成情報に したがっ て、 前記フ レーム メ モ リ を開放 した り 確保 し た り する こ と を特徴 とする 請求 項 1 9 の画像復号化 · 合成装置。

2 1 . 少な く と も画像識別子を付加 した複数の異なる画像の 圧縮符号化データ と、 前記複数の異なる画像を合成するた めの合成情報と をパケ ッ ト化 し、 前記複数の異なる画像の バケ ツ ト および前記合成情報のバ ケ ツ ト に対 し互 い に異 なるパ.ケ ッ ト 識別子を付加 し多重化 し、 前記パケ ッ ト識別 子を記述 し たバ ケ ツ 卜 識別子一覧表 と 一緒に伝送する こ と を特徴とする画像データ伝送手段と、 前記パケ ッ ト関連 情報 に記述さ れたパケ ッ 卜 識別子のつ いたバケ ツ ト を選 別 し、 前記複数の異なる画像のパケ ッ ト のデータ と前記合 成情報のバケ ツ 卜 のデータ を分離 して出力する分離器と、 前記分離器か ら の前記複数の異な る 画像の圧縮符号化デ 一夕 を再生画像に復号化する画像復号化器と 、 前記画像復 号化器の出力を記録する フ レームメ モ リ と、 前記分離器か らの前記合成情報を制御信号に変換し、 出力する合成情報 復号化器と、 前記制御信号に したがっ て、 前記フ レームメ モ リ に格納された前記再生画像を用 いて、 前記複数の異な る画像を合成する合成器 と を有する こ と を特徴 と する画 像符号化復号化システム。

2 . ク レーム 1 、 3 、 5 、 1 8 の方法を実施するためのデ 一夕 を記録した記録媒体