JPH10304353A - オブジェクトデータ処理装置，オブジェクトデータ記録装置，データ記憶媒体，及び伝送用データ構造 - Google Patents

Abstract

(57)【要約】 【課題】 １シーンに対応する画像データを、該１シー
ンを構成する画像やオーディオ等のオブジェクト毎に符
号化して得られる符号化データを多重したビットストリ
ームに基づいて、オブジェクト単位の編集、置換、検索
等の処理を容易かつ高速に行うことができるオブジェク
トデータ復号装置を得る。 【解決手段】 上記各オブジェクトに対応する符号化デ
ータを多重したビットストリームＭＥｇから、逆多重化
手段１１により各オブジェクトの階層情報を抽出し、Ｃ
ＰＵ１３にてこの階層情報に基づいてオブジェクトとそ
の符号化データとの対応関係を示すオブジェクトテーブ
ルを作成して記録するようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オブジェクトデー
タ処理装置，オブジェクトデータ記録装置，データ記憶
媒体，及び伝送用データ構造に関し、特に、圧縮したデ
ジタル画像データ、デジタルオーディオデータ、プログ
ラムデータなどの圧縮データを復号する装置，該圧縮デ
ータから所望のデータを選択する装置，該圧縮データを
記録する装置，該圧縮データを記憶する媒体，該圧縮デ
ータを送出する装置，及び該圧縮データの伝送用データ
構造に関するものである。

【０００２】

【従来の技術】情報の圧縮技術の進歩に伴い、近年、地
上放送，衛星放送，ＣＡＴＶなどの放送メディアでは、
画像情報やオーディオ情報をデジタル信号により提供す
るデジタル画像／オーディオサービスが実用化されてい
る。また現状では、次世代の圧縮符号化方式として、画
像全体，つまり１枚の画像に相当する画像データを一様
に圧縮するのではなく、画像の内容に着目し、１枚の画
像に対応する画像データを、該１枚の画像を構成する個
々の物体（オブジェクト）を単位として圧縮するオブジ
ェクト符号化方式が注目されている。

【０００３】このように１画面に相当する画像データに
対してオブジェクト単位の圧縮処理を施すようにすれ
ば、圧縮された画像データ（符号化データ）をそれぞれ
のオブジェクトに対応するよう分離可能となり、これに
より１枚の画像における特定のオブジェクトを抽出した
り、置き換えたりすることが可能となる。

【０００４】また、このようなオブジェクト符号化方式
の特徴，つまりその長所を生かすためのデータ伝送フォ
ーマットの実現方法として、圧縮した画像データ，オー
ディオデータ，その他のデジタルデータを多重する方法
も議論されている。

【０００５】このようにオブジェクト符号化方法により
圧縮したデータを多重する方法の国際規格としてＭＰＥ
Ｇ４（ISO/IEC JTC1/SC29WG11 N1483, "System Working
Draft", 1996.11）があり、以下、図面を参考にしなが
ら、このＭＰＥＧ４に準拠したデータ多重化方法を、多
重したデータを再生する多重データ再生方法とともに説
明する。

【０００６】図１８は、従来のオブジェクト符号化方法
を具体的に説明するための図である。図中、１２０は、
オーディオが付随した映像データから得られる１連の画
像のうちの１シーン（１枚の画像）である。ここで、こ
の１シーン１２０は、階層構造をなす複数のオブジェク
ト（小画像）から構成されている。つまり、上記１シー
ン１２０は、背景に当たる背景画像１２１、背景中を移
動する移動体１２２、背景に付随する背景オーディオ１
２３の３種類のオブジェクトから構成されている。さら
に上記移動体としてのオブジェクト１２２は、第１の車
輪１２４、第２の車輪１２５、胴体１２６、及び移動体
に付随する移動体オーディオ１２７の４つのオブジェク
トから構成されている。さらにまた、上記胴体としての
オブジェクト１２６は、窓１２８とそれ以外の部分１２
９の２つのオブジェクトから構成されている。ここで、
上記オブジェクト１２１〜１２３は最上位の第１階層Ｌ
１に属し、オブジェクト１２４〜１２７は、上記第１階
層の下位階層である第２階層Ｌ２に属し、さらにオブジ
ェクト１２８，１２９は、上記第２階層の下位階層であ
る第３階層に属している。

【０００７】そして、オブジェクト符号化方法では、上
記１シーン１２０に対応するシーンデータは、該１シー
ン１２０を構成する最下位オブジェクトを単位として圧
縮符号化されることとなる。すなわち、上記１シーン１
２０に対応するシーンデータは、オブジェクト１２１，
１２３，１２４，１２５，１２７，１２８，１２９毎に
別々に圧縮符号化される。

【０００８】図１９は、上記１シーン１２０のシーンデ
ータに対してオブジェクト符号化処理を施して得られ
る、各オブジェクトに対応する符号化データを伝送する
ための伝送用データ構造，つまりビットストリームのフ
ォーマットを説明するための図である。図において、Ｍ
Ｅｇは、上記各オブジェクトの符号化データを補助デー
タとともに多重してなる、所定のフォーマットを有する
多重ビットストリームであり、この多重ビットストリー
ムＭＥｇが、上記シーンデータに対応する符号化データ
として伝送されることとなる。

【０００９】上記多重ビットストリームＭＥｇは、一定
の単位（所定のバイト数）毎に複数のパケットに区切ら
れており、各オブジェクトの符号化データは、それぞれ
ロジカルチャネルＬＣとして固有値ＳＬＣ（＝１，２，
・・・）を有するパケットに割り振られている。

【００１０】具体的には、図１９に示す多重ビットスト
リームＭＥｇでは、オブジェクト〔１〕の符号化された
ビデオデータがロジカルチャネル（ＳＬＣ＝３）のパケ
ットＰａ３，Ｐａ６に、オブジェクト〔２〕の符号化さ
れたビデオデータがロジカルチャネル（ＳＬＣ＝４）の
パケットＰａ５，Ｐａ７に、オブジェクト〔３〕の符号
化されたオーディオデータがロジカルチャネル（ＳＬＣ
＝５）のパケットＰａ４に割り振られている。なお、多
重する際のパケットのバイト数、パケットのロジカルチ
ャネルＬＣ、及びパケットの伝送順序等の情報は、制御
情報として別のロジカルチャネルを有するパケット（図
示せず）に割り振られて伝送される。ここで、上記オブ
ジェクト〔１〕，〔２〕はそれぞれ図１８に示す背景画
像１２１，移動体１２２であり、またオブジェクト
〔３〕は図１８に示す背景オーディオ１２３である。

【００１１】また、上記ビットストリームＭＥｇにおけ
るロジカルチャネル（ＳＬＣ＝１）のパケットＰａ１に
は、上記各オブジェクトからなるシーンを再現するため
のシーン構成方法に関する情報（コンボジションストリ
ーム）が割り振られ、さらに上記ビットストリームＭＥ
ｇにおけるロジカルチャネル（ＳＬＣ＝２）のパケット
Ｐａ２には、上記各オブジェクトの符号化データがどの
ように多重されているかを示す情報（ストリームアソシ
エーションテーブル）が割り振られている。

【００１２】従って、オブジェクト符号化により得られ
る複数の符号化データを多重化して伝送する際には、各
オブジェクトの符号化データとともに、複数のオブジェ
クトからなるシーンの構成を表すコンポジションストリ
ーム、及び伝送したストリーム（つまり個々のオブジェ
クトに対応する一連の符号化データ）の相互の関係を表
すストリームアソシエーションテーブルが同時に伝送さ
れることとなる。

【００１３】図２０は、コンポジションストリームによ
るシーンの記述を説明するための図であり、図１８に示
す１枚の画像（１シーン）１２０に対応する記述ＳＤを
示している。

【００１４】上記コンポジションストリームによるシー
ン記述ＳＤでは、上記１枚の画像１２０がシーン１４０
により示され、さらに、このシーン１４０により示され
る１枚の画像１２０が、図１８に示す背景画像１２１，
移動体１２２，背景オーディオ１２３の各オブジェクト
からなることが、画像（１）１４１，ノード１４２，及
びオーディオ（１）１４３により示されている。ここ
で、上記シーン１４０，画像（１）１４１，ノード
（１）１４２，及びオーディオ（１）１４３は、それぞ
れ図１８に示す１枚の画像１２０，背景画像１２１，移
動体１２２，及び背景オーディオ１２３を示す記述子で
ある。

【００１５】また、上記シーン記述ＳＤでは、上記ノー
ド（１）１４２により示される移動体１２２が第１の車
輪１２４、第２の車輪１２５、胴体１２６、及び移動体
オーディオ１２７の４つのオブジェクトから構成されて
いることが、該各オブジェクトに対応する記述子である
画像（２）１４４，画像（３）１４５，ノード（２）１
４６，及びオーディオ（２）１４７により示されてい
る。

【００１６】また、上記シーン記述ＳＤでは、上記ノー
ド（２）１４６により示される胴体１２６が、窓１２８
とそれ以外の部分１２９の２つのオブジェクトから構成
されていることが、該各オブジェクトに対応する記述子
としての画像（４）１４８及び画像（５）１４９により
示されている。

【００１７】また、上記各記述子には、多重ビットスト
リームＭＥｇにおける各オブジェクトの符号化データに
対応するストリームを識別するためのストリームインデ
ックス（ストリームｉｄ）が付加されており、具体的に
は、図２０に示すように、上記各記述子１４１〜１４５
にはストリームｉｄとしてＳｉｄ＝１〜Ｓｉｄ＝５が付
加され、上記各記述子１４８，１４９，１４７にはスト
リームｉｄとしてＳｉｄ＝６，Ｓｉｄ＝７，Ｓｉｄ＝８
が付加されている。ここで、Ｓｉｄはストリームｉｄの
具体的な番号である。

【００１８】従って、上記コンポジションストリームに
よるシーン記述からは、あるシーンがどのようなオブジ
ェクトにより構成されているかがわかる。ただし、この
コンポジションストリームによるシーン記述では、各オ
ブジェクトに対応する符号化データが実際の多重ビット
ストリームＭＥｇにてどのように多重されているかは表
されていない。

【００１９】図２１は、上記ストリームアソシエーショ
ンテーブルを説明するための図である。このストリーム
アソシエーションテーブルＡＴでは、上記各オブジェク
トの符号化データに対応するストリーム（個々のオブジ
ェクトに対応する一連の符号化データ）と、多重化する
際の符号化データの区画単位であるパケットを特定する
ロジカルチャネルＬＣとの関係が表されている。具体的
には、このテーブルＡＴでは、各ストリームのストリー
ムｉｄ、各ストリームに対応するロジカルチャネルの値
ＬＣ、及び各ストリームの上位ストリームに対応するロ
ジカルチャネルの値ＬＣが関連付けて示されている。な
おここでは、第１階層Ｌ１のオブジェクト１２１〜１２
３に対応するストリーム（Ｓｉｄ＝１〜３）の上位スト
リームに対応するロジカルチャネルＬＣは、ストリーム
アソシエーションテーブルが割り振られたパケットＰａ
２のロジカルチャネルＬＣ（ＳＬＣ＝２）に対応するも
のとしている。

【００２０】従って、このテーブルＡＴを参照すること
により、各ストリームに対応するロジカルチャネルＬＣ
及びそのストリームの親のストリーム（上位ストリー
ム）のロジカルチャネルＬＣを特定することができる。

【００２１】上述したように、図２０に示すコンポジシ
ョンストリームによるシーン記述ＳＤでは、各オブジェ
クトに対応する記述子１４１〜１４５，１４７〜１４９
にストリームｉｄ（Ｓｉｄ）を付加しているので、コン
ポジションストリームからは、各オブジェクトをストリ
ームｉｄ（Ｓｉｄ）により認識することができ、このた
め、上記コンポジションストリームと、図２１に示すス
トリームアソシエーションテーブルＡＴとの関係付けが
可能となっている。

【００２２】このように多重ビットストリームＭＥｇに
は各オブジェクトに対応する符号化データとともに、コ
ンポジションストリームとストリームアソシエーション
テーブルが含まれているので、上記多重ビットストリー
ムＭＥｇに基づいて、各オブジェクトに対応する符号化
データを復号処理により再生する際には、指定された特
定のオブジェクトの符号化データを、コンポジションス
トリームとストリームアソシエーションテーブルに基づ
いて抽出したり、検索したりすることができ、再生側に
て１シーン１２０を構成するオブジェクト１２１〜１２
９の編集等を行うことができる。

【００２３】なお、上記のように従来のオブジェクト符
号化による多重ビットストリームのフォーマットでは、
シーンの記述と、各符号化データの多重状態や各ストリ
ームに対応するロジカルチャネルＬＣとを、別々の情報
（つまりコンポジションストリームとストリームアソシ
エーションテーブル）として表すようにしているが、こ
れは、シーンの構成，つまりシーンを構成するオブジェ
クトの階層構造を変えずに、各オブジェクトに対応する
ストリームの内容が交換可能となり、上記多重ビットス
トリームとこの多重ビットストリームを扱うアプリケー
ションとのインターフェースが容易なものとなるよう、
多重ビットストリームの物理層に依存する多重化のため
の構造を、多重ビットストリームに含まれる主情報（符
号化データ）とは分離するといった理由によるものであ
る。

【００２４】

【発明が解決しようとする課題】ところが、上記のよう
な従来の多重ビットストリームのデータ構造では、以下
のような種々の問題が生ずる。すなわち、オブジェクト
符号化の大きな特徴として、上記多重ビットストリーム
の中から特定のオブジェクトに対応する符号化データを
抽出して復号したり、上記多重ビットストリームが格納
されたデータベースを対象として特定のオブジェクトの
検索を行ったりする処理が可能である点が挙げられる。

【００２５】ところが、従来の構成の多重ビットストリ
ームＭＥｇから個々のオブジェクトの符号化データを認
識するには、いくつかの手順を踏まなければならない。
例えば、階層構造を有する複数のオブジェクトのうちの
下位階層のオブジェクトの符号化データを認識するに
は、まず、上記多重ビットストリームＭＥｇに含まれる
コンポジションストリームによるシーン記述ＳＤを解析
し、ノードに対応するオブジェクトを見つけ、さらに、
該ノードに対応するオブジェクトを構成する下位オブジ
ェクトに対応するストリームを特定する。そしてさら
に、上記ストリームアソシエーションテーブルを解析
し、上記特定したストリームのストリームｉｄに基づい
て、このストリームｉｄに対応するロジカルチャネルＬ
Ｃを見つける。これにより、目的とする特定のオブジェ
クトの符号化データを多重ビットストリームＭＥｇから
抽出することができる。

【００２６】また、ストリームアソシエーションテーブ
ルＡＴからは各オブジェクトに対応するストリームの階
層関係がわかるため、該ストリームアソシエーションテ
ーブルＡＴのみに基づいて目的とする特定のオブジェク
トの符号化データを類推することはできるが、符号化デ
ータの類推は時間がかかったり確実に行うことができな
かったりするといった問題がある。

【００２７】つまり、ストリームアソシエーションテー
ブルＡＴでは、ノードとしてのオブジェクトに関する情
報が明確になっていない。また、このテーブルＡＴで
は、符号化データに対応するストリームの種類（例えば
ビデオデータとオーディオデータのいずれに対応するも
のであるか）がわからないため、コンポジションストリ
ーム等の他の情報を参照しなければならない。さらに、
あるストリームに対してその上位のストリームのみしか
わからないため、各オブジェクトの符号化データがどの
ストリームから構成されているのかが一意にわからず、
解析に時間がかかる。

【００２８】例えば、図２０に示すコンポジションスト
リームによるシーン記述ＳＤでは、オブジェクト１２６
に対応するノード（２）１４６は存在するが、このノー
ド（２）に対応するストリームは存在しないため、図２
１に示すストリームアソシエーションテーブルＡＴに
は、ノード（２）に相当するエントリ（つまりストリー
ムのＳｉｄ，そのストリームに対応するＬＣ，及びその
上位ストリームに対応するＬＣ）は存在しない。

【００２９】従って、ノード（２）に対応するオブジェ
クト１２６を抽出する場合には、まず、コンポジション
ストリームによるシーン記述ＳＤ（図２０参照）に基づ
いて、ノード（２）１４６の下位のオブジェクト１２
８，１２９に対応するストリームｉｄを決定し、次に、
ストリームアソシエーションテーブルＡＴ（図２１参
照）にて、該決定したストリームｉｄを有するストリー
ムが、いずれのロジカルチャネルＬＣが与えられたパケ
ットに格納されているかを明らかにするという手順を踏
まなくてはならない。

【００３０】さらに、伝送媒体によってはコンピュータ
ネットワーク（インターネット）などのように、各オブ
ジェクトに対応する符号化データを多重せずに送る場合
がある。なお、このように符号化データを多重化しない
場合は、ビットストリームは、ロジカルチャネルＬＣが
存在しないデータ構造となり、またストリームアソシエ
ーションテーブルを含まないものとなる。

【００３１】ところが、この場合には、ビットストリー
ムからの特定オブジェクトの検出は、コンポジションス
トリームによるシーン記述ＳＤに基づいてオブジェクト
の階層構造を解析することにより行うこととなるが、オ
ブジェクトの数が膨大になると、コンポジションストリ
ームに基づいたオブジェクトの階層構造の解釈には多大
な時間が必要となり、あるシーンに対するオブジェクト
の置換や編集のための操作性が悪くなるという問題点が
ある。

【００３２】本発明は上記のような問題点を解決するた
めになされたもので、複数のオブジェクトに対応する符
号化データから特定のオブジェクトに対応する符号化デ
ータを抽出，選択あるいは検索するといった処理を簡単
かつ高速に行うことができ、これによりオブジェクトデ
ータの編集，置換等を短時間に操作性よく行うことがで
きるオブジェクトデータ処理装置を得ることを目的とす
る。

【００３３】本発明は、複数のオブジェクトに対応する
符号化データを、そのうちの特定のオブジェクトに対応
する符号化データを抽出，選択あるいは検索するといっ
た処理を簡単かつ高速に行うことができるよう記録する
オブジェクトデータ記録装置を得ることを目的とする。

【００３４】本発明は、複数のオブジェクトに対応する
符号化データから特定のオブジェクトに対応する符号化
データを抽出，選択あるいは検索するといった処理を簡
単かつ高速に行うことができるデータ構造の符号化デー
タを記憶したデータ記憶媒体を得ることを目的とする。

【００３５】本発明は、複数のオブジェクトに対応する
符号化データから特定のオブジェクトに対応する符号化
データを抽出，選択あるいは検索するといった処理を簡
単かつ高速に行うことができる伝送用データ構造を得る
ことを目的とする。

【００３６】

【課題を解決するための手段】この発明（請求項１）に
係るオブジェクトデータ処理装置は、記録あるいは伝送
の対象となる個別データを構成する、階層構造をなすＮ
個（Ｎは正の整数）のオブジェクトデータを、各オブジ
ェクトデータ毎に圧縮符号化して得られるＮ個の符号化
データを復号する装置であって、該符号化データに基づ
いて、上記Ｎ個のオブジェクトデータの階層関係を示す
階層情報を抽出する階層情報抽出手段と、該階層情報に
基づいて、上記各オブジェクトデータと各オブジェクト
データに対応する符号化データとを関連付けて示すオブ
ジェクトテーブルを作成するテーブル作成手段とを備え
たものである。

【００３７】この発明（請求項２）に係るオブジェクト
データ処理装置は、１シーンに相当するシーンデータに
対して該１シーンを構成するＮ個（Ｎは正の整数）のオ
ブジェクト毎に圧縮符号化処理を施して得られるＮ個の
符号化データを復号する装置であって、該符号化データ
に基づいて、上記１シーンを構成するオブジェクトの階
層関係を示す階層情報を抽出する階層情報抽出手段と、
該階層情報に基づいて、上記各オブジェクトと各オブジ
ェクトに対応する符号化データとを関連付けて示すオブ
ジェクトテーブルを作成するテーブル作成手段とを備え
たものである。

【００３８】この発明（請求項３）は、請求項２記載の
オブジェクトデータ処理装置において、上記階層情報抽
出手段を、上記符号化データに基づいて、上記階層情報
に加えて、各オブジェクトの優先順位を示す優先度情報
を抽出するよう構成し、上記テーブル作成手段を、上記
階層情報及び優先度情報に基づいて、上記各オブジェク
トと各オブジェクトに対応する符号化データとを関連付
けて示すとともに、各オブジェクトの優先順位を示すオ
ブジェクトテーブルを作成するよう構成したものであ
る。

【００３９】この発明（請求項４）は、請求項２記載の
オブジェクトデータ処理装置において、指定された特定
のオブジェクトに対応する符号化データを識別するため
の識別情報を、上記オブジェクトテーブルを参照して検
出する識別情報検出手段と、上記識別情報に基づいて、
上記Ｎ個の符号化データから特定のオブジェクトに対応
する符号化データを抽出して復号する復号手段とを備え
たものである。

【００４０】この発明（請求項５）に係るオブジェクト
データ処理装置は、１シーンに相当するシーンデータに
対して１シーンを構成するＮ個（Ｎは正の整数）のオブ
ジェクト毎に圧縮符号化処理を施して得られるＮ個の符
号化データを含む多重データを復号する装置であって、
上記多重データに含まれる上記各符号化データの相互関
係を示す情報に基づいて、上記１シーンを構成するオブ
ジェクトの階層関係を示す階層情報を抽出する階層情報
抽出手段と、上記階層情報に基づいて、上記各オブジェ
クトと各オブジェクトに対応する符号化データとを関連
付けて示すオブジェクトテーブルを作成するテーブル作
成手段とを備えたものである。

【００４１】この発明（請求項６）は、請求項５記載の
オブジェクトデータ処理装置において、上記階層情報抽
出手段を、上記多重データに基づいて、上記階層情報に
加えて、各オブジェクトの優先順位を示す優先度情報を
抽出するよう構成し、上記テーブル作成手段を、上記階
層情報及び優先度情報に基づいて、上記各オブジェクト
と各オブジェクトに対応する符号化データとを関連付け
て示すとともに、各オブジェクトの優先順位を示すオブ
ジェクトテーブルを作成するよう構成したものである。

【００４２】この発明（請求項７）は、請求項５記載の
オブジェクトデータ処理装置において、指定された特定
のオブジェクトに対応する符号化データを識別するため
の識別情報を、上記オブジェクトテーブルを参照して検
出する識別情報検出手段と、上記識別情報に基づいて、
上記多重データから特定のオブジェクトに対応する符号
化データを抽出して復号する復号手段とを備えたもので
ある。

【００４３】この発明（請求項８）に係るオブジェクト
データ処理装置は、記録あるいは伝送の対象となる個別
データを構成する、階層構造をなすＮ個（Ｎは正の整
数）のオブジェクトデータを、各オブジェクトデータ毎
に圧縮符号化して得られるＮ個の符号化データから、特
定のオブジェクトデータに対応する符号化データを選択
する装置であって、該符号化データに基づいて、上記Ｎ
個のオブジェクトデータの階層関係を示す階層情報を抽
出する階層情報抽出手段と、該階層情報に基づいて、上
記各オブジェクトデータと各オブジェクトデータに対応
する符号化データとを関連付けて示すオブジェクトテー
ブルを作成するテーブル作成手段とを備え、特定のオブ
ジェクトデータに対応する符号化データを、該オブジェ
クトテーブルを参照して上記Ｎ個の符号化データの中か
ら選択して出力するよう構成したものである。

【００４４】この発明（請求項９）に係るオブジェクト
データ処理装置は、１シーンに相当するシーンデータに
対して該１シーンを構成するＮ個（Ｎは正の整数）のオ
ブジェクト毎に圧縮符号化処理を施して得られるＮ個の
符号化データから、特定のオブジェクトに対応する符号
化データを選択する装置であって、該符号化データに基
づいて、上記１シーンを構成するオブジェクトの階層関
係を示す階層情報を抽出する階層情報抽出手段と、該階
層情報に基づいて、上記各オブジェクトと各オブジェク
トに対応する符号化データとを関連付けて示すオブジェ
クトテーブルを作成するテーブル作成手段とを備え、特
定オブジェクトの符号化データを、該オブジェクトテー
ブルを参照して上記Ｎ個の符号化データの中から選択し
て出力するよう構成したものである。

【００４５】この発明（請求項１０）に係るオブジェク
トデータ処理装置は、１シーンに相当するシーンデータ
に対して該１シーンを構成するＮ個（Ｎは正の整数）の
オブジェクト毎に圧縮符号化処理を施して得られるＮ個
の符号化データを含む多重データから、特定のオブジェ
クトに対応する符号化データを選択する装置であって、
上記多重データに含まれる上記各符号化データの相互関
係を示す情報に基づいて、上記１シーンを構成するＮ個
のオブジェクトの階層関係を示す階層情報を抽出する階
層情報抽出手段と、上記階層情報に基づいて、上記各オ
ブジェクトと各オブジェクトに対応する符号化データと
を関連付けて示すオブジェクトテーブルを作成するテー
ブル作成手段とを備え、特定オブジェクトの符号化デー
タを、該オブジェクトテーブルを参照して上記多重デー
タの中から選択して出力するよう構成したものである。

【００４６】この発明（請求項１１）に係るオブジェク
トデータ記録装置は、データを蓄積するデータ蓄積部を
有し、記録あるいは伝送の対象となる対象データを構成
する、階層構造をなすＮ個（Ｎは正の整数）のオブジェ
クトデータを、各オブジェクトデータ毎に圧縮符号化し
て得られるＮ個の符号化データを上記データ蓄積部に記
録する装置であって、該符号化データに基づいて、上記
Ｎ個のオブジェクトデータの階層関係を示す階層情報を
抽出する階層情報抽出手段と、該階層情報に基づいて、
上記各オブジェクトデータと各オブジェクトデータに対
応する符号化データとを関連付けて示すオブジェクトテ
ーブルを作成するテーブル作成手段とを備え、上記Ｎ個
の符号化データとこれに対応するオブジェクトテーブル
とを上記データ蓄積部に記録するよう構成したものであ
る。

【００４７】この発明（請求項１２）に係るオブジェク
トデータ記録装置は、データを蓄積するデータ蓄積部を
有し、１シーンに相当するシーンデータに対して該１シ
ーンの画像を構成するＮ個（Ｎは正の整数）のオブジェ
クト毎に圧縮符号化処理を施して得られるＮ個の符号化
データを上記データ蓄積部に記録する装置であって、該
符号化データに基づいて、上記１シーンを構成するオブ
ジェクトの階層関係を示す階層情報を抽出する階層情報
抽出手段と、該階層情報に基づいて、上記各オブジェク
トと各オブジェクトに対応する符号化データとを関連付
けて示すオブジェクトテーブルを作成するテーブル作成
手段とを備え、上記Ｎ個の符号化データとこれに対応す
るオブジェクトテーブルとを上記データ蓄積部に記録す
るよう構成したものである。

【００４８】この発明（請求項１３）は、請求項１２記
載のオブジェクトデータ記録装置において、上記Ｎ個の
符号化データに対応するオブジェクトテーブルを該Ｎ個
の符号化データに付加して記憶するよう構成したもので
ある。

【００４９】この発明（請求項１４）は、請求項１２記
載のオブジェクトデータ記録装置において、上記Ｎ個の
符号化データに対応するオブジェクトテーブルを該Ｎ個
の符号化データとは分離して記録するよう構成したもの
である。

【００５０】この発明（請求項１５）に係るオブジェク
トデータ記録装置は、データを蓄積するデータ蓄積部を
有し、１シーンに相当するシーンデータに対して該１シ
ーンを構成するＮ個（Ｎは正の整数）のオブジェクト毎
に圧縮符号化処理を施して得られるＮ個の符号化データ
を含む多重データを上記データ蓄積部に記録する装置で
あって、上記多重データに含まれる上記各符号化データ
の相互関係を示す情報に基づいて、上記１シーンを構成
するオブジェクトの階層関係を示す階層情報を抽出する
階層情報抽出手段と、上記階層情報に基づいて、上記各
オブジェクトと各オブジェクトに対応する符号化データ
とを関連付けて示すオブジェクトテーブルを作成するテ
ーブル作成手段とを備え、上記多重データとこれに対応
するオブジェクトテーブルとを上記データ蓄積部に記録
するよう構成したものである。

【００５１】この発明（請求項１６）は、請求項１５記
載のオブジェクトデータ記録装置において、上記多重デ
ータに対応するオブジェクトテーブルを該多重データに
付加して記録するよう構成したものである。

【００５２】この発明（請求項１７）は、請求項１５記
載のオブジェクトデータ記録装置において、上記多重デ
ータに対応するオブジェクトテーブルを該多重データと
は分離して記録するよう構成したものである。

【００５３】この発明（請求項１８）に係るデータ記憶
媒体は、記録あるいは伝送の対象となる個別データに関
連する関連データを格納したデータ記憶媒体であって、
上記関連データを、上記個別データを構成する、階層構
造をなすＮ個（Ｎは正の整数）のオブジェクトデータ
を、各オブジェクトデータ毎に圧縮符号化して得られる
Ｎ個の符号化データと、上記各オブジェクトデータとを
関連付けて示すオブジェクトテーブルを含む構成とした
ものである。

【００５４】この発明（請求項１９）に係るデータ記憶
媒体は、１シーンに対応した関連データを格納したデー
タ記憶媒体であって、上記関連データを、１シーンに相
当するシーンデータに対して該１シーンを構成するＮ個
（Ｎは正の整数）のオブジェクト毎に圧縮符号化処理を
施して得られる１つ以上の符号化データと、上記各オブ
ジェクトとを関連付けて示すオブジェクトテーブルとを
含む構成としたものである。

【００５５】この発明（請求項２０）に係るオブジェク
トデータ処理装置は、記録あるいは伝送の対象となる個
別データを構成する、階層構造をなすＮ個（Ｎは正の整
数）のオブジェクトデータを、各オブジェクトデータ毎
に圧縮符号化して得られるＮ個の符号化データを送出す
る装置であって、該符号化データに基づいて、上記Ｎ個
のオブジェクトデータの階層関係を示す階層情報を抽出
する階層情報抽出手段と、該階層情報に基づいて、上記
各オブジェクトデータと各オブジェクトデータに対応す
る符号化データとを関連付けて示すオブジェクトテーブ
ルを作成するテーブル作成手段とを備え、上記Ｎ個の符
号化データをこれに対応するオブジェクトテーブルを付
加して送出するよう構成したものである。

【００５６】この発明（請求項２１）に係るオブジェク
トデータ処理装置は、１シーンに相当するシーンデータ
に対して該１シーンを構成するＮ個（Ｎは正の整数）の
オブジェクト毎に圧縮符号化処理を施して得られるＮ個
の符号化データを送出する装置であって、該符号化デー
タに基づいて、上記１シーンを構成するオブジェクトの
階層関係を示す階層情報を抽出する階層情報抽出手段
と、該階層情報に基づいて、上記各オブジェクトと各オ
ブジェクトに対応する符号化データとを関連付けて示す
オブジェクトテーブルを作成するテーブル作成手段とを
備え、上記Ｎ個の符号化データをこれに対応するオブジ
ェクトテーブルを付加して送出するよう構成したもので
ある。

【００５７】この発明（請求項２２）は、請求項２１記
載のオブジェクトデータ処理装置から送出される送出デ
ータを復号する装置であって、上記送出データから上記
オブジェクトテーブルを分離するデータ分離手段と、該
分離したオブジェクトテーブルを記憶するテーブル記憶
手段とを備え、該テーブル記憶手段に記憶されたオブジ
ェクトテーブルに示されている情報を用いて、上記各オ
ブジェクトに対応する符号化データに対する復号動作を
制御するよう構成したものである。

【００５８】この発明（請求項２３）に係るオブジェク
トデータ処理装置は、１シーンに相当するシーンデータ
に対して該１シーンを構成するＮ個（Ｎは正の整数）の
オブジェクト毎に圧縮符号化処理を施して得られるＮ個
の符号化データを含む多重データを送出する装置であっ
て、上記多重化データに含まれる上記各符号化データの
相互関係を示す情報に基づいて、上記１シーンを構成す
るオブジェクトの階層関係を示す階層情報を抽出する階
層情報抽出手段と、上記階層情報に基づいて、上記各オ
ブジェクトと各オブジェクトに対応する符号化データと
を関連付けて示すオブジェクトテーブルを作成するテー
ブル作成手段とを備え、上記多重データをこれに対応す
るオブジェクトテーブルを付加して送出するよう構成し
たものである。

【００５９】この発明（請求項２４）は、請求項２３記
載のオブジェクトデータ処理装置から送出される送出デ
ータを復号する装置であって、上記送出データから上記
オブジェクトテーブルを分離するデータ分離手段と、該
分離したオブジェクトテーブルを記憶するテーブル記憶
手段とを備え、該テーブル記憶手段に記憶されたオブジ
ェクトテーブルに示されている情報を用いて、上記各オ
ブジェクトに対応する符号化データに対する復号動作を
制御するよう構成したものである。

【００６０】この発明（請求項２５）に係る伝送用デー
タ構造は、記録あるいは伝送の対象となる個別データを
構成する、階層構造をなすＮ個（Ｎは正の整数）のオブ
ジェクトデータを、各オブジェクトデータ毎に圧縮符号
化して得られるＮ個の符号化データを伝送するための伝
送用データ構造であって、上記Ｎ個の符号化データから
なるデータ群を、上記各オブジェクトデータと各オブジ
ェクトデータに対応する符号化データとを関連付けて示
すオブジェクトテーブルを含む構成としたものである。

【００６１】この発明（請求項２６）に係る伝送用デー
タ構造は、１シーンに相当するシーンデータに対して該
１シーンを構成するＮ個（Ｎは正の整数）のオブジェク
ト毎に圧縮符号化処理を施して得られるＮ個の符号化デ
ータを伝送するための伝送用データ構造であって、上記
Ｎ個の符号化データからなるデータ群を、上記各オブジ
ェクトと各オブジェクトに対応する符号化データとを関
連付けて示すオブジェクトテーブルを含む構成としたも
のである。

【００６２】この発明（請求項２７）に係るオブジェク
トデータ処理装置は、記録あるいは伝送の対象となる個
別データを構成する、階層構造をなすＮ個（Ｎは正の整
数）のオブジェクトデータを、各オブジェクトデータ毎
に圧縮符号化して得られるＮ個の符号化データを含む、
所定の符号量毎に複数のパケットに区切られた多重デー
タに対して、所定の処理を施す装置であって、上記多重
データに含まれる、上記各符号化データの相互関係を示
す情報に基づいて、上記Ｎ個のオブジェクトデータの階
層関係を示す階層情報を抽出する階層情報抽出手段と、
該階層情報に基づいて、上記多重データを構成する複数
のパケットの階層関係を示すオブジェクトテーブルを作
成するテーブル作成手段とを備えたものである。

【００６３】この発明（請求項２８）に係るオブジェク
トデータ処理装置は、１シーンに相当するシーンデータ
に対して１シーンを構成するＮ個（Ｎは正の整数）のオ
ブジェクト毎に圧縮符号化処理を施して得られるＮ個の
符号化データを含む、所定の符号量毎に複数のパケット
に区切られた多重データに対して、所定の処理を施す装
置であって、上記多重データに含まれる上記各符号化デ
ータの相互関係を示す情報に基づいて、上記１シーンを
構成するオブジェクトの階層関係を示す階層情報を抽出
する階層情報抽出手段と、上記階層情報に基づいて、上
記多重データを構成する複数のパケットの階層関係を示
すオブジェクトテーブルを作成するテーブル作成手段と
を備えたものである。

【００６４】この発明（請求項２９）に係るオブジェク
トデータ記録装置は、データを蓄積するデータ蓄積部を
有し、記録あるいは伝送の対象となる個別データを構成
する、階層構造をなすＮ個（Ｎは正の整数）のオブジェ
クトデータを、各オブジェクトデータ毎に圧縮符号化し
て得られるＮ個の符号化データを含む、所定の符号量毎
に複数のパケットに区切られた多重データを上記データ
蓄積部に記録する装置であって、上記多重データに含ま
れる、上記各符号化データの相互関係を示す情報に基づ
いて、上記Ｎ個のオブジェクトデータの階層関係を示す
階層情報を抽出する階層情報抽出手段と、該階層情報に
基づいて、上記多重データを構成する複数のパケットの
階層関係を示すオブジェクトテーブルを作成するテーブ
ル作成手段とを備え、上記多重データとこれに対応する
オブジェクトテーブルとを上記データ蓄積部に記録する
よう構成したものである。

【００６５】この発明（請求項３０）に係るオブジェク
トデータ記録装置は、データを蓄積するデータ蓄積部を
有し、１シーンに相当するシーンデータに対して該１シ
ーンを構成するＮ個（Ｎは正の整数）のオブジェクト毎
に圧縮符号化処理を施して得られるＮ個の符号化データ
を含む、所定の符号量毎に複数のパケットに区切られた
多重データを上記データ蓄積部に記録する装置であっ
て、上記多重データに含まれる上記各符号化データの相
互関係を示す情報に基づいて、上記１シーンを構成する
オブジェクトの階層関係を示す階層情報を抽出する階層
情報抽出手段と、上記階層情報に基づいて、上記多重デ
ータを構成する複数のパケットの階層関係を示すオブジ
ェクトテーブルを作成するテーブル作成手段とを備え、
上記多重データとこれに対応するオブジェクトテーブル
とを上記データ蓄積部に記録するよう構成したものであ
る。

【００６６】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 実施の形態１．図１は本発明の実施の形態１によるオブ
ジェクトデータ処理装置としてのオブジェクトデータ復
号装置である。本実施の形態１のオブジェクトデータ復
号装置１０１は、１枚の画像（シーン）に対応する符号
化データを受け、該符号化データの復号処理を行い、こ
の復号処理により得られた再生データを表示装置１４に
出力する構成となっている。ここで、上記符号化データ
は、図１９に示す多重ビットストリームＭＥｇであり、
つまり１シーンに対応するシーンデータを、該１シーン
を構成する各オブジェクト毎に符号化して得られる符号
化データを補助データとともに多重したものである。上
記１シーンは動画像を構成する各フレームの画像に相当
するものであり、上記オブジェクトデータ復号装置１０
１は、順次入力された各フレームの符号化データに順次
復号処理を施して、各フレームに対応する再生データを
順次出力するようになっている。

【００６７】以下詳述すると、上記オブジェクトデータ
復号装置１０１は、上記多重ビットストリームＭＥｇに
含まれる補助データＤsub であるコンポジションストリ
ーム及びストリームアソシエーションテーブルを選択し
て抜き出すとともに、第１の制御信号Ｃont1に基づいて
上記多重ビットストリームＭＥｇにおける各オブジェク
トに対応する符号化データＥｇを各オブジェクト毎にま
とめて出力する逆多重手段１１と、上記各オブジェクト
に対応する符号化データＥｇを第２の制御信号Ｃont2に
基づいて復号して、各シーンに対応する再生データＲｇ
を出力するオーディオビデオデコード手段（ＡＶデコー
ダ手段）１２とを有している。また、上記復号装置１０
１は、上記ストリームアソシエーションテーブルに基づ
いて、各オブジェクトの符号化データＥｇが格納されて
いるパケットのロジカルチャネルを判定し、該判定結果
に応じて上記第１の制御信号Ｃont1を上記逆多重化手段
１１に供給するとともに、上記コンポジショントリーム
によるシーン記述に基づいて、１シーンにおける各オブ
ジェクトの配置に関する情報，及び各オブジェクトの表
示開始時間に関する情報を第２の制御信号Ｃont2として
上記ＡＶデコーダ１２に供給する演算処理装置（ＣＰ
Ｕ）１３を有している。

【００６８】そして、本実施の形態１では、このＣＰＵ
１３は、上記コンポジションストリームとストリームア
ソシエーションテーブルに基づいて、上記１シーンを構
成する各オブジェクトと、上記多重ビットストリームＭ
Ｅｇにおける各オブジェクトの符号化データＥｇとの対
応関係を示すオブジェクトテーブルを作成して、これを
ＣＰＵ１３内部のデータ記憶部に格納する構成となって
いる。

【００６９】図２は、図１８に示す１シーン１２０に対
応するオブジェクトテーブルＴ１を説明するための図で
ある。このオブジェクトテーブルＴ１には、オブジェク
トｉｄに対して、種々の情報が関連付けて登録されてい
る。ここで、このオブジェクトｉｄは、上記１シーンを
構成する各オブジェクトを識別するためのインデックス
であり、各オブジェクトは、上記オブジェクトｉｄとし
て固有の値Ｏｉｄを有している。具体的には、オブジェ
クトｉｄは、図２０に示すシーン記述における各オブジ
ェクト記述子に対して一義的に付与され、上記オブジェ
クトテーブルＴ１中にオブジェクトｉｄの値Ｏｉｄの順
番に登録されている。

【００７０】ここで、オブジェクトｉｄ（Ｏｉｄ＝１〜
５）はそれぞれ、図２０に示すオブジェクト１２１〜１
２５の記述子１４１〜１４５に対して付与されたもの、
オブジェクトｉｄ（Ｏｉｄ＝６１，６２）は、図２０に
示すオブジェクト１２８，１２９の記述子１４８，１４
９に対応して付与されたもの、さらに、オブジェクトｉ
ｄ（Ｏｉｄ＝８）は、図１９に示すオブジェクト１２７
の記述子１４７に対して付与されたものである。

【００７１】そして、上記オブジェクトテーブルＴ１で
は、各オブジェクトｉｄに対応付けて、各オブジェクト
に対応するロジカルチャネルＬＣ、ストリームの種別
（つまり、ストリームが画像に対応するものであるかオ
ーディオに対応するものであるか）、及び各オブジェク
トに対応するストリームｉｄが登録されている。また、
上記オブジェクトテーブルＴ１では、各オブジェクトの
ｉｄに対応付けて、その上位及び下位オブジェクトのｉ
ｄ、その上位及び下位オブジェクトのロジカルチャネル
ＬＣ、ロジカルチャネルを共用する共用オブジェクトの
ｉｄが示され、さらに各オブジェクトの優先順位が示さ
れている。なお、ＯＬＣはロジカルチャネルＬＣの具体
的な値である。

【００７２】ここで、各オブジェクトの上位オブジェク
トは、各オブジェクトの属する階層より上位の階層に属
するオブジェクトであり、各オブジェクトの下位オブジ
ェクトは、該各オブジェクトの属する階層より下位の階
層に属するオブジェクトである。

【００７３】具体的には、最上位オブジェクト，つまり
図１８の第１階層Ｌ１に属するオブジェクトの上位オブ
ジェクトは、そのオブジェクトそのものとし、その上位
オブジェクトｉｄの値Ｏｉｄ、及びその上位オブジェク
トのロジカルチャネルＬＣの値ＯＬＣを、自分自身のオ
ブジェクトｉｄの値Ｏｉｄ及びロジカルチャネルＬＣの
値ＯＬＣとしている。また、図１８の第２階層Ｌ２及び
第３階層Ｌ３に属する各オブジェクトの上位オブジェク
トは、これらの階層のオブジェクトが構成する、第１階
層Ｌ１に属するオブジェクトとしている。また、下位オ
ブジェクトを有しないオブジェクト（最下位オブジェク
ト）については、その下位オブジェクトｉｄの値Ｏｉｄ
を０としている。なお、ここでは、所定のオブジェクト
が最上位オブジェクトであることを、その上位オブジェ
クトのｉｄを所定のオブジェクトのｉｄとすることによ
り表し、所定のオブジェクトが最下位オブジェクトであ
ることを、その下位オブジェクトのｉｄをＯｉｄ＝０と
することにより表しているが、最上位あるいは最下位オ
ブジェクトであることを示す表示はこれに限らず、たと
えば、所定のオブジェクトが最上位オブジェクトあるい
は最下位オブジェクトであることを、特別な数字や記号
で表記しても良い。

【００７４】このような構成のオブジェクトテーブルＴ
１を参照すると、オブジェクトｉｄとしてＯｉｄ＝２を
有するオブジェクトは、その下位オブジェクトのｉｄの
記述欄にＯｉｄとして４，５，６，８が記述されている
ため、４つのオブジェクトから構成されていることがわ
かる。

【００７５】また、図２では、ストリームが存在しない
ノードに対応するオブジェクト１２６（図２０のシーン
記述ではノード（２）１４６）を構成するオブジェクト
１２８，１２９に対しては、オブジェクトｉｄとして、
その値Ｏｉｄの上位側の桁に、いくつかのオブジェクト
に共通するノードであることを表す数字を付与し、その
値Ｏｉｄの下位側の桁に実際のオブジェクトｉｄの値と
しての数字を付すことにしている。

【００７６】従って、上記オブジェクトテーブルＴ１か
らは、オブジェクトｉｄとしてその値Ｏｉｄ＝６を有す
るオブジェクト１２６は、単なるノードであって、これ
に対応する符号化データは実際には存在せず、このオブ
ジェクト１２６のストリームは、オブジェクトｉｄとし
てＯｉｄ＝６１，６２を有するオブジェクト１２８，１
２９のストリーム（つまりＳｉｄ＝６，７のストリー
ム）からなることがわかる。

【００７７】また、オブジェクトｉｄとしてＯｉｄ＝２
を有するオブジェクト１２２も、オブジェクトｉｄとし
てＯｉｄ＝６を有するオブジェクト１２６と同様ノード
に相当するものであるが、このオブジェクト１２２はオ
ブジェクトテーブルＴ１上で明確に記述されているの
で、このオブジェクト１２２に相当するストリーム（つ
まり、Ｓｉｄ＝２のストリーム）が存在することがわか
る。

【００７８】なお、ノードに対応するストリームに含ま
れる情報は、そのノードに属するオブジェクトすべてに
共通な情報であり、たとえば、共通のシステムクロッ
ク、表示開始タイミング、復号開始時間、表示位置など
のそのオブジェクト固有のコンポジション情報や著作権
情報などが挙げられる。

【００７９】次に動作について説明する。本実施の形態
１のオブジェクトデータ復号装置１０１に、図１９に示
す多重ビットストリームＭＥｇが入力されると、逆多重
化手段１１により上記多重ビットストリームから補助デ
ータＤsub としてのコンポジションストリームとストリ
ームアソシエーションテーブルが抜き出され、ＣＰＵ１
３に供給される。

【００８０】すると、上記ＣＰＵ１３では、上記ストリ
ームアソシエーションテーブルに基づいて、図１９の１
シーン１２０を構成する各オブジェクトとそのロジカル
チャネルＬＣとの対応関係が認識され、この認識結果に
応じて第１の制御信号Ｃont1が逆多重化手段１１に出力
される。この逆多重化手段１１では、上記第１の制御信
号Ｃont1に基づいて、多重ビットストリーム中にて複数
のパケットに分散されている、各オブジェクトに対応す
るストリームが、各オブジェクト毎にまとめられて、Ａ
Ｖデコード手段１２に出力される。

【００８１】また、このときＣＰＵ１３では、コンポジ
ションストリームによるシーン記述から、各オブジェク
トの表示位置及び表示開始時間に関する情報が抽出さ
れ、これらの情報が第２の制御信号Ｃont2としてＡＶデ
コード手段１２に出力される。

【００８２】該ＡＶデコード手段１２では、上記逆多重
手段１１から出力された各オブジェクトに対応したスト
リーム（一連の符号化データＥｇ）に対する復号処理が
行われ、ＣＰＵ１３からの第２の制御信号Ｃont2（つま
り、オブジェクトの表示に関する情報）に基づいて各オ
ブジェクトに対応する復号データを合成して、複数のオ
ブジェクトからなる１シーン１２０に対応する再生デー
タＲｇが出力される。なお、このような復号動作は従来
のオブジェクトデータ復号装置と同様なものである。そ
して、本実施の形態１では、上記復号動作に加えて、Ｃ
ＰＵ１３では、図２に示すオブジェクトテーブルＴ１を
作成する処理が行われる。

【００８３】以下、このオブジェクトテーブル作成処理
について説明する。図３は、ＣＰＵ１３によるオブジェ
クトテーブル作成処理のアルゴリズムを示すフローチャ
ートである。

【００８４】まず、ステップＳ１では、コンポジション
ストリームがＣＰＵ１３のデータ記憶部に読み込まれ、
ステップＳ２では、ストリームアソシエーションテーブ
ルがＣＰＵ１３のデータ記憶部に読み込まれ、さらにス
テップＳ３では、コンポジションストリームにおける各
オブジェクトの記述子がＣＰＵ１３の演算処理部にロー
ドされ、各記述子にオブジェクトｉｄとして値Ｏｉｄが
付与される。これによりオブジェクトをそのオブジェク
トｉｄにより特定可能となる。

【００８５】続くステップＳ４では、上記記述子のロー
ドが行われたオブジェクトが、ノードに相当しかつスト
リームを有しないものか否かの判定が行われ、その結
果、ノードに相当しかつストリームを有しない場合、ス
テップＳ１１にて、記述子のロードの対象となるオブジ
ェクトの階層を１つ下げる処理が行われ、続いてステッ
プＳ３にて、該ノードに相当するオブジェクトを構成す
る下位のオブジェクトの記述子がＣＰＵ１３にロードさ
れることとなる。

【００８６】また、上記ステップＳ４の判定の結果、記
述子のロードが行われたオブジェクトが、ノードに相当
しかつストリームを有しないものではない場合、ステッ
プＳ６にて上記値Ｏｉｄが、オブジェクトテーブルの要
素であるオブジェクトｉｄとして登録される。

【００８７】その後、ステップＳ７にて、ストリームア
ソシエーションテーブルの解析が行われ、この解析結果
に基づいて、オブジェクトテーブルにおける、各オブジ
ェクトに対応する種々のテーブル要素が登録される。こ
れらのテーブル要素の主要なものとしては、各オブジェ
クトに対応するロジカルチャネルＬＣ，各オブジェクト
の優先順位，及び各オブジェクトに対応するストリーム
ｉｄ及びストリーム種別（ＶｉｄｅｏあるいはＡｕｄｉ
ｏ）が挙げられる。なお、ここでは、上記テーブル要素
として、さらに各オブジェクトに対応する上位及び下位
オブジェクトのｉｄ，各オブジェクトに対応する上位及
び下位オブジェクトのロジカルチャネルＬＣ，及びロジ
カルチャネルを共用する共用オブジェクトのｉｄも登録
するようにしている。

【００８８】ステップＳ８では、処理の対象となってい
る被処理オブジェクトと同一のノードに属する他のオブ
ジェクトについてのテーブル要素の登録が完了している
か否かを判定し、完了していなければ、ＣＰＵ１３の処
理がステップＳ３に戻り、上記ステップＳ４〜ステップ
Ｓ８の処理が行われる。一方、上記ステップＳ８での判
定の結果、現在処理中の被処理オブジェクトが属するノ
ードの全てのオブジェクトについてテーブル要素の登録
が完了している場合には、ステップＳ９にて、上記被処
理オブジェクトが最上位階層のオブジェクトであるか否
かの判定がなされる。

【００８９】この判定の結果、被処理オブジェクトが最
上位階層のオブジェクトでなければ、ステップＳ１２に
て、オブジェクト階層を１つ上げる処理が行われ、再度
ステップＳ９にて上記判定処理が行われる。一方、ステ
ップＳ９での判定の結果、ＣＰＵ１３の処理対象となっ
ている被処理オブジェクトが最上位階層のオブジェクト
であれば、ステップＳ１０にて１シーンを構成するすべ
てのオブジェクトに対してテーブル要素の登録がなされ
たか否かの判定が行われる。

【００９０】この判定の結果、全オブジェクトについて
テーブル要素の登録がなされていない場合は、ＣＰＵ１
３の処理がステップＳ３に戻り、上記ステップＳ４〜Ｓ
９，Ｓ１１，Ｓ１２の処理が行われる。一方、ステップ
Ｓ１０の判定の結果すべてのオブジェクトについてテー
ブル要素が登録されている場合には、ＣＰＵ１３による
オブジェクトテーブルの作成処理が終了する。

【００９１】そして、本実施の形態１のオブジェクトデ
ータ復号装置１０１では、上記のように作成されたオブ
ジェクトテーブルは、ＣＰＵ１３のデータ記憶部に格納
される。この格納されたオブジェクトテーブルは、コン
ポジションストリームとストリームアソシエーションテ
ーブルが更新されるたびに、これらの最新の情報に対応
したものとなるよう、更新される。従って、１シーンを
構成するオブジェクトが変更されない限り、オブジェク
トテーブルの更新が行われることはない。

【００９２】なお、上記多重ビットストリーム中に、新
しいコンポジションストリームとストリームアソシエー
ションテーブルが送られたことを示すフラグがある場合
には、該フラグが新しく送られた場合のみ上記オブジェ
クトテーブルを更新するようにしてもよい。

【００９３】このような構成の本実施の形態１のオブジ
ェクトデータ復号装置１０１では、ユーザの要求などで
特定のオブジェクトに対してのみ復号処理を行う場合、
ＣＰＵ１３のデータ記憶部に格納されたオブジェクトテ
ーブルに基づいて、上記特定のオブジェクトに対応する
ロジカルチャネルＬＣを特定し、このロジカルチャネル
ＬＣを有するパケットのみを多重化ストリームから抽出
して復号することができる。

【００９４】例えば、ノードに相当するオブジェクト
（Ｏｉｄ＝２）１２２に対してのみ復号処理を行う場
合、従来のデータ構造の多重ビットストリームでは、コ
ンポジションストリームとストリームアソシエーション
テーブルをＣＰＵにより解析し、指定されたオブジェク
トに対応するロジカルチャネルＬＣを特定する必要があ
ったが、本実施の形態１では、多重ビットストリームＭ
Ｅｇ中に、図２に示すオブジェクトテーブルが存在する
ため、指定されたオブジェクトに対応するロジカルチャ
ネルＬＣ（つまりＯＬＣ＝６〜９）を瞬時に特定でき、
高速な検索動作が可能となる。

【００９５】また、復号装置の処理能力が低く、すべて
のオブジェクトに対する復号処理が不可能である場合に
は、優先順位の高いオブジェクトのみを復号することが
考えられるが、本実施の形態１では、オブジェクトテー
ブルには各オブジェクトの優先順位が記述されているた
め、容易に優先順位の高いオブジェクトのロジカルチャ
ネルＬＣを特定することができる。

【００９６】また、上記オブジェクトテーブルでは、ロ
ジカルチャネルＬＣを共用するオブジェクトのｉｄもま
た示しているので、以下のような効果もある。つまり、
本実施の形態のビットストリームでは、オブジェクトｉ
ｄとして値Ｏｉｄ＝４，５を有するオブジェクト１２
４，１２５（図１８参照）は、同じロジカルチャネルＬ
Ｃ（ＯＬＣ＝６）の符号化データを利用している。従っ
て、これらのオブジェクトは、オブジェクトｉｄやスト
リームｉｄの値は異なるが、対応するロジカルチャネル
ＬＣとしては同一の値（ＬＣ＝６）を持っている。

【００９７】ところで、特定のオブジェクトの符号化デ
ータを多重ビットストリームから削除する際には、上記
特定のオブジェクトに関連する関連オブジェクトのオブ
ジェクトｉｄに基づいて、該関連オブジェクトに対応す
るロジカルチャネルＬＣを判定し、上記特定オブジェク
トの符号化データを多重ビットストリーム中から抽出す
るが、上記特定オブジェクトがそのロジカルチャネルを
関連オブジェクトとの間で共用している場合、特定オブ
ジェクトの符号化データを削除すると、関連オブジェク
トに対応する符号化データがなくなり、関連オブジェク
トに対する復号処理が不可能となる。

【００９８】そこで、ロジカルチャネルを共用するオブ
ジェクトのｉｄをオブジェクトテーブルＴ１中に記載す
ることにより、これを、そのオブジェクトの符号化デー
タを削除可能か否かの判定に用いることができ、上記の
ような不都合を解消することができる。

【００９９】このように本実施の形態１では、複数のオ
ブジェクトに対応する符号化データＥｇを含む多重ビッ
トストリームに基づいて、各オブジェクトとその符号化
データとの対応関係を示すオブジェクトデータテーブル
をあらかじめ作成し、作成したオブジェクトテーブルを
用いて、特定のオブジェクトの抽出、選択、検索を行う
ようにしたので、特定のオブジェクトの検索等を、多重
ビットストリームに含まれるオブジェクトの情報をその
都度解釈して行う場合に比べ、オブジェクトの検索等に
必要な演算処理量が少なくなり、高速処理が可能とな
る。

【０１００】さらに、オブジェクトテーブルＴ１中に
は、１シーンを構成する階層構造をなす複数のオブジェ
クトの関係が明確に記述してあるため、１つのオブジェ
クト中に複数のオブジェクトが含まれる場合でも、置
換、編集などのオブジェクト操作を容易にすることがで
きる。

【０１０１】なお、上記実施の形態１では、ロジカルチ
ャネルを共用するオブジェクトを、これらのオブジェク
トのｉｄにより示すようにしているが、ロジカルチャネ
ルを共用しているかどうかがわかれば良い場合には、オ
ブジェクトｉｄではなく、１，０といったフラグを用い
ることにより、オブジェクトテーブルの構成を簡略化す
ることができる。

【０１０２】また、オブジェクトテーブルは図２に示す
ものに限らず、他の構成でもよく、以下に、本実施の形
態１の変形例として、図２に示すオブジェクトテーブル
とはその構成が異なるオブジェクトテーブルを作成する
オブジェクトデータ復号装置について説明する。図４は
この変形例によるオブジェクトデータ復号装置にて作成
されるオブジェクトテーブルを説明するための図であ
り、上位階層のオブジェクトに対応するテーブル、及び
下位階層のオブジェクトに対応するテーブルを示してい
る。

【０１０３】図４に示すオブジェクトテーブルＴ２が図
２に示すオブジェクトテーブルＴ１と異なる点は、図４
のオブジェクトテーブルＴ２では、オブジェクトのロジ
カルチャネルＬＣを記述していない点と、またオブジェ
クトテーブルＴ２を、オブジェクトの階層に応じて上位
階層のものＴ２ａと下位階層のものＴ２ｂとに分離した
点である。

【０１０４】このような構成のオブジェクトテーブルを
作成する処理は、テーブル要素であるロジカルチャネル
ＬＣの登録処理を行わない点が図３に示す処理フローと
異なるだけであり、図３の処理フローと類似の処理フロ
ーでもって作成することができる。

【０１０５】ところで、上述したように、ビットストリ
ームは、必ずしも各オブジェクトに対応する符号化デー
タが多重されているものとは限らない。符号化データが
多重されていないビットストリームには、ストリームア
ソシエーションテーブルは含まれておらず、このビット
ストリームからはロジカルチャネルＬＣは得られない。

【０１０６】このようなビットストリームでは、多重ビ
ットストリームにおけるロジカルチャネルはストリーム
に相当することとなり、ロジカルチャネルＬＣに代え
て、ストリームｉｄによって各オブジェクトの符号化デ
ータを特定することとなる。

【０１０７】このため、図４に示すオブジェクトテーブ
ルＴ２ａ，Ｔ２ｂでは、図２に示すオブジェクトテーブ
ルＴ１と同様、各オブジェクトを識別するためのオブジ
ェクトｉｄを登録し、オブジェクトとストリームの関係
を明確にしている。さらに、図４に示すオブジェクトテ
ーブルＴ２ａ，Ｔ２ｂでは、オブジェクトの階層を明確
にするため、ストリームの種別の欄に記述する階層情報
を表す符号としてＨを導入し、該種別の欄の記述がＨで
あるオブジェクトについては、その種別のオブジェクト
に含まれる下位階層のオブジェクトに対応する別階層の
オブジェクトテーブルＴ２ｂを定義するようにしてい
る。

【０１０８】このようにオブジェクトテーブルを階層的
な構成とすることにより、１シーンを構成するオブジェ
クトの階層が増大しても、オブジェクトテーブルを構成
する各階層のオブジェクトテーブルのサイズは大きくな
らない。このため、上位階層のオブジェクトに対しての
み編集や置換といった操作を行うときには、サイズが小
さく抑えられた上位階層のオブジェクトテーブルのみを
検索すればよく、オブジェクトの検出が容易に行えると
いう効果がある。

【０１０９】なお、上記実施の形態１及びその変形例で
は、オブジェクトテーブルとして、図３に示す多重ビッ
トストリームから得られるもの、及び図４に示す非多重
ビットストリームから得られるものを例に取り説明した
が、オブジェクトテーブルはこれらに限るものではな
い。

【０１１０】その他の構成のオブジェクトテーブルとし
ては、オブジェクトテーブルをコンパクトにするため
に、例えば、図２に示すオブジェクトテーブルのテーブ
ル要素から、上位オブジェクトのｉｄ、上位オブジェク
トのＬＣ、優先順位、ストリーム種別、共用オブジェク
トのｉｄなどの要素を除いたものでもよい。

【０１１１】また、逆にオブジェクトテーブルのサイズ
は若干大きくなるが、オブジェクトの編集や置換といっ
た操作をより簡便にするために、コンポジションストリ
ーム自体のＬＣ及びストリームアソシエーションテーブ
ル自体のＬＣをオブジェクトテーブルに記載したり、ビ
デオやオーディオといったオブジェクトに対応するスト
リームのヘッダ情報などをテーブルに加えることも可能
である。

【０１１２】このように、本発明のオブジェクトデータ
復号装置にて作成するオブジェクトテーブルは、オブジ
ェクトとそのオブジェクトのストリームｉｄあるいはロ
ジカルチャネルＬＣが関連づけられるものであればどの
ような構成のものでもよい。

【０１１３】さらに、オブジェクト符号化方式では、復
号装置を簡易な構成とするため、ビットストリーム中に
コンポジションストリームを含めずに、ビットストリー
ム中のストリームアソシエーションテーブルのみで多重
関係を表す場合がある。

【０１１４】このような場合には、オブジェクトとスト
リームの対応関係は一意的に明確にはならないが、図２
に示すオブジェクトテーブルＴ１におけるテーブル要素
であるオブジェクトｉｄ、ストリームｉｄ、ストリーム
種別、優先順位、共用オブジェクトのｉｄなどを除いた
オブジェクトテーブルをストリームアソシエーションテ
ーブルから構成してもよく、この場合、各オブジェクト
の符号化データに対応するロジカルチャネルの階層関係
がオブジェクトテーブルに明記されることとなる。また
さらに、図４に示すオブジェクトテーブルＴ２における
テーブル要素であるオブジェクトｉｄ、ストリームｉ
ｄ、ストリーム種別、優先順位などを除いたオブジェク
トテーブルをストリームアソシエーションテーブルから
構成してもよいことは言うまでもない。

【０１１５】実施の形態２．図５は本発明の実施の形態
２によるオブジェクトデータ処理装置であるオブジェク
トデータ選択装置を説明するためのブロック図である。
このオブジェクトデータ選択装置１０２は、ユーザの指
示に対応した指示信号Ｉｕに基づいて、多重ビットスト
リームＭＥｇから特定のオブジェクトの符号化データＳ
ｇを抜き出すものである。ここで、上記多重ビットスト
リームは、図１９に示す多重ビットストリームＭＥｇと
同様、各オブジェクト毎に、それぞれの符号化データが
多重されている。

【０１１６】すなわち、このオブジェクトデータ選択装
置１０２は、上記多重ビットストリームＭＥｇに含まれ
る補助データＤsub であるコンポジションストリームと
ストリームアソシエーションテーブルを検出する多重ス
トリーム解釈手段６１と、制御信号Ｃont に基づいて上
記ビットストリームＭＥｇから特定のオブジェクトに対
応する符号化データを選択して抜き出すオブジェクト選
択手段６２と、該多重ストリーム解釈手段６１とオブジ
ェクト選択手段６２との間に設けれら、所定の期間にわ
たって上記多重ビットストリームを保持して出力するバ
ッファ６４とを有している。

【０１１７】また、上記選択装置１０２は、上記コンポ
ジションストリームとストリームアソシエーションテー
ブルに基づいて、図２に示すオブジェクトテーブルＴ１
を作成するとともに、ユーザの操作により発生したオブ
ジェクト指定信号Ｉｕに基づいて、指定されたオブジェ
クトの符号化データを選択するための信号を上記制御信
号として上記オブジェクト選択手段６２に出力するＣＰ
Ｕ６３を有している。ここでは、上記多重ビットストリ
ームから特定のオブジェクトに対応する符号化データを
抜き出したことにより、コンポジションストリーム及び
ストリームアソシエーションテーブルの記述内容が変化
するため、上記ＣＰＵ６３は、コンポジションストリー
ムとストリームアソシエーションテーブルに関する補助
データを、抜き出したオブジェクトに対応するよう書き
換えて上記オブジェクト選択手段６２に出力する構成と
なっており、またこのオブジェクト選択手段６２は、Ｃ
ＰＵ６３にて書き換えられたコンポジションストリーム
とストリームアソシエーションテーブルを、上記抜き出
されたオブジェクトの符号化データに付加して出力する
構成となっている。

【０１１８】次に動作について説明する。本実施の形態
２によるオブジェクトデータ選択装置１０２の動作を示
すフローチャートである。まず、ステップＳ７１では、
本オブジェクトデータ選択装置１０２に入力された多重
ビットストリームＭＥｇに基づいてオブジェクトテーブ
ルＴ１が作成される。

【０１１９】すなわち、上記多重ビットストリームは多
重ストリーム解釈手段６１にて解釈され、多重ビットス
トリームＭＥｇに含まれる補助データＤsub であるコン
ポジションストリームとストリームアソシエーションテ
ーブルが検出され、ＣＰＵ６３に供給される。すると、
ＣＰＵ６３では、上記補助データＤsub に基づいてオブ
ジェクトテーブルが作成され、そのデータ記憶部に記憶
される。このオブジェクトテーブルの作成処理は、実施
の形態１のものと全く同様に行われる。

【０１２０】次に、ユーザ等による特定のオブジェクト
を指定する指定信号Ｉｕが入力されると（ステップＳ７
２）、ＣＰＵ６３は、オブジェクト指定信号Ｉｕに基づ
いてオブジェクトテーブルを検索し、指定オブジェクト
のロジカルチャネルＬＣを特定し、このロジカルチャネ
ルＬＣを制御信号Ｃont としてオブジェクト選択手段６
２に送る（ステップＳ７３）。続いて、上記ＣＰＵ６３
は、指定オブジェクトの符号化データに対応するよう、
コンポジションストリームの書き換え（ステップＳ７
４）、及びストリームアソシエーションテーブルの書き
換え（ステップＳ７５）を行う。

【０１２１】このようなコンポジションストリーム及び
ストリームアソシエーションテーブルの書き換えは、入
力された多重ビットストリームと、抜き出されたオブジ
ェクトに対応する多重ビットストリームとの間で、多重
ビットストリームに含まれるオブジェクトの相互関係が
変化するためである。また、上記書き換えが行われてい
る間、多重ストリーム解釈手段６１から出力された多重
ビットストリームはバッファ６４にて保持される。

【０１２２】そして、上記バッファ６４を介して、多重
ビットストリームに含まれる各オブジェクトに対応する
符号化データがオブジェクト選択手段６２に入力される
と（ステップＳ７６）、オブジェクト選択手段６２で
は、ＣＰＵ６３からの、オブジェクト指定信号に対応し
た制御信号Ｃont に基づいて、入力された符号化データ
が指定オブジェクトのロジカルチャネルＬＣに対応する
か否かが判定される（ステップＳ７７）。

【０１２３】この判定の結果、入力された符号化データ
が指定オブジェクトに対応するものでない場合は、上記
ステップＳ７６にて、次の符号化データのオブジェクト
選択手段への入力が行われる。一方、入力された符号化
データが指定オブジェクトに対応するものである場合
は、その符号化データが指定オブジェクトに対応するも
のとして出力される（ステップＳ７８）。このとき、オ
ブジェクト選択手段６２では、該書き換えたコンポジシ
ョンストリーム及びストリームアソシエーションテーブ
ルを、選択されたオブジェクトの符号化データに付けて
出力する。

【０１２４】その後、オブジェクト選択手段６２では、
出力した符号化データが、指定されたオブジェクトに対
応する符号化データのうちの最後のものか否かが判定さ
れる。この判定の結果、出力した符号化データが、指定
オブジェクトの最後の符号化データでなければ、上記ス
テップＳ７６〜ステップＳ７９の処理が再度行われる。
一方、上記ステップＳ７９での判定の結果、出力した符
号化データが、指定オブジェクトの最後の符号化データ
であれば、ステップＳ８０にて、指定された全てのオブ
ジェクトの符号化データの出力が完了したか否かが判定
され、すべて完了していなければ、上記ステップＳ７６
〜ステップＳ８０の処理が再度行われ、一方、すべて完
了しておれば、オブジェクトの符号化データを選択する
処理が終了する。

【０１２５】なお、オブジェクト選択手段６２は、上記
のように指定されたオブジェクトの符号化データを出力
する際に、オブジェクトデータ選択装置から出力される
多重ビットストリームの転送レートが、この選択装置に
入力される多重ビットストリームの転送レートに比べて
低下するので、必要に応じて転送レートの変換処理も行
う構成となっている。またこの転送レートの変換処理
は、選択手段の後段側に設けた独立した手段により行う
ようにしてもよい。

【０１２６】このように本実施の形態２では、複数のオ
ブジェクトに対応する符号化データＥｇを多重化したビ
ットストリームに基づいて、各オブジェクトとその符号
化データとの対応関係を示すオブジェクトデータテーブ
ルをあらかじめ作成し、指定されたオブジェクトに対応
する符号化データを、作成したオブジェクトテーブルを
用いて、ビットストリームから抜き出すようにしたの
で、多重ビットストリームの伝送路の途中などにて高速
に所定のオブジェクトの符号化データを抽出したり削除
したりすることが可能となる。

【０１２７】なお、上記実施の形態２では、特定のオブ
ジェクトを抽出して伝送するとしたが、これに限る物で
はなく逆に特定のオブジェクトのみを抽出して削除し、
残りのストリームを伝送するようにしても良い。

【０１２８】実施の形態３．図７は本発明の実施の形態
３によるオブジェクトデータ記憶装置を説明するための
ブロック図である。この実施の形態３のオブジェクトデ
ータ記録装置１０３は、データを蓄積するデータ蓄積手
段８４と、該蓄積手段８４に蓄積されたデータを選択し
て抜き出すオブジェクトデータ選択部８とを有し、上記
多重ビットストリームＭＥｇを該データ蓄積手段８４に
記録するとともに、ユーザの指示等に基づいて、該デー
タ蓄積手段８４に蓄積されたストリームから、指定され
たオブジェクトの符号化データを検索したり出力したり
する構成となっている。

【０１２９】上記オブジェクトデータ選択部８は、上記
図１９に示す多重ビットストリームＭＥｇに含まれる補
助データＤsub であるコンポジションストリームとスト
リームアソシエーションテーブルを検出する多重ストリ
ーム解釈手段８１と、制御信号Ｃont に基づいて上記ビ
ットストリームＭＥｇから特定のオブジェクトに対応す
る符号化データを選択して抜き出すオブジェクト選択手
段８２とを有している。また、上記オブジェクトデータ
選択部８は、上記コンポジションストリームとストリー
ムアソシエーションテーブルに基づいて、図２に示すオ
ブジェクトテーブルＴ１を作成して、データ蓄積手段８
４の所定の領域、例えば蓄積手段の内容を示す管理情報
の記録領域、あるいはオブジェクトテーブルを一括して
管理している領域、あるいは多重ビットストリームＭＥ
ｇと同一の記憶領域にその先頭等に位置するよう記録す
るＣＰＵ８３を有している。

【０１３０】また、このＣＰＵ８３は、ユーザの操作に
より発生したオブジェクト指定信号Ｉｕに基づいて、指
定されたオブジェクトの符号化データを選択するための
選択信号を上記制御信号Ｃont として上記オブジェクト
選択手段８２に出力する構成となっている。また、この
ＣＰＵ８３は、コンポジションストリームとストリーム
アソシエーションテーブルに関する補助データを、選択
したオブジェクトに対応するよう書き換えて、該選択し
たオブジェクトの符号化データに付加して出力する構成
となっている。

【０１３１】次に動作について説明する。図８はオブジ
ェクトテーブルを作成する処理の流れを示すフローチャ
ートである。本オブジェクトデータ記憶装置１０３に多
重ビットストリームＭＥｇが入力され、そのデータ蓄積
手段８４に格納されると（ステップＳ９１）、オブジェ
クトデータ選択部８では、ＣＰＵ８３の制御により該多
重ビットストリームに対応したオブジェクトテーブルの
作成が行われる。

【０１３２】すなわち、上記多重ビットストリームは多
重ストリーム解釈手段８３に入力され（ステップＳ９
２）、該解釈手段８３での解釈により、多重ビットスト
リームＭＥｇに含まれる補助データＤsub であるコンポ
ジションストリームとストリームアソシエーションテー
ブルが検出され、ＣＰＵ８３に供給される。すると、Ｃ
ＰＵ８３では、上記補助データＤsub に基づいてオブジ
ェクトテーブル（図２参照）が作成される（ステップＳ
９３）。そしてＣＰＵ８３にて作成されたオブジェクト
テーブルがデータ蓄積手段８４に格納される（ステップ
Ｓ９４）。その後オブジェクトデータの選択処理を終了
する命令が入力されたか否かを判定し、その終了命令が
なければ、上記ステップＳ９１〜９５の処理が繰り返し
行われ、終了命令があれば、上記選択処理が終わる。

【０１３３】このとき、オブジェクトテーブルは、蓄積
手段８４の所定領域、例えば蓄積手段の内容を示す管理
情報を記録している領域、あるいはオブジェクトテーブ
ルを一括して管理している領域、あるいは該多重ビット
ストリームと同一の記憶領域にその先頭に位置するよう
格納される。

【０１３４】このとき、本記憶装置１０３に、特定のオ
ブジェクトを指定する指定信号が入力されると、ＣＰＵ
８３では、データ蓄積手段８４に格納したオブジェクト
テーブルの検索が行われ、指定オブジェクトに対応する
ロジカルチャネルＬＣが特定され、該特定されたロジカ
ルチャネルＬＣがオブジェクト選択手段８２に出力され
る。

【０１３５】オブジェクト選択手段８２では、上記ＣＰ
Ｕ８３からのロジカルチャネルＬＣに基づいて、該特定
されたロジカルチャネルに対応する符号化データが上記
多重ビットストリーム中から選択され、該選択された符
号化データＳｅが出力される。また、このとき、オブジ
ェクトの選択により、コンポジションストリーム及びス
トリームアソシエーションテーブルが変更される場合に
は、ＣＰＵ８３ではそれらのテーブル等の書き換えが行
われ、書き換えられたテーブル等が上記オブジェクト選
択手段８２に出力され、ここで選択したオブジェクトに
付加して出力される。

【０１３６】このように本実施の形態３では、１枚の画
像を構成する各オブジェクトの符号化データを含む多重
ビットストリームを記憶する記憶装置において、該多重
ビットストリームに基づいて、上記各オブジェクトとそ
の符号化データとを関連付けて示すオブジェクトテーブ
ルを作成し、上記符号化データとこれに対応するオブジ
ェクトテーブルとを記録するようにしたので、記憶して
いる多重ビットストリームがオブジェクトテーブルによ
り一元管理されることとなり、所望のオブジェクトを記
録された多重ビットストリームから検索して出力する処
理を、高速に行うことが可能となる。

【０１３７】なお、上記オブジェクトデータ記録装置で
は、データ蓄積手段８４をバッファとして利用できるた
め、多重ストリーム解釈手段８１とオブジェクト選択手
段８２との間にはバッファを設けていないが、これらの
手段の間に図５に示すようなバッファを設けてもよいこ
とは言うまでもない。

【０１３８】実施の形態４．図９は本発明の実施の形態
４によるオブジェクトデータ処理装置であるオブジェク
トデータ送出装置を説明するためのブロック図であり、
該オブジェクトデータ送出装置１０４を含むオブジェク
トデータ多重符号化装置１０４ａを示している。

【０１３９】上記オブジェクトデータ多重符号化装置１
０４ａは、１シーンを構成する各オブジェクトのデータ
を符号化して各オブジェクトに対応する符号化データを
生成し、さらにこれらの符号化データを、補助データＤ
sub としてのコンポジションストリーム及びストリーム
アソシエーションテーブルとともに多重して出力する符
号化手段８７と、該符号化手段８７から出力される多重
ビットストリームＭＥｇを、これに上記各オブジェクト
とそれに対応する符号化データとの対応関係を示すオブ
ジェクトテーブルを付加して送出するオブジェクトデー
タ送出装置１０４とから構成されている。

【０１４０】ここで、上記オブジェクトデータ送出装置
１０４は、上記多重ビットストリームＭＥｇに含まれる
補助データＤsub であるコンポジションストリームとス
トリームアソシエーションテーブルを制御信号Ｃont1に
基づいて検出する多重ストリーム解釈手段８１と、該多
重ストリーム解析手段８１を介して出力される多重ビッ
トストリームを一時的に保持するバッファ８５とを有し
ている。またこの送出装置１０４は、上記コンポジショ
ンストリームとストリームアソシエーションテーブルに
基づいて、図２に示すオブジェクトテーブルＴ１を作成
するＣＰＵ８３と、制御信号Ｃont2により該オブジェク
トテーブルをバッファ８５から出力される多重ビットス
トリームに付加する多重化手段８６とを有している。

【０１４１】次に動作について説明する。図１０は上記
オブジェクトデータ送出装置による処理の流れを示すフ
ローチャートである。本オブジェクトデータ送出装置１
０４に、符号化手段８７での圧縮多重化により生成され
た多重ビットストリームが入力されると（ステップＳ１
１１）、ＣＰＵ８３では、シーンの開始時であるか１シ
ーンを構成するオブジェクトの変更時であるかが判定さ
れ（ステップＳ１１２）、いずれにも該当しない場合
は、入力された多重ビットストリームがそのまま出力さ
れるよう上記多重化手段８６が制御信号Ｃont1により制
御される。

【０１４２】一方、シーンの開始時であるか１シーンを
構成するオブジェクトの変更時であれば、上記多重ビッ
トストリームＭＥｇが多重ストリーム解釈手段８１に入
力されて処理されるよう多重ストリーム解釈手段８１が
制御信号Ｃont1により制御される（ステップＳ１１
３）。そして、ＣＰＵ８３では、上記多重ビットストリ
ームからコンポジションストリームが検出され（ステッ
プＳ１１４）、続いて、多重ビットストリームからスト
リームアソシエーションテーブルが抽出され（ステップ
Ｓ１１５）、さらにこれらのコンポジションストリーム
及びストリームアソシエーションテーブルに基づいてオ
ブジェクトテーブルが作成される（ステップＳ１１
６）。

【０１４３】その後、ＣＰＵ８３では、シーン開始時ま
たはオブジェクト変更時に、作成したオブジェクトテー
ブルがバッファ８５から出力される多重ビットストリー
ムの先頭に付加され（ステップＳ１１７）、上記オブジ
ェクトテーブルが付加された多重ビットストリームが送
出される（ステップＳ１１８）。

【０１４４】そして、符号化手段８７からの多重ビット
ストリームに対する送出処理を終了する命令があったか
否かが判定され（ステップＳ１１９）、終了命令があれ
ば、送出処理が終了し、終了命令がなければ、上記ステ
ップＳ１１１からステップＳ１１９の処理が再度行われ
る。

【０１４５】このように本実施の形態４では、１シーン
を構成する各オブジェクトの符号化データを多重符号化
して得られる多重ビットストリームに、上記オブジェク
トとその符号化データとの対応関係を示すオブジェクト
テーブルを付加して送出するようにしたので、このオブ
ジェクトテーブルが付加された多重ビットストリームＭ
Ｅｇを入力とするオブジェクトデータ復号装置では、オ
ブジェクトテーブルを新たに作成する必要がなくなり、
上記実施の形態１の復号装置と同様な効果が得られるオ
ブジェクトデータ復号装置を簡易な構成により実現でき
る。

【０１４６】なお、このように多重ビットストリームＭ
Ｅｇとともにオブジェクトテーブルが入力されるオブジ
ェクトデータ復号装置としては、オブジェクトテーブル
と、多重ビットストリームＭＥｇにおける各オブジェク
トの符号化データとを、分離して別々の記憶領域に記憶
するものでも、オブジェクトテーブルと各オブジェクト
の符号化データとを同一の記憶領域に記憶するものでも
よい。

【０１４７】また、上記実施の形態４では、送出装置と
して、多重化ビットストリームの前にオブジェクトテー
ブルを付加して送出するものを示したが、送出装置の構
成はこれに限るものではない。例えば、アプリケーショ
ンによっては、オブジェクトテーブルを多重ビットスト
リームの途中に挿入するようにしてもよく、この場合、
バッファ８５の容量を少なくすることができる。

【０１４８】さらに、上記実施の形態４では、符号化手
段は単に各オブジェクトに対応する符号化データを生成
する構成とし、送信装置を、符号化手段により生成され
た多重ビットストリームを受け、これにオブジェクトテ
ーブルを付加して送出する構成としたが、符号化手段及
び送信装置の構成はこれに限るものではない。例えば、
多重符号化装置における符号化手段を、コンポジション
ストリーム及びストリームアソシエーションテーブルの
作成時に同時にオブジェクトテーブルも作成し、該オブ
ジェクトテーブルをコンポジションストリームやストリ
ームアソシエーションテーブルとは別個に多重ビットス
トリームに付加して送出する、あるいは該オブジェクト
テーブルをコンポジションストリームの一部として送出
する構成としてもよく、この場合、送出装置における多
重ストリーム解釈手段８１が不要になり、また送出装置
における多重化手段として、従来の多重化手段と同一の
構成のものを利用することができる。

【０１４９】また、上記実施の形態２〜４では、入力さ
れる符号化データが多重ビットストリームである場合に
ついて示したが、各実施の形態はこれに限るものではな
い。例えば、入力されるビットストリームは、実施の形
態１の変形例で示したように、オブジェクト毎に符号化
データが分かれたビットストリームであってもよい。こ
の場合、オブジェクトテーブルを図４に示す構成とする
ことにより同様の効果を得ることができる。

【０１５０】特に実施の形態４の送信装置をこのような
非多重ビットストリームを受け、図４に示すオブジェク
トテーブルを作成する構成とした場合においても、この
送信装置から出力される、オブジェクトテーブルが付加
された多重ビットストリームＭＥｇを受けるオブジェク
トデータ復号装置としては、オブジェクトテーブルと、
多重ビットストリームＭＥｇにおける各オブジェクトの
符号化データとを、分離して別々の記憶領域に記憶する
ものでも、オブジェクトテーブルと各オブジェクトの符
号化データとを同一の記憶領域に記憶するものでもよい
ことも言うまでもない。

【０１５１】さらに、上記各実施の形態では、多重ビッ
トストリームとして、画像データ及びオーディオデータ
に対応する符号化データを含む多重ビットストリームを
示したが、多重ビットストリームはこれに限るものでな
く、多重ビットストリームは、記録あるいは伝送の対象
となる個別情報を構成する複数のオブジェクトの符号化
データを含むものであればどのようなものでもよい。例
えば、上記多重ビットストリームは、オブジェクトの符
号化データとして、画像データ、オーディオデータ、あ
るいはコンピュータデータの符号化データのみを含むも
の、あるいはその他のデータの符号化データを含むもの
であってもよい。

【０１５２】またさらに、上記各実施の形態１〜４で
は、ビットストリームＭＥｇに補助データとして含まれ
るコンポジションストリームとストリームアソシエーシ
ョンテーブルに基づいてオブジェクトテーブルを作成す
る場合について説明したが、規格化されつつあるＭＰＥ
Ｇ４に対応した情報伝送システムでは、シーン記述のフ
ォーマットが上記コンポジションストリームによるもの
とは異なり、また、ストリームｉｄとロジカルチャネル
との対応関係を示すストリームアソシエーションテーブ
ルに代えて、オブジェクトｉｄとストリームｉｄとの対
応関係を示すオブジェクトデスクリプタを用いている。

【０１５３】そこで、以下ＭＰＥＧ４に対応したオブジ
ェクトデータ伝送システムについて説明する。図１１
は、このオブジェクトデータ伝送システムの構成を示す
概念図である。このシステム２００では、１シーン２０
１を構成する各オブジェクトに対応する画像符号化デー
タＥｖ及びオーディオ符号化データＥａが補助データと
してのシステム情報Ｓｉとともに多重化手段２０２によ
り多重化され、この多重化により得られる多重ビットス
トリームＭＥｇ１が伝送媒体を介して伝送され、あるい
は蓄積媒体に蓄積されることとなる。

【０１５４】そして、伝送媒体を介して送られてきた、
あるいは蓄積媒体から読み出された多重ビットストリー
ムＭＥｇ１は、逆多重化手段２０３により各オブジェク
トに対応する符号化データＥｖ，Ｅａ及びシステム情報
Ｓｉに分離される。

【０１５５】具体的には、ここでは、上記１シーン２０
１は、景色としての背景オブジェクトＯＢ１と、これに
付随するサウンドオブジェクトＯＢ４と、人物としての
前景オブジェクトＯＢ２と、これに付随するボイスオブ
ジェクトＯＢ３とから構成されており、上記画像符号化
データＥｖは、背景オブジェクトＯＢ１に対応する符号
化データＥｖ１と前景オブジェクトＯＢ２に対応する符
号化データＥｖ２に分かれ、上記オーディオ符号化デー
タＥａは、ボイスオブジェクトＯＢ３に対応する符号化
データＥａ１とサウンドオブジェクトＯＢ４に対応する
符号化データＥａ２に分かれている。また、上記補助デ
ータとしてのシステム情報Ｓｉは、シーン記述情報Ｓｆ
とオブジェクトデスクリプタＯＤに分かれている。

【０１５６】すると、復号処理部２０４では、上記多重
ビットストリームＭＥｇ１から分離された各データを受
け、これらのデータに基づいて１シーンに対応する再生
データＲｇを生成する。

【０１５７】すなわち、上記シーン記述情報Ｓｆでは、
オブジェクトＯＢ１〜ＯＢ４の階層構造が、各階層のオ
ブジェクトとそのオブジェクトｉｄの関係とともに示さ
れており、またオブジェクトディスクリプタＯＤには、
オブジェクトｉｄとストリームｉｄ（つまり、オブジェ
クトに対応する符号化データ）の関係が示されている。

【０１５８】従って、復号処理部２０４では、上記シー
ン記述情報Ｓｆ及びオブジェクトディスクリプタＯＤに
基づいて、各オブジェクトの符号化データの復号及び合
成処理を行って、１シーン２０１を表示するための再生
データＲｇを生成する。なお、図１１に示すシテスム２
００では、オブジェクトとオブジェクトディスクリプタ
は、画像データとオーディオデータとを区別して定義し
ている。

【０１５９】実施の形態５．次に、本発明の実施の形態
５として、上記オブジェクトデータ伝送システム２００
に対応したオブジェクトデータ復号装置について説明す
る。なお、この実施の形態５の説明では、オブジェクト
とオブジェクトディスクリプタは、画像データとオーデ
ィオデータとを区別せずに定義している。

【０１６０】図１２は、本実施の形態５のオブジェクト
データ復号装置を説明するためのブロック図である。こ
の実施の形態５のオブジェクトデータ復号装置１０５
は、上記補助データとしてコンポジションストリーム及
びストリームアソシエーションテーブルに代えて、シー
ン記述情報Ｓｆ及びオブジェクトデスクリプタＯＤを含
む多重ビットストリームＭＥｇ１を受け、多重ビットス
トリームＭＥｇ１から１シーンに対応する画像データＲ
ｇを再生する構成となっている。

【０１６１】ここで、上記多重ビットストリームＭＥｇ
１は、図１３に示す１シーン１５０を対応するシーンデ
ータを該１シーンを構成する各オブジェクト毎に符号化
して得られる符号化データを、補助データとともに多重
したものである。

【０１６２】ここで、上記１シーン１５０は、階層構造
をなす複数のオブジェクト（小画像）から構成されてい
る。具体的には、上記１シーン１５０は、背景にあたる
背景画像１５１，背景中を移動する移動体１５２，上記
背景画像上に表示されたロゴ（Let's start)１５３，第
１，第２の車輪１５４，１５５から構成されている。こ
こで、上記背景画像１５１は１つのノードとなってお
り、上記移動体１５２，及び上記ロゴ１５３としてのオ
ブジェクトはこのノード１５１に属している。また、上
記移動体１５２も１つのノードとなっており、第１，第
２の車輪１５４，１５５としてのオブジェクトがこのノ
ード１５２に属している。そして、上記移動体１５２と
してのオブジェクトの符号化データは、窓１５２ａ，胴
体１５２ｂ，煙突１５２ｃに対応する符号化データを含
んでいる。

【０１６３】また、上記多重ビットストリームＭＥｇ１
の補助データとしては、シーン記述情報とオブジェクト
ディスクリプタが含まれており、図１４(a) はシーン記
述情報によるシーン記述ＳＤ１を示している。このシー
ン記述ＳＤ１は、上記シーン１５０に対応するものであ
り、背景画像１５１に移動体１５２およびロゴ１５３が
属し、移動体１５２に第１，第２の車輪１５４，１５５
が属することが、オブジェクト（１）１６１〜（５）１
６５により示されている。ここで、上記オブジェクト
（１）１６１〜（５）１６５は、それぞれ上記背景画像
１５１，移動体１５２，ロゴ１５３，第１の車輪１５
４，第２の車輪１５５を示す記述子である。そして、上
記各記述子１６１〜１６５には、多重ビットストリーム
ＭＥｇ１におけるオブジェクトの符号化データを識別す
るためのオブジェクトｉｄが付与されており、具体的に
は、図１４に示すように、上記各記述子１６１〜１６５
には、オブジェクトｉｄとしてＯｉｄ＝１〜Ｏｉｄ＝５
が付与されている。

【０１６４】さらに、図１４(b) に示すオブジェクトデ
ィスクリプタＯＤには、オブジェクトｉｄとストリーム
ｉｄとの対応関係が表されている。具体的には、オブジ
ェクトｉｄ（Ｏｉｄ＝１）にストリームｉｄ（Ｓｉｄ＝
１，２）が対応し、オブジェクトｉｄ（Ｏｉｄ＝２）に
ストリームｉｄ（Ｓｉｄ＝３〜６）が対応し、オブジェ
クトｉｄ（Ｏｉｄ＝３）にストリームｉｄ（Ｓｉｄ＝
７）が対応し、オブジェクトｉｄ（Ｏｉｄ＝４，５）に
それぞれストリームｉｄ（Ｓｉｄ＝８）が対応してい
る。また、上記オブジェクトディスクリプタＯＤには、
各オブジェクトに対して、データ種別として「Ｖｉｄｅ
ｏ」あるいは「Ａｕｄｉｏ」の区別が表されている。

【０１６５】次に、上記実施の形態５のオブジェクトデ
ータ復号装置１０５の構成について説明する。このオブ
ジェクトデータ復号装置１０５の基本構成は実施の形態
１のオブジェクトデータ復号装置１０１と同一である。
つまり、上記復号装置１０５は、上記多重ビットストリ
ームＭＥｇ１に含まれる補助データＤsub であるシーン
記述情報Ｓｆ及びオブジェクトディスクリプタＯＤを選
択して抜き出すとともに、第１の制御信号Ｃont1に基づ
いて上記多重ビットストリームＭＥｇ１から各オブジェ
クトに対応する符号化データＥｇを取り出す逆多重手段
１１ａと、上記各オブジェクトに対応する符号化データ
Ｅｇを第２の制御信号Ｃont2に基づいて復号して、各シ
ーンに対応する再生データＲｇを出力するオーディオビ
デオデコード手段（ＡＶデコーダ手段）１２とを有して
いる。また、上記復号装置１０５は、上記オブジェクト
デスクリプタＯＤに基づいて、各オブジェクトの符号化
データＥｇに対応するストリームｉｄを判定し、該判定
結果に応じて上記第１の制御信号Ｃont1を上記逆多重化
手段１１ａに供給するとともに、上記シーン記述情報Ｓ
ｆに基づいて、１シーンにおける各オブジェクトの配置
に関する情報，及び各オブジェクトの表示開始時間に関
する情報を第２の制御信号Ｃont2として上記ＡＶデコー
ダ１２に供給する演算処理装置（ＣＰＵ）１３ａを有し
ている。

【０１６６】そして、本実施の形態５では、このＣＰＵ
１３ａは、上記シーン記述情報Ｓｆとオブジェクトデス
クリプタＯＤに基づいて、上記１シーンを構成する各オ
ブジェクトと、上記多重ビットストリームＭＥｇ１にお
ける各オブジェクトの符号化データＥｇ（ストリーム）
との対応関係を示すオブジェクトテーブルを作成して、
これをＣＰＵ１３ａ内部のデータ記憶部に格納する構成
となっている。

【０１６７】図１５は、図１３に示す１シーン１５０に
対応するオブジェクトテーブルＴ３を説明するための図
である。このオブジェクトテーブルＴ３は階層的な構成
となっており、１シーン１５０を構成する各オブジェク
トとストリームとの対応関係を示す主テーブルＴ３ａ
と、各オブジェクトに属する画像あるいはオーディオと
ストリームとの対応関係を示す副テーブルＴ３ｂとから
なる。これらのテーブルでは、オブジェクトｉｄに対し
て、種々の情報が関連付けて登録されている。

【０１６８】具体的には、オブジェクトｉｄは、図１３
に示すシーン記述における各オブジェクト記述子に対し
て一義的に付与され、上記オブジェクトテーブルＴ３ａ
中にオブジェクトｉｄの値Ｏｉｄの順番に登録されてい
る。ここで、オブジェクトｉｄ（Ｏｉｄ＝１〜５）はそ
れぞれ、図１３に示すオブジェクト１５１〜１５５の記
述子１６１〜１６５に対して付与されたものである。

【０１６９】そして、上記主テーブルＴ３ａでは、各オ
ブジェクトｉｄに対応付けて、各オブジェクトに対応す
るオブジェクトの種類（つまり、オブジェクトが画像で
あるかオーディオであるか）、及び各オブジェクトに対
応するストリームｉｄが登録されている。また、上記主
テーブルＴ３ａでは、各オブジェクトのｉｄに対応付け
て、その上位及び下位オブジェクトのｉｄ、その上位及
び下位オブジェクトのストリームｉｄ、ストリームを共
用する共用オブジェクトのｉｄが示され、さらに各オブ
ジェクトの優先順位が示されている。

【０１７０】ここで、各オブジェクトの上位オブジェク
トは、各オブジェクトの属する階層より上位の階層に属
するオブジェクトであり、各オブジェクトの下位オブジ
ェクトは、該各オブジェクトの属する階層より下位の階
層に属するオブジェクトである。

【０１７１】具体的には、最上位オブジェクト，つまり
図１３の第１階層Ｌ１ａのオブジェクトの上位オブジェ
クトは存在しないため、その上位オブジェクトｉｄの値
Ｏｉｄ、及びその上位オブジェクトのストリームｉｄの
値Ｓｉｄを０としている。また、図１３の第２階層Ｌ２
及び第３階層Ｌ３の各オブジェクトの上位オブジェクト
は、これらの階層のオブジェクトが属する第１階層Ｌ１
ａ及び第２階層Ｌ２ａのオブジェクトとしている。ま
た、下位オブジェクトを有しないオブジェクト（最下位
オブジェクト）については、その下位オブジェクトｉｄ
の値Ｏｉｄ及び下位ストリームｉｄの値Ｓｉｄを０とし
ている。

【０１７２】また、上記主テーブルＴ３ａでは、オブジ
ェクト１５１及び１５２のようにいくつかの画像及びオ
ーディオから構成されているものについては、そのスト
リーム種別の欄にＨを記述し、これらのオブジェクトを
構成する画像及びオーディオに対応する符号化データの
ストリームｉｄを副テーブルＴ３ｂに記述している。

【０１７３】このような構成のオブジェクトテーブルＴ
３を参照すると、オブジェクトｉｄとしてＯｉｄ＝１を
有するオブジェクトは、その下位オブジェクトのｉｄの
記述欄にＯｉｄとして２，３が記述されているため、２
つのオブジェクトから構成されていることがわかり、オ
ブジェクトｉｄとしてＯｉｄ＝２を有するオブジェクト
は、その下位オブジェクトのｉｄの記述欄にＯｉｄとし
て４，５が記述されているため、２つのオブジェクトか
ら構成されていることがわかる。

【０１７４】次に動作について説明する。本実施の形態
５のオブジェクトデータ復号装置１０５に、多重ビット
ストリームＭＥｇ１が入力されると、逆多重化手段１１
ａにより上記多重ビットストリームから補助データＤsu
b としてのシーン記述情報ＳＤＩとオブジェクトデスク
リプタＯＤが抜き出され、ＣＰＵ１３ａに供給される。

【０１７５】すると、上記ＣＰＵ１３ａでは、上記オブ
ジェクトデスクリプタＯＤに基づいて、図１３の１シー
ン１５０を構成する各オブジェクトとそのストリームｉ
ｄとの対応関係が認識され、この認識結果に応じて第１
の制御信号Ｃont1が逆多重化手段１１ａに出力される。
この逆多重化手段１１ａでは、上記第１の制御信号Ｃon
t1に基づいて、多重ビットストリーム中にて複数のパケ
ットに分散されている、各オブジェクトに対応するスト
リームが、各オブジェクト毎にまとめられて、ＡＶデコ
ード手段１２に出力される。

【０１７６】また、このときＣＰＵ１３ａでは、シーン
記述情報Ｓｆによるシーン記述ＳＤ１から、各オブジェ
クトの表示位置及び表示開始時間に関する情報が抽出さ
れ、これらの情報が第２の制御信号Ｃont2としてＡＶデ
コード手段１２に出力される。

【０１７７】該ＡＶデコード手段１２では、上記逆多重
手段１１ａから出力された各オブジェクトに対応したス
トリーム（一連の符号化データＥｇ）に対する復号処理
が行われ、各オブジェクトに対応する復号データの合成
により、ＣＰＵ１３ａからの第２の制御信号Ｃont2（つ
まり、オブジェクトの表示に関する情報）に基づいて、
複数のオブジェクトからなる１シーンに対応する再生デ
ータＲｇが出力される。

【０１７８】なお、このような復号動作は従来のオブジ
ェクトデータ復号装置と同様なものである。そして、本
実施の形態５では、上記復号動作に加えて、ＣＰＵ１３
ａでは、図１５に示すオブジェクトテーブルＴ３を作成
する処理が行われる。

【０１７９】以下、このオブジェクトテーブル作成処理
について説明する。図１６のフローチャートを用いて説
明する。まず、ステップＳ１ａでは、シーン記述情報Ｓ
ｆがＣＰＵ１３ａのデータ記憶部に読み込まれ、ステッ
プＳ２ａでは、オブジェクトデスクリプタＯＤがＣＰＵ
１３ａのデータ記憶部に読み込まれ、さらにステップＳ
３では、シーン記述情報Ｓｆによるシーン記述ＳＤ１に
おける各オブジェクトの記述子がＣＰＵ１３ａの演算処
理部にロードされ、各記述子にオブジェクトｉｄとして
値Ｏｉｄが付与される。これによりオブジェクトをその
オブジェクトｉｄにより特定可能となる。

【０１８０】続くステップＳ６ａでは、上記値Ｏｉｄ
が、オブジェクトテーブルの要素であるオブジェクトｉ
ｄとして登録される。その後、ステップＳ７ａにて、オ
ブジェクトデスクリプタＯＤの解析が行われ、この解析
結果に基づいて、オブジェクトテーブルＴ３における、
各オブジェクトに対応する種々のテーブル要素が登録さ
れる。これらのテーブル要素の主要なものとしては、各
オブジェクトに対応するストリームｉｄ，各オブジェク
トの優先順位，及び各オブジェクトに対応するストリー
ム種別（ＶｉｄｅｏあるいはＡｕｄｉｏ）が挙げられ
る。なお、ここでは、上記テーブル要素として、さらに
各オブジェクトに対応する上位及び下位オブジェクトの
ｉｄ，各オブジェクトに対応する上位及び下位オブジェ
クトのストリームｉｄ，及びストリームを共用する共用
オブジェクトのｉｄも登録するようにしている。そして
ステップＳ９ａにて、現在処理中のオブジェクトが最上
位階層のオブジェクトであるか否かの判定がなされる。

【０１８１】この判定の結果、被処理オブジェクトが最
上位階層のオブジェクトでなければ、ステップＳ１２ａ
にて、オブジェクト階層を１つ上げる処理が行われ、再
度ステップＳ９ａにて上記判定処理が行われる。一方、
ステップＳ９ａでの判定の結果、ＣＰＵの処理対象とな
っている被処理オブジェクトが最上位階層のオブジェク
トであれば、ステップＳ１０ａにて１シーンを構成する
すべてのオブジェクトに対してテーブル要素の登録がな
されたか否かの判定が行われる。

【０１８２】この判定の結果、全オブジェクトについて
テーブル要素の登録がなされていない場合は、ＣＰＵの
処理がステップＳ３ａに戻り、上記ステップＳ６ａ，Ｓ
７ａ，Ｓ９ａ，Ｓ１２ａの処理が行われる。一方、ステ
ップＳ１０ａの判定の結果すべてのオブジェクトについ
てテーブル要素が登録されている場合には、ＣＰＵ１３
ａによるオブジェクトテーブルの作成処理が終了する。

【０１８３】そして、本実施の形態５のオブジェクトデ
ータ復号装置１０５では、上記のように作成されたオブ
ジェクトテーブルは、ＣＰＵ１３ａのデータ記憶部に格
納される。この格納されたオブジェクトテーブルは、シ
ーン記述情報ＳｆとオブジェクトディスクリプタＯＤが
更新されるたびに、これらの最新の情報に対応したもの
となるよう、更新される。従って、１シーンを構成する
オブジェクトが変更されない限り、オブジェクトテーブ
ルの更新が行われることはない。なお、ビットストリー
ム中に、新しいシーン記述情報Ｓｆとオブジェクトディ
スクリプタＯＤが送られたことを示すフラグがある場合
には、そのフラグが新しく送られた場合のみ上記オブジ
ェクトテーブルを更新するようにしてもよい。

【０１８４】このような構成の本実施の形態５のオブジ
ェクトデータ復号装置１０５においても、上記実施の形
態１のオブジェクトデータ復号装置１０１と同様な効果
が得られる。なお、上記実施の形態５では、ＭＰＥＧ４
に対応するシステムにおけるオブジェクトデータ処理装
置として、オブジェクトデータ復号装置について説明し
たが、実施の形態２のようなオブジェクトデータ選択装
置、実施の形態３のようなオブジェクトデータ記憶装
置、実施の形態４のようなオブジェクトデータ送出装置
についても、上記シーン記述情報Ｓｆ及びオブジェクト
デスクリプタＯＤからオブジェクトテーブルＴ３を作成
するものを実現できる。

【０１８５】また、上記データ送出装置により出力され
る多重ビットストリームＭＥｇを入力とするオブジェク
トデータ復号装置では、上記オブジェクトテーブルを作
成する処理を省略することができ、上記実施の形態５と
同様な効果を簡単な構成により得ることができる。

【０１８６】また、上記実施の形態５では、オブジェク
トとオブジェクトディスクリプタは、画像データとオー
ディオデータとを区別せずに定義しているが、これら
は、図１１に示すシステム２００のように、画像データ
とオーディオデータとを区別して定義してもよく、その
場合、データ種別は、シーン記述により明らかに示され
ることとなるので、オブジェクトディスクリプタにはデ
ータ種別を記述する必要がなくなる。

【０１８７】さらに、上記各実施の形態で示した処理装
置や記憶装置の構成を実現するためのプログラムを、フ
ロッピーディスク等のデータ記録媒体に記録するように
することにより、上記各実施の形態で示した処理を、独
立したコンピュータシステムにおいて簡単に実施するこ
とが可能となる。

【０１８８】図１７は、上記各実施の形態のオブジェク
トデータ処理装置及びオブジェクトデータ記憶装置によ
る信号処理を、これらの信号処理に対応したプログラム
を格納したフロッピーディスクを用いて、コンピュータ
システムにより実施する場合を説明するための図であ
る。

【０１８９】図１７(a) は、フロッピーディスクＦＤの
正面からみた外観、断面構造、及び記録媒体であるフロ
ッピーディスク本体を示し、図１７(b) は、フロッピー
ディスク本体Ｄの物理フォーマットの例を示している。
フロッピーディスク本体ＤはケースＦ内に内蔵され、該
ディスク本体Ｄの表面には、同心円状に外周から内周に
向かって複数のトラックＴｒが形成され、各トラックは
角度方向に１６のセクタＳｅに分割されている。従っ
て、上記プログラムを格納したフロッピーディスク本体
Ｄでは、上記フロッピーディスク本体Ｄ上に割り当てら
れた領域に、上記プログラムとしてのデータが記録され
ている。

【０１９０】また、図１７(c) は、フロッピーディスク
ＦＤに対する上記プログラムの記録再生を行うための構
成を示す。上記プログラムをフロッピーディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしてのデータをフロッピーディスクドライブ
ＦDDを介してフロッピディスクＦＤに書き込む。また、
フロッピーディスクＦＤ内のプログラムにより、上記画
像伝送方法あるいは画像復号化装置をコンピュータシス
テムＣｓ中に構築する場合は、フロッピーディスクドラ
イブＦDDによりプログラムをフロッピーディスクＦＤか
ら読み出し、コンピュータシステムＣｓに転送する。

【０１９１】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に上記画像処
理を実施することができる。

【０１９２】また、上記説明では、データ記録媒体とし
て、上記各実施の形態における伝送処理あるいは復号化
処理を行うためのプログラムを格納したものを挙げた
が、データ記録媒体としては、上記各実施の形態におけ
る多重ビットストリームＭＥｇあるいは非多重ビットス
トリームを格納したものも挙げられる。特に上記実施の
形態３の記憶装置におけるデータ蓄積手段を、上記図１
７に示すデータ記憶媒体により構成してもよい。

【０１９３】

【発明の効果】以上のようにこの発明（請求項１）によ
れば、記録あるいは伝送の対象となる個別データに対応
する符号化データを復号する装置において、該符号化デ
ータに基づいて、個別データを構成するＮ個のオブジェ
クトデータの階層関係を示す階層情報を抽出し、該階層
情報に基づいて、上記各オブジェクトデータとその符号
化データとを関連付けて示すオブジェクトテーブルを作
成するようにしたので、特定のオブジェクトデータに対
応する符号化データの抽出，選択あるいは検索等の処理
を、オブジェクトテーブルの参照により簡単かつ高速に
行うことが可能となる。これにより、オブジェクトデー
タの編集，置換等を短時間に操作性よく行うことができ
る効果がある。

【０１９４】この発明（請求項２）によれば、１シーン
に相当するシーンデータに対応する符号化データを復号
する装置において、該符号化データに基づいて、上記１
シーンを構成するオブジェクトの階層関係を示す階層情
報を抽出し、該階層情報に基づいて、上記各オブジェク
トとその符号化データとを関連付けて示すオブジェクト
テーブルを作成するようにしたので、復号側では、１シ
ーンを構成する画像やオーディオ等のオブジェクトから
特定のオブジェクトを抽出，選択あるいは検索するとい
った処理を、オブジェクトテーブルの参照により簡単か
つ高速に行うことが可能となる。

【０１９５】この発明（請求項３）によれば、請求項２
記載のオブジェクトデータ処理装置において、上記符号
化データに基づいて、上記階層情報に加えて、各オブジ
ェクトの優先順位を示す優先度情報を抽出し、該階層情
報及び優先度情報に基づいて、上記各オブジェクトとそ
の符号化データとの関連だけでなく、各オブジェクトの
優先順位を示すオブジェクトテーブルを作成するように
したので、復号装置の処理能力が低く、すべてのオブジ
ェクトの符号化データを復号できない場合には、優先順
位が所定順位より高いオブジェクトに対する復号処理の
みを行うようにすることができる。

【０１９６】この発明（請求項４）によれば、請求項２
記載のオブジェクトデータ処理装置において、指定され
た特定のオブジェクトに対応する符号化データを識別す
るための識別情報を、上記オブジェクトテーブルを参照
して検出し、この識別情報に基づいて、上記Ｎ個の符号
化データから特定のオブジェクトに対応する符号化デー
タを抽出して復号するようにしたので、復号装置では、
ユーザ等により指定されたオブジェクトの検索等を簡単
に行うことができる。

【０１９７】この発明（請求項５）によれば、１シーン
に相当するシーンデータに対応する、Ｎ個の符号化デー
タを含む多重データを復号する装置において、上記多重
データに含まれる上記各符号化データの相互関係を示す
情報に基づいて、上記１シーンを構成するオブジェクト
の階層関係を示す階層情報を抽出し、この階層情報に基
づいて、上記各オブジェクトとその符号化データとを関
連付けて示すオブジェクトテーブルを作成するようにし
たので、上記多重データに基づいて、１シーンを構成す
る画像やオーディオ等のオブジェクトから特定のオブジ
ェクトを抽出，選択あるいは検索するといった処理を、
オブジェクトテーブルの参照により簡単かつ高速に行う
ことが可能となる。

【０１９８】この発明（請求項６）によれば、請求項５
記載のオブジェクトデータ処理装置において、上記多重
データに基づいて、上記階層情報に加えて、各オブジェ
クトの優先順位を示す優先度情報を抽出し、該階層情報
及び優先度情報に基づいて、上記各オブジェクトとその
符号化データとの関連に加えて各オブジェクトの優先順
位を示すオブジェクトテーブルを作成するようにしたの
で、復号装置の処理能力が低く、すべてのオブジェクト
の符号化データを復号できない場合には、優先順位が所
定順位より高いオブジェクトに対する復号処理のみを行
うようにすることができる。

【０１９９】この発明（請求項７）によれば、請求項５
記載のオブジェクトデータ処理装置において、指定され
た特定のオブジェクトに対応する符号化データを識別す
るための識別情報を、上記オブジェクトテーブルを参照
して検出し、この識別情報に基づいて、上記多重データ
から特定のオブジェクトに対応する符号化データを抽出
して復号するようにしたので、復号装置では、ユーザ等
により指定されたオブジェクトの検索等を簡単に行うこ
とができる。

【０２００】この発明（請求項８）によれば、記録ある
いは伝送の対象となる個別データに対応するＮ個の符号
化データから、該個別データを構成する特定のオブジェ
クトデータに対応する符号化データを選択する装置にお
いて、該符号化データに基づいて、上記Ｎ個のオブジェ
クトデータの階層関係を示す階層情報を抽出し、該階層
情報に基づいて、上記各オブジェクトデータとその符号
化データとを関連付けて示すオブジェクトテーブルを作
成し、さらに特定のオブジェクトデータの符号化データ
の選択を、該オブジェクトテーブルを参照して行うよう
にしたので、特定のオブジェクトデータに対応する符号
化データの選択処理を簡単かつ高速に行うことが可能と
なる。これにより、オブジェクトデータの編集，置換，
検索等を短時間に操作性よく行うことができる効果があ
る。

【０２０１】この発明（請求項９）によれば、１シーン
に相当するシーンデータに対応するＮ個の符号化データ
から、特定のオブジェクトに対応する符号化データを選
択する装置において、該符号化データに基づいて、上記
１シーンを構成するオブジェクトの階層関係を示す階層
情報を抽出し、該階層情報に基づいて、上記各オブジェ
クトとその符号化データとを関連付けて示すオブジェク
トテーブルを作成し、さらに、特定のオブジェクトの符
号化データの選択を、該オブジェクトテーブルを参照し
て行うようにしたので、復号側では、１シーンを構成す
る画像やオーディオ等のオブジェクトから特定のオブジ
ェクトの選択処理を簡単かつ高速に行うことが可能とな
る。

【０２０２】この発明（請求項１０）によれば、１シー
ンに相当するシーンデータに対応する、Ｎ個の符号化デ
ータを含む多重データから、特定のオブジェクトに対応
する符号化データを選択する装置において、上記多重デ
ータに含まれる上記各符号化データの相互関係を示す情
報に基づいて、上記１シーンを構成するＮ個のオブジェ
クトの階層関係を示す階層情報を抽出し、上記階層情報
に基づいて、上記各オブジェクトとその符号化データと
を関連付けて示すオブジェクトテーブルを作成し、さら
に特定オブジェクトの符号化データの選択を、該オブジ
ェクトテーブルを参照して行うようにしたので、上記多
重データに基づいて、１シーンを構成する画像やオーデ
ィオ等のオブジェクトから特定のオブジェクトを選択す
る処理を簡単かつ高速に行うことが可能となる。

【０２０３】この発明（請求項１１）によれば、記録あ
るいは伝送の対象となる個別データを構成するＮ個のオ
ブジェクトデータに対応する符号化データをデータ蓄積
部に記録する装置において、該符号化データに基づい
て、上記Ｎ個のオブジェクトデータの階層関係を示す階
層情報を抽出し、該階層情報に基づいて、上記各オブジ
ェクトデータとその符号化データとを関連付けて示すオ
ブジェクトテーブルを作成し、さらに上記Ｎ個の符号化
データとこれに対応するオブジェクトテーブルとを上記
データ蓄積部に記録するようにしたので、特定のオブジ
ェクトデータに対応する符号化データの抽出，選択ある
いは検索等の処理を、オブジェクトテーブルの参照によ
り簡単かつ高速に行うことが可能となる。

【０２０４】この発明（請求項１２）によれば、１シー
ンに相当するシーンデータに対応するＮ個の符号化デー
タをデータ蓄積部に記録する装置において、該符号化デ
ータに基づいて、上記１シーンを構成するオブジェクト
の階層関係を示す階層情報を抽出し、該階層情報に基づ
いて、上記各オブジェクトとその符号化データとを関連
付けて示すオブジェクトテーブルを作成し、さらに上記
Ｎ個の符号化データとこれに対応するオブジェクトテー
ブルとを上記データ蓄積部に記録するようにしたので、
復号側では、オブジェクトテーブルの参照により、１シ
ーンを構成する画像やオーディオ等のオブジェクトから
特定のオブジェクトを抽出，選択あるいは検索するとい
った処理を簡単かつ高速に行うことが可能となる。

【０２０５】この発明（請求項１３）によれば、請求項
１２記載のオブジェクトデータ記録装置において、上記
Ｎ個の符号化データに対応するオブジェクトテーブルを
該Ｎ個の符号化データに付加して記録するようにしたの
で、記録されたオブジェクトテーブルを管理しやすいと
いう効果がある。

【０２０６】この発明（請求項１４）によれば、請求項
１２記載のオブジェクトデータ記録装置において、上記
Ｎ個の符号化データに対応するオブジェクトテーブルを
該Ｎ個の符号化データとは分離して記録するようにした
ので、符号化データの大きさに拘わらず、オブジェクト
テーブルの記憶媒体への記録を確実に行うことができ
る。

【０２０７】この発明（請求項１５）によれば、１シー
ンに相当するシーンデータに対する、Ｎ個の符号化デー
タを含む多重データをデータ蓄積部に記録する装置にお
いて、上記多重データに含まれる上記各符号化データの
相互関係を示す情報に基づいて、上記１シーンを構成す
るオブジェクトの階層関係を示す階層情報を抽出し、上
記階層情報に基づいて、上記各オブジェクトと各オブジ
ェクトに対応する符号化データとを関連付けて示すオブ
ジェクトテーブルを作成し、さらに上記多重データとこ
れに対応するオブジェクトテーブルとを上記データ蓄積
部に記録するよう構成したので、復号側では、オブジェ
クトテーブルの参照により、上記多重データに基づいて
１シーンを構成する画像やオーディオ等のオブジェクト
から特定のオブジェクトを抽出，選択あるいは検索する
といった処理を簡単かつ高速に行うことが可能となる。

【０２０８】この発明（請求項１６）によれば、請求項
１５記載のオブジェクトデータ記録装置において、上記
多重データに対応するオブジェクトテーブルを該多重デ
ータに付加して記録するようにしたので、記録されたオ
ブジェクトテーブルを管理しやすいという効果がある。

【０２０９】この発明（請求項１７）によれば、請求項
１５記載のオブジェクトデータ記録装置において、上記
多重データに対応するオブジェクトテーブルを該多重デ
ータとは分離して記録するようにしたので、多重データ
の大きさに拘わらず、オブジェクトテーブルの記憶媒体
への記録を確実に行うことができる。

【０２１０】この発明（請求項１８）によれば、記録あ
るいは伝送の対象となる個別データに関連する関連デー
タを格納したデータ記憶媒体において、上記関連データ
を、上記個別データを構成する階層構造をなすＮ個のオ
ブジェクトデータを、各オブジェクトデータ毎に圧縮符
号化して得られるＮ個の符号化データと、上記各オブジ
ェクトデータとを関連付けて示すオブジェクトテーブル
を含む構成としたので、個別データから特定のオブジェ
クトデータを抽出，選択あるいは検索するといった処理
を、オブジェクトテーブルの参照により簡単かつ高速に
行うことが可能となる。

【０２１１】この発明（請求項１９）によれば、１シー
ンに対応した関連データを格納したデータ記憶媒体にお
いて、上記関連データを、１シーンに相当するシーンデ
ータに対して該１シーンを構成する個々のオブジェクト
毎に圧縮符号化処理を施して得られる１つ以上の符号化
データと、各オブジェクトとを関連付けて示すオブジェ
クトテーブルを含むものとしたので、復号側では、オブ
ジェクトテーブルの参照により、１シーンを構成する画
像やオーディオ等のオブジェクトから特定のオブジェク
トを抽出，選択あるいは検索するといった処理を簡単か
つ高速に行うことが可能となる。

【０２１２】この発明（請求項２０）によれば、記録あ
るいは伝送の対象となる個別データに対応するＮ個の符
号化データを送出する装置において、該符号化データに
基づいて、上記Ｎ個のオブジェクトデータの階層関係を
示す階層情報を抽出し、該階層情報に基づいて、上記各
オブジェクトデータとその符号化データとを関連付けて
示すオブジェクトテーブルを作成し、さらに上記Ｎ個の
符号化データを、対応するオブジェクトテーブルを付加
して送出するよう構成したので、復号装置側にてオブジ
ェクトテーブルを作成する必要がなくなり、簡単な構成
でもって、オブジェクトデータの編集，置換，検索等を
短時間に操作性よく行うことができる効果が得られる。

【０２１３】この発明（請求項２１）によれば、１シー
ンに相当するシーンデータに対するＮ個の符号化データ
を送出する装置であって、該符号化データに基づいて、
上記１シーンを構成するオブジェクトの階層関係を示す
階層情報を抽出し、該階層情報に基づいて、上記各オブ
ジェクトとその符号化データとを関連付けて示すオブジ
ェクトテーブルを作成し、さらに上記Ｎ個の符号化デー
タを、対応するオブジェクトテーブルを付加して送出す
るよう構成したので、復号装置側にてオブジェクトテー
ブルを作成する必要がなくなり、簡単な構成でもって、
１シーンを構成する画像やオーディオ等のオブジェクト
の編集，置換，検索等を短時間に操作性よく行うことが
できる効果が得られる。

【０２１４】この発明（請求項２２）によれば、請求項
２１記載のオブジェクトデータ処理装置から送出される
送出データを復号する装置において、上記送出データか
ら上記オブジェクトテーブルを分離して記憶し、該記憶
されたオブジェクトテーブルに示されている情報を用い
て、上記各オブジェクトの符号化データに対する復号動
作を制御するよう構成したので、１シーンを構成する画
像やオーディオ等のオブジェクトの編集，置換，検索等
を短時間に操作性よく行うことができる簡単な構成の復
号装置を実現できる。

【０２１５】この発明（請求項２３）によれば、１シー
ンに相当するシーンデータに対する、Ｎ個の符号化デー
タを含む多重データを送出する装置において、上記多重
化データに含まれる上記各符号化データの相互関係を示
す情報に基づいて、上記１シーンを構成するオブジェク
トの階層関係を示す階層情報を抽出し、上記階層情報に
基づいて、上記各オブジェクトとその符号化データとを
関連付けて示すオブジェクトテーブルを作成し、さらに
上記多重データを、対応するオブジェクトテーブルを付
加して送出するよう構成したので、復号装置側にてオブ
ジェクトテーブルを作成する必要がなくなり、簡単な構
成でもって、１シーンを構成する画像やオーディオ等の
オブジェクトの編集，置換，検索等を短時間に操作性よ
く行うことができる効果が得られる。

【０２１６】この発明（請求項２４）によれば、請求項
２３記載のオブジェクトデータ処理装置から送出される
送出データを復号する装置であって、上記送出データか
ら上記オブジェクトテーブルを分離して記憶し、該記憶
されたオブジェクトテーブルに示されている情報を用い
て、上記各オブジェクトの符号化データに対する復号動
作を制御するよう構成したので、１シーンを構成する画
像やオーディオ等のオブジェクトの編集，置換，検索等
を短時間に操作性よく行うことができる簡単な構成の復
号装置を実現できる。

【０２１７】この発明（請求項２５）によれば、記録あ
るいは伝送の対象となる個別データに対応する、Ｎ個の
符号化データを伝送するための伝送用データ構造におい
て、上記Ｎ個の符号化データからなるデータ群を、上記
各オブジェクトデータとその符号化データとを関連付け
て示すオブジェクトテーブルを含む構成としたので、特
定のオブジェクトデータに対応する符号化データの抽
出，選択あるいは検索等の処理を、オブジェクトテーブ
ルの参照により簡単かつ高速に行うことが可能となる。

【０２１８】この発明（請求項２６）によれば、１シー
ンに相当するシーンデータに対する、Ｎ個の符号化デー
タを伝送するための伝送用データ構造において、上記Ｎ
個の符号化データからなるデータ群を、上記各オブジェ
クトとその符号化データとを関連付けて示すオブジェク
トテーブルを含む構成としたので、復号側では、１シー
ンを構成する画像やオーディオ等のオブジェクトから特
定のオブジェクトを抽出，選択あるいは検索するといっ
た処理を、オブジェクトテーブルの参照により簡単かつ
高速に行うことが可能となる。

【０２１９】この発明（請求項２７）によれば、記録あ
るいは伝送の対象となる個別データに対応する、Ｎ個の
符号化データを含み、所定の符号量毎に複数のパケット
に区切られた多重データに対して、所定の処理を施す装
置において、上記多重データに含まれる、上記各符号化
データの相互関係を示す情報に基づいて、上記Ｎ個のオ
ブジェクトデータの階層関係を示す階層情報を抽出し、
該階層情報に基づいて、上記多重データを構成する複数
のパケットの階層関係を示すオブジェクトテーブルを作
成するようにしたので、上記多重データに基づいて特定
のオブジェクトデータに対応する符号化データを抽出，
選択あるいは検索するといった処理を、オブジェクトテ
ーブルの参照により簡単かつ高速に行うことが可能とな
る。これにより、オブジェクトデータの編集，置換等を
短時間に操作性よく行うことができる効果がある。

【０２２０】この発明（請求項２８）によれば、１シー
ンに相当するシーンデータに対応する、Ｎ個の符号化デ
ータを含み、所定の符号量毎に複数のパケットに区切ら
れた多重データに対して、所定の処理を施す装置におい
て、上記多重データに含まれる上記各符号化データの相
互関係を示す情報に基づいて、上記１シーンを構成する
オブジェクトの階層関係を示す階層情報を抽出し、上記
階層情報に基づいて、上記多重データを構成する複数の
パケットの階層関係を示すオブジェクトテーブルを作成
するようにしたので、上記多重データに基づいて、１シ
ーンを構成する画像やオーディオ等のオブジェクトから
特定のオブジェクトを抽出，選択あるいは検索するとい
った処理を、オブジェクトテーブルの参照により簡単か
つ高速に行うことが可能となる。

【０２２１】この発明（請求項２９）によれば、記録あ
るいは伝送の対象となる個別データに対応する、Ｎ個の
符号化データを含み、所定の符号量毎に複数のパケット
に区切られた多重データを、上記データ蓄積部に記憶す
る装置において、上記多重データに含まれる、上記各符
号化データの相互関係を示す情報に基づいて、上記Ｎ個
のオブジェクトデータの階層関係を示す階層情報を抽出
し、該階層情報に基づいて、上記多重データを構成する
複数のパケットの階層関係を示すオブジェクトテーブル
を作成し、さらに上記多重データとこれに対応するオブ
ジェクトテーブルとを上記データ蓄積部に記録するよう
構成したので、特定のオブジェクトデータに対応する符
号化データの抽出，選択あるいは検索等の処理を、オブ
ジェクトテーブルの参照により簡単かつ高速に行うこと
が可能となる。

【０２２２】この発明（請求項３０）によれば、１シー
ンに相当するシーンデータに対する、Ｎ個の符号化デー
タを含み、所定の符号量毎に複数のパケットに区切られ
た多重データを、上記データ蓄積部に記録する装置にお
いて、上記多重データに含まれる上記各符号化データの
相互関係を示す情報に基づいて、上記１シーンを構成す
るオブジェクトの階層関係を示す階層情報を抽出し、上
記階層情報に基づいて、上記多重データを構成する複数
のパケットの階層関係を示すオブジェクトテーブルを作
成し、さらに上記多重データとこれに対応するオブジェ
クトテーブルとを上記データ蓄積部に記録するよう構成
したので、復号側では、オブジェクトテーブルの参照に
より、上記多重データに基づいて１シーンを構成する画
像やオーディオ等のオブジェクトから特定のオブジェク
トを抽出，選択あるいは検索するといった処理を簡単か
つ高速に行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１によるオブジェクトデー
タ処理装置であるオブジェクトデータ復号装置を説明す
るためのブロック図である。

【図２】上記実施の形態１のオブジェクトデータ復号装
置にて作成されるオブジェクトテーブルを示す図であ
る。

【図３】上記実施の形態１のオブジェクトデータ復号装
置におけるＣＰＵによる処理のフローを示す図である。

【図４】上記実施の形態１のオブジェクトデータ復号装
置にて作成される他のオブジェクトテーブルを示す図で
あり、上位階層のオブジェクトに対応するテーブル及び
下位階層のオブジェクトに対応するテーブルを示してい
る。

【図５】本発明の実施の形態２によるオブジェクトデー
タ処理装置であるオブジェクトデータ選択装置を説明す
るためのブロック図である。

【図６】上記実施の形態２のオブジェクトデータ選択装
置におけるＣＰＵによる処理のフローを示す図である。

【図７】本発明の実施の形態３によるオブジェクトデー
タ記録装置を説明するためのブロック図である。

【図８】上記実施の形態３のオブジェクトデータ記録装
置におけるＣＰＵによる処理のフローを示す図である。

【図９】本発明の実施の形態４によるオブジェクトデー
タ処理装置であるオブジェクトデータ送出装置を説明す
るためのブロック図である。

【図１０】上記実施の形態４のオブジェクトデータ記録
装置におけるＣＰＵによる処理のフローを示す図であ
る。

【図１１】本発明の実施の形態５によるオブジェクトデ
ータ処理装置である、ＭＰＥＧ４に対応するオブジェク
トデータ復号装置を説明するための図であり、ＭＰＥＧ
４に準拠したデータ伝送システムの概要を示している。

【図１２】上記実施の形態５のオブジェクトデータ処理
装置であるオブジェクトデータ復号装置を説明するため
のブロック図である。

【図１３】上記データ伝送システムに対応したオブジェ
クト符号化方法を説明するための模式図である。

【図１４】上記データ伝送システムにて用いられるシー
ン記述（図(a) ）及びオブジェクトデスクリプタ（図
(b) ）を示す図である。

【図１５】図１４に示すシーン記述とオブジェクトディ
スクリプタとから得られるオブジェクトテーブルを示す
図である。

【図１６】上記実施の形態５のオブジェクトデータ復号
装置におけるＣＰＵによる処理のフローを示す図であ
る。

【図１７】本発明のデータ記憶媒体を説明するための図
であり、フロッピーディスクの構造（図(a) ）、フロッ
ピーディスク本体の構造（図(b) ）、該フロッピーディ
スクを記憶媒体として用いるコンピュータシステムを示
している。

【図１８】従来のオブジェクト符号化方法を説明するた
めの模式図である。

【図１９】従来のオブジェクト符号化方法により符号化
されたデータを補助データとともに多重化してなる、従
来のビットストリームのデータ構造を示す図である。

【図２０】従来のビットストリームに補助データとして
含まれるコンポジションストリームによるシーンの記述
を示す図である。

【図２１】従来のビットストリームに補助データとして
含まれるストリームアソシエーションテーブルを説明す
るための図である。

【符号の説明】

８ オブジェクトデータ選択部 １１，１１ａ，２０３ 逆多重手段 １２ ＡＶデコード手段 １３，１３ａ，６３，８３ ＣＰＵ １４ 表示装置 ６１，８１ 多重ストリーム解釈手段 ６２，８２ オブジェクト選択手段 ６４，８５ バッファ ８４ データベース（データ蓄積手段） ８６，２０２ 多重化手段 ８７ 符号化手段 １０１，１０５ オブジェクトデータ復号装置 １０２ オブジェクトデータ選択装置 １０３ オブジェクトデータ記録装置 １０４ オブジェクトデータ送出装置 １０４ａ オブジェクトデータ多重符号化装置 １２０，１５０，２０１ １シーン ２００ オブジェクトデータ伝送システム ２０４ 復号処理部 Ｃont ，Ｃont1，Ｃont2 制御信号 Ｃｓ コンピュータシステム Ｄ フロッピーディスク本体 Ｄsub 補助データ Ｅｇ 符号化データ Ｆ フロッピーディスクケース ＦＤ フロッピーディスク ＦDD フロッピーディスクドライブ Ｉｕ 指示信号 Ｌ１，Ｌ１ａ 第１階層 Ｌ２，Ｌ２ａ 第２階層 Ｌ３，Ｌ３ａ 第３階層 ＭＥｇ ＭＥｇ１ 多重ビットストリーム ＯＤ オブジェクトデスクリプタ Ｒｇ 再生データ Ｓｇ 選択符号化データ ＳＤ，ＳＤ１ シーン記述 Ｓｆ シーン記述情報 Ｔ１，Ｔ２，Ｔ３ オブジェクトテーブル Ｔ２ａ，Ｔ２ｂ 上位階層，下位階層テーブル Ｔ３ａ，Ｔ３ｂ 主，副テーブル

Claims (30)

【特許請求の範囲】
1. 【請求項１】 記録あるいは伝送の対象となる個別デー
   タを構成する、階層構造をなすＮ個（Ｎは正の整数）の
   オブジェクトデータを、各オブジェクトデータ毎に圧縮
   符号化して得られるＮ個の符号化データを復号する装置
   であって、 該符号化データに基づいて、上記Ｎ個のオブジェクトデ
   ータの階層関係を示す階層情報を抽出する階層情報抽出
   手段と、 該階層情報に基づいて、上記各オブジェクトデータと各
   オブジェクトデータに対応する符号化データとを関連付
   けて示すオブジェクトテーブルを作成するテーブル作成
   手段とを備えたことを特徴とするオブジェクトデータ処
   理装置。
2. 【請求項２】 １シーンに相当するシーンデータに対し
   て該１シーンを構成するＮ個（Ｎは正の整数）のオブジ
   ェクト毎に圧縮符号化処理を施して得られるＮ個の符号
   化データを復号する装置であって、 該符号化データに基づいて、上記１シーンを構成するオ
   ブジェクトの階層関係を示す階層情報を抽出する階層情
   報抽出手段と、 該階層情報に基づいて、上記各オブジェクトと各オブジ
   ェクトに対応する符号化データとを関連付けて示すオブ
   ジェクトテーブルを作成するテーブル作成手段とを備え
   たことを特徴とするオブジェクトデータ処理装置。
3. 【請求項３】 請求項２記載のオブジェクトデータ処理
   装置において、 上記階層情報抽出手段は、上記符号化データに基づい
   て、上記階層情報に加えて、各オブジェクトの優先順位
   を示す優先度情報を抽出するよう構成されており、 上記テーブル作成手段は、上記階層情報及び優先度情報
   に基づいて、上記各オブジェクトと各オブジェクトに対
   応する符号化データとを関連付けて示すとともに、各オ
   ブジェクトの優先順位を示すオブジェクトテーブルを作
   成するよう構成されていることを特徴とするオブジェク
   トデータ処理装置。
4. 【請求項４】 請求項２記載のオブジェクトデータ処理
   装置において、 指定された特定のオブジェクトに対応する符号化データ
   を識別するための識別情報を、上記オブジェクトテーブ
   ルを参照して検出する識別情報検出手段と、 上記識別情報に基づいて、上記Ｎ個の符号化データから
   特定のオブジェクトに対応する符号化データを抽出して
   復号する復号手段とを備えたことを特徴とするオブジェ
   クトデータ処理装置。
5. 【請求項５】 １シーンに相当するシーンデータに対し
   て１シーンを構成するＮ個（Ｎは正の整数）のオブジェ
   クト毎に圧縮符号化処理を施して得られるＮ個の符号化
   データを含む多重データを復号する装置であって、 上記多重データに含まれる上記各符号化データの相互関
   係を示す情報に基づいて、上記１シーンを構成するオブ
   ジェクトの階層関係を示す階層情報を抽出する階層情報
   抽出手段と、 上記階層情報に基づいて、上記各オブジェクトと各オブ
   ジェクトに対応する符号化データとを関連付けて示すオ
   ブジェクトテーブルを作成するテーブル作成手段とを備
   えたことを特徴とするオブジェクトデータ処理装置。
6. 【請求項６】 請求項５記載のオブジェクトデータ処理
   装置において、 上記階層情報抽出手段は、上記多重データに基づいて、
   上記階層情報に加えて、各オブジェクトの優先順位を示
   す優先度情報を抽出するよう構成されており、 上記テーブル作成手段は、上記階層情報及び優先度情報
   に基づいて、上記各オブジェクトと各オブジェクトに対
   応する符号化データとを関連付けて示すとともに、各オ
   ブジェクトの優先順位を示すオブジェクトテーブルを作
   成するよう構成されていることを特徴とするオブジェク
   トデータ処理装置。
7. 【請求項７】 請求項５記載のオブジェクトデータ処理
   装置において、 指定された特定のオブジェクトに対応する符号化データ
   を識別するための識別情報を、上記オブジェクトテーブ
   ルを参照して検出する識別情報検出手段と、 上記識別情報に基づいて、上記多重データから特定のオ
   ブジェクトに対応する符号化データを抽出して復号する
   復号手段とを備えたことを特徴とするオブジェクトデー
   タ処理装置。
8. 【請求項８】 記録あるいは伝送の対象となる個別デー
   タを構成する、階層構造をなすＮ個（Ｎは正の整数）の
   オブジェクトデータを、各オブジェクトデータ毎に圧縮
   符号化して得られるＮ個の符号化データから、特定のオ
   ブジェクトデータに対応する符号化データを選択する装
   置であって、 該符号化データに基づいて、上記Ｎ個のオブジェクトデ
   ータの階層関係を示す階層情報を抽出する階層情報抽出
   手段と、 該階層情報に基づいて、上記各オブジェクトデータと各
   オブジェクトデータに対応する符号化データとを関連付
   けて示すオブジェクトテーブルを作成するテーブル作成
   手段とを備え、 特定のオブジェクトデータに対応する符号化データを、
   該オブジェクトテーブルを参照して上記Ｎ個の符号化デ
   ータの中から選択して出力するよう構成したことを特徴
   とするオブジェクトデータ処理装置。
9. 【請求項９】 １シーンに相当するシーンデータに対し
   て該１シーンを構成するＮ個（Ｎは正の整数）のオブジ
   ェクト毎に圧縮符号化処理を施して得られるＮ個の符号
   化データから、特定のオブジェクトに対応する符号化デ
   ータを選択する装置であって、 該符号化データに基づいて、上記１シーンを構成するオ
   ブジェクトの階層関係を示す階層情報を抽出する階層情
   報抽出手段と、 該階層情報に基づいて、上記各オブジェクトと各オブジ
   ェクトに対応する符号化データとを関連付けて示すオブ
   ジェクトテーブルを作成するテーブル作成手段とを備
   え、 特定のオブジェクトの符号化データを、該オブジェクト
   テーブルを参照して上記Ｎ個の符号化データの中から選
   択して出力するよう構成したことを特徴とするオブジェ
   クトデータ処理装置。
10. 【請求項１０】 １シーンに相当するシーンデータに対
    して該１シーンを構成するＮ個（Ｎは正の整数）のオブ
    ジェクト毎に圧縮符号化処理を施して得られるＮ個の符
    号化データを含む多重データから、特定のオブジェクト
    に対応する符号化データを選択する装置であって、 上記多重データに含まれる上記各符号化データの相互関
    係を示す情報に基づいて、上記１シーンを構成するＮ個
    のオブジェクトの階層関係を示す階層情報を抽出する階
    層情報抽出手段と、 上記階層情報に基づいて、上記各オブジェクトと各オブ
    ジェクトに対応する符号化データとを関連付けて示すオ
    ブジェクトテーブルを作成するテーブル作成手段とを備
    え、 特定オブジェクトの符号化データを、該オブジェクトテ
    ーブルを参照して上記多重データの中から選択して出力
    するよう構成したことを特徴とするオブジェクトデータ
    処理装置。
11. 【請求項１１】 データを蓄積するデータ蓄積部を有
    し、記録あるいは伝送の対象となる個別データを構成す
    る、階層構造をなすＮ個（Ｎは正の整数）のオブジェク
    トデータを、各オブジェクトデータ毎に圧縮符号化して
    得られるＮ個の符号化データを上記データ蓄積部に記録
    する装置であって、 該符号化データに基づいて、上記Ｎ個のオブジェクトデ
    ータの階層関係を示す階層情報を抽出する階層情報抽出
    手段と、 該階層情報に基づいて、上記各オブジェクトデータと各
    オブジェクトデータに対応する符号化データとを関連付
    けて示すオブジェクトテーブルを作成するテーブル作成
    手段とを備え、 上記Ｎ個の符号化データとこれに対応するオブジェクト
    テーブルとを上記データ蓄積部に記録するよう構成した
    ことを特徴とするオブジェクトデータ記録装置。
12. 【請求項１２】 データを蓄積するデータ蓄積部を有
    し、１シーンに相当するシーンデータに対して該１シー
    ンの画像を構成するＮ個（Ｎは正の整数）のオブジェク
    ト毎に圧縮符号化処理を施して得られるＮ個の符号化デ
    ータを上記データ蓄積部に記録する装置であって、 該符号化データに基づいて、上記１シーンを構成するオ
    ブジェクトの階層関係を示す階層情報を抽出する階層情
    報抽出手段と、 該階層情報に基づいて、上記各オブジェクトと各オブジ
    ェクトに対応する符号化データとを関連付けて示すオブ
    ジェクトテーブルを作成するテーブル作成手段とを備
    え、 上記Ｎ個の符号化データとこれに対応するオブジェクト
    テーブルとを上記データ蓄積部に記録するよう構成した
    ことを特徴とするオブジェクトデータ記録装置。
13. 【請求項１３】 請求項１２記載のオブジェクトデータ
    記録装置において、 上記Ｎ個の符号化データに対応するオブジェクトテーブ
    ルを該Ｎ個の符号化データに付加して記録するよう構成
    したことを特徴とするオブジェクトデータ記録装置。
14. 【請求項１４】 請求項１２記載のオブジェクトデータ
    記録装置において、上記Ｎ個の符号化データに対応する
    オブジェクトテーブルを該Ｎ個の符号化データとは分離
    して記録するよう構成したことを特徴とするオブジェク
    トデータ記録装置。
15. 【請求項１５】 データを蓄積するデータ蓄積部を有
    し、１シーンに相当するシーンデータに対して該１シー
    ンを構成するＮ個（Ｎは正の整数）のオブジェクト毎に
    圧縮符号化処理を施して得られるＮ個の符号化データを
    含む多重データを上記データ蓄積部に記録する装置であ
    って、 上記多重データに含まれる上記各符号化データの相互関
    係を示す情報に基づいて、上記１シーンを構成するオブ
    ジェクトの階層関係を示す階層情報を抽出する階層情報
    抽出手段と、 上記階層情報に基づいて、上記各オブジェクトと各オブ
    ジェクトに対応する符号化データとを関連付けて示すオ
    ブジェクトテーブルを作成するテーブル作成手段とを備
    え、 上記多重データとこれに対応するオブジェクトテーブル
    とを上記データ蓄積部に記録するよう構成したことを特
    徴とするオブジェクトデータ記録装置。
16. 【請求項１６】 請求項１５記載のオブジェクトデータ
    記録装置において、 上記多重データに対応するオブジェクトテーブルを該多
    重データに付加して記録するよう構成したことを特徴と
    するオブジェクトデータ記録装置。
17. 【請求項１７】 請求項１５記載のオブジェクトデータ
    記録装置において、 上記多重データに対応するオブジェクトテーブルを該多
    重データとは分離して記録するよう構成したことを特徴
    とするオブジェクトデータ記録装置。
18. 【請求項１８】 記録あるいは伝送の対象となる個別デ
    ータに関連する関連データを格納したデータ記憶媒体で
    あって、 上記関連データは、 上記個別データを構成する、階層構造をなすＮ個（Ｎは
    正の整数）のオブジェクトデータを、各オブジェクトデ
    ータ毎に圧縮符号化して得られるＮ個の符号化データ
    と、各オブジェクトデータとを関連付けて示すオブジェ
    クトテーブルを含むものであることを特徴とするデータ
    記憶媒体。
19. 【請求項１９】 １シーンに対応した関連データを格納
    したデータ記憶媒体であって、 上記関連データは、 １シーンに相当するシーンデータに対して該１シーンを
    構成するＮ個（Ｎは正の整数）のオブジェクト毎に圧縮
    符号化処理を施して得られる１つ以上の符号化データ
    と、各オブジェクトとを関連付けて示すオブジェクトテ
    ーブルを含むものであることを特徴とするデータ記憶媒
    体。
20. 【請求項２０】 記録あるいは伝送の対象となる個別デ
    ータを構成する、階層構造をなすＮ個（Ｎは正の整数）
    のオブジェクトデータを、各オブジェクトデータ毎に圧
    縮符号化して得られるＮ個の符号化データを送出する装
    置であって、 該符号化データに基づいて、上記Ｎ個のオブジェクトデ
    ータの階層関係を示す階層情報を抽出する階層情報抽出
    手段と、 該階層情報に基づいて、上記各オブジェクトデータと各
    オブジェクトデータに対応する符号化データとを関連付
    けて示すオブジェクトテーブルを作成するテーブル作成
    手段とを備え、 上記Ｎ個の符号化データをこれに対応するオブジェクト
    テーブルを付加して送出するよう構成したことを特徴と
    するオブジェクトデータ処理装置。
21. 【請求項２１】 １シーンに相当するシーンデータに対
    して該１シーンを構成するＮ個（Ｎは正の整数）のオブ
    ジェクト毎に圧縮符号化処理を施して得られるＮ個の符
    号化データを送出する装置であって、 該符号化データに基づいて、上記１シーンを構成するオ
    ブジェクトの階層関係を示す階層情報を抽出する階層情
    報抽出手段と、 該階層情報に基づいて、上記各オブジェクトと各オブジ
    ェクトに対応する符号化データとを関連付けて示すオブ
    ジェクトテーブルを作成するテーブル作成手段とを備
    え、 上記Ｎ個の符号化データをこれに対応するオブジェクト
    テーブルを付加して送出するよう構成したことを特徴と
    するオブジェクトデータ処理装置。
22. 【請求項２２】 請求項２１記載のオブジェクトデータ
    処理装置から送出される送出データを復号する装置であ
    って、 上記送出データから上記オブジェクトテーブルを分離す
    るデータ分離手段と、 該分離したオブジェクトテーブルを記憶するテーブル記
    憶手段とを備え、 該テーブル記憶手段に記憶されたオブジェクトテーブル
    に示されている情報を用いて、上記各オブジェクトに対
    応する符号化データに対する復号動作を制御するよう構
    成したことを特徴とするオブジェクトデータ処理装置。
23. 【請求項２３】 １シーンに相当するシーンデータに対
    して該１シーンを構成するＮ個（Ｎは正の整数）のオブ
    ジェクト毎に圧縮符号化処理を施して得られるＮ個の符
    号化データを含む多重データを送出する装置であって、 上記多重化データに含まれる上記各符号化データの相互
    関係を示す情報に基づいて、上記１シーンを構成するオ
    ブジェクトの階層関係を示す階層情報を抽出する階層情
    報抽出手段と、 上記階層情報に基づいて、上記各オブジェクトと各オブ
    ジェクトに対応する符号化データとを関連付けて示すオ
    ブジェクトテーブルを作成するテーブル作成手段とを備
    え、 上記多重データをこれに対応するオブジェクトテーブル
    を付加して送出するよう構成したことを特徴とするオブ
    ジェクトデータ処理装置。
24. 【請求項２４】 請求項２３記載のオブジェクトデータ
    処理装置から送出される送出データを復号する装置であ
    って、 上記送出データから上記オブジェクトテーブルを分離す
    るデータ分離手段と、 該分離したオブジェクトテーブルを記憶するテーブル記
    憶手段とを備え、 該テーブル記憶手段に記憶されたオブジェクトテーブル
    に示されている情報を用いて、上記各オブジェクトに対
    応する符号化データに対する復号動作を制御するよう構
    成したことを特徴とするオブジェクトデータ処理装置。
25. 【請求項２５】 記録あるいは伝送の対象となる個別デ
    ータを構成する、階層構造をなすＮ個（Ｎは正の整数）
    のオブジェクトデータを、各オブジェクトデータ毎に圧
    縮符号化して得られるＮ個の符号化データを伝送するた
    めの伝送用データ構造であって、 上記Ｎ個の符号化データからなるデータ群は、 上記各オブジェクトデータと各オブジェクトデータに対
    応する符号化データとを関連付けて示すオブジェクトテ
    ーブルを含むことを特徴とする伝送用データ構造。
26. 【請求項２６】 １シーンに相当するシーンデータに対
    して該１シーンを構成する個々のオブジェクト毎に圧縮
    符号化処理を施して得られるＮ個の符号化データを伝送
    するための伝送用データ構造であって、 上記Ｎ個（Ｎは正の整数）の符号化データからなるデー
    タ群は、 上記各オブジェクトと各オブジェクトに対応する符号化
    データとを関連付けて示すオブジェクトテーブルを含む
    ことを特徴とする伝送用データ構造。
27. 【請求項２７】 記録あるいは伝送の対象となる個別デ
    ータを構成する、階層構造をなすＮ個（Ｎは正の整数）
    のオブジェクトデータを、各オブジェクトデータ毎に圧
    縮符号化して得られるＮ個の符号化データを含む、所定
    の符号量毎に複数のパケットに区切られた多重データに
    対して、所定の処理を施す装置であって、 上記多重データに含まれる、上記各符号化データの相互
    関係を示す情報に基づいて、上記Ｎ個のオブジェクトデ
    ータの階層関係を示す階層情報を抽出する階層情報抽出
    手段と、 該階層情報に基づいて、上記多重データを構成する複数
    のパケットの階層関係を示すオブジェクトテーブルを作
    成するテーブル作成手段とを備えたことを特徴とするオ
    ブジェクトデータ処理装置。
28. 【請求項２８】 １シーンに相当するシーンデータに対
    して１シーンを構成するＮ個（Ｎは正の整数）のオブジ
    ェクト毎に圧縮符号化処理を施して得られるＮ個の符号
    化データを含む、所定の符号量毎に複数のパケットに区
    切られた多重データに対して、所定の処理を施す装置で
    あって、 上記多重データに含まれる上記各符号化データの相互関
    係を示す情報に基づいて、上記１シーンを構成するオブ
    ジェクトの階層関係を示す階層情報を抽出する階層情報
    抽出手段と、 上記階層情報に基づいて、上記多重データを構成する複
    数のパケットの階層関係を示すオブジェクトテーブルを
    作成するテーブル作成手段とを備えたことを特徴とする
    オブジェクトデータ処理装置。
29. 【請求項２９】 データを蓄積するデータ蓄積部を有
    し、記録あるいは伝送の対象となる個別データを構成す
    る、階層構造をなすＮ個（Ｎは正の整数）のオブジェク
    トデータを、各オブジェクトデータ毎に圧縮符号化して
    得られるＮ個の符号化データを含む、所定の符号量毎に
    複数のパケットに区切られた多重データを上記データ蓄
    積部に記録する装置であって、 上記多重データに含まれる、上記各符号化データの相互
    関係を示す情報に基づいて、上記Ｎ個のオブジェクトデ
    ータの階層関係を示す階層情報を抽出する階層情報抽出
    手段と、 該階層情報に基づいて、上記多重データを構成する複数
    のパケットの階層関係を示すオブジェクトテーブルを作
    成するテーブル作成手段とを備え、 上記多重データとこれに対応するオブジェクトテーブル
    とを上記データ蓄積部に記録するよう構成したことを特
    徴とするオブジェクトデータ記録装置。
30. 【請求項３０】 データを蓄積するデータ蓄積部を有
    し、１シーンに相当するシーンデータに対して該１シー
    ンを構成するＮ個（Ｎは正の整数）のオブジェクト毎に
    圧縮符号化処理を施して得られるＮ個の符号化データを
    含む、所定の符号量毎に複数のパケットに区切られた多
    重データを上記データ蓄積部に記録する装置であって、 上記多重データに含まれる上記各符号化データの相互関
    係を示す情報に基づいて、上記１シーンを構成するオブ
    ジェクトの階層関係を示す階層情報を抽出する階層情報
    抽出手段と、 上記階層情報に基づいて、上記多重データを構成する複
    数のパケットの階層関係を示すオブジェクトテーブルを
    作成するテーブル作成手段とを備え、 上記多重データとこれに対応するオブジェクトテーブル
    とを上記データ蓄積部に記録するよう構成したことを特
    徴とするオブジェクトデータ記録装置。