JP2012244411A - 画像データ送信装置、画像データ送信方法および画像データ受信装置 - Google Patents

Abstract

【課題】同期表示すべき複数の画像データのそれぞれを含む複数のビデオストリームを別個の放送ストリームで送信する際に、受信側における同期表示を保証する。
【解決手段】送信側から、第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する。この第１のビデオストリームに、ストリーム同期情報を挿入する。このストリーム同期情報は、第１のビデオストリームと、第１の画像データと同期表示される第２の画像データを含む第２のビデオストリームとを、フレーム単位で同期させるための情報である。受信側において、このストリーム同期情報に基づいて、第１のビデオストリームと第２のビデオストリームとをフレーム単位で同期させることができる。
【選択図】図５

Description

本技術は、画像データ送信装置、画像データ送信方法および画像データ受信装置に関し、特に、ステレオ立体画像表示等のサービスのための複数のビデオストリームを別個の放送ストリームで送信する場合に適用できる画像データ送信装置、画像データ送信方法および画像データ受信装置に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼画像データおよび右眼画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。

図３５は、両眼視差を利用したステレオ立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像（３Ｄ画像）の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。

特開２００５−６１１４号公報

例えば、地上放送などの帯域が限定されている放送においては、フルＨＤ解像度（1920*1080）の左眼画像データおよび右眼画像データを並行して送ることが困難である。この場合、左眼画像データおよび右眼画像データがそれぞれ含まれるビデオストリームを別個の放送ストリームで送信することが考えられるが、受信側において同期表示を保証する必要がある。

なお、この種の問題は、４Ｋ２Ｋ、８Ｋ４Ｋ等の超高精細な画像データを分割して、それぞれの分割画像データが含まれるビデオストリームを別個の放送ストリームで送信する場合にも生じる。また、この種の問題は、重畳表示のための２つの画像データがそれぞれ含まれるビデオストリームを別個の放送ストリームで送信する場合にも生じる。

本技術の目的は、同期表示すべき複数の画像データのそれぞれを含む複数のビデオストリームを別個の放送ストリームで送信する際に、受信側における同期表示を保証することにある。

本技術の概念は、
第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する送信部を備え、
上記第１のビデオストリームに、該第１のビデオストリームと、上記第１の画像データと同期表示される第２の画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報が挿入されている
画像データ送信装置にある。

本技術において、送信部により、第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームが送信される。この第１のビデオストリームに、ストリーム同期情報が挿入されている。このストリーム同期情報は、第１のビデオストリームに、この第１のビデオストリームと、第１の画像データと同期表示される第２の画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるための情報である。

このように本技術においては、第１のビデオストリームにストリーム同期情報が挿入されている。そのため、受信側において、このストリーム同期情報に基づいて、第１のビデオストリームと第２のビデオストリームとをフレーム単位で同期させることができる。したがって、受信側において、第１の画像データと第２の画像データとの同期表示が保証される。

なお、本技術は、例えば、ストリーム同期情報は、第１または第２のビデオストリームのピクチャレイヤに挿入され、このストリーム同期情報には、該当フレームの表示スキップを行うか否かを示す情報、および該当フレームの表示タイミングの補正値が含まれる、ようにされてもよい。

また、本技術は、例えば、このストリーム同期情報に、ストリームの初期フレームからのフレーム数を示す情報、第２のビデオストリームの存在を示すフラグ情報、同期表示のタイプを示す情報等が付加されていてもよい。同期表示のタイプとしては、例えば、ステレオ立体画像表示、高精細画像表示、重畳表示などがある。

また、本技術は、例えば、所定コンテナフォーマットのストリームに、第１のビデオストリームおよび第２のビデオストリームのうち基本ビデオストリームの初期タイムスタンプ情報が挿入されていてもよい。このように、初期タイムスタンプ情報が挿入されることで、受信側において、ランダムアクセスで基本ビデオストリームの途中から再生する場合にあっても、第１のビデオストリームと第２のビデオストリームとをフレーム単位で同期させることができる。

また、本技術は、所定コンテナフォーマットのストリームに、第２の画像データが含まれる第２のビデオストリームを有する所定コンテナフォーマットのストリームの数を示す情報が挿入されていてもよい。

また、本技術は、所定コンテナフォーマットのストリームに、第１のビデオストリームおよび第２のビデオストリームのうち基本ビデオストリームにストリーム同期情報が挿入されているか否かを示す情報が挿入されていてもよい。

また、本技術の他の概念は、
第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第１の受信部と、
上記第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第２の受信部とを備え、
上記追加ビデオストリームには、フレーム毎に、上記基本ビデオストリームと上記追加ビデオストリームとをフレーム単位で同期させるためのフレーム同期情報が挿入されており、
上記第１の受信部で受信されたストリームが有する上記基本ビデオストリームに含まれる上記第１の画像データを取得する第１のデータ取得部と、
上記第２の受信部で受信されたストリームが有する上記追加ビデオストリームに含まれる上記第２の画像データを取得する第２のデータ取得部と、
上記第２のデータ取得部で取得された第２の画像データを、上記フレーム同期情報に基づいて、上記第１のデータ取得部で取得された第１の画像データにフレーム単位で同期させる同期管理部とをさらに備える
画像データ受信装置にある。

本技術において、第１の受信部により、第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームが受信され、第２の受信部により、第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームが受信される。ここで、追加ビデオストリームには、フレーム毎に、基本ビデオストリームと追加ビデオストリームとをフレーム単位で同期させるためのフレーム同期情報が挿入されている。

第１のデータ取得部により、基本ビデオストリームに含まれる第１の画像データが取得され、第２のデータ取得部により、追加ビデオストリームに含まれる第２の画像データが取得される。この場合、追加ビデオストリームとしては、一つあるいは複数のビデオストリームが考えられる。そして、同期管理部により、第２の画像データは、フレーム同期情報に基づいて、第１の画像データにフレーム単位で同期するように、時間軸が調整される。これにより、第１の画像データと第２の画像データとの同期表示が保証される。

また、本技術のさらに他の概念は、
第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第１の受信部と、
上記第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第２の受信部とを備え、
上記第１の受信部で受信されたストリームが有する上記基本ビデオストリームに含まれる上記第１の画像データを取得する第１のデータ取得部と、
上記第２の受信部で受信されたストリームが有する上記追加ビデオストリームに含まれる上記第２の画像データを取得する第２のデータ取得部と、
上記第２のデータ取得部で取得された第２の画像データを、タイムスタンプ情報に基づいて、上記第１のデータ取得部で取得された第１の画像データにフレーム単位で同期させる同期管理部とをさらに備える
画像データ受信装置にある。

本技術においては、同期管理部により、第２の画像データは、タイムスタンプ情報に基づいて、第１の画像データにフレーム単位で同期するように、時間軸が調整される。これにより、上述の基本ビデオストリームと追加ビデオストリームとをフレーム単位で同期させるためのフレーム同期情報がない場合であっても、第１の画像データと第２の画像データとの同期表示が保証される。

本技術によれば、同期表示すべき複数の画像データのそれぞれを含む複数のビデオストリームを別個の放送ストリームで送信する際に、受信側における同期表示を保証できる。

本技術の実施の形態としての放送システムの構成例を示すブロック図である。 基本となる放送ストリーム（Basic stream）と、追加の放送ストリーム（Extended stream）との組み合わせ例を説明するための図である。 基本となる放送ストリームと追加の放送ストリームの送信をステレオ立体（３Ｄ）画像表示に応用することを説明するための図である。 放送システムにおけるステレオ立体画像データの伝送例を概略的に示す図である。 放送システムにおける一つの番組サービスを構成するストリームの要素の一例を概略的に示す図である。 基本となる放送ストリーム（Basic Stream1：TS_B1）と、追加の放送ストリーム（Extended_Stream1：TS_E1）の“Transport_Stream_id”等の設定例を示す図である。 放送システムにおける一つの番組サービスを構成するストリームの要素の他の例を概略的に示す図である。 ストリームマッピング情報を説明するための図である。 放送システムを構成する放送局内の送信装置の構成例を示すブロック図である。 送信装置を構成するエンコーダの詳細構成例を示すブロック図である。 放送システムを構成するユーザ宅内の受信装置の構成例を示すブロック図である。 ＥＰＧ画面上で再生予約番組の選択を行う様子を示す図である。 送信側である送信局Ａ（チャンネル１）、送信局Ｂ（チャンネル２）、送信局Ｃ（チャンネル３）と受信側との間のＩＰネットワークの構成例を示す図である。 受信装置における追加の放送ストリームを含めた動的ストリーム切り換えの一例を示す図である。 受信装置における追加の放送ストリームを含めた動的ストリーム切り換えにおいて、追加ストリームは、ストリームマッピング情報に基づいて、ＩＰネットワークを通じてのストリーミング受信、あるいはストレージからの読み出しにより取得されることを示す図である。 ストリーム同期情報（Stream_Synchronization_Information）の構造例（Syntax）を示す図（１／２）である。 ストリーム同期情報の構造例（Syntax）を示す図（２／２）である。 ストリーム同期情報の構造例における主要な情報の内容（Semantics）を示す図(１／２)である。 ストリーム同期情報の構造例における主要な情報の内容（Semantics）を示す図(２／２)である。 ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）の構造例（Syntax）を示す図である。 ストリーム同期情報デスクリプタの構造例おける主要な情報の内容（Semantics）を示す図である。 同期表示させる期間における基本ストリームの初期タイムスタンプの値を同期用オフセットのリファレンスとして伝送することを説明するための図である。 受信側において、基本ストリームの表示タイムスタンプと、初期タイムスタンプ値の差分をフレーム周期で換算したフレームオフセット分を考慮したバッファ読み出しを行って表示することを説明するための図である。 左眼画像データを含む基本ストリーム（Video1）と、右眼画像データを含む追加ストリーム（Video2）の編集の一例を示す図である。 送信側における再同期用補正オフセットと再同期用表示スキップフラグの設定例を示す図である。 送信側（エンコーダ側）で再同期用補正オフセットおよび再同期用表示スキップフラグが設定された場合の受信側における表示タイミングの補正例を示す図である。 ビデオのランダムアクセス時における表示タイミングの補正例を示す図である。 受信装置のＣＰＵにおける同期処理制御の手順の一例を示すフローチャート（１／３）である。 受信装置のＣＰＵにおける同期処理制御の手順の一例を示すフローチャート（２／３）である。 受信装置のＣＰＵにおける同期処理制御の手順の一例を示すフローチャート（３／３）である。 基本となる放送ストリームと追加の放送ストリームの送信を超高精細画像の表示に応用することを説明するための図である。 放送システムにおける超高精細画像データの伝送例を概略的に示す図である。 基本となる放送ストリームと追加の放送ストリームの送信を重畳画像の表示に応用する一例を説明するための図である。 基本となる放送ストリームと追加の放送ストリームの送信を重畳画像の表示に応用する他の例を説明するための図である。 両眼視差を利用したステレオ立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像（３Ｄ画像）の再生位置との関係を示す図である。

以下、本技術を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［放送システム］
図１は、実施の形態としての放送システム１０の構成例を示している。この放送システム１０は、放送局１１に設置された送信装置１００と、ユーザ宅１２に設置された受信装置２００により構成されている。なお、実際には、複数のユーザ宅１２のそれぞれに受信装置２００が設置されている。

放送局１１は、ＲＦ電波（放送波）による放送と、ＩＰネットワークを介しての放送（ＩＰＴＶ放送）とを行うことができる。この放送システム１０では、図２に示すように、基本となる放送ストリーム（Basic stream）と、追加の放送ストリーム（Extended stream）とを送信可能となっている。ここで、ＲＦ電波で送信される放送ストリームのコンテナフォーマットは、例えばＭＰＥＧ２ＴＳ（MPEG2 Transport Stream）である。また、ＩＰＴＶ放送で送信される放送ストリームのコンテナフォーマットは、例えばＭＰＥＧ２ＴＳあるいはＭＰ４である。

基本となる放送ストリームの送信形態としては、例えば、ＲＦ電波によるリニア放送、ＩＰＴＶによる放送（ストリーミング）およびＩＰＴＶによる放送（ダウンロード）等が考えられる。一方、追加の放送ストリームの送信形態としては、例えば、ＲＦ電波によるリニア放送、ＲＦ電波による蓄積型放送、ＩＰＴＶによる放送（ストリーミング）およびＩＰＴＶによる放送（ダウンロード）等が考えられる。

ここで、基本となる放送ストリームは、第１の画像データを含む基本ビデオストリームを有する放送ストリームである。また、追加の放送ストリームは、第１の画像データと同期表示すべき第２の画像データを含む追加ビデオストリームを有する放送ストリームである。なお、第２の画像データは複数の場合も考えられる。その場合、追加の放送ストリームは複数となる。

この実施の形態では、基本の放送ストリームがＲＦ電波によるリニア放送であり、追加の放送ストリームがＩＰＴＶによる放送（ストリーミング、ダウンロード）の場合について説明する。また、この実施の形態では、図３に示すように、基本となる放送ストリームと追加の放送ストリームの送信をステレオ立体（３Ｄ）画像表示に応用する場合について説明する。この場合、第１の画像データがステレオ立体画像データを構成する左眼画像データであり、第２の画像データがステレオ立体画像データを構成する右眼画像データである。

図４は、放送システム１０におけるステレオ立体画像データの伝送例を概略的に示している。送信側（送信装置１００）は、例えば、３Ｄカメラ１１１およびエンコーダ１１２を有している。３Ｄカメラ１１１で得られた左眼画像データおよび右眼画像データがエンコーダ１１２に供給される。エンコーダ１１２では、それぞれの画像データがＭＰＥＧ２ビデオあるいはＡＶＣ等の符号化フォーマットで符号化され、基本ビデオストリームおよび追加ビデオストリームが生成される。

送信側から受信側には、エンコーダ１１２で生成された基本ビデオストリーム（左眼画像データを含む）を有する基本となる放送ストリーム（left view stream）がＲＦ電波により送られる。また、送信側から受信側には、エンコーダ１１２で生成された追加ビデオストリーム（右眼画像データを含む）を有する追加の放送ストリーム（right view stream）がＩＰネットワークを介して送られる。

受信側（受信装置２００）は、例えば、デコーダ２４１および３Ｄモニタ２４２を有している。デコーダ２４１では、基本となる放送ストリーム（Left view stream）が有する基本ビデオストリームに対して復号化処理が行われて左眼画像データが得られる。また、デコーダ２４１では、追加の放送ストリーム（Right view stream）が有する追加ビデオストリームに対して復号化処理が行われて右眼画像データが得られる。そして、これら左眼画像データおよび右眼画像データが３Ｄモニタ２４２に供給されてステレオ立体画像表示が行われる。

図１に戻って、送信装置１００は、基本ビデオストリームおよび追加ビデオストリームに、ストリーム同期情報（Stream_Synchronization_Information）を挿入する。このストリーム同期情報は、受信側において、基本ビデオストリームおよび追加ビデオストリームをフレーム単位で同期させるための情報を含んでいる。このストリーム同期情報は、ビデオストリームのピクチャレイヤ、例えばピクチャヘッダのユーザデータ領域あるいはそれに相当する領域に挿入される。このストリーム同期情報には、ストリームの初期フレームからのフレーム数を示す情報、同期関係にある他の放送ストリームの存在を示す情報、同期表示のタイプを示す情報等も含まれている。このストリーム同期情報の詳細については後述する。

また、送信装置１００は、基本となる放送ストリームおよび追加の放送ストリームに、ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）を挿入する。このストリーム同期情報デスクリプタは、基本ビデオストリームの初期タイムスタンプ情報等を含んでいる。このストリーム同期情報デスクリプタには、同期関係にある他の放送ストリームの数を示す情報、基本ビデオストリームに上述のストリーム同期情報が含まれているか否かを示す情報等も含まれている。このストリーム同期情報デスクリプタの詳細については後述する。

図５は、図１の放送システム１０における一つの番組サービスを構成するストリームの要素の一例を概略的に示している。この例では、基本となる放送ストリームおよび追加の放送ストリームのコンテナフォーマットが双方ともにＭＰＥＧ２ＴＳである場合を示している。ここで、「Transport Stream1」は、左眼画像データを含む基本ビデオストリームを有する基本となる放送ストリームを示している。また、「Transport Stream2」は右眼画像データを含む追加ビデオストリームを有する追加の放送ストリームを示している。

この場合、「Transport Stream1」および「Transport Stream2」の双方の“Transport_Stream_id”が同じ値とされる。すなわち、ＮＩＴ（NetworkInformation Table）、ＳＤＴ（Service Description Table）、ＰＭＴ（Program Map Table）およびＥＩＴ（Event InformationTable）の“Transport_Stream_id”は、双方のストリームで同じ値とされる。また、ＰＭＴの“Program_number”は、双方のストリームで同じ値とされる。これらにより、双方の放送ストリームの関係付けが行われている。

図６は、基本となる放送ストリーム（Basic Stream1：TS_B1）である「Transport Stream1」と、追加の放送ストリーム（Extended_Stream1：TS_E1）である「Transport Stream2」の各値の設定例を示している。基本となる放送ストリーム（TS_B1）では、“transport_stream_id=0x1110”とされ、“program_number=0x1000”とされ、“elementary_PID=0x1FF0”とされている。これに対し、追加の放送ストリーム(TS_E1)では、“transport_stream_id=0x1110”とされ、“program_number=0x1000”とされ、“elementary_PID=0x1FF1”とされている。

このように、“transport_stream_id”、“program_number”の値が基本となる放送ストリームと追加の放送ストリームとで同じことで、双方が同一サービスによるストリームであることが示される。また、“elementary_PID”の値が基本となる放送ストリームと追加の放送ストリームとで異なることで、双方が有する基本ビデオストリームと追加ビデオストリームは別のビデオエレメンタリストリームであることが示される。

「TransportStream1」のＰＭＴには、ビデオエレメンタリストリーム（基本ビデオストリーム）に関連した情報を持つビデオエレメンタリ・ループが存在する。このビデオエレメンタリ・ループには、基本ビデオストリームのパケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置され、さらに、上述のストリーム同期情報デスクリプタが配置されている。

同様に、「Transport Stream2」のＰＭＴには、ビデオエレメンタリストリーム（追加ビデオストリーム）に関連した情報を持つビデオエレメンタリ・ループが存在する。このビデオエレメンタリ・ループには、追加ビデオストリームのパケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置され、さらに、上述のストリーム同期情報デスクリプタが配置される。なお、「Transport Stream1」、「Transport Stream2」において、ストリーム同期情報デスクリプタは、図５に破線図示するように、ＥＩＴの配下に配置することも考えられる。

また、「Transport Stream1」には、基本ビデオストリームをパケット化して得られたＰＥＳパケット「Video PES1」が含まれている。この基本ビデオストリームに、上述のストリーム同期情報が挿入されている。このストリーム同期情報は、ピクチャヘッダのユーザデータ領域、あるいはそれに相当する領域に挿入されている。同様に、「Transport Stream2」には、追加ビデオストリームをパケット化して得られたＰＥＳパケット「Video PES2」が含まれている。この追加ビデオストリームに、上述のストリーム同期情報が挿入されている。このストリーム同期情報は、ピクチャヘッダのユーザデータ領域、あるいはそれに相当する領域に挿入されている。

図７は、図１の放送システム１０における一つの番組サービスを構成するストリームの要素の他の例を概略的に示している。この例では、基本となる放送ストリームのコンテナフォーマットがＭＰＥＧ２ＴＳであり、追加の放送ストリームのコンテナフォーマットがＭＰ４である場合を示している。ここで、「TransportStream1」は、左眼画像データを含む基本ビデオストリームを有する基本となる放送ストリームを示し、「MP4Stream」は右眼画像データを含む追加ビデオストリームを有する追加の放送ストリームを示している。詳細説明は省略するが、「Transport Stream1」に関しては、図５における「TransportStream1」と同様である。

「MP4Stream」は、ボックス構造になっており、ＭＯＯＶボックス、Ｍｄａｔボックス、Ｍｏｏｆボックス等を含んでいる。ＭＯＯＶボックスは、全てのメタデータを含むコンテナであり、ファイル中に一つだけ含まれる。Ｍｄａｔボックスは、データ本体のコンテナであり、ファイル中に任意の数だけ含めることができる。追加ビデオストリーム「Video ES2」は、Ｍｄａｔボックス内に配置される。

上述のストリーム同期情報デスクリプタは、ＭＯＯＶボックスあるいはＭｏｏｆボックスに格納されるｕｕｉｄ（private extension）にメタデータとして挿入される。また、Ｍｄａｔボックスに配置される追加ビデオストリームに、上述のストリーム同期情報が挿入されている。このストリーム同期情報は、ピクチャヘッダのユーザデータ領域、あるいはそれに相当する領域に挿入されている。

なお、「Transport Stream1」と「MP4 Stream」の関連付けは、受信装置２００に予め設定されるストリームマッピング情報（ＳＭＩ：Stream Mapping Information）に基づいて行われる。このストリームマッピング情報は、例えば、番組識別子（Program number）と、ファイルネーム（File name）と、ＴＳのストリームＩＤ（Transport_Stream_id）との対応関係を示すものである。番組識別子（Programnumber）は、放送局の番組毎に決められる番号で、番組構成を示すＰＭＴとリンクするものである。図８に示す通り、ファイルネーム（File name）は、ＭＰＥＧ２ ＴＳとＭＰ４ファイルの別種フォーマットのコンテナが一つの番組サービスを構成することを示すためのものである。

［送信装置の構成例］
図９は、送信装置１００の構成例を示している。この送信装置１００は、３Ｄカメラ１１１と、エンコーダ１１２と、送信部１１３と、ＩＰＴＶ放送の配信サーバ１１４を有している。３Ｄカメラ１１１は、被写体を撮像して、ステレオ立体画像データとしての左眼画像データおよび右眼画像データを出力する。エンコーダ１１２は、それぞれの画像データをＭＰＥＧ２ビデオあるいはＡＶＣ等の符号化フォーマットで符号化し、左眼画像データを含む基本ビデオストリーム、および右眼画像データを含む追加ビデオストリームを生成する。図１０は、エンコーダ１１２の詳細構成例を示している。エンコーダ１１２は、全体の動作を制御するＣＰＵ１２０の他に、ビデオエンコーダ１２１Ｌ，１２１Ｒ、多重化部１２２Ｌ，１２２Ｒを備えた構成とされている。

エンコーダ１１２は、左眼画像データ（left view video）を含む基本ビデオストリームを有する基本となる放送ストリーム（left view stream：Basic Stream）を生成する。この場合、エンコーダ１１２は、図１０に示す通り、多重化部１２２Ｌにおいて、基本ビデオストリーム（ビデオエレメンタリストリーム）に、必要に応じて、グラフィクスストリーム、オーディオストリームなどのその他のエレメンタリストリームを多重化することも行う。

また、エンコーダ１１２は、ビデオエンコーダ１２１Ｌにおいて、左眼画像データ（left view video）を符号化して基本ビデオストリームを生成する。エンコーダ１１２は、このビデオエンコーダ１２１Ｌにおいて、基本ビデオストリームに、上述したストリーム同期情報（Stream_Synchronization_Information）を挿入する。さらに、エンコーダ１１２は、基本となる放送ストリーム（left view stream）に、上述したストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）を挿入する。なお、この放送ストリーム（left view stream）のコンテナフォーマットはＭＰＥＧ２ ＴＳとされる。

また、エンコーダ１１２は、右眼画像データを含む追加ビデオストリームを有する追加の放送ストリーム（Right view stream：Extended Stream）を生成する。この場合、エンコーダ１１２は、図１０に示す通り、多重化部１２２Ｒにおいて、追加ビデオストリーム（ビデオエレメンタリストリーム）に、必要に応じて、グラフィクスストリーム、オーディオストリームなどのその他のエレメンタリストリームを多重化することも行う。

また、エンコーダ１１２は、ビデオエンコーダ１２１Ｒにおいて、右眼画像データ（right view video）を符号化して追加ビデオストリームを生成する。エンコーダ１１２は、このビデオエンコーダ１２１Ｒにおいて、追加ビデオストリームに、上述したストリーム同期情報（Stream_Synchronization_Information）を挿入する。さらに、エンコーダ１１２は、追加の放送ストリーム（right view stream）に、上述したストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）を挿入する。なお、この放送ストリーム（right view stream）のコンテナフォーマットはＭＰＥＧ２ ＴＳあるいはＭＰ４とされる。

送信部１１３は、エンコーダ１１２で生成される基本となる放送ストリーム（left view stream）をＲＦ変調して所定の周波数帯域の信号とし、アンテナから放送電波として出力させる。配信サーバ１１４は、エンコーダ１１２で生成される追加の放送ストリーム（right view stream）を蓄積し、受信側からの送信要求に応じ、ＩＰネットワークを介して、ストリーミング送信あるいはダウンロード送信を行う。

図９に示す送信装置１００の動作を説明する。３Ｄカメラ１１１では、被写体が撮像されて、ステレオ立体画像データとしての左眼画像データおよび右眼画像データが得られる。この左眼画像データおよび右眼画像データは、エンコーダ１１２に供給される。エンコーダ１１２では、左眼画像データおよび右眼画像データのそれぞれがＭＰＥＧ２ビデオあるいはＡＶＣ等の符号化フォーマットで符号化され、左眼画像データを含む基本ビデオストリーム、および右眼画像データを含む追加ビデオストリームが生成される。

また、エンコーダ１１２では、左眼画像データを含む基本ビデオストリームを有し、コンテナフォーマットがＭＰＥＧ２ＴＳである、基本となる放送ストリーム（left view stream）が生成される。その際、エンコーダ１１２では、基本ビデオストリーム（ビデオエレメンタリストリーム）に、必要に応じて、グラフィクスストリーム、オーディオストリームなどのその他のエレメンタリストリームを多重化することも行われる。

また、エンコーダ１１２では、基本ビデオストリームに、ストリーム同期情報（Stream_Synchronization_Information）が挿入される。この場合、このストリーム同期情報は、ピクチャヘッダのユーザデータ領域、あるいはそれに相当する領域に挿入される。また、エンコーダ１１２では、基本となる放送ストリーム（left view stream）に、ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）が挿入される。この場合、このストリーム同期情報デスクリプタは、ビデオエレメンタリ・ループの配下、あるいはＥＩＴの配下に挿入される。

このようにエンコーダ１１２で生成される基本となる放送ストリーム（left view stream）は、送信部１１３に供給される。送信部１１３では、この放送ストリーム（left view stream）がＲＦ変調されて所定の周波数帯域の信号とされ、アンテナから放送電波として出力される。

また、エンコーダ１１２では、右眼画像データを含む追加ビデオストリームを有し、コンテナフォーマットがＭＰＥＧ２ＴＳあるいはＭＰ４である、追加の放送ストリーム（Right view stream：Extended Stream）が生成される。その際、エンコーダ１１２では、追加ビデオストリーム（ビデオエレメンタリストリーム）に、必要に応じて、グラフィクスストリーム、オーディオストリームなどのその他のエレメンタリストリームを多重化することも行われる。

また、エンコーダ１１２では、追加ビデオストリームに、ストリーム同期情報（Stream_Synchronization_Information）が挿入される。この場合、このストリーム同期情報は、ピクチャヘッダのユーザデータ領域、あるいはそれに相当する領域に挿入される。また、エンコーダ１１２では、追加の放送ストリーム（right view stream）に、ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）が挿入される。

このストリーム同期情報デスクリプタは、コンテナフォーマットがＭＰＥＧ２ＴＳの場合には、ビデオエレメンタリ・ループの配下に挿入される。あるいは、このストリーム同期情報デスクリプタは、コンテナフォーマットがＭＰ４の場合には、ＭＯＯＶボックスあるいはＭｏｏｆボックスに格納されるｕｕｉｄ（private extension）にメタデータとして挿入される。

このようにエンコーダ１１２で生成される追加の放送ストリーム（right view stream）は、配信サーバ１１４に蓄積される。配信サーバ１１４では、この追加の放送ストリームが、受信側からの送信要求に応じ、ＩＰネットワークを介して、ストリーミング送信あるいはダウンロード送信される。

［受信装置の構成例］
図１１は、受信装置２００の構成例を示している。なお、この受信装置２００は、説明の簡単化のため、オーディオ系については省略している。この受信装置２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信装置２００は、アンテナ端子２１０と、デジタルチューナ２１１と、ストリームバッファ２１２と、デマルチプレクサ２１３と、ビデオデコーダ２１４と、ビューバッファ２１５と、ビデオ重畳部２１６を有している。

また、この受信装置２００は、ネットワーク端子２２１と、通信インタフェース（通信Ｉ／Ｆ）２２２と、ハードディスクドライブあるいは半導体メモリ等で構成されるストレージ２２３を有している。また、この受信装置２００は、ストリームバッファ２２４と、デマルチプレクサ２２５と、ビデオデコーダ２２６と、ビューバッファ２２７と、ビデオ重畳部２２８を有している。また、この受信装置２００は、グラフィクスデコーダ２３１と、グラフィクス発生部２３２と、グラフィクスバッファ２３３，２３４を有している。

ＣＰＵ２０１は、受信装置２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信装置２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信装置２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。

アンテナ端子２１０は、受信アンテナ（図示せず）で受信された放送信号（ＲＦ信号）を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力された放送信号を処理して、ユーザの選択チャンネルに対応した、基本となる放送ストリーム（Left view stream）を出力する。上述したように、この放送ストリーム（leftview stream）のコンテナフォーマットはＭＰＥＧ２ ＴＳである。ストリームバッファ２１２は、デジタルチューナ２１１から出力された基本となる放送ストリーム（left view stream）を一時的に蓄積する。

この放送ストリーム（left view stream）には、上述したように、基本ビデオストリーム（ビデオエレメンタリストリーム）が含まれている。また、この放送ストリーム（left view stream）には、上述したように、必要に応じて、グラフィクスストリーム、オーディオストリームなどのその他のエレメンタリストリームも多重化されている。さらに、この放送ストリーム（left view stream）には、上述したように、ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）が挿入されている。このストリーム同期情報デスクリプタには、基本ビデオストリームの初期タイムスタンプ情報、同期関係にある他の放送ストリームの数を示す情報、基本ビデオストリームにストリーム同期情報が含まれているか否かを示す情報等が含まれている。

デマルチプレクサ２１３は、ストリームバッファ２１２に一時的に蓄積された基本となる放送ストリーム（left view stream）から、ビデオ、グラフィクス、オーディオなどの各エレメンタリストリームを抽出する。ここで、ビデオエレメンタリストリームは、左眼画像データを含む基本ビデオストリームである。また、デマルチプレクサ２１３は、この放送ストリーム（left view stream）からストリーム同期情報デスクリプタを抽出し、ＣＰＵ２０１に送る。

ビデオデコーダ２１４は、デマルチプレクサ２１３で抽出された基本ビデオストリームに対して復号化処理を行って復号化された左眼画像データを得る。また、ビデオデコーダ２１４は、基本ビデオストリームのピクチャヘッダのユーザデータ領域などに挿入されているストリーム同期情報（Stream_Synchronization_Information）を抽出し、ＣＰＵ２０１に送る。このストリーム同期情報には、ストリームの初期フレームからのフレーム数を示す情報、同期関係にある他の放送ストリームの存在を示す情報、同期表示のタイプを示す情報等も含まれている。

ビューバッファ２１５は、ビデオデコーダ２１４で得られる左眼画像データを一時的に蓄積する。ビデオ重畳部（ディスプレイバッファ）２１６は、ビューバッファ２１５に蓄積された左眼画像データに、グラフィクスバッファ２３３に蓄積されたグラフィクス情報のデータを重畳して、表示用の左眼画像データＳＬを出力する。

通信インタフェース２２２は、ネットワーク端子２２１を介して、ＩＰネットワークに接続されている。通信インタフェース２２２は、ＩＰネットワークを通じて、送信装置１００の配信サーバ１１４から、追加の放送ストリーム（right view stream）を受信する。上述したように、この追加の放送ストリームのコンテナフォーマットはＭＰＥＧ２ＴＳあるいはＭＰ４である。また、この受信形態には、ストリーミング受信と、ダウンロード受信がある。

例えば、通信インタフェース２２２は、３Ｄ表示選択を伴う３Ｄ番組の再生予約があるとき、事前に、その番組の追加の放送ストリーム（right view stream）のダウンロード要求を配信サーバ１１４に送って、ダウンロード受信を行う。また、例えば、通信インタフェース２２２は、現在放送中の３Ｄ番組で３Ｄ表示選択が行われるとき、その番組の追加の放送ストリーム（right view stream）のストリーミング要求を配信サーバ１１４に送って、ストリーミング受信を行う。

なお、通信インタフェース２２２は、上述の再生予約のとき、その番組の放送時間に対応した規定時間にストリーミングが行われるように配信サーバ１１４にストリーミング要求を送って、ストリーミング受信を行うことも可能である。

図１２は、ＥＰＧ画面上で再生予約番組の選択を行う様子を示している。この場合、ユーザは、ＥＰＧ画面上で再生予約を行う番組として３Ｄ番組を選択すると、３Ｄ表示選択ボタンが表示される。ユーザは、このボタンによって３Ｄ表示選択を行うことが可能となる。図示の例では、チャンネルＣＨ１の９：００からの３Ｄ番組が選択され、３Ｄ表示選択ボタンが表示されている状態を示している。

通信インタフェース２２２は、配信サーバ１１４にダウンロード要求あるいはストリーミング要求を行う際に、ストリームマッピング情報（ＳＭＩ：Stream Mapping Information）を、ＩＰネットワークに送信する。このストリームマッピング情報は、基本となる放送ストリーム（left view stream）と、追加の放送ストリーム（right viewstream）との結びつきを示す。上述の図８に示すように、このストリームマッピング情報には、番組識別子（Programnumber）、ファイルネーム（File name）、ＴＳのストリームＩＤ（Transport_Stream_id）等が含まれている。

ＩＰネットワークの中で、追加の放送ストリーム（right view stream）の供給状態によっては、ルータから受信側へ向けて追加ストリームが供給される。この場合、受信側から発せられるストリームマッピング情報が、ネットワーク内のあるルータまで到達した段階で、追加の放送ストリームの局所的な存在が検知され、そのルータから受信側へ向けて追加の放送ストリームが供給される。

図１３は、送信側である送信局Ａ（チャンネル１）、送信局Ｂ（チャンネル２）、送信局Ｃ（チャンネル３）と受信側との間のＩＰネットワークの構成例を示している。例えば、この構成例において、受信側から放送局Ａの追加の放送ストリームのサービス要求を求める場合、受信側からストリームマッピング情報ＳＭＩ（ＳＭＩ_１）がルータ１に送られる。ルータ１では、追加の放送ストリームの存在を確認したら、それを受信側へ向けて供給する処理を行う。

ルータ１で追加の放送ストリームの存在が検知されない場合、ストリームマッピング情報ＳＭＩ（ＳＭＩ_１）がルータ２に送られる。このルータ２でも、上述のルータ１と同様の処理が行われる。放送局Ａまでの経路上のルータにおいて追加の放送ストリームの存在が確認されない場合、ストリームマッピング情報ＳＭＩ（ＳＭＩ_１）が最終的に放送局Ａの配信サーバまで送られる、この配信サーバから受信側に向けて追加の放送ストリームの供給が行われる。

なお、受信側から放送局Ｂあるいは放送局Ｃの追加の放送ストリームのサービス要求を求める場合も、同様の手順により、経路上のルータあるいは配信サーバから受信側に向けて追加の放送ストリームの供給が行われる。また、受信側から発せられるストリームマッピング情報の中身は、ＴＳストリームＩＤ、あるいは番組識別子、あるいはファイルネームのみであってもよい。

図１１に戻って、ストレージ２２３は、通信インタフェース２２２でダウンロード受信された追加の放送ストリーム（right view stream）を書き込んで保持し、対応する番組の放送時間に合わせてその追加の放送ストリームを読み出して出力する。ストリームバッファ２２４は、通信インタフェース２２２でストリーミング受信された、あるいはストレージ２２３から読み出された追加の放送ストリーム（right view stream）を一時的に蓄積する。

デマルチプレクサ２２５は、ストリームバッファ２２４に一時的に蓄積された追加の放送ストリーム（Right view stream）から、ビデオ、グラフィクス、オーディオなどの各エレメンタリストリームを抽出する。ここで、ビデオエレメンタリストリームは、右眼画像データを含む追加ビデオストリームである。また、デマルチプレクサ２２５は、上述のデマルチプレクサ２１３と同様に、この放送ストリーム（right view stream）からストリーム同期情報デスクリプタを抽出し、ＣＰＵ２０１に送る。

ビデオデコーダ２２６は、デマルチプレクサ２２５で抽出された追加ビデオストリームに対して復号化処理を行って復号化された右眼画像データを得る。また、ビデオデコーダ２２６は、上述のビデオデコーダ２１４と同様に、追加ビデオストリームのピクチャヘッダのユーザデータ領域などに挿入されているストリーム同期情報を抽出し、ＣＰＵ２０１に送る。

ビューバッファ２２７は、ビデオデコーダ２２６で得られる右眼画像データを一時的に蓄積する。ビデオ重畳部（ディスプレイバッファ）２２８は、ビューバッファ２２７に蓄積された右眼画像データに、グラフィクスバッファ２３４に蓄積されたグラフィクス情報のデータを重畳して、表示用の右眼画像データＳＲを出力する。この場合、ビデオ重畳部（ディスプレイバッファ）２２８は、上述のビデオ重畳部２１６から出力される左眼画像データＳＬにフレーム単位で同期するように、適宜、スキップ処理、出力タイミングの補正処理を行う。

ビデオ重畳部（ディスプレイバッファ）２２８は、この処理を、ＣＰＵ２０１から供給される同期合わせのための再同期情報（表示スキップ情報、表示タイミング補正値）に基づいて行う。ここで、ビデオ重畳部２２８およびＣＰＵ２０１は、同期管理部を構成している。基本ストリームと追加ストリームの同期方法の詳細については後述する。

グラフィクスデコーダ２３１は、デマルチプレクサ２１３，２２５で抽出されたグラフィクスストリームに含まれる符号化グラフィクスデータに対して復号化処理を行ってグラフィクスデータ（サブタイトルデータを含む）を得る。グラフィクス発生部２３２は、グラフィクスデコーダ２３１で得られたグラフィクスデータに基づいて、左眼画像、右眼画像にそれぞれ重畳するグラフィクス情報のデータを発生する。グラフィクスバッファ２３３，２３４は、それぞれ、左眼画像、右眼画像にそれぞれ重畳するグラフィクス情報のデータを、一時的に蓄積する

受信装置２００の動作を簡単に説明する。アンテナ端子２１０に入力された放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、放送信号が処理されて、ユーザの選択チャンネルに対応した、コンテナフォーマットがＭＰＥＧ２ＴＳである、基本となる放送ストリーム（left view stream）が得られる。この放送ストリームは、ストリームバッファ２１２に一時的に蓄積される。

デマルチプレクサ２１３では、ストリームバッファ２１２に一時的に蓄積された基本となる放送ストリーム（left view stream）から、ビデオ、グラフィクス等のエレメンタリストリームが抽出される。また、このデマルチプレクサ２１３では、この放送ストリーム（Left view stream）から、ストリーム同期情報デスクリプタが抽出されて、ＣＰＵ２０１に供給される。

デマルチプレクサ２１３で抽出される基本ビデオストリーム（ビデオエレメンタリストリーム）は、ビデオデコーダ２１４に供給される。このビデオデコーダ２１４では、基本ビデオストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された左眼画像データが得られる。この左眼画像データはビューバッファ２１５に一時的に蓄積される。また、ビデオデコーダ２１４では、基本ビデオストリームのピクチャヘッダのユーザデータ領域などに挿入されているストリーム同期情報が抽出され、ＣＰＵ２０１に供給される。

また、デマルチプレクサ２１３で抽出されるグラフィクスストリームは、グラフィクスデコーダ２３１に供給される。このグラフィクスデコーダ２３１では、グラフィクスストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２３２に供給される。

グラフィクス発生部２３２では、グラフィクスデコーダ２３１で得られたグラフィクスデータに基づいて、左眼画像に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２３３に一時的に蓄積される。そして、ビデオ重畳部２１６では、ビューバッファ２１５に蓄積された左眼画像データに、グラフィクスバッファ２３３に蓄積されたグラフィクス情報のデータが重畳されて、表示用の左眼画像データＳＬが生成されて、出力される。

また、通信インタフェース２２２では、ＩＰネットワークを通じて、送信装置１００の配信サーバ１１４から、コンテナフォーマットがＭＰＥＧ２ＴＳあるいはＭＰ４である、追加の放送ストリーム（right view stream）が受信される。この追加の放送ストリームの受信形態は、ダウンロード受信あるいはストリーミング受信である。

例えば、ユーザ操作で３Ｄ表示選択を伴う３Ｄ番組の再生予約があるとき、ダウンロード受信となる。この場合、通信インタフェース２２２で受信された放送ストリームは、ストレージ２２３に書き込まれ、対応する番組の放送時間まで保持される。また、この追加の放送ストリームの受信形態は、例えば、ユーザ操作で現在放送中の３Ｄ番組で３Ｄ表示選択が行われるとき、ストリーミング受信となる。

通信インタフェース２２２でストリーミング受信された、あるいはストレージ２２３から対応する番組の放送時間に合わせて読み出された追加の放送ストリーム（right view stream）は、ストリームバッファ２２４に一次的に蓄積される。

デマルチプレクサ２２５では、ストリームバッファ２２４に一時的に蓄積された追加の放送ストリーム（right view stream）から、ビデオ、グラフィクス等のエレメンタリストリームが抽出される。また、このデマルチプレクサ２２５では、この放送ストリーム（right view stream）から、ストリーム同期情報デスクリプタが抽出されて、ＣＰＵ２０１に供給される。

デマルチプレクサ２２５で抽出される追加ビデオストリーム（ビデオエレメンタリストリーム）は、ビデオデコーダ２２６に供給される。このビデオデコーダ２２６では、追加ビデオストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された右眼画像データが得られる。この右眼画像データはビューバッファ２２７に一時的に蓄積される。また、ビデオデコーダ２２６では、追加ビデオストリームのピクチャヘッダのユーザデータ領域などに挿入されているストリーム同期情報（Stream_Synchronization_Information）が抽出され、ＣＰＵ２０１に供給される。

また、デマルチプレクサ２２５で抽出されるグラフィクスストリームは、グラフィクスデコーダ２３１に供給される。このグラフィクスデコーダ２３１では、グラフィクスストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２３２に供給される。

グラフィクス発生部２３２では、グラフィクスデコーダ２３１で得られたグラフィクスデータに基づいて、右眼画像に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２３４に一時的に蓄積される。そして、ビデオ重畳部２２８では、ビューバッファ２２７に蓄積された右眼画像データに、グラフィクスバッファ２３４に蓄積されたグラフィクス情報のデータが重畳されて、表示用の右眼画像データＳＲが生成されて、出力される。

この場合、ビデオ重畳部２２８では、上述のビデオ重畳部２１６から出力される左眼画像データＳＬにフレーム単位で同期するように、ＣＰＵ２０１から供給される再同期情報に基づいて、適宜、スキップ処理、出力タイミングの補正処理が行われる。これにより、ビデオ重畳部２１６，２２８から出力される表示用の画像信号ＳＬ，ＳＲは、フレーム単位で同期したものとされる。

［追加の放送ストリームを含めた動的ストリームの切り換え］
図１１に示す受信装置２００においては、上述したように、基本となる放送ストリームと追加の放送ストリームとが、上述のストリームマッピング情報で対応付けられている。そのため、追加の放送ストリームを含めた動的ストリームの切り換えが可能となる。

図１４は、動的ストリーム切り換えの一例を示している。この例では、初期チャンネル選択でチャンネル１が選択される。この場合、基本となる放送ストリーム（left view stream）が「Basic Stream1」であり、追加の放送ストリーム（right view stream）が「Extended_Stream1」である３Ｄ番組の再生が行われている。この場合、「Basic Stream1」はＲＦ電波で受信されている。また、「Extended_Stream1」は、図１５に示すように、ストリームマッピング情報に基づいて、ＩＰネットワークを通じてのストリーミング受信、あるいはストレージ２２３からの読み出しにより取得されている。

この状態で、チャンネル２にチャンネル切り換えが行われると、基本となる放送ストリーム（left view stream）として「Basic Stream2」が受信される。これに合わせて、ストリームマッピング情報（Stream Mapping Information）に基づいて、追加の放送ストリーム（rightview stream）として「Extended_Stream2」が取得される。この取得は、ストリーミング受信、あるいはストレージ２２３からの読み出しにより行われる。説明は省略するが、以降のチャンネル切り換えにおいても、同様に、追加の放送ストリームを含めた動的ストリームの切り換えが行われる。

［ストリーム同期情報の構造］
次に、ストリーム同期情報（Stream_Synchronization_Information）の構造について説明する。図１６、図１７は、ストリーム同期情報の構造例（Syntax）を示している。また、図１８、図１９は、その構造例における主要な情報の内容（Semantics）を示している。

「stream_synchronization_information_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。「stream_id」の４ビットフィールドは、ストリーム識別子を示す。基本ストリームの「stream_id」は０とされ、追加ストリームの「stream_id」は０以外とされる。

「synchronization_set_flag」の１ビットフィールドは、複数のストリームが互いに同期関係にあることを示すフラグ情報である。「synchronization_type」の２ビットフィールドは、複数のストリームが構成するサービスのタイプ（同期表示タイプ）を示す。例えば、“０１”はステレオ立体画像（Stereoscopic video）、“１０”は超高精細画像（Super Highresolution video）、“００”は重畳画像（Paint Overlay video）を示す。

「rendering_attribute」の２ビットフィールドは、同期表示タイプによる同期ストリーム間の属性を示す。例えば、「synchronization_type=01」の場合、“０１”右眼画像（Rightview）、“１０”は左眼画像（Leftview）を示す。また、例えば、「synchronization_type=10」の場合、“０１”基本解像度画像（Base resolution）、“１０”は拡張解像度画像（Enhancedresolution）を示す。また、例えば、「synchronization_type=00」の場合、“０１”は重畳先（overlay target）の画像が基本ストリーム画像（Base video）であり、“１０”は重畳先（overlay target）の画像が基本ストリーム画像（Base video）のコピーであることを示す。

「offset_frames_indication_flag」は、ストリームの初期フレームからの時間的距離を示す「offset_frames_to_initial_sync_point」が符号化されていることを示すフラグ情報である。「resync_adjust_flag」の１ビットフィールドは、再同期させるためのフレームずらしを行うことを示すフラグ情報である。「frame_skip_flag」の１ビットフィールドは、再同期させるための該当フレームを表示せずにスキップすることを示すフラグ情報である。「position_control_flag」の１ビットフィールドは、基本ストリーム上に空間的な位置を指定して追加ストリームを重畳（オーバーレイ）させるための情報を符号化することを示すフラグ情報である。

「offset_frames_to_initial_sync_point」の２４ビットフィールドは、上述したように、ストリームの初期フレームからの時間的距離を示す。この情報は、「stream_id」が０、すなわちストリームが基本ストリームであって、かつ「offset_frames_indication_flag」が１であるときに存在する。

「resync_adjust_offset」の１６ビットフィールドは、次の同期表示が要求されているフレームの表示タイミングの補正値を示す。ストリームに符号化されている表示タイムスタンプに対して、現在の表示タイミングを基準にし、補正値分のフレーム数の分だけ時間的に前後させて表示する。なお、該当フレームの後続フレームは順次表示される。この情報は、「stream_id」が０でなく、すなわちストリームが追加ストリームであって、かつ「resync_adjust_flag」が１であるときに存在する。

「horizontal_position_offset」の１２ビットフィールドは、追加ストリームを重畳（オーバーレイ）させる水平位置を示す。この情報は、フレームの左上（０，０）画素からの画素精度オフセット値である。「vertical_position_offset」の１２ビットフィールドは、追加ストリームを重畳（オーバーレイ）させる垂直位置を示す。この情報は、フレームの左上（０，０）画素からの画素精度オフセット値である。

「scale_ratio」の８ビットフィールドは、追加ストリーム画像を基本ストリーム画像に重畳させる際に、デコードされた追加ストリーム画像に適用する拡大あるいは縮小の比率（Horizontal, Verticalは同様の比率）を示す。上位４ビットが拡大・縮小比を表す分子、下位４ビットが拡大・縮小を表す分母を示す。上位・下位の４ビットとも、“0000”は「１」、“0001”は「２」、・・・、“1111”は「１６」を示す。よって、“0010 0011”は拡大・縮小比が３／４であることを示す。

「blending_ratio」の８ビットフィールドは、追加ストリーム画像を基本ストリーム画像に重畳させる際に、デコードされた追加ストリーム画像に適用する、基本ストリーム画像との混合比を示す。例えば、“２５５”は混合比１００％、“０”は混合比０％であり、中間値は混合比が比例で適用される。この場合、重畳先（overlay target）である基本ストリーム画像側の混合比は１００％の補数となる。

上述の「horizontal_position_offset」、「vertical_position_offset」、「scale_ratio」、「blending_ratio」の各情報は、「position_control_flag」が１であるときに存在する。

［ストリーム同期情報デスクリプタの構造］
次に、ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）の構造について説明する。図２０は、ストリーム同期情報デスクリプタの構造例（Syntax）を示している。また、図２１は、その構造例における主要な情報の内容（Semantics）を示している。

「stream_synchronization_information_descriptor_tag」の８ビットフィールドは、このデスクリプタが「Stream_Synchronization_Information_descriptor」であることを示す。「stream_synchronization_information_descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。「stream_id」の４ビットフィールドは、ストリーム識別子を示す。基本ストリームの「stream_id」は０とされ、追加ストリームの「stream_id」は０以外とされる。

「stream_count_for_synchronization」の４ビットフィールドは、同期関係を有するストリームの数を示す。「synchronization_type」の２ビットフィールドは、複数のストリームが構成するサービスのタイプ（同期表示タイプ）を示す。例えば、“０１”はステレオ立体画像（Stereoscopic video）、“１０”は超高精細画像（Super Highresolution video）、“００”は重畳画像（Paint Overlay video）を示す。

「existence_of_stream_synchronization_information」は、ストリーム同期情報が、対象となるエレメンタリストリーム（Elementary stream）に存在することを示すフラグ情報である。“１”は存在を示し、“０”は不存在を示す。

「carriage_of_initial_timestamp」の１ビットフィールドは、同期関係にあるマスターストリームの表示タイムスタンプ初期値の存在を示すフラグ情報である。“１”は存在を示し、“０”は不存在を示す。「initial_timestamp」の３２ビットフィールドは、同期関係にあるマスターストリームの９０ｋＨｚ精度の表示タイムスタンプ初期値を示す。この情報は、「carriage_of_initial_timestamp」が１であるときに存在する。

[基本ストリームと追加ストリームの同期方法]
次に、基本ストリームと追加ストリームの同期方法の詳細を説明する。本技術における同期方法の基本は、以下の通りである。すなわち、同期期間における管理が基本ストリームのリニア放送の情報を参照し、基本ストリームと追加ストリームがフレーム単位で同期表示されることを可能にする。また、基本ストリーム、追加ストリームで、元のコンテンツに対して各々別の挿入編集が行われる場合、２つのストリームの表示の同期が再生側で制御できるようにする。

また、同期の単位と手段は、以下の通りである。（１）複数のストリームの同期方法の基本は従来型のタイムスタンプによる。（２）各フレームにタイムスタンプが付されていない場合は、受信側で一定フレーム周期の値から２つのタイムスタンプの間の値を補間することで、タイムスタンプを毎フレーム検査できるようにする。（３）再生時に同期マスター（通常基本ストリーム）を認識し、複数のピクチャ（picture）の同期表示の参照元とする。

（４）同期表示を行わせる期間の基本ストリームの初期時刻情報と、追加ストリームの初期時刻情報とが同一な値でない場合は、追加ストリーム側のタイムスタンプに初期時刻情報の差分を再生時にオフセットとして計算した上で、同期管理を行う。なお、上述の初期時刻情報は、ＰＣＲ(Program Clock Reference)が存在するストリームであれば、同区間のＰＣＲ初期値である。

次に、本技術における同期のための時刻情報の初期値の伝送について説明する。本技術においては、同期サービスを行う番組における、基本ストリームのタイムスタンプ初期値を伝送する（図２０の「initial_timestamp」参照）。この場合、送信側では、図２２に示すように、同期表示させる期間における基本ストリームの初期タイムスタンプの値を同期用オフセットのリファレンスとして伝送する。なお、図２２において、「同期フラグ」は、図１６に示すストリーム同期情報（stream_synchronization_information）における「synchronization_set_flag」に相当する。

受信側では、任意のタイミングからの基本ストリームの再生時に、その該当フレームの表示時刻を示すタイムスタンプ（ＰＴＳ）と、初期タイムスタンプとの差を計算することで、同期対象期間の時間経過を知ることが可能となる。そして、その初期タイムスタンプ値からのオフセット時間に相当する分、追加ストリームを、適宜、初期読みだしオフセット値の分だけスキップして読み出し、該当するフレームを表示することで、基本ストリームと追加ストリームの同期表示を行うことが可能となる。

初期タイムスタンプ値は、上述したように、既存のＰＥＳヘッダ（PES header）とは別のストリーム位置に、システムレイヤのデスクリプタ（descriptor）として、ＰＴＳのフォーマットで伝送されるようにしてもよい。本実施の形態においては、上述したように、ビデオエレメンタリ・ループ等に、初期タイムスタンプ値を持つストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）が挿入される。

なお、ビデオのランダムアクセスに対応する位置に、ビデオのピクチャ（picture）を単位とした初期値からのフレームオフセット値を伝送するようにしてもよい。このフレームオフセット値は、図１６に示すストリーム同期情報（stream_synchronization_information）における「offset_frames_to_initial_sync_point」に相当する。

受信側における追加ストリームのオフセット読み出しについて説明する。（１）追加ストリームがストリーミングで供給される場合を説明する。この場合、再生側（受信側）は、送信側サーバ（配信サーバ）に、所定のネットワークプロトコルによる、読み出しオフセット値を含むリクエスト信号を送る。これに対して、送信側サーバは、読み出しオフセット分をずらしたピクチャ（picture）に該当する箇所からのストリーミング送信を開始する。

（２）追加ストリームがダウンロードにより事前に供給される場合を説明する。この場合、受信側にあらかじめファイルとして追加ストリームが存在する。そのため、図２３に示すように、基本ストリームの表示タイムスタンプと、初期タイムスタンプ値の差分をフレーム周期で換算したフレームオフセット分を考慮したバッファ読み出しを行って表示する。なお、図２３において、「(PTS(00７) −ITS(004)) / frame_rate＝3 frames」は換算式の一例を示している。また、この図２３において、「追加ストリームバッファ」は、図１１の受信装置２００におけるストレージ２２３に相当する。

追加ストリームのダウンロードあるいはストリーミングに際しては、ストレージ２２３からの読みだしからデコード、そして表示画像を得るまで、あるいはネットワーク上のサーバから受信デコードそして表示画像を得るまでの遅延時間に相当する時間合わせを基本ストリームの表示に関して適宜行うことで、基本ストリームと追加ストリームとの表示同期を保証する。

次に、本技術における同期補正情報の伝送について説明する。ステレオ立体画像のビューを構成するオリジナルの左右のビデオコンテンツのうち、一方をリニア放送波で、もう片方をＩＰ配信で供給するような場合、各々の供給方法に依存してストリームが別個に編集される場合がある。

図２４は、左眼画像データを含む基本ストリーム（Video1）と、右眼画像データを含む追加ストリーム（Video2）の編集の一例を示している。この例の場合、基本フレーム（Video1）では、編集前には隣接したフレーム「VL005」，「VL006」の間に、編集後には、フレーム「V_I001」−「V_I003」の３フレームが挿入されている。また、この基本フレーム（Video1）では、編集前には隣接したフレーム「VL009」，「VL010」の間に、編集後には、フレーム「V_I004」−「V_I006」の３フレームが挿入されている。

また、この例の場合、追加フレーム（Video2）では、編集前には隣接したフレーム「VR005」，「VR006」の間に、編集後には、フレーム「V_J001」−「V_J004」の４フレームが挿入されている。また、この追加フレーム（Video2）では、編集前には隣接したフレーム「VR009」，「VR010」の間に、編集後には、フレーム「V_J005」−「V_J008」の４フレームが挿入されている。

受信側で、放送波のみを視聴する場合、あるいはＩＰ配信のみを視聴する場合においては、各々のストリームを単独で視聴する範囲においては支障がない。しかし、放送波のストリームとＩＰ配信によるストリームとを同時に表示させて、３Ｄ視聴を行う場合、それぞれのストリームがフレーム単位で同期表示されることが必要になる。

送信側（エンコーダ側）では、基本ストリームと追加ストリームとの編集による同期ズレをストリーム再生側で補正させるため、追加ストリームに関して、再同期用補正オフセットと、再同期用表示スキップフラグが、再同期用情報として設定される。ここで、再同期用補正オフセットは、編集部分のフレーム数が、基本ストリームと追加ストリームとで異なる場合に、その双方の差分とされる。

図２５は、上述の図２４の編集例に対応した、再同期用補正オフセットと、再同期用表示スキップフラグの設定例を示している。この場合、基本フレーム（Video1）においては、「VL005」，「VL006」の間に「V_I001」−「V_I003」の３フレームが挿入されている。これに対して、追加ストリーム（Video2）においては、「VR005」，「VR006」の間に「V_J001」−「V_J004」の４フレームが挿入されている。そのため、この編集に関連して、追加フレームにおける再同期用補正オフセットが、“０＋（３−４）＝−１”のように求められ、「V_J004」以降のフレームに設定される。

そして、再同期用補正オフセットの値が“−１”であるので、再同期開始フレームである「VR006」は、１フレーム前倒しした表示順となる。そのため、「VR006」の１フレーム前の「V_J004」は表示をスキップするように、追加フレームにおける、対応する再同期用スキップフラグは“１”に設定される。

また、この場合、基本フレーム（Video1）においては、「VL009」，「VL010」の間に「V_I004」−「V_I006」の３フレームが挿入されている。これに対して、追加ストリーム（Video2）においては、「VR009」，「VR010」の間に「V_J005」−「V_J008」の４フレームが挿入されている。そのため、この編集に関連して、追加フレームにおける再同期用補正オフセットが、“−１＋（３−４）＝−２”のように求められ、「V_J008」以降のフレームに設定される。

そして、再同期用補正オフセットの値が“−２”であるので、再同期開始フレームである「VR010」は、２フレーム前倒しした表示順となる。「V_J007」から「V_J008」において、再同期用補正オフセット値が“−１”から“−２”に変化するので、その変化の値「１」は再同期用にスキップを行うフレーム数を表す。ここでは１フレーム分に当たる「V_J008」をフレームスキップする必要があることを示す。そのため、「VR010」の１フレーム前の「V_J008」は表示をスキップするように、追加フレームにおける、対応する再同期用スキップフラグは“１”に設定される。

なお、再同期用補正オフセットは、図１６に示すストリーム同期情報（stream_synchronization_information）における「resync_adjust_offset」に相当する。また、再同期用スキップフラグは、図１６に示すストリーム同期情報（stream_synchronization_information）における「frame_skip_flag」に相当する。

受信側（デコーダ側）では、再同期用スキップフラグ、再同期用補正オフセットにより、追加ストリーム内の同期表示を行わないフレームの表示スキップと、同期表示を行うフレームの表示タイミングの補正が行われる。この補正は、例えば、上述したように、図１１の受信装置２００のビデオ重畳部２２８において行われる。

図２６は、上述の図２５のように送信側（エンコーダ側）で再同期用補正オフセットおよび再同期用表示スキップフラグが設定された場合に対応した、受信側（デコーダ側）における表示タイミングの補正例を示している。この場合、追加ストリームの「V_J004」のフレームで再同期用スキップフラグが“１”であるので、このフレームの表示がスキップされる。また、「V_J006」以降のフレームの再同期用補正オフセットが“−１”であるので、このフレーム以降の表示は１フレーム前倒しされる。

また、この場合、追加ストリームの「V_J008」のフレームで再同期用スキップフラグが“１”であるので、このフレームの表示がスキップされる。また、「V_J010」以降のフレームの再同期用補正オフセットが“−２”であるので、このフレーム以降の表示は２フレーム前倒しされる。したがって、基本ストリーム（左眼画像データ）と追加ストリーム（右眼画像データ）の同期表示が良好に行われる。

図２７は、ビデオのランダムアクセス時における表示タイミングの補正例を示している。この場合、追加ストリームの再生（表示）開始フレームは、上述したように、例えば、基本ストリームの表示タイムスタンプと、初期タイムスタンプ値の差分に基づいて判別される。そのため、図示のように、基本ストリームのランダムアクセスエントリー点が「VL006」であるとき、追加ストリームの再生（表示）開始フレームが「V_J004」であることが分かる。

このビデオのランダムアクセス時においても、表示タイミングの補正は、上述したと同様に行われる。例えば、追加ストリームの「V_J004」のフレームで再同期用スキップフラグが“１”であるので、このフレームの表示がスキップされる。また、「V_J006」以降のフレームの再同期用補正オフセットが“−１”であるので、このフレーム以降の表示は１フレーム前倒しされる。したがって、基本ストリーム（左眼画像データ）と追加ストリーム（右眼画像データ）の同期表示が良好に行われる。

なお、上述の基本ストリームと追加ストリームの同期方法の説明においては、追加ストリームのコンテナフォーマットがＭＰＥＧ２ＴＳである場合を想定して説明を行った。詳細説明は省略するが、追加ストリームのコンテナフォーマットがＭＰ４である場合も同様である。

ただし、ＭＰ４のヘッダ情報の塊であるＭＯＯＶの中で、時刻情報として、ＳＴＴＳ(Decoding Time To Sample)およびＣＴＴＳ(CompositionTime To Sample)が符号化されている。ここで、ＳＴＴＳは、デコード時刻(ＭＰ４ファイルの初期値との差分値）を示す。ＣＴＴＳは、ＳＴＴＳで示されるデコード時刻を表す値に対しての表示タイミングのオフセットを示す。なお、ＭＰ４にはＰＣＲ(Program Clock Reference)は存在しないが、ファイルの開始時点を０として始めるだけである。

なお、上述の受信装置２００の説明では、ストリーム同期情報デスクリプタ（SSI descriptor）およびストリーム同期情報（SSI）が存在するものとして同期処理の説明を行ったが、これらの情報が存在しないとき、受信装置２００は、タイムスタンプを参照した同期処理を行う。

図２８〜図３０のフローチャートは、ＣＰＵ２０１における同期処理制御の手順の一例を示している。なお、この例は、同期表示のタイプがステレオ立体画像（Stereoscopic video）だけでなく、高精細画像（Super Highresolution video）、重畳画像（Paint Overlay video）等のその他の同期表示の場合にも当てはまるように一般化されたものを示している。

ＣＰＵ２０１は、ステップＳＴ１において、同期処理制御を開始する。次に、ＣＰＵ２０１は、ステップＳＴ２において、ストリーム同期情報デスクリプタ（SSI descriptor：図２０参照）が存在するか否かを判断する。

ストリーム同期情報デスクリプタが存在するとき、ＣＰＵ２０１は、ステップＳＴ３において、同期表示のタイプ「synchronization_type」と、ストリーム数「stream_count_for_synchronization」をみる。そして、ＣＰＵ２０１は、ステップＳＴ４において、「stream_id」の情報から基本ストリームか否かを判断する。基本ストリームであるとき、ＣＰＵ２０１は、ステップＳＴ５において、「carriage_of_initial_timestamp」に基づいて、表示タイムスタンプ初期値（初期タイムスタンプ値）「initial_timestamp」があるか否かを判断する。

表示タイムスタンプ初期値があるとき、ＣＰＵ２０１は、ステップＳＴ６において、追加ストリームの初期読み出しオフセットを計算し、該当箇所から読み出すように制御する。その後、ＣＰＵ２０１は、ステップＳＴ７の処理に移る。ステップＳＴ４で基本ストリームでないとき、あるいは、ステップＳＴ５で表示タイムスタンプ初期値がないとき、ＣＰＵ２０１は、直ちに、ステップＳＴ７の処理に移る。

このステップＳＴ７において、ＣＰＵ２０１は、ストリーム同期情報（SSI：図１６、図１７参照）が存在するか否かを判断する。ストリーム同期情報が存在するとき、ＣＰＵ２０１は、ステップＳＴ８の処理に移る。このステップＳＴ８において、ＣＰＵ２０１は、同期表示のタイプ「synchronization_type」と、表示の属性「rendering_attribute」をみる。そして、ＣＰＵ２０１は、ステップＳＴ９において、「stream_id」の情報から基本ストリームか否かを判断する。

基本ストリームであるとき、ＣＰＵ２０１は、ステップＳＴ１０において、「offset_frames_indication_flag」の情報から初期同期オフセット点「offset_frames_to_initial_sync_point」があるか否かを判断する。初期同期オフセット点があるとき、ＣＰＵ２０１は、ステップＳＴ１１において、初期同期オフセット点を読み、追加ストリームへアクセスする。その後、ＣＰＵ２０１は、ステップＳＴ１２の処理に移る。ステップＳＴ９で基本ストリームでないとき、あるいは、ステップＳＴ１０で初期同期オフセット点がないとき、ＣＰＵ２０１は、直ちに、ステップＳＴ１２の処理に移る。

このステップＳＴ１２において、ＣＰＵ２０１は、「resync_adjust_flag」の情報に基づいて、再同期補正値（再同期用補正オフセット）「resync_adjust_offset」があるか否かを判断する。再同期補正値があるとき、ＣＰＵ２０１は、ステップＳＴ１３において、再同期補正値を読み、追加ストリームの表示タイミングを修正するように制御する。その後、ＣＰＵ２０１は、ステップＳＴ１４の処理に移る。ステップＳＴ１２で再同期補正値がないとき、ＣＰＵ２０１は、直ちに、ステップＳＴ１４の処理に移る。

このステップ１４において、ＣＰＵ２０１は、「frame_skip_flag」の情報からフレームスキップがあるか否かを判別する。フレームスキップがあるとき、ＣＰＵ２０１は、ステップＳＴ１５において、該当フレームを表示スキップするように制御する。その後、ＣＰＵ２０１は、ステップＳＴ１６の処理に移る。ステップＳＴ１４でフレームスキップがないとき、ＣＰＵ２０１は、直ちに、ステップＳＴ１６の処理に移る。

このステップＳＴ１６において、ＣＰＵ２０１は、「position_control_flag」の情報からポジションオフセット情報「horizontal_position_offset」、「vertical_position_offset」があるか否かを判別する。ポジションオフセット情報があるとき、ＣＰＵ２０１は、ステップＳＴ１７において、水平、垂直のポジションオフセット情報を読み、追加ストリーム画像を基本ストリーム、あるいは基本ストリームのコピーの画像に対して、「scale_ratio」、「blending_ratio」に基づいた処理を行って重畳するように制御する。

その後、ＣＰＵ２０１は、ステップＳＴ１８において、同期処理制御を終了する。ステップＳＴ１６でポジションオフセット情報がないとき、ＣＰＵ２０１は、直ちに、ステップＳＴ１８において、同期処理制御を終了する。

また、上述のステップＳＴ２でストリーム同期情報デスクリプタ（SSI descriptor）がないとき、あるいは、ステップＳＴ７で、ストリーム同期情報（SSI）がないとき、ＣＰＵ２０１は、ステップＳＴ１９において、タイムスタンプを参照した同期処理が行われるように制御する。

すなわち、ＣＰＵ２０１は、このステップＳＴ１９において、基本ストリーム、追加ストリームのＰＣＲ（存在する場合）の差だけ追加ストリームのタイムスタンプにオフセットをかけて表示タイミングとする。またタイムスタンプがないピクチャ（picture）はオフセットされたタイムスタンプで補間を行って表示タイミングの調整を行う。その後、ＣＰＵ２０１は、ステップＳＴ１８において、同期処理制御を終了する。

以上説明したように、図１に示す放送システム１０においては、送信側から受信側に、ＲＦ電波により基本となる放送ストリームを送信でき、ＩＰネットワークを介して追加の放送ストリームを送信できる。そのため、受信側において、左眼画像データおよび右眼画像データによる、ステレオ立体画像の、高解像度表示が可能となる。

また、図１に示す放送システム１０においては、送信側から受信側に送られるビデオストリームに、ストリーム同期情報（Stream_Synchronization_Information）が挿入される。このストリーム同期情報には、受信側においてこれらのビデオストリームをフレーム単位で同期させるための情報が含まれている。そのため、受信側において、左眼画像データおよび右眼画像データによる同期表示が可能となり、左眼画像データおよび右眼画像データが別経路の放送ストリームで送信されても、ステレオ立体画像の表示を良好に行うことができる。

また、図１に示す放送システム１０において、送信側から受信側に送られる放送ストリームに、ストリーム同期情報デスクリプタ（Stream_Synchronization_Information_descriptor）が挿入される。このストリーム同期情報デスクリプタには、基本ビデオストリームの初期タイムスタンプ情報が含まれている。そのため、受信側では、任意のタイミングからの基本ストリームの再生時に、追加フレームの該当するフレームを容易に表示させることができる。

また、図１に示す放送システム１０において、送信側から受信側に送られるビデオストリームに、ストリーム同期情報（Stream_Synchronization_Information）が挿入される。例えば、基本ビデオストリームに挿入されるストリーム同期情報には、同期関係にある他のビデオストリームの存在を示す情報が含まれている。そのため、受信側においては、この情報に基づいて、追加のビデオストリームを受信することが可能となり、３Ｄ番組において、ステレオ立体画像の表示を良好に行うことができる。

＜２．変形例＞
なお、上述実施の形態においては、基本となる放送ストリームと追加の放送ストリームの送信をステレオ立体画像（Stereoscopic video）の表示に応用する場合について説明した。しかし、本技術は、その他の同期表示にも、応用できることは勿論である。例えば、本技術を、超高精細画像（Super High resolution video）の表示に応用することができる。この場合、図３１に示すように、第１の画像データが基本解像度画像データ（Base resolution）であり、第２の画像データが拡張解像度画像データ（Enhancedresolution）である。

図３２は、放送システム１０における超高精細画像データの伝送例を概略的に示している。送信側（送信装置１００）は、例えば、超高精細カメラ１１１Ａおよびエンコーダ１１２を有している。超高精細カメラ１１１Ａで得られた超高精細画像データがエンコーダ１１２に供給される。エンコーダ１１２では、超高精細画像データが、基本および拡張の解像度画像データに分離され、それぞれの画像データがＭＰＥＧ２ビデオあるいはＡＶＣ等の符号化フォーマットで符号化され、基本ビデオストリームおよび追加ビデオストリームが生成される。

送信側から受信側には、エンコーダ１１２で生成された基本ビデオストリーム（基本解像度画像データを含む）を有する基本となる放送ストリーム（HD resolution stream）がＲＦ電波により送られる。また、送信側から受信側には、エンコーダ１１２で生成された追加ビデオストリーム（拡張解像度画像データを含む）を有する追加の放送ストリーム（Resolution enhancement stream）がＩＰネットワークを介して送られる。

受信側（受信装置２００）は、例えば、デコーダ２４１および超高精細モニタ２４２Ａを有している。デコーダ２４１では、基本となる放送ストリーム（HD resolution stream）が有する基本ビデオストリームに対して復号化処理が行われて基本解像度画像データが得られる。また、デコーダ２４１では、追加の放送ストリーム（Resolution enhancement stream）が有する基本ビデオストリームに対して復号化処理が行われて拡張解像度画像データが得られる。そして、これら基本解像度画像データおよび拡張解像度画像データが合成された超高精細画像データが超高精細モニタ２４２Ａに供給されて超高精細画像表示が行われる。

また、例えば、本技術を、重畳画像（Paint Overlay video）の表示に応用することができる。この場合、図３３に示すように、第１の画像データが基本画像データ（Basic video）であり、第２の画像データが重畳画像データ（Overlayvideo）である。なお、この場合、（ａ）重畳画像（追加ストリーム画像）にスケーリングが施された後に基本画像（基本ストリーム画像）に重畳される場合（Overlay with scaling）と、（ｂ）重畳画像（追加ストリーム画像）がそのままのサイズで基本画像（基本ストリーム画像）に重畳される場合（Overlay with repositioning）などが考えられる。この場合、「scale_ratio」、「blending_ratio」に基づいた処理が行われて重畳される。

上述の図３３に示す例は、「position_control_flag」により、表示位置指定で重畳（オーバーレイ）する一例であり、基本ストリーム画像の上に追加ストリームによる画像を「scale_ratio」、「blending_ratio」に従って表示位置に上書きするものである。このような重畳例は、２Ｄ（２次元）表示おける特殊効果などに適用可能となる。

図３４に示す例は、「position_control_flag」により、表示位置指定で重畳（オーバーレイ）する他の例を示している。この例では、基本ストリーム画像を左眼画像（left view）とし、それを右眼画像（right view）へコピーする。そして、この例では、コピーされた右眼画像（right view）に対し、追加ストリームをデコードして得た画像を「scale_ratio」と「blending_ratio」に従って表示位置に上書きするものである。このようにして、ステレオ立体（３Ｄ）画像が伝送効率よく再現可能となる。

なお、この図３４に示す例でも、図３３に示す例と同様に、（ａ）重畳画像にスケーリングが施された後に重畳される場合（Overlay with scaling）と、（ｂ）重畳画像がそのままのサイズで重畳される場合（Overlay with repositioning）などが考えられる。

また、上述実施の形態においては、基本ストリーム、追加ストリームが別のコンテナで送受信される場合で説明した。しかし、両者が同一のコンテナの中で送られる場合にも、本技術の内容は同様のメカニズムで適用できる。

また、本技術に関しては、基本ストリーム、追加ストリームともに同種のコーデックによる場合でもよいし、あるいは、基本ストリーム、追加ストリームが別種のコーデックによる場合でも同様に適用できる。例えば、基本ストリームがＭＰＥＧ２ビデオ、追加ストリームがＨ．２６４、あるいはその逆の場合などが考えられる。

なお、本技術は、以下のような構成も取ることができる。
（１）第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する送信部を備え、
上記第１のビデオストリームに、該第１のビデオストリームと、上記第１の画像データと同期表示される第２の画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報が挿入されている
画像データ送信装置。
（２）上記ストリーム同期情報は、上記第１のビデオストリームのピクチャレイヤに挿入され、
上記ストリーム同期情報には、該当フレームの表示スキップを行うか否かを示す情報、および該当フレームの表示タイミングの補正値が含まれる
前記（１）に記載の画像データ送信装置。
（３）上記ストリーム同期情報に、ストリームの初期フレームからのフレーム数を示す情報が付加されている
前記（２）に記載の画像データ送信装置。
（４）上記ストリーム同期情報に、上記第２のビデオストリームの存在を示すフラグ情報が付加されている
前記（２）または（３）に記載の画像データ送信装置。
（５）上記ストリーム同期情報に、上記同期表示のタイプを示す情報が付加されている
前記（２）から（４）のいずれかに記載の画像データ送信装置。
（６）上記所定コンテナフォーマットのストリームに、上記第１のビデオストリームおよび上記第２のビデオストリームのうち基本ビデオストリームの初期タイムスタンプ情報が挿入されている
前記（１）から（５）のいずれかに記載の画像データ送信装置。
（７）上記所定コンテナフォーマットのストリームに、上記第２の画像データが含まれる上記第２のビデオストリームを有する所定コンテナフォーマットのストリームの数を示す情報がさらに挿入されている
前記（１）から（６）のいずれかに記載の画像データ送信装置。
（８）上記所定コンテナフォーマットのストリームに、上記第１のビデオストリームおよび上記第２のビデオストリームのうち基本ビデオストリームに上記ストリーム同期情報が存在するか否かを示す情報がさらに挿入されている
前記（１）から（７）のいずれかに記載の画像データ送信装置。
（９）第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する際に、
上記第１のビデオストリームに、上記第１のビデオストリームと、上記第１の画像データと同期表示される第２の画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報を挿入する
画像データ送信方法。
（１０）ステレオ立体画像データを構成する第１のビューの画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する送信部を備え、
上記第１のビデオストリームの所定フレームに、上記第１のビデオストリームと、上記第１のビューの画像データと同期表示される上記ステレオ立体画像データを構成する第２のビューの画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報が挿入されている
画像データ送信装置。
（１１）第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットの第１のストリームを送信する第１の送信部と、
上記第１の画像データと同期表示される第２の画像データが含まれる追加ビデオストリームを有する所定コンテナフォーマットの第２のストリームを送信する第２の送信部とを備え、
少なくとも、上記追加ビデオストリームに、該追加ビデオストリームと上記基本ビデオストリームとをフレーム単位で同期させるための情報を含むストリーム同期情報が挿入されている
画像データ送信装置。
（１２）第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第１の受信部と、
上記第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第２の受信部とを備え、
少なくとも、上記追加ビデオストリームには、フレーム毎に、上記基本ビデオストリームと上記追加ビデオストリームとをフレーム単位で同期させるためのフレーム同期情報が挿入されており、
上記第１の受信部で受信されたストリームが有する上記基本ビデオストリームに含まれる上記第１の画像データを取得する第１のデータ取得部と、
上記第２の受信部で受信されたストリームが有する上記追加ビデオストリームに含まれる上記第２の画像データを取得する第２のデータ取得部と、
上記第２のデータ取得部で取得された第２の画像データを、上記フレーム同期情報に基づいて、上記第１のデータ取得部で取得された第１の画像データにフレーム単位で同期させる同期管理部とをさらに備える
画像データ受信装置。
（１３）第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第１の受信部と、
上記第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第２の受信部とを備え、
上記第１の受信部で受信されたストリームが有する上記基本ビデオストリームに含まれる上記第１の画像データを取得する第１のデータ取得部と、
上記第２の受信部で受信されたストリームが有する上記追加ビデオストリームに含まれる上記第２の画像データを取得する第２のデータ取得部と、
上記第２のデータ取得部で取得された第２の画像データを、タイムスタンプ情報に基づいて、上記第１のデータ取得部で取得された第１の画像データにフレーム単位で同期させる同期管理部とをさらに備える
画像データ受信装置。

１０・・・放送システム
１１・・・放送局
１２・・・ユーザ宅
１００・・・送信装置
１１１・・・３Ｄカメラ
１１１Ａ・・・超高精細カメラ
１１２・・・エンコーダ
１１３・・・送信部
１１４・・・配信サーバ
２００・・・受信装置
２０１・・・ＣＰＵ
２１０・・・アンテナ端子
２１１・・・デジタルチューナ
２１２・・・ストリームバッファ
２１３・・・デマルチプレクサ
２１４・・・ビデオデコーダ
２１５・・・ビューバッファ
２１６・・・ビデオ重畳部
２２１・・・ネットワーク端子
２２２・・・通信インタフェース（通信Ｉ／Ｆ）
２２３・・・ストレージ
２２４・・・ストリームバッファ
２２５・・・デマルチプレクサ
２２６・・・ビデオデコーダ
２２７・・・ビューバッファ
２２８・・・ビデオ重畳部
２４１・・・デコーダ
２４２・・・３Ｄモニタ
２４２Ａ・・・超高精細モニタ

Claims (13)

1. 第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する送信部を備え、
   上記第１のビデオストリームに、該第１のビデオストリームと、上記第１の画像データと同期表示される第２の画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報が挿入されている
   画像データ送信装置。
2. 上記ストリーム同期情報は、上記第１のビデオストリームのピクチャレイヤに挿入され、
   上記ストリーム同期情報には、該当フレームの表示スキップを行うか否かを示す情報、および該当フレームの表示タイミングの補正値が含まれる
   請求項１に記載の画像データ送信装置。
3. 上記ストリーム同期情報に、ストリームの初期フレームからのフレーム数を示す情報が付加されている
   請求項２に記載の画像データ送信装置。
4. 上記ストリーム同期情報に、上記第２のビデオストリームの存在を示すフラグ情報が付加されている
   請求項２に記載の画像データ送信装置。
5. 上記ストリーム同期情報に、上記同期表示のタイプを示す情報が付加されている
   請求項２に記載の画像データ送信装置。
6. 上記所定コンテナフォーマットのストリームに、上記第１のビデオストリームおよび上記第２のビデオストリームのうち基本ビデオストリームの初期タイムスタンプ情報が挿入されている
   請求項１に記載の画像データ送信装置。
7. 上記所定コンテナフォーマットのストリームに、上記第２の画像データが含まれる上記第２のビデオストリームを有する所定コンテナフォーマットのストリームの数を示す情報がさらに挿入されている
   請求項１に記載の画像データ送信装置。
8. 上記所定コンテナフォーマットのストリームに、上記第１のビデオストリームおよび上記第２のビデオストリームのうち基本ビデオストリームに上記ストリーム同期情報が存在するか否かを示す情報がさらに挿入されている
   請求項１に記載の画像データ送信装置。
9. 第１の画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する際に、
   上記第１のビデオストリームに、該第１のビデオストリームと、上記第１の画像データと同期表示される第２の画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報を挿入する
   画像データ送信方法。
10. ステレオ立体画像データを構成する第１のビューの画像データを含む第１のビデオストリームを有する所定コンテナフォーマットのストリームを送信する送信部を備え、
    上記第１のビデオストリームに、該第１のビデオストリームと、上記第１のビューの画像データと同期表示される上記ステレオ立体画像データを構成する第２のビューの画像データが含まれる第２のビデオストリームとをフレーム単位で同期させるためのストリーム同期情報が挿入されている
    画像データ送信装置。
11. 第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットの第１のストリームを送信する第１の送信部と、
    上記第１の画像データと同期表示される第２の画像データが含まれる追加ビデオストリームを有する所定コンテナフォーマットの第２のストリームを送信する第２の送信部とを備え、
    上記追加ビデオストリームに、フレーム毎に、該追加ビデオストリームと上記基本ビデオストリームとをフレーム単位で同期させるための情報を含むストリーム同期情報が挿入されている
    画像データ送信装置。
12. 第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第１の受信部と、
    上記第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第２の受信部とを備え、
    上記追加ビデオストリームには、フレーム毎に、上記基本ビデオストリームと上記追加ビデオストリームとをフレーム単位で同期させるためのフレーム同期情報が挿入されており、
    上記第１の受信部で受信されたストリームが有する上記基本ビデオストリームに含まれる上記第１の画像データを取得する第１のデータ取得部と、
    上記第２の受信部で受信されたストリームが有する上記追加ビデオストリームに含まれる上記第２の画像データを取得する第２のデータ取得部と、
    上記第２のデータ取得部で取得された第２の画像データを、上記フレーム同期情報に基づいて、上記第１のデータ取得部で取得された第１の画像データにフレーム単位で同期させる同期管理部とをさらに備える
    画像データ受信装置。
13. 第１の画像データを含む基本ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第１の受信部と、
    上記第１の画像データと同期表示される第２の画像データを含む追加ビデオストリームを有する所定コンテナフォーマットのストリームを受信する第２の受信部とを備え、
    上記第１の受信部で受信されたストリームが有する上記基本ビデオストリームに含まれる上記第１の画像データを取得する第１のデータ取得部と、
    上記第２の受信部で受信されたストリームが有する上記追加ビデオストリームに含まれる上記第２の画像データを取得する第２のデータ取得部と、
    上記第２のデータ取得部で取得された第２の画像データを、タイムスタンプ情報に基づいて、上記第１のデータ取得部で取得された第１の画像データにフレーム単位で同期させる同期管理部とをさらに備える
    画像データ受信装置。

Images