WO2018079389A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Abstract

受信側における広視野角画像内の表示領域を送信側で制御可能とする。　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する。広視野角画像内の表示領域を制御するコマンドの情報をビデオストリームに挿入する。例えば、コマンドは、広視野角画像内の特定領域を表示領域として指定するものである。また、例えば、コマンドは、広視野角画像内の複数の領域を表示領域の選択候補として提示するものである。

Description

送信装置、送信方法、受信装置および受信方法

　本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、広視野角画像の動画像データを符号化して得られたビデオストリームを送信する送信装置等に関する。

　広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものである。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。

　広視野角画像の動画像データを送信する場合、受信側においては、表示の際に変換の仕方によって表示対象部分が異なってくる。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させたい場合に、従来は、その方法が存在しないという問題があった。

特開２００９－２００９３９号公報

　本技術の目的は、受信側における広視野角画像内の表示領域を送信側で制御可能とすることにある。

　本技術の概念は、
　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記広視野角画像内の表示領域を制御するコマンドの情報を上記ビデオストリームに挿入する情報挿入部を備える
　送信装置にある。

　本技術において、送信部により、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナが送信される。情報挿入部により、広視野角画像内の表示領域を制御するコマンドの情報がビデオストリームに挿入される。例えば、情報挿入部は、コマンドの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する、ようにされてもよい。

　また、例えば、コマンドは、広視野角画像内の特定領域を表示領域として指定するものである、ようにされてもよい。また、例えば、コマンドは、広視野角画像内の複数の領域を表示領域の選択候補として提示するものである、ようにされてもよい。そして、この場合、例えば、広視野角画像内の複数の領域のうちの１つの領域はデフォルトの表示領域として指定される、ようにされてもよい。

　例えば、情報挿入部は、広視野角画像内に設定されたターゲットポイントの情報をビデオストリームにさらに挿入し、コマンドは、表示領域を決めるターゲットポイントの選択を制御する、ようにされてもよい。この場合、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む、ようにされてもよい。また、この場合、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含む、ようにされてもよい。

　このように本技術においては、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内の表示領域を制御するコマンドの情報を挿入して送信するものである。そのため、受信側における広視野角画像内の表示領域を送信側で制御することが可能となる。

　また、本技術の他の概念は、
　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記ビデオストリームには、上記広視野角画像内の表示領域を制御するコマンドの情報が挿入されており、
　上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記コマンドの情報に基づいて処理して表示用画像データを得る処理部をさらに備える
　受信装置にある。

　本技術において、受信部により、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナが受信される。ビデオストリームには、広視野角画像内の表示領域を制御するコマンドの情報が挿入されている。処理部により、ビデオストリームを復号化して得られた広視野角画像の動画像データがコマンドの情報に基づいて処理されて表示用画像データが得られる。

　このように、本技術においては、ビデオストリームを復号化して得られた広視野角画像の動画像データを、広視野角画像内の表示領域を制御するコマンドの情報に基づいて処理して、表示用画像データを得るものである。そのため、広視野角画像内の表示領域は送信側が意図したものとなる。

　なお、本技術において、例えば、コマンドは、広視野角画像内の複数の領域を表示領域の選択候補として提示するものであり、複数の領域から任意の領域を選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、処理部は、ユーザインタフェース画面に基づいて選択された領域の表示用画像データを得る、ようにされてもよい。これにより、ユーザは、表示領域の選択を容易に行い得る。

　本技術によれば、受信側における広視野角画像内の表示領域を送信側で制御可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点（ＲＰ）の情報を説明するための図である。 広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報を説明するための図である。 広視野角画像上に設定されるターゲットポイント（Ｔｐ）の情報（タイプ１）を説明するための図である。 広視野角画像上に設定されるターゲットポイント（Ｔｐ）の情報（タイプ２）を説明するための図である。 広視野角画像内に設定されるターゲットポイント（ＴＰ）の設定例を示す図である。 広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報が挿入される場合における受信側の処理を説明するための図である。 広視野角画像の長方形領域内に楕円の有効画像領域が２個存在し、ターゲットポイント（ＴＰ）がタイプ１で指定される例を説明するための図である。 広視野角画像の長方形領域内に楕円の有効画像領域が２個存在し、ターゲットポイント（ＴＰ）がタイプ２で指定される例を説明するための図である。 広視野角画像内に設定されるターゲットポイント（ＴＰ）の設定例を示す図である。 広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報が挿入される場合における受信側の処理を説明するための図である。 コマンドタイプが“０ｘ０１”であるコマンドを説明するための図である。 コマンドタイプが“０ｘ０２”であるコマンドを説明するための図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例を示す図（１/２）である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例を示す図（２/２）である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 ターゲット・セレクション・コマンド・ＳＥＩメッセージの構造例を示す図である。 ターゲット・セレクション・コマンド・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 ＵＩ画面の一例を示す図である。

　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［送受信システム］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

　送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、全方位画像などの広視野角画像の動画像データを符号化して得られたビデオストリームが含まれている。そして、このビデオストリームには、広視野角画像内の表示領域を制御するコマンドの情報が挿入されている。

　このコマンド情報は、全てのピクチャの符号化データに対応して、あるいはＧＯＰ（Group Of Picture）の先頭のピクチャの符号化データのみに対応して挿入される。例えば、コマンド情報は、広視野角画像内の特定領域を表示領域として指定するものとされる。また、例えば、コマンド情報は、広視野角画像内の複数の領域を表示領域の選択候補として提示するものとされる。

　この実施の形態において、ビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報も挿入される。コマンド情報は、表示領域を決めるターゲットポイントの選択を制御するものとされる。例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円（円を含む）の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含むものとされる。また、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含むものとされる。

　受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、広視野角画像の動画像データを符号化して得られたビデオストリームが含まれている。そして、このビデオストリームには、広視野角画像内の表示領域を制御するコマンドの情報が挿入されている。

　受信装置２００は、ビデオストリームを復号化して得られた広視野角画像の動画像データを、広視野角画像内の表示領域を制御するコマンドの情報に基づいて処理して、表示用画像データを得る。受信装置２００は、コマンドが広視野角画像内の複数の領域を表示領域の選択候補として提示するものである場合、複数の領域から任意の領域を選択するためのユーザインタフェース画面を表示し、このユーザインタフェース画面に基づいて選択された領域の表示用画像データを得る。ユーザは、表示領域の選択を容易に行い得る。

　「送信装置の構成」
　図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ユーザ操作部１０１ａと、表示部１０１ｂと、広視野角カメラ１０２と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）１０３と、ビデオエンコーダ１０４と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０５と、ＴＳフォーマッタ１０６と、送信部１０７を有している。

　制御部１０１は、ＣＰＵ（Central Processing Unit）を備えており、送信装置１００の各部の動作を制御する。この制御部１０１には、ユーザインタフェースを構成するユーザ操作部１０１ａおよび表示部１０１ｂが接続されている。ユーザは、ユーザ操作部１０１ａにより種々の入力操作を行うことができる。例えば、ユーザ操作部１０１ａから、表示部１０１ｂに表示される広視野角画像の内にターゲットポイントを設定する操作を行うことができる。また、例えば、ユーザ操作部１０１ａから、広視野角画像内の表示領域を制御するコマンド、ここでは表示領域を決めるターゲットポイントの選択を制御するコマンドを設定する操作を行うことができる。

　広視野角カメラ１０２は、被写体を撮像して全方位画像などの広視野角画像の動画像データＶＤを得る。上述したように広視野角画像内にターゲットポイントを設定する際には、広視野角カメラ１０２で得られた広視野角画像の動画像データＶＤが制御部１０１を介して表示部１０１ｂに送られて、この表示部１０１ｂに広視野角画像が表示される。ビデオエンコーダ１０４は、非圧縮データバッファ１０３を通じて広視野角画像の動画像データＶＤを入力し、ＡＶＣあるいはＨＥＶＣなどで符号化してビデオストリームを得る。

　ビデオエンコーダ１０４は、ビデオストリームに、上述したようにユーザ操作部１０１ａからのユーザ操作で設定されたターゲットポイントの情報を挿入する。ここで、ターゲットポイントの個数は１個、あるいは２個以上である。また、ビデオエンコーダ１０４は、ビデオストリームに、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と、この楕円の有効画像領域上に設定された基準点（RP: Reference Point）の情報も挿入する。ビデオエンコーダ１０４は、これらの情報を、全てのピクチャの符号化データに対応して、あるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する。

　各情報について説明する。図３を参照して、基準点（ＲＰ）の情報について説明する。この基準点（ＲＰ）は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定され、基準となる位置、例えば楕円の中心を示す。図３において、広視野角画像の長方形領域内に楕円の有効画像領域が存在し、この有効画像領域上に基準点（ＲＰ）が設定される。基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合(ｒｈ％，ｒｖ％)として指定される。

　なお、一連の相対位置で示す位置は、精度をよく取っておくことでビデオの解像度に依存せずに的確な位置の指定が行えるメリットがある。ビデオの解像度が予め特定できる場合は、位置の指定をすべて、相対位置でなく画素数で表すこともできる。

　次に、図４を参照して、楕円の有効画像領域の情報について説明する。この場合、外側の長方形に対する楕円（円を含む）の外形位置を特定するために、基準点（ＲＰ）から長方形の特定位置へ引いた線分を水平軸からの角度θで表し、基準点ＲＰから、その線分が円または楕円と交わる点への長さの、線分に対する比を角度θにおけるパーセンテージで表す。例えば、図４の線分ＯＰは水平軸より角度θの方向へ向かうものであり、ＯＰの長さを１とするとＯＱは比率ｒとして表される。

　図４のような楕円の軌道は、以下のように、Ａ～Ｄの４点をその角度とパーセンテージ、（θ、r)で表し、それらを通る軌道として求めることができ、楕円の有効画像領域を得ることが可能となる。
　　　Ａ：（０，ＯＡ/ＯＳ）
　　　Ｂ：（９０，１（ＯＢ/ＯＴ＝１）)
　　　Ｃ：（１８０，ＯＣ/ＯＵ）
　　　Ｄ：（２７０，１（ＯＤ/ＯＷ＝１））
　なお、ＯＡ，ＯＢ，ＯＣ，ＯＤの角度は必ずしも９０度刻みである必要はなく、水平軸からの角度として任意に指定できる要素である。

　次に、ターゲットポイント（ＴＰ）の情報について説明する。最初に、図５を参照して、タイプ１（Type1）を説明する。このタイプ１の場合、ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域に存在する楕円の有効画像領域上に設定された基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで示される（ＴＰ（φ，ｄｒ））。ここで、角度φは、基準点（ＲＰ）における水平線の角度を０として、そこから反時計回りの度数で示される。また、相対半径ｄｒは、角度φにおける有効画素領域の端点までの距離（半径に相当する）を１とした場合の割合で示される。

　次に、図６を参照して、タイプ２（Type2）を説明する。このタイプ２の場合、ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域を有効画像領域とし、この長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示される。このタイプ２は、有効画像領域が楕円範囲内に収まらない場合に有効な方法である。

　基準となる点が長方形領域のトップ・レフト（top-left）である場合、ターゲットポイント（ＴＰ）は（ｔｘ、ｔｙ）で示される。また、基準となる点が基準点（ＲＰ）である場合、ＲＰ（ｒｈ，ｒｖ）であるとして、ターゲットポイント（ＴＰ）は（ｔｘ－ｒｈ，ｔｙ－ｒｖ）で示される。この場合、ターゲットポイント（ＴＰ）の水平位置に関しては基準となる点から右側方向では正値となると共に左側方向では負値となり、またその垂直位置に関しては基準となる点から下側方向では正値となると共に上側方向では負値となる。

　図７は、広視野角画像内に設定されたターゲットポイント（ＴＰ）の設定例を示している。この例は、ターゲットポイント（ＴＰ）が基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで指定された場合の例である。ＴＰ１～ＴＰ６のターゲットポイントは、基準点（ＲＰ）からの楕円の相対半径ｄｒがｄｒ１で共通となっている。ＴＲ７のターゲットポイントは、基準点（ＲＰ）からの楕円の相対半径ｄｒがｄｒ２で、ＴＰ１～ＴＰ６のターゲットポイントとは異なっている。

　図８（ａ）は、図７に示す広視野角画像をパノラマ展開して得られた画像を示している。図８（ｂ）は、パノラマ展開画像上におけるＴＰ１～ＴＰ７のターゲットポイントの位置を示している。各ターゲットポイントはターゲットＩＤで識別される。受信側では、図８（ｃ）に示すように、ターゲットＩＤで識別される各ターゲットポイントから所望のターゲットポイントを選択することで、そのターゲットポイントに対応した領域を表示領域として選択してその画像表示が可能となる。

　この場合、ターゲットポイントが表示の中心となるように表示が行われる。また、表示後に、ユーザ操作で表示領域をずらしていくことは自由に行われる。なお、図８（ｃ）は、受信側において全てのターゲットポイントが選択可能なように示しているが、この実施の形態においては、ビデオストリームに挿入されるコマンドの情報によって、受信側におけるターゲットポイントの選択が制御される。

　上述例では、広視野角画像の長方形領域内に楕円の有効画像領域が１個だけ存在している。しかし、広視野角画像の長方形領域内に楕円の有効画像領域が複数個存在する場合もある。その場合にあっても、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報に関しては、上述例と同様に考えることができる。

　図９は、広視野角画像の長方形領域内に楕円の有効画像領域が２個存在する例であって、ターゲットポイント（ＴＰ）がタイプ１で指定される例を示している。基準点（ＲＰ）は、各楕円有効画像領域上にそれぞれ設定されている。各基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合として指定される。図示の例では、左側の楕円有効画像領域上に設定された基準点（ＲＰ１）の位置は(ｒｈ１％，ｒｖ１％)であり、右側の楕円有効画像領域上に設定された基準点（ＲＰ２）の位置は(ｒｈ２％，ｒｖ２％)である。

　また、各楕円有効画像領域は、詳細説明は省略するが、上述例と同様に、軌道上の４点における角度とパーセンテージで示される。各ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域に存在し、自身が属する側の楕円の有効画像領域上に設定された基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで示される。図示の例では、ターゲットポイント（ＴＰ１）は左側の楕円有効画像領域上に設定された基準点（ＲＰ１）からの楕円の相対半径ｄｒ１と水平軸からの角度φ１で示され、ターゲットポイント（ＴＰ２）は右側の楕円有効画像領域上に設定された基準点（ＲＰ２）からの楕円の相対半径ｄｒ２と水平軸からの角度φ２で示される。

　図１０は、広視野角画像の長方形領域内に楕円の有効画像領域が２個存在する例であって、ターゲットポイント（ＴＰ）がタイプ２で指定される例を示している。基準点（ＲＰ）は、各楕円有効画像領域上にそれぞれ設定されている。各基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合として指定される。図示の例では、左側の楕円有効画像領域上に設定された基準点（ＲＰ１）の位置は(ｒｈ１％，ｒｖ１％)であり、右側の楕円有効画像領域上に設定された基準点（ＲＰ２）の位置は(ｒｈ２％，ｒｖ２％)である。

　また、各楕円有効画像領域は、詳細説明は省略するが、上述例と同様に、軌道上の４点における角度とパーセンテージで示される。各ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域を有効画像領域とし、この長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示される。

　図示の例では、基準となる点が長方形領域のトップ・レフト（top-left）である場合、ターゲットポイント（ＴＰ１）は（ｔｘ１、ｔｙ１）で示され、ターゲットポイント（ＴＰ２）は（ｔｘ２、ｔｙ２）で示される。また、基準となる点が基準点（ＲＰ）である場合、ターゲットポイント（ＴＰ１）は左側の楕円の有効画像領域に属するものとされて（ｔｘ１－ｒｈ１，ｔｙ１－ｒｖ１）で示され、ターゲットポイント（ＴＰ２）は右側の楕円の有効画像領域に属するものとされて（ｔｘ２－ｒｈ２，ｔｙ２－ｒｖ２）で示される。この場合、ターゲットポイント（ＴＰ）の水平位置に関しては基準となる点から右側方向では正値となると共に左側方向では負値となり、またその垂直位置に関しては基準となる点から下側方向では正値となると共に上側方向では負値となる。

　図１１は、広視野角画像内に設定されたターゲットポイント（ＴＰ）の設定例を示している。この例は、ターゲットポイント（ＴＰ）が広視野角画像の長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示された場合の例である。左側の楕円の有効画像領域内にＴＰ１１のターゲットポイントが設定されている。また、右側の楕円の有効画像慮域内にＴＰ１２，ＴＰ１３のターゲットポイントが設定されている。

　図１２（ａ）は、図１１に示す広視野角画像をパノラマ展開して得られた画像を示している。図１２（ｂ）は、パノラマ展開画像上におけるＴＰ１１～ＴＰ１３のターゲットポイントの位置を示している。各ターゲットポイントはターゲットＩＤで識別される。受信側では、図１２（ｃ）に示すように、ターゲットＩＤで識別される各ターゲットポイントから所望のターゲットポイントを選択することで、そのターゲットポイントに対応したターゲット領域を表示領域として選択してその画像表示が可能となる。

　この場合、ターゲットポイントが表示の中心となるように表示が行われる。また、表示後に、ユーザ操作で表示領域をずらしていくことは自由に行われる。なお、図１２（ｃ）は、受信側において全てのターゲットポイントが選択可能なように示しているが、この実施の形態においては、ビデオストリームに挿入されるコマンドの情報によって、受信側におけるターゲットポイントの選択が制御される。

　また、ビデオエンコーダ１０４は、ビデオストリームに、上述したようにユーザ操作部１０１ａからのユーザ操作で設定されたコマンドの情報を挿入する。図１３は、コマンド（ＣＭＤ）の一例を示している。このコマンドは、コマンドタイプ（command_type）が“０ｘ０１”であって、広視野角画像内の特定領域を表示領域として指定するものである。図示の例では、広視野角画像内のターゲットＩＤ（Target_id）＝“４”で示されるターゲットポイントに対応した一部領域が表示領域として指定されている。なお、この例は、図７のターゲットポイント（ＴＰ）の設定例に対応している。

　このコマンドに対して、受信側では、コマンド解析が行われ、広視野角画像から変換された平面画（パノラマ展開画像）から指定された特定領域の画像が取り出されて、表示される。図示の例では、広視野角画像のうちターゲットＩＤ（Target_id）＝“４”で示されるターゲットポイントに対応した一部領域の画像が表示される。

　図１４は、コマンド（ＣＭＤ）の他の一例を示している。このコマンドは、コマンドタイプ（command_type）が“０ｘ０２”であって、広視野角画像内の複数の領域を表示領域の選択候補として提示するものである。そして、この実施の形態において、複数の領域のうちの１つの領域はデフォルトの表示領域として指定される。

　図示の例では、広視野角画像内のターゲットＩＤ（Target_id）＝“３”、“１”、“２”、“４” で示されるターゲットポイントに対応した一部領域、さらにはターゲットＩＤ＝“０”で示される広視野角画像の全体領域が表示領域の選択候補として提示され、そのうちのターゲットＩＤ＝“３”で示されるターゲットポイントに対応した一部領域がデフォルトの表示領域として指定されている。この場合、ＩＤ＝“１”、“２”、“４”、“０”で示されるターゲットポイントに対応した領域はオプション領域として提示されている。なお、この例は、図７のターゲットポイント（ＴＰ）の設定例に対応している。

　このコマンドに対して、受信側では、コマンド解析が行われ、広視野角画像、あるいは広視野角画像から変換された平面画（パノラマ展開画像）から選択された領域の画像が取り出されて、表示される。この場合、最初はデフォルトの表示領域として指定された領域の画像が表示される。図示の例では、最初は、広視野角画像のうちターゲットＩＤ＝“３”で示されるターゲットポイントに対応した一部領域の画像が表示される。その後は、ユーザ操作によって選択された領域の画像表示に変更可能である。

　図２に戻って、ビデオエンコーダ１０４は、具体的には、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報などのメタ情報を持つ新規定義するターゲット・ポイント・インディケーション・ＳＥＩメッセージ（Target_point_indication SEI message）と、コマンドの情報を持つ新規定義するターゲット・セレクション・コマンド・ＳＥＩメッセージ（Target_Selection_Command SEI message）を挿入する。ビデオエンコーダ１０４は、これらのＳＥＩメッセージを、全てのアクセスユニットに挿入するか、あるいは、ＧＯＰの先頭のアクセスユニットのみに挿入する。

　図１５は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。ターゲット・ポイント・インディケーション・ＳＥＩメッセージおよびターゲット・セレクション・コマンド・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。

　図１６、図１７は、ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例(Syntax)を示している。図１８は、その構造例における主要な情報の内容（Semantics）を示している。「byte_length」の８ビットフィールドは、このＳＥＩメッセージの以降のサイズをバイト数で示す。

　「pointing_type」の８ビットフィールドは、ターゲットポイントの座標位置の指定方法の種別を示す。例えば、“０ｘ０１”は極座標による座標（タイプ１）を示し、“０ｘ０２”は直交座標による座標（タイプ２）を示す。「number_of_active_area」の８ビットフィールドは、符号化エリア（広視野角画像の長方形領域）に存在する楕円の有効画像領域の数を示す。この数の分だけ、以下のフィールドが繰り返し存在する。

　「area_id」の８ビットフィールドは、楕円の有効画像領域の識別情報を示す。「rp_position_h」の１６ビットフィールドは、基準点（ＲＰ）の水平位置を画像のトップ・レフト（top-left）からの画像内相対距離で示す。「rp_position_v」の１６ビットフィールドは、基準点（ＲＰ）の垂直位置を画像のトップ・レフト（top-left）からの画像内相対距離で示す。「degree_h」の１６ビットフィールドは、楕円の長径の水平軸からの傾きを示す度数を示す。「degree_v」の１６ビットフィールドは、楕円の短径の水平軸からの傾きを示す度数を示す。

　「h_boundary_r」の１６ビットフィールドは、基準点（ＲＰ）からの楕円長径（「degree_h」で示される）の右端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。「h_boundary_l」の１６ビットフィールドは、基準点（ＲＰ）からの楕円長径（「degree_h」で示される）の左端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。

　「v_boundary_t」の１６ビットフィールドは、基準点（ＲＰ）からの楕円短径（「degree_v」で示される）の上端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。「v_boundary_b」基準点（ＲＰ）からの楕円短径（「degree_v」で示される）の下端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。

　「pointing_type」が“０ｘ０１”であるとき、以下のフィールドが存在する。「target_id」の８ビットフィールドは、ターゲットポイントの識別情報を示す。例えば、“０”は広視野角全体を見渡すビューであることを示し、“０”以外は個々のビューであることを示す。「direction_degree」の１６ビットフィールドは、水平軸からの角度φを示す。「distance_ratio」の１６ビットフィールドは、基準点（ＰＲ）からの相対半径ｄｒを示す。

　また、「pointing_type」が“０ｘ０１”であるとき、以下のフィールドが存在する。「target_id」の８ビットフィールドは、ターゲットポイントの識別情報を示す。例えば、“０”は広視野角全体を見渡すビューであることを示し、“０”以外は個々のビューであることを示す。「relative_h_position」の１６ビットフィールドは、基準となる点からの水平方向相対位置を示す。「relative_v_position」の１６ビットフィールドは、基準となる点からの垂直方向相対位置を示す。

　図１９は、ターゲット・セレクション・コマンド・ＳＥＩメッセージの構造例(Syntax)を示している。図２０は、その構造例における主要な情報の内容（Semantics）を示している。「byte_length」の８ビットフィールドは、このＳＥＩメッセージの以降のサイズをバイト数で示す。

　「command_type」の８ビットフィールドは、コマンドの種別（タイプ）を示す。“０ｘ０１”は、指定ターゲットを必須表示させるコマンド、つまり広視野角画像内の特定領域を表示領域として指定するコマンドであることを示す。“０ｘ０２”は、デフォルトターゲットを指定し、且つ受信機側での表示ターゲットの選択変更を許可するコマンド、つまり広視野角画像内の複数の領域を表示領域の選択候補として提示し、そのうちの１つの領域をデフォルトの表示領域として提示するコマンドであることを示す。

　「command_type」が“０ｘ０１”であるとき、「mandatory_target_id」の８ビットフィールドが存在する。このフィールドは、表示必須ターゲットのターゲットＩＤ（target_id）を示す。

　また、「command_type」が“０ｘ０２”であるとき、「default_target_id」の８ビットフィールドが存在する。このフィールドは、デフォルト表示を行うターゲットのターゲットＩＤ（target_id）を示す。このとき、さらに、「number_of_optional_targets」の８ビットフィールドが存在する。このフィールドは、受信機側で選択表示可能なオプションターゲットの数を示す。そして、この数だけ、「optional_target_id」の８ビットフィールドが繰り返し存在する。このフィールドは、受信機側で選択表示可能なオプションターゲットのターゲットＩＤ（target_id）を示す。

　図２に戻って、圧縮データバッファ(ｃｐｂ)１０５は、ビデオエンコーダ１０４で生成されたビデオストリームを、一時的に蓄積する。ＴＳフォーマッタ１０６は、圧縮データバッファ１０４に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０７は、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。

　図２に示す送信装置１００の動作を簡単に説明する。広視野角カメラ１０２で得られた広視野角画像の動画像データＶＤは、非圧縮データバッファ(ｄｐｂ)１０３を介して、ビデオエンコーダ１０３に供給される。ビデオエンコーダ１０４では、動画像データＶＤがＡＶＣあるいはＨＥＶＣなどで符号化されて、ビデオストリーム（符号化ストリーム）が得られる。

　また、ビデオエンコーダ１０４では、ビデオストリームに、ユーザ操作で広視野角画像内に設定されたターゲットポイント、さらには、広視野角画像の長方形領域内に存在する楕円の有効画像領域、この楕円の有効画像領域上に設定された基準点（ＲＰ）などの情報が挿入される。また、ビデオエンコーダ１０４では、ビデオストリームに、ユーザ操作で設定された、受信機側におけるターゲット領域の選択を制御するコマンドの情報が挿入される。これら情報は、全てのピクチャの符号化データに対応して、あるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入される。

　具体的には、ビデオエンコーダ１０４では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報などのメタ情報を持つ新規定義するターゲット・ポイント・インディケーション・ＳＥＩメッセージと、コマンドの情報を持つ新規定義するターゲット・セレクション・コマンド・ＳＥＩメッセージが挿入される（図１５、図１６、図１７、図１９参照）。

　ビデオエンコーダ１０４で生成されたビデオストリームは、圧縮データバッファ(ｃｐｂ)１０５に一時的に蓄積される。ＴＳフォーマッタ１０６では、圧縮データバッファ１０５に蓄積されている符号化ストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

　ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳは、送信部１０７に送られる。送信部１０７では、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。

　「受信装置の構成」
　図２１は、受信装置２００の構成例を示している。この受信装置２００は、制御部（Central Processing Unit）２０１と、ユーザ操作部２０１ａと、受信部２０２と、ＴＳ解析部２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４と、ビデオデコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、コンバータ/セレクタ２０７と、合成部２０８と、表示部２０９を有している。

　制御部２０１は、ＣＰＵ（Central Processing Unit）を備えており、受信装置２００の各部の動作を制御する。この制御部２０１には、ユーザインタフェースを構成するユーザ操作部２０１ａが接続されている。ユーザは、ユーザ操作部２０１ａにより種々の入力操作を行うことができる。例えば、受信機側でターゲット領域の選択表示が可能な場合には、ユーザ操作部２０１ａからターゲットＩＤを指定することで、表示画像の選択変更が可能となる。

　受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。ＴＳ解析部２０３は、トランスポートストリームＴＳから、それに含まれる広視野角画像の動画像データＶＤに係るビデオストリームを取り出して圧縮データバッファ（ｃｐｂ）２０４に送る。

　ビデオデコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードする。デコードして得られた各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。そして、この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、広視野角画像の動画像データＶＤが得られ、コンバータ/セレクタ２０７に送られる。

　また、ビデオデコーダ２０５は、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、上述したように、全てのアクセスユニットに挿入されている、あるいはＧＯＰの先頭のアクセスユニットのみに挿入されているターゲット・ポイント・インディケーション・ＳＥＩメッセージ（図１６、図１７参照）やターゲット・セレクション・コマンド・ＳＥＩメッセージ（図１９参照）も含まれる。

　ここで、ターゲット・ポイント・インディケーション・ＳＥＩメッセージは、上述したように、広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報などのメタ情報を持っている。また、ターゲット・セレクション・コマンド・ＳＥＩメッセージは、上述したように、受信側におけるターゲットポイントの選択を制御するコマンドの情報を持っている。制御部２０１は、全てのアクセスユニットに、あるいはＧＯＰの先頭のアクセスユニットに対応して、これらの情報を認識する。

　コンバータ/セレクタ２０７は、非圧縮データバッファ２０６で得られた広視野角画像の動画像データＶＤにパノラマ展開の画像処理を施して、パノラマ画像を得る。このパノラマ展開の画像処理は、制御部２０１からの広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報などに基づいて行われる。

　また、コンバータ/セレクタ２０７は、コマンドのタイプが“０ｘ０２”であって受信機側でターゲットの選択表示が可能な場合（図１４、図１９参照）、制御部２０１からの表示領域として選択可能な各ターゲット領域のターゲットＩＤの情報に基づいて、デフォルトターゲットおよびオプションターゲットの各領域の画像内容を示すサムネイルのデータを生成し、それらのサムネイルのデータを制御部２０１に送る。

　制御部２０１は、コマンドのタイプが“０ｘ０２”であって受信機側でターゲットの選択表示が可能な場合、コンバータ/セレクタ２０７から送られてくるサムネイルデータに基づいて、各領域の画像内容を示すサムネイルをターゲットＩＤと関連づけて表示するためのＵＩ表示信号を生成する。

　図２２は、ＵＩ画面の一例を示している。この例は、図７のターゲットポイント（ＴＰ）の設定例に対応し、かつ図１４のコマンドの設定例に対応している。図１４のコマンドの設定例では、ターゲットＩＤ＝“３”のターゲット領域はデフォルの表示領域として登録され、ＩＤ＝“１”、“２”、“４”、“０”のターゲット領域はオプション領域として登録されており、これらのターゲット領域が表示選択可能としてＵＩ画面に表示される。ユーザは、このＵＩ画面に基づいて、ユーザ操作部２０１ａからターゲット領域の選択変更の操作を行うことができる。なお、図２２において、選択されていることを示す枠は、最初はデフォルトのターゲット領域を示すが、ユーザ操作による選択変更によって、この枠は選択変更されたターゲット領域を示すように移動する。

　一方、ＩＤ＝“５”、“６”、“７”のターゲット領域はデフォルト領域およびオプション領域のいずれにも登録されていないので、これらのターゲット領域は表示選択可能としてＵＩ画面に表示されない。

　制御部２０１は、ターゲットＩＤの指定情報をコンバータ/セレクタ２０７に送る。ここで、コマンドのタイプが“０ｘ０１”であって、必須表示のターゲット領域が指定されているときは、そのターゲットＩＤの情報をコンバータ/セレクタ２０７に送る。一方、コマンドのタイプが“０ｘ０２”であって受信機側でターゲット領域の選択表示が可能なとき、選択されたターゲット領域（最初はデフォルトのターゲット領域）のターゲットＩＤの情報をコンバータ/セレクタ２０７に送る。

　コンバータ/セレクタ２０７は、制御部２０１から送られてくるターゲットＩＤ情報に応じたターゲット領域の表示用画像データを生成する。例えば、指定されたターゲットＩＤが“０”である場合には、広視野角画像の画像データに必要に応じて画素位置の変換や解像度変換などの処理を行って広視野角画像を表示するための表示用画像データを生成する。また、例えば、指定されたターゲットＩＤが“０”以外である場合には、広視野角画像からの変換により得られるパノラマ画像を経て、ターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データを選択的に取り出して表示用画像データを生成する。

　合成部２０８は、コンバータ/セレクタ２０７で生成された表示用ビデオ信号および制御部２０１で発生されるＵＩ表示信号を合成して、表示部２０９に送る。表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０９は、受信装置２００に接続される外部機器であってもよい。

　表示部２０９は、制御部２０１でＵＩ表示信号を発生していない状態では、コンバータ/セレクタ２０７で生成された表示用ビデオ信号による画像を表示する。また、表示部２０９は、制御部２０１でＵＩ表示信号を発生している状態では、ＵＩ表示信号によるＵＩ画面を表示するか、あるいは表示用ビデオ信号による画像をＵＩ表示信号によるＵＩ画面が重畳された状態で表示する。

　なお、コンバータ/セレクタ２０７でパノラマ画像からターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データが選択的に取り出され、表示部２０９にその一部領域の画像が表示されている状態で、ユーザ操作部２０１ａからの操作で表示画像を上下左右にスクロールすることが可能とされる。この場合、コンバータ/セレクタ２０７は、パノラマ画像からの取り出し領域を、ユーザ操作に応じて順次変更していく。

　図２１に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ＴＳ解析部２０３に供給される。ＴＳ解析部２０３では、トランスポートストリームＴＳから、それに含まれる広視野角画像の動画像データＶＤに係るビデオストリームが取り出され、圧縮データバッファ２０４に送られる。

　ビデオデコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出されてデコードされる。デコードされて得られた各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。そして、この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、広視野角画像の動画像データＶＤが得られ、コンバータ/セレクタ２０７に送られる。

　また、ビデオデコーダ２０５では、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。この抽出情報には、ターゲット・ポイント・インディケーション・ＳＥＩメッセージやターゲット・セレクション・コマンド・ＳＥＩメッセージも含まれる。制御部２０１では、全てのアクセスユニットに、あるいはＧＯＰの先頭のアクセスユニットに対応して、広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報、さらには受信側におけるターゲットポイントの選択を制御するコマンドの情報が認識される。

　コンバータ/セレクタ２０７では、広視野角画像の動画像データＶＤにパノラマ展開の画像処理が施されて、パノラマ画像が得られる。

　また、コンバータ/セレクタ２０７では、コマンドのタイプが“０ｘ０２”であって受信機側でターゲットの選択表示が可能な場合（図１４、図１９参照）、制御部２０１からの表示領域として選択可能な各ターゲット領域のターゲットＩＤの情報に基づいて、デフォルトターゲットおよびオプションターゲットの各領域の画像内容を示すサムネイルのデータが生成され、それらのサムネイルのデータが制御部２０１に送られる。

　制御部２０１では、コマンドのタイプが“０ｘ０２”であって受信機側でターゲットの選択表示が可能な場合、コンバータ/セレクタ２０７から送られてくるサムネイルデータに基づいて、各領域の画像内容を示すサムネイルをターゲットＩＤと関連づけて表示するためのＵＩ表示信号が生成される。このＵＩ表示信号は、合成部２０８を介して、表示部２０９に供給される。これにより、表示部２０９に、ＵＩ画面（図２２参照）が表示される。ユーザは、このＵＩ画面に基づいて、ユーザ操作部２０１ａからターゲットＩＤを指定することで、表示領域とするターゲット領域の選択変更を行うことができる。

　制御部２０１からコンバータ/セレクタ２０７にターゲットＩＤの指定情報が送られる。この場合、コマンドのタイプが“０ｘ０１”であって、必須表示のターゲット領域が指定されているときは、そのターゲットＩＤの情報がコンバータ/セレクタ２０７に送られる。一方、コマンドのタイプが“０ｘ０２”であって受信機側でターゲット領域の選択表示が可能なとき、選択されたターゲット領域（最初はデフォルトのターゲット領域）のターゲットＩＤの情報がコンバータ/セレクタ２０７に送られる。

　コンバータ/セレクタ２０７では、制御部２０１から送られてくるターゲットＩＤの情報に応じたターゲット領域の表示用画像データが生成される。例えば、ターゲットＩＤが“０”である場合には、広視野角画像の画像データに必要に応じて画素位置の変換や解像度変換などの処理を行って広視野角画像を表示するための表示用画像データが生成される。また、例えば、ターゲットＩＤが“０”以外である場合には、パノラマ画像から、ターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データが選択的に取り出されて表示用画像データが生成される。

　コンバータ/セレクタ２０７で生成された表示用画像データは、合成部２０８を介して、表示部２０９に供給される。これにより、表示部２０９には、その表示用画像データによる画像（広視野角画像、広視野角画像のうちのターゲットポイントに対応した一部領域の画像）が表示される。なお、この画像表示状態で、コマンドのタイプが“０ｘ０２”であって受信機側でターゲット領域の選択表示が可能なとき、表示部２０９にＵＩ画面（図２２参照）を表示し、このＵＩ画面に基づいてユーザ操作部２０１ａからターゲットＩＤの変更指定をすることで、表示画像の変更が行われる。

　なお、広視野角画像のうちのターゲットポイントに対応した一部領域の画像が表示されている状態で、ユーザ操作部２０１ａからの操作で表示画像は上下左右にスクロールされる。この場合、コンバータ/セレクタ２０７では、パノラマ画像からの取り出し領域が、ユーザ操作に応じて順次変更されていく。

　以上説明したように、図１に示す送受信システム１０において、送信装置１００は、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内の表示領域を制御するコマンドの情報を挿入して送信するものである。そのため、受信側における広視野角画像内の表示領域を送信側で制御することが可能となる。

　また、図１に示す送受信システム１０において、受信装置２００は、コマンドのタイプが“０ｘ０２”であって受信機側でターゲット領域の選択表示が可能なとき、ユーザが表示領域とすべきターゲット領域を選択する際に、選択可能な各ターゲット領域の画像のサムネイルをターゲットＩＤと関連づけたＵＩ画面を表示する。そのため、ユーザは、表示領域の選択変更を容易に行い得る。

　＜２．変形例＞
　なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＩＳＯＢＭＦＦ（あるいはＭＰ４）やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＩＳＯＢＭＦＦ（あるいはＭＰ４）などの種々のフォーマットのコンテナが該当する。

　また、本技術は、以下のような構成を取ることもできる。
　（１）広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記広視野角画像内の表示領域を制御するコマンドの情報を上記ビデオストリームに挿入する情報挿入部を備える
　送信装置。
　（２）上記コマンドは、上記広視野角画像内の特定領域を表示領域として指定するものである
　前記（１）に記載の送信装置。
　（３）上記コマンドは、上記広視野角画像内の複数の領域を表示領域の選択候補として提示するものである
　前記（１）に記載の送信装置。
　（４）　上記広視野角画像内の複数の領域のうちの１つの領域はデフォルトの表示領域として指定される
　前記（３）に記載の送信装置。
　（５）上記情報挿入部は、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームにさらに挿入し、
　上記コマンドは、上記表示領域を決める上記ターゲットポイントの選択を制御する
　前記（１）から（４）のいずれかに記載の送信装置。
　（６）上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
　前記（５）に記載の送信装置。
　（７）上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの２次元相対位置の情報を含む
　前記（５）に記載の送信装置。
　（８）上記情報挿入部は、上記コマンドの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する
　前記（１）から（７）のいずれかに記載の送信装置。
　（９）送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
　情報挿入部が、上記広視野角画像内の表示領域を制御するコマンドの情報を上記ビデオストリームに挿入する情報挿入ステップを有する
　送信方法。
　（１０）広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記ビデオストリームには、上記広視野角画像内の表示領域を制御するコマンドの情報が挿入されており、
　上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記コマンドの情報に基づいて処理して表示用画像データを得る処理部をさらに備える
　受信装置。
　（１１）上記コマンドは、上記広視野角画像内の複数の領域を表示領域の選択候補として提示するものであり、
　上記複数の領域から任意の領域を選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
　上記処理部は、上記ユーザインタフェース画面に基づいて選択された領域の表示用画像データを得る
　前記（１０）に記載の受信装置。
　（１２）受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
　上記ビデオストリームには、上記広視野角画像内の表示領域を制御するコマンドの情報が挿入されており、
　処理部が、上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記コマンドの情報に基づいて処理して表示用画像データを得る処理ステップをさらに有する
　受信方法。

　本技術の主な特徴は、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内の表示領域を制御するコマンドの情報を挿入して送信することで、受信側における広視野角画像内の表示領域を送信側で制御することを可能としたことである（図１３、図１４、図１５参照）。

　１０・・・送受信システム
　１００・・・送信装置
　１０１・・・制御部
　１０１ａ・・・ユーザ操作部
　１０１ｂ・・・表示部
　１０２・・・広視野角カメラ
　１０３・・・非圧縮データバッファ
　１０４・・・ビデオエンコーダ
　１０５・・・圧縮データバッファ
　１０６・・・ＴＳフォーマッタ
　１０７・・・送信部
　２００・・・受信装置
　２０１・・・制御部
　２０１ａ・・・ユーザ操作部
　２０２・・・受信部
　２０３・・・ＴＳ解析部
　２０４・・・圧縮データバッファ
　２０５・・・ビデオデコーダ
　２０６・・・非圧縮データバッファ
　２０７・・・コンバータ/セレクタ
　２０８・・・合成部
　２０９・・・表示部

Claims (12)

1. 　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
   　上記広視野角画像内の表示領域を制御するコマンドの情報を上記ビデオストリームに挿入する情報挿入部を備える
   　送信装置。
2. 　上記コマンドは、上記広視野角画像内の特定領域を表示領域として指定するものである
   　請求項１に記載の送信装置。
3. 　上記コマンドは、上記広視野角画像内の複数の領域を表示領域の選択候補として提示するものである
   　請求項１に記載の送信装置。
4. 　上記広視野角画像内の複数の領域のうちの１つの領域はデフォルトの表示領域として指定される
   　請求項３に記載の送信装置。
5. 　上記情報挿入部は、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームにさらに挿入し、
   　上記コマンドは、上記表示領域を決める上記ターゲットポイントの選択を制御する
   　請求項１に記載の送信装置。
6. 　上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
   　請求項５に記載の送信装置。
7. 　上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの２次元相対位置の情報を含む
   　請求項５に記載の送信装置。
8. 　上記情報挿入部は、上記コマンドの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する
   　請求項１に記載の送信装置。
9. 　送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
   　情報挿入部が、上記広視野角画像内の表示領域を制御するコマンドの情報を上記ビデオストリームに挿入する情報挿入ステップを有する
   　送信方法。
10. 　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    　上記ビデオストリームには、上記広視野角画像内の表示領域を制御するコマンドの情報が挿入されており、
    　上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記コマンドの情報に基づいて処理して表示用画像データを得る処理部をさらに備える
    　受信装置。
11. 　上記コマンドは、上記広視野角画像内の複数の領域を表示領域の選択候補として提示するものであり、
    　上記複数の領域から任意の領域を選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
    　上記処理部は、上記ユーザインタフェース画面に基づいて選択された領域の表示用画像データを得る
    　請求項１０に記載の受信装置。
12. 　受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    　上記ビデオストリームには、上記広視野角画像内の表示領域を制御するコマンドの情報が挿入されており、
    　処理部が、上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記コマンドの情報に基づいて処理して表示用画像データを得る処理ステップをさらに有する
    　受信方法。

Images