JP5029062B2

JP5029062B2 - 多視点動画像伝送システム

Info

Publication number: JP5029062B2
Application number: JP2007044937A
Authority: JP
Inventors: 君彦数井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2007-02-26
Filing date: 2007-02-26
Publication date: 2012-09-19
Anticipated expiration: 2027-02-26
Also published as: JP2008211417A

Description

本発明は、複数のカメラを配置して、被写体を異なる視点で撮像した多視点動画像を、視聴者の表示装置側からの要求に従った視点の動画像を再生表示可能とするように、圧縮符号化して伝送する多視点動画像伝送システムに関する。

一般にカメラで撮像した静止画像に比較して動画像の情報量は非常に大きいものであるから、メディア蓄積やネットワーク伝送をそのままで行うことはコスト的に問題がある。その為に、動画像を可逆若しくは非可逆方式で圧縮符号化する技術開発並びに標準化が行われている。その代表例が、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）で標準化されたＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，ＡＶＣ／Ｈ．２６４である。これらの標準化された圧縮符号化手段では、フレーム間動き予測符号化を採用している。このフレーム間動き予測符号化は、フレーム間で相関度が高い部分を検索し、両者の位置差分（動きベクトル）及び両者の画素値差分（予測誤差）を符号化するものである。一般に動画像ではフレーム間の相関度が高いため、画素差分値が元の画素値と比較して小さくなり、高い圧縮効率が実現できる。

このような圧縮符号化手段は、単一のカメラにより撮像した動画像を対象にしたものであるが、各種の関連技術の発達により、被写体を複数のカメラを使用して撮影する多視点動画像が近年注目を集めている。表示装置を備えた視聴者は、多視点動画像を表示することにより、被写体を三次元的に捉えることができる。例えば、図６に示すように、被写体に対してそれぞれ異なる方向から撮像できるように、複数のカメラ０〜１１を配置し、時刻Ｔに於いてはカメラ０の撮像動画像を選択し、時計方向に順次カメラを切り替えて、時刻Ｔ＋Δに於いてはカメラ３の撮像動画像を選択し、選択したカメラの撮像動画像を表示装置に表示することにより、被写体の動きを多方向から観測することができる。

このような多視点動画像の情報量は、単純計算では、１台のカメラによる動画像情報量のカメラ台数倍となり、１台のカメラによる動画像の場合より、更なる圧縮符号化が必要となる。なお、多視点動画像は、各カメラが或る程度隣接して配置されている場合が多いから、隣接したカメラの動画像間の相関度が高くなる。従って、単に各カメラによる動画像を個別にフレーム間予測符号化するよりも、各カメラの対応フレームについても予測符号化を適用することで、更に圧縮率は向上する。そこで、ＭＰＥＧ及びＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｔａｎｄａｒｄｉｚａｔｉｏｎｓｅｃｔｏｒ）ＳＧ１６（ＳｔｕｄｙＧｒｏｕｐ１６）の共同プロジェクトであるＪＶＴ（ＪｏｉｎｔＶｉｄｅｏＴｅａｍ）では、多視点動画像の符号化方式であるＭＶＣ（Ｍｕｌｔｉ−ＶｉｅｗＣｏｄｉｎｇ）の標準化作業を進めている。

又多視点動画像の適用例として、例えば、スポーツ競技場に複数のカメラを、間隔をおいて配置し、それらのカメラにより撮像した多視点動画像を、ＭＶＣ方式により圧縮符号化し、その圧縮符号化動画像をＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）ネットワークにより伝送し、視聴者側では、圧縮符号化動画像を受信して復号し、視点を選択的に変化させたような動画像を表示することが可能となる。又多視点動画像を基に所望の視点の画像を再生する為に、被写体の表面上の複数点の座標値と輝度値とを含むモデル情報と、このモデル情報を基に予測生成した各視点の予測誤差情報とをメモリ上に展開し、それらの情報を選択して、所望の視点の画像を復号再生する手段が提案されている（例えば、特許文献１参照）。

又複数の同一視野角又はそれぞれ異なる視野角のカメラを配置して被写体を撮像した多視点動画像をメモリに記憶又は配信し、ユーザ選択による視点切り替えと予め設定した順序による切り替えとを選択可能とし、選択した視点の動画像を伝送する多視点動画像の処理手段も提案されている（例えば、特許文献２参照）。又多視点動画像の伝送手段に於いて、異なる視点の動画像の中間視点の動画像については、一方の視点の動画像に対する視差と、その視差を利用して他方の動画像に於ける予測誤差を求めて、一方の視点の動画像と、視差と、予測誤差とを基に、所望の視点の動画像を復号再生可能とする手段も提案されている（例えば、特許文献３参照）。又設定した視点位置と方向との情報を基に、複数のカメラの撮像画像内の対応する画素を選択抽出して合成する多視点動画像の処理手段も提案されている（例えば、特許文献４参照）。
特開２０００−２８５２５９号公報特開２００１−３７５２２３号公報特開２００４−４８７２５号公報特開２００５−５００３７号公報

複数のカメラでそれぞれ異なる視点から被写体を撮像した多視点動画像を圧縮符号化して、ネットワークを介して視聴者側に伝送すると共に、視聴者の要望による視点変更に対応した動画像を、視聴者の表示装置に表示する場合、常に全視点の動画像を圧縮符号化して伝送し、視聴者側で選択して復号再生表示することが考えられる。しかし、視点数（カメラ数）が多数の場合、例えば、１００視点の場合には、視点対応の圧縮符号化処理負担と、ネットワークの視点対応の圧縮符号化動画像情報の伝送処理負担とが非常に大きくなるから現実的ではない。そこで、視聴者側からの要望に従った視点の動画像のみを圧縮符号化して伝送することが考えられる。その場合、視聴者側の視点変更の要望に対応した視点対応の動画像を選択し、圧縮符号化して送出することになる。このような動画像の選択と、その選択した動画像について圧縮符号化するので、それに要する時間に従って、視聴者側の表示装置に所望の視点の動画像が表示されるまでの時間遅れが生じる問題がある。

又多視点動画像は、時間方向のみならず、視点変更方向にもフレーム間予測に起因する依存性を含むように圧縮符号化することにより、多視点動画像の圧縮符号化効率を向上することができるが、実際に表示しない視点の動画像も必要とし、又視点移動により移動先と移動前との視点の動画像のフレーム間予測による復号化処理を行って動画像を受信表示することになるから、視点移動毎に視点対応の動画像フレームの切替えが必要となり、その為に、画像表示が一時的に中断し、円滑な視点移動による動画像の再生表示ができない問題がある。このような多視点動画像の圧縮符号化処理及び復号化処理に於ける問題点について、前述の従来例の特許文献１〜４には、なんら開示されていなかった。

本発明は、前述の問題点を解決するもので、ネットワークの伝送効率を低下することなく、且つ視点の連続的な移動要求の場合でも、円滑な視点移動に伴う動画像表示を可能とすることを目的とする。

本発明の多視点動画像伝送システムは、被写体に対して異なる位置に配置した複数のカメラにより撮像された動画像を視点毎に圧縮符号化して送出する多視点動画像伝送装置と、該多視点動画像伝送装置とネットワークを介して接続され、要求視点の動画像を受信し、復号して表示する多視点動画像再生装置とを含む多視点動画像伝送システムであって、多視点動画像伝送装置は、複数のカメラで同時刻に撮像された動画撮像信号を時間方向及び視点移動方向を参照して予測符号化する多視点動画像符号化部と、多視点動画像再生装置からの要求視点の動画像復号に必要な複数視点の圧縮符号化された動画像及び要求視点移動方向に対応して将来視点の圧縮符号化動画像と、その圧縮符号化動画像の参照する他視点（他の視点）の圧縮符号化動画像とを選択して送出する多視点動画像伝送部とを含む構成を備えている。

又前記多視点動画像伝送装置の多視点動画像符号化部は、フレーム内符号化モードと、時間方向のフレーム間予測符号化モードと、このフレーム間予測符号化と隣接カメラの同一時刻のフレーム間予測符号化とを含むフレーム間予測符号化モードとを選択して動画像圧縮符号化を行う手段を備えている。

又前記多視点動画像伝送装置の多視点動画像伝送部は、多視点動画像再生装置からの視点移動要求に従って、多視点動画像再生装置に於いて連続的に復号再生表示させる為の複数カメラ対応の圧縮符号化動画像を選択して送信する構成を備えている。

又被写体に対して異なる位置に配置した複数のカメラによる動画像を圧縮符号化して送出する多視点動画像伝送装置と、この多視点動画像伝送装置とネットワークを介して接続され、要求視点の動画像を表示する多視点動画像再生装置とを含む多視点動画像伝送システムであって、前記多視点動画像再生装置は、多視点動画像伝送装置からネットワークを介して受信した圧縮符号化動画像を受信処理する多視点動画像取得部と、圧縮符号化動画像を復号する多視点動画像復号部と、この多視点動画像復号部により復号された動画像を表示する動画像表示部と、多視点動画像伝送装置に対して視点及び視点移動方向の要求情報を送出すると共に、その視点及び視点移動方向の要求情報に従って、多視点動画像復号部に復号再生表示の為の圧縮符号化動画像の復号処理を指示する視聴視点制御部とを含む構成を備えている。

又多視点動画像再生装置の前記多視点動画像復号部は、視聴視点制御部からの視点移動要求に従った制御により、多視点動画像伝送装置からネットワークを介して受信した複数のカメラ対応の圧縮符号化動画像を視点移動方向に従って選択して、復号再生する構成を備えている。

被写体を複数のカメラで撮像した多視点動画像を時間方向のフレーム間相関と隣接カメラ間のフレーム間相関とを利用して多視点動画像を圧縮符号化し、視聴者側の視点移動の要求に対して、移動先の視点、即ち、将来視点対応の圧縮符号化動画像も選択して多視点動画像伝送装置から多視点動画像再生装置に伝送することにより、多視点動画像再生装置の動画像表示部に、現視点から将来視点に向って連続的に視点が移動する動画像を復号再生表示することが可能であり、又多視点動画像伝送装置からは、多視点動画像再生装置で復号再生に必要とする圧縮符号化動画像を選択的に送出するから、全カメラ対応の圧縮符号化動画像を送出する場合に比較して、ネットワークの伝送効率を特に低下させることもなく、且つ動画像表示装置には、円滑な視点移動に従った動画像を表示することが可能となる。

本発明の多視点動画像伝送システムは、図１を参照して説明すると、被写体に対して異なる位置に配置した複数のカメラによる動画像を圧縮符号化して送出する多視点動画像伝送装置１０と、この多視点動画像伝送装置１０とネットワーク２０を介して接続され、要求視点の動画像を表示する多視点動画像再生装置３０とを含む多視点動画像伝送システムであって、多視点動画像伝送装置１０は、複数のカメラの撮像信号を時間方向及び視点移動方向に予測符号化する多視点動画像符号化部１２と、多視点動画像再生装置３０からの要求視点又は要求視点移動方向に対応して、復号に必要な現視点の圧縮符号化動画像と隣接する視点の圧縮符号化動画像とを選択して送出する多視点動画像伝送部１３とを含み、多視点動画像再生装置３０は、圧縮符号化動画像を復号する多視点動画像復号部３２と、復号した動画像を表示する動画像表示部３３と、視点移動等の要求に従って視点動画像復号部３２の復号処理を指示する視聴視点制御部３４とを含む構成を備えている。

本発明の実施例１の説明図であり、１０は多視点動画像伝送装置、１１はカメラ、１２は多視点動画像符号化部、１３は多視点動画像伝送部、２０はネットワーク、３０は多視点動画像再生装置、３１は多視点動画像取得部、３２は多視点動画像復号部、３３は動画像表示部、３４は視聴視点制御部を示す。多視点動画像伝送装置１０は、１〜Ｎ台のそれぞれ所定の間隔で配置して被写体を撮像するカメラ１１を備え、それぞれのカメラ１１により撮像した動画像信号を多視点動画像符号化部１２に入力し、時間方向及び視点方向とのフレーム相関を用いて多視点画像の圧縮符号化を行い、多視点動画像伝送部１３からネットワーク２０を介して、多視点動画像再生装置３０に、要求視点対応の動画像を復号再生表示可能とした圧縮符号化多視点動画像を伝送する。

多視点動画像再生装置３０は、多視点動画像取得部３１によりネットワーク２０を介した圧縮符号化多視点動画像を受信し、多視点動画像復号部３２により復号化し、動画像表示部３３に動画像を表示する。又視聴視点制御部３４から視聴者が要望する視点又は視点移動方向の情報を入力して、ネットワーク２０を介して多視点動画像伝送装置１０側へ通知する。多視点動画像伝送装置１０は、多視点動画像伝送部１３により多視点動画像再生装置３０からの要求視点の圧縮符号化動画像又はその圧縮符号化動画像と視点移動方向に関連した隣接カメラ対応の圧縮符号化動画像とを選択して、ネットワーク２０を介して視点動画像再生装置３０へ送出する。

又多視点動画像伝送装置１０に於いて、視聴視点制御部３４からの視点移動の要求が、連続的な視点移動であることを確認又は推測できた時は、多視点動画像符号化部１２によるカメラ１１対応の圧縮符号化動画像情報を、視点移動方向及び視点移動速度に従って、復号再生に必要な隣接カメラ対応の圧縮符号化動画も順次選択して、多視点動画像伝送部１３から送出する。それにより、多視点動画像再生装置３０の多視点動画像復号部３２は、視点移動に従った動画像を、隣接カメラのフレーム間相関を含めて復号化し、動画像表示部３３に表示することができる。

図２は、多視点動画像の符号化伝送データの概要説明図であり、１０１はＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）パラメータを示し、カメラ番号、独立復号可能フラグ、参照カメラ番号、ＧＯＰ先頭時刻、ＧＯＰ時間等を含むものである。なお、独立復号可能フラグは、カメラ間の予測符号化を行っていない場合に立てるフラグであり、又参照カメラ番号は、独立復号可能フラグが立っていない場合、即ち、カメラ間の予測符号化を行っている場合のカメラ番号を示す。又１０２は、フレームの符号化データを示し、例えば、フレーム０〜フレーム（Ｎ−１）の符号化データの先頭にＧＯＰパラメータを付加し、次のフレームＮ，Ｎ＋１，・・・の先頭にもＧＯＰパラメータを付加する。

前述の図１に於ける多視点動画像伝送装置１０の多視点動画符号化部１２は、複数のカメラの動画像を入力して圧縮符号化するものであり、その多視点動画像の圧縮符号化に於いて、他のフレームを参照することなく復号可能とするフレーム内で符号化するイントラ符号化をＡ、同一カメラによる未来と過去とのフレームを参照フレームとして符号化する時間方向予測符号化をＢ、同一時刻の他のカメラのフレームと同一カメラの未来及び過去のフレームを参照フレームとして符号化するカメラ方向予測符号化をＣとすると、各フレームの符号化モードＡ，Ｂ，Ｃは、例えば、図３に示すように固定的又は時間経過に従って変更可能のものである。なお、図３に於ける横軸はカメラ番号０〜１１、縦軸はフレーム番号０，１，２，・・・Ｎ，Ｎ＋１，・・を示し、各符号化モードＡ，Ｂ，Ｃについての矢印は、符号化時の参照方向を示す。例えば、カメラ１の（Ｎ−１）番目のフレームは符号化モードがＣであるから、このフレームを復号する場合には、少なくとも、カメラ１の前フレームと、カメラ０，２のフレームとを必要とする。又符号化モードＣのフレームの復号化は、その前のフレームも符号化モードがＣであれば、更にその前のフレームも必要とすることになる。

図４は、視点操作の概要説明図であり、２００は動画像表示部３３（図１参照）に表示された全体表示画像、２０１は現在視点の再生動画像、２０２は視点移動方向制御用のボタン、２０３はマウスにより制御されるカーソルを示す。又ボタン２０２とカーソル２０３とを、表示画面上に表示した場合を示す。この視点移動方向制御用のボタン２０２は、左側が時計回りの視点移動、中央はカメラ（例えば、図６に於けるカメラ０）の視点、右側は反時計周りの視点移動をそれぞれ要求する時に操作するものであり、視点移動用のボタンを押す操作の繰り返し、又は所定時間以上継続して押す操作により、視点を指定した方向に連続的に移動させる視点移動要求とすることができる。又視点連続移動中に中央のボタンを押すことにより、視点を所望の位置に固定して動画像を表示する為の視点移動停止要求とすることができる。

更に、所望の視点で停止して復号再生した動画像表示中に、再度中央のボタンを押すことにより、被写体を正面から見る基準位置のカメラ（例えば、図６に於けるカメラ０）の視点を要求することができる。又ボタン２０２を繰り返し押す操作間隔或いは押す時間長に対応して、視点移動速度を含む視点に関する要求情報とすることも可能である。このボタン２０２の操作は、例えば、マウスのシングルクリックとダブルクリックとにより、異なる操作入力であることを識別する技術が周知であるから、このような技術をボタン２０２の操作にも適用可能である。又視点移動に関する情報は、ボタン操作による情報のみを多視点動画像伝送装置１０に送出し、多視点動画像伝送部１３に於いて判定処理することができる。又前述のようなボタン２０２の操作内容を、視聴視点制御部３４により判断して、視点移動方向等を含む視点の要求情報を形成し、多視点画像伝送装置１０に送出することもできる。なお、ボタン２０２は、キーボードや他の機械的に操作するボタンスイッチとすることもできる。又複数のカメラが等間隔に配置されている場合は、視点移動要求に従って同一時間間隔で視点対応のカメラの撮像動画像の切り替えを行うことになるが、それぞれ異なる間隔で配置されている場合は、配置間隔の情報を含めて、視点が連続的に切り替えられるように、間隔の長短に対応して選択切り替え速度を変更し、動画像表示部３３に、視点が同一速度で切り替えられる状態の動画像を表示することができる。

このようなボタン２０２とカーソル２０３とによる視点移動の要求情報は、多視点動画像取得部３１からネットワーク２０を介して多視点動画像伝送装置１０の多視点動画像伝送部１３に通知される。又多視点動画像伝送部１３は、多視点動画像再生装置３０からの視点移動要求情報が、前述のボタン２０２の所定時間間隔の繰り返し押下を示す時に、指定方向に視点連続移動と判定し、現視点の次の視点の圧縮符号化動画像を予め選択する処理を行うことができる。又視点移動方向に従って予め選択した次の視点の圧縮符号化動画像を、復号再生タイミング情報を付加して送信し、多視点動画像再生装置３０の多視点動画像復号部３２に於いて、復号再生タイミング情報に従って復号再生し、視点移動に従った動画像の円滑表示を可能とすることもできる。前述の多視点動画像再生装置３０から多視点動画像伝送装置１０に対する指定視点又は視点移動方向等の要求情報は、既に知られている各種のフォーマットを適用し、又既に知られている情報伝送手段を適用することができる。

又多視点動画像伝送装置１０の多視点動画像伝送部１３に於いて、多視点動画像再生装置３０側からネットワーク２０を介して通知されたボタン２０２の左側、中央、右側等の操作情報を受信するシステム構成の場合、時刻Δ後の視点を以下のように推測する。即ち、多視点動画像伝送部１３は、時刻ｔに於いて表示すべきカメラを特定する。
１）時計回り方向の視点移動用ボタン押下時：
Ｖ（Ｔ＋Δ）＝ｍｏｄ（（Ｖ（Ｔ）＋ｎΔ），１２）
２）反時計回り方向の視点移動用ボタン押下時：
Ｖ（Ｔ＋Δ）＝（Ｖ（Ｔ）−ｎΔ）（Ｖ（Ｔ）≧ｎΔの場合）
Ｖ（Ｔ＋Δ）＝（Ｖ（Ｔ）＋１２−ｎΔ）（上記以外の場合）
ここでＶ（ｔ）は時刻ｔに於けるカメラ位置（例えば、図６に於けるカメラ０〜１１の位置）、ｎはスケーリングファクタである。なお、多視点動画像再生装置３０の視聴視点制御部３４に於いても同様な処理を行うものである。従って、この処理を高速化できれば、処理結果を多視点動画像伝送部１３に視点移動の要求情報とすることができる。

図５は、視点移動時の多視点動画像の伝送の説明図であり、例えば、図６に示す被写体に対するカメラ配置構成の場合のカメラ番号０〜１１と、依存するカメラ番号（カメラ方向予測符号化を行う場合のカメラ番号）と、時計方向に視点移動を要求した場合の一点鎖線で示す視点軌跡と、この視点軌跡に対応するＧＯＰの伝送タイミングとを示し、スケーリングファクタｎが、１２／（３＊ＧＯＰ＿ＳＩＺＥ）の場合を示す。なお、ＧＯＰ＿ＳＩＺＥはＧＯＰ間隔を示す。例えば、カメラ番号５対応の視点の動画像を表示する場合の時刻は［Ｂ，Ｃ］であり、この時間帯のフレームを正常に再生するには、時刻［Ｂ，Ｃ］を含むＧＯＰの先頭から、即ち、時刻［Ａ，Ｂ］の符号化フレームも必要である。

更に、カメラ番号５の符号化動画像は、カメラ番号４及び６の撮像動画像のフレーム間相関を利用しているから、結果として、カメラ番号４及び６の符号化動画像の時刻［Ａ，Ｃ］の符号化フレームも復号再生時に必要となる。この為、多視点動画像伝送部１３（図１参照）は、時刻Ａに於いて、カメラ番号４，５，６の符号化フレームの伝送を開始する。同様に、カメラ番号７の符号化動画像は、カメラ番号６，８の撮像動画像のフレーム間相関を利用しているから、カメラ番号６，８の符号化動画像を復号再生時に必要であり、従って、視点の移動がカメラ番号７の位置となった時、ＧＯＰ間隔に応じて時刻Ａに於いて伝送を開始する状態となる場合を示す。又多視点動画像復号部３２は、受信したカメラ番号対応の符号化フレームを、視聴視点制御部３４からの視点移動要求内容に従って順次復号再生して、動画像表示部３３に於いて表示させる。それにより、例えば、時刻Ｂに於いてはカメラ番号５の時刻Ｂの復号に必要な全参照フレームが復号済みになるから、動画像表示部３３に時刻Ｂに於けるカメラ番号５の視点による動画像を表示することができる。このようにして、視点を連続に移動した場合にも、移動方向に従って順次ＧＯＰを選択的に伝送することにより、視聴者側の動画像表示部３３に、連続視点移動に伴う滑らかな動画像再生表示が可能になる。

又複数のカメラを、被写体の周辺のほぼ水平面上に配置した場合を示すが、垂直方向にも配置して、三次元方向の多視点動画像が得られるように構成することができる。この場合も、それぞれ隣接配置したカメラ間のフレーム相関を利用して圧縮符号化動画像を形成し、多視点動画像再生装置からの視点移動要求に従って、復号再生表示が連続的視点移動に伴う表示動画像となるように選択して、ネットワーク２０を介して送出することができる。従って、視点移動は、水平面に沿った移動のみでなく、垂直方向への視点移動の要求の場合にも対応可能となる。

本発明の実施例１の説明図である。多視点動画像の符号化伝送データの概要説明図である。フレームの符号化モードの説明図である。視点操作の概要説明図である。視点移動による多視点動画像伝送説明図である。多視点動画像撮像システムの概要説明図である。

符号の説明

１０多視点動画像伝送装置
１１カメラ
１２多視点動画像符号化部
１３多視点動画像伝送部
２０ネットワーク
３０多視点動画像再生装置
３１多視点動画像取得部
３２多視点動画像復号部
３３動画像表示部
３４視聴視点制御部

Claims

被写体に対して異なる位置に配置した複数のカメラにより撮像された動画像を視点毎に圧縮符号化して送出する多視点動画像伝送装置と、該多視点動画像伝送装置とネットワークを介して接続され、要求視点の動画像を受信し、復号して表示する多視点動画像再生装置とを含む多視点動画像伝送システムに於いて、
前記多視点動画像伝送装置は、前記複数のカメラで同時刻に撮像された動画撮像信号を時間方向及び視点移動方向を参照して予測符号化する多視点動画像符号化部と、
前記多視点動画像再生装置からの要求視点の動画像復号に必要な複数視点の圧縮符号化された動画像及び要求視点移動方向に対応して将来視点の圧縮符号化動画像と、その圧縮符号化動画像の参照する他視点の圧縮符号化動画像とを選択して送出する多視点動画像伝送部と
を備えたことを特徴とする多視点動画像伝送システム。
前記多視点動画像伝送装置の前記多視点動画像符号化部は、フレーム内符号化モードと、時間方向のフレーム間予測符号化モードと、該フレーム間予測符号化と隣接カメラの同一時刻のフレーム間予測符号化とを含むフレーム間予測符号化モードとを選択して動画像圧縮符号化を行う手段を備えたことを特徴とする請求項１記載の多視点動画像伝送システム。
前記多視点動画像伝送装置の前記多視点動画像伝送部は、前記多視点動画像再生装置からの視点移動要求に従って、該多視点動画像再生装置に於いて連続的に復号再生表示させる為の前記要求視点の圧縮符号化動画像と前記要求視点の圧縮符号化動画像の符号化時に参照した他視点の圧縮符号化動画像を選択して送信する構成を備えたことを特徴とする請求項１記載の多視点動画像伝送システム。
前記多視点動画像再生装置は、前記多視点動画像伝送装置から前記ネットワークを介して受信した圧縮符号化動画像を受信処理する多視点動画像取得部と、前記圧縮符号化動画像を復号する多視点動画像復号部と、該多視点動画像復号部により復号された動画像を表示する動画像表示部と、前記多視点動画像伝送装置に対して視点及び視点移動方向の要求情報を送出すると共に、該視点及び視点移動方向の要求情報に従って前記多視点動画像復号部に復号再生表示の為の圧縮符号化動画像の復号処理を指示する視聴視点制御部とを備えたことを特徴とする請求項１記載の多視点動画像伝送システム。
前記多視点動画像再生装置の前記多視点動画像復号部は、前記視聴視点制御部からの視点移動要求に従った制御により、前記多視点動画像伝送装置から前記ネットワークを介して受信した前記要求視点の圧縮符号化動画像と前記要求視点の圧縮符号化時に参照した他視点の圧縮符号化動画像を視点移動方向に従って選択して、復号再生する構成を備えたことを特徴とする請求項４記載の多視点動画像伝送システム。