JP5519663B2 - スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 - Google Patents

スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 Download PDF

Info

Publication number
JP5519663B2
JP5519663B2 JP2011517265A JP2011517265A JP5519663B2 JP 5519663 B2 JP5519663 B2 JP 5519663B2 JP 2011517265 A JP2011517265 A JP 2011517265A JP 2011517265 A JP2011517265 A JP 2011517265A JP 5519663 B2 JP5519663 B2 JP 5519663B2
Authority
JP
Japan
Prior art keywords
sequence
content
destination
enhanced
svc stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011517265A
Other languages
English (en)
Other versions
JP2011527546A (ja
Inventor
ベン−ゼッドエフ サジー
ビエナー イエール
Original Assignee
ラドヴィジョン リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ラドヴィジョン リミテッド filed Critical ラドヴィジョン リミテッド
Publication of JP2011527546A publication Critical patent/JP2011527546A/ja
Application granted granted Critical
Publication of JP5519663B2 publication Critical patent/JP5519663B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

関連出願の相互参照
本出願は、2008年7月10日に出願された米国特許出願第12/170,674号の優先権利益を主張するものであり、この参照特許出願は参照することによりその全内容が本明細書に含まれるものとする。
本発明は、スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体に関する。
ディジタルビデオシステムはエンターテイメントからビデオ会議に及ぶ様々な目的に幅広く使用されるようになってきた。多くのディジタルビデオシステムはそれぞれ異なる受信者にそれぞれ異なる信号を提供する必要がある。
例えば、従来では、異なるコンテンツを異なる受信者に提供することが要求されるとき、受信者ごとに別個のビデオエンコーダを用意する必要がある。このように、各受信者のためのビデオを当該ユーザのために対応するエンコーダで符号化する。しかし、個々のユーザのための専用エンコーダは、処理能力及び帯域幅の2つの点から、非常に費用がかさみ得る。
従って、ビデオ信号を制御するメカニズムの提供が望まれている。
スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体が提供される。いくつかの実施形態においては、スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステムが提供され、前記システムは、ベースコンテンツのシーケンス及び前記ベースコンテンツのシーケンスと異なるコンテンツを有する少なくとも一つの追加コンテンツのシーケンスを受信し、前記ベースコンテンツのシーケンスに対応する基本レイヤ及び前記少なくとも一つの追加コンテンツのシーケンスのコンテンツに対応する少なくとも一つのエンハンストレイヤを含む少なくとも一つのSVCストリームを生成するスケーラブルビデオ符号化可能なエンコーダと、前記SVCストリーム内の前記少なくとも一つのエンハンストレイヤを前記SVCストリームの宛先で表示するかどうかを制御するディジタル処理装置と、を備える。
いくつかの実施形態においては、スケーラブルビデオ符号化を用いて選択可能なビデオを提供する方法が提供され、前記方法は、ベースコンテンツのシーケンス及び前記ベースコンテンツのシーケンスと異なるコンテンツを有する少なくとも一つの追加コンテンツのシーケンスを受信するステップと、前記ベースコンテンツのシーケンス及び前記追加コンテンツのシーケンスから前記ベースコンテンツのシーケンスに対応する基本レイヤ及び前記少なくとも一つの追加コンテンツのシーケンスのコンテンツに対応する少なくとも一つのエンハンストレイヤを含む少なくとも一つのSVCストリームを符号化するステップと、前記SVCストリーム内の前記少なくとも一つのエンハンストレイヤを前記SVCストリームの宛先で表示するかどうかを制御するステップと、を備える。
いくつかの実施形態においては、プロセッサ実行時にスケーラブルビデオ符号化を用いて選択可能なビデオを提供する方法をプロセッサに実行させるコンピュータ実行可能な命令を含むコンピュータ読み取り可能な媒体が提供され、前記方法は、ベースコンテンツのシーケンス及び前記ベースコンテンツのシーケンスと異なるコンテンツを有する少なくとも一つの追加コンテンツのシーケンスを受信するステップと、前記ベースコンテンツのシーケンス及び前記追加コンテンツのシーケンスから前記ベースコンテンツのシーケンスに対応する基本レイヤ及び前記少なくとも一つの追加コンテンツのシーケンスのコンテンツに対応する少なくとも一つのエンハンストレイヤを含む少なくとも一つのSVCストリームを符号化するステップと、前記SVCストリーム内の前記少なくとも一つのエンハンストレイヤを前記SVCストリームの宛先で表示するかどうかを制御するステップと、を備える。
本発明のいくつかの実施形態によるSVC対応エンコーダに供給される信号及び該エンコーダから受信される信号を示す図である。 本発明のいくつかの実施形態によるSVC対応エンコーダの構成図である。 本発明のいくつかの実施形態によるビデオ分配システムの構成図である。 本発明のいくつかの実施形態による基本レイヤ及びエンハンストレイヤの組み合わせを示す図である。 本発明のいくつかの実施形態によるビデオ会議システムの構成図である。 本発明のいくつかの実施形態による異なるエンドポイントの表示を示す図である。
スケーラブルビデオ符号化を用いる選択可能なビデオ提供システム、方法及び媒体が提供される。様々な実施形態によれば、2つ以上のビデオ信号が基本レイヤ及び一つ以上のエンハンストレイヤを生成するスケーラブルビデオ符号化(SVC)対応エンコーダに供給される。基本レイヤはベースビデオコンテンツを提供するために使用でき、エンハンストレイヤはベースビデオコンテンツをエンハンストビデオコンテンツで変更するために使用できる。エンハンストレイヤが利用可能時を制御することによって(例えば、対応するパケットをコンシールすることによって)、ビデオディスプレイによるエンハンストビデオコンテンツの可用性を制御することができる。
スケーラブルビデオプロトコルは、任意のプロトコルを用いて符号化されたデータから異なるビデオ表現の復号化を可能にする任意のビデオ圧縮プロトコルを含み得る。異なるビデオ表現は、異なる解像度(空間スケーラビリティ)、フレームレート(時間スケーラビリティ)、ビットレート(SNRスケーラビリティ)、コンテンツの部分及び/又は任意の他の適切な特性を含むことができる。異なる表現はデータの異なるサブセットで符号化でき、異なる実施形態ではデータの同じサブセットで符号化できる。例えば、いくつかのスケーラブルビデオプロトコルは、ビデオ信号の一つ以上の表現(例えばユーザの高解像度画像)を一つのレイヤに与え、ビデオ信号の一つ以上の他の表現(例えばユーザの低解像度画像)を別のレイヤに与える階層化を使用することができる。別の例では、いくつかのスケーラブルビデオプロトコルはデータストリームを(例えばパケットの形で)分割し、ビデオ信号の異なる表現がデータストリームの異なる部分で見られるようにできる。スケーラブルビデオプロトコルの例には、国際電気通信連合(ITU)からH.264/AVC Standard (Annex G)でScalable Video Coding Extensionにより規定されているスケーラブルビデオ符号化(SVC)、ITUからH.263(Annex O)でMotion Picture Expert Groupにより規定されているMPEG2及びMPEG4 part2 FGSプロトコルが含まれ、それらの各々は参照することによりその全内容がここに含まれるものとする。
図1を参照すると、いくつかの実施形態におけるビデオ符号化方法100が示されている。図に示されるように、ベースコンテンツのシーケンス102をSVC対応エンコーダ106に供給できる。一つ以上の追加コンテンツのシーケンス1−N104もSVC対応エンコーダ106に供給できる。これらのシーケンスの受信に応答して、エンコーダ106は基本レイヤ110及び一つ以上のエンハンストレイヤ112を含むSVCストリーム108を提供できる。
ベースコンテンツのシーケンス102は任意の適切なコンテンツを含む任意の適切なビデオ信号とすることができる。例えば、いくつかの実施形態では、ベースコンテンツのシーケンスは全体に又は部分的に低解像度フォーマットであるビデオコンテンツとすることができる。この低解像度ビデオコンテンツは、より具体的な例として、視聴者にこのコンテンツの高解像度バージョンを購入するよう勧誘するティーザーとすることができる。別の例として、いくつかの実施形態では、ベースコンテンツのシーケンスはビデオコンテンツの完全視聴を隠し阻止するように全体的に又は部分的に歪められたビデオコンテンツとすることができる。さらに別の例として、いくつかの実施形態では、ベースコンテンツのシーケンスは一部の視聴者にとって望ましいテキスト(例えば、クローズドキャプション、訳文など)又はグラフィックス(例えば、ロゴ、アイコン、広告など)のないビデオコンテンツとすることができる。
追加コンテンツのシーケンス104は、所望の総合コンテンツシーケンスを提供する任意の適切なコンテンツとすることができる。例えば、ベースコンテンツのシーケンス102が低解像度コンテンツを含むとき、追加コンテンツのシーケンス104は同じコンテンツの高解像度シーケンスとすることができる。別の例として、ベースコンテンツのシーケンス102が所望のテキスト又はグラフィックスのないビデオコンテンツであるとき、追加コンテンツのシーケンス104は所望のテキスト又はグラフィックスを有するビデオコンテンツとすることができる。
いくつかの実施形態では、ベースコンテンツのシーケンスと追加コンテンツのシーケンスの解像度及び他のパラメータは同一にすることができる。いくつかの実施形態では、追加コンテンツが(例えば、ロゴ又はキャプションの場合のように)表示画面の小部分に限定される場合には、そのコンテンツを追加コンテンツのシーケンス内に、マクロブロック(MB)境界に整列するように位置させるのが有益である。これによりSVCエンコーダで符号化される一つ以上のエンハンストレイヤの視覚品質を向上させることができる。
SVC対応エンコーダ106はSVCストリームを提供する任意の適切なSVC対応エンコーダとすることができる。例えば、いくつかの実施形態では、SVC対応エンコーダ106は、2つのレイヤ(基本及びエンハンストレイヤ)が定義され、空間解像度は1に設定され、イントラ予測は基本レイヤにのみ適用され、低品質シーケンスと高品質シーケンスとの間の量子化誤差は残留符号化を用いて符号化され、動きデータ、アップサンプリング及び/又は他のトランスコーディングは実行されない、階層化アプローチ(粗粒度スケーラビリティに類似する)を実施することができる。別の例として、SVC対応エンコーダ106は、ISO/IEC Moving Picture Experts Group(MPEG)及びITU−T Video Coding Experts Group(VCEG)のJoint Video Team(JVT)のスケーラブルビデオ符号化(SVC)プロジェクトからのジョイントスケーラブルビデオモデル(JSVM)ソフトウェアを用いて実現することができる。JSVMソフトウェアを設定するためのコンフィギュレーションファイルの例は末尾の付録に示されている。これらに加えて或いは代えて、SVC対応エンコーダのための任意の他の適切なコンフィギュレーションを使用することもできる。
上述したように、SVC対応エンコーダ106は基本レイヤ110及び一以上のエンハンストレイヤ112を含むことができるSVCストリーム108を提供できる。基本レイヤは、復号時に、ベースコンテンツのシーケンス102の信号を提供できる。一以上のエンハンストレイヤ112は、復号時に、基本レイヤ110と組み合わされたとき、所望のビデオコンテンツを提供し得る適切なコンテンツを提供できる。SVCストリームの復号化は任意の適切なSVCデコーダにより実行でき、いくつかの実施形態では基本レイヤは任意の適切なAVCデコーダで復号できる。
図1は一つの基本レイヤ110及び一つ以上のエンハンストレイヤ112を含む単一のSVCストリーム108を示すが、いくつかの実施形態では、複数のSVCストリーム108をSVC対応エンコーダ106により発生させることができる。例えば、3つのエンハンストレイヤ112が発生されるとき、各々が基本レイヤとこの3つのエンハンストレイヤのそれぞれ一つを含む3つのSVCストリーム108を発生させることができる。別の例として、複数のSVCストリームを発生するとき、これらのストリームのどれか一つ以上が基本レイヤに加えて2つ以上のエンハンストレイヤを含むことができる。
次に図2を参照すると、いくつかの実施形態に使用できるSVC対応エンコーダ106がより詳細に示されている。図に示されるように、SVC対応エンコーダ106はベースコンテンツのシーケンス102及び追加コンテンツのシーケンス104を受信し得る。ベースコンテンツのシーケンス102は次に動き補償及びイントラ予測装置202により処理される。この装置は任意の適切なSVC動き補償及びイントラ予測プロセスを実行し得る。残留テクスチャ信号204(動き補償及びイントラ予測装置202により発生される)は次に量子化され、動き信号206と一緒にエントロピー符号化装置208に供給される。エントロピー符号化装置208は次に任意の適切なエントロピー符号化機能を実行し、結果として生じる信号をマルチプレクサ210に供給する。
動き補償及びイントラ予測プロセス202からのデータは、動き補償及び予測装置212を駆動するために、追加コンテンツのシーケンス104と一緒にインターレイヤ予測技術220により使用される。動き補償及びイントラ予測装置202からの任意の適切なデータを使用することができる。任意の適切なSVCインターレイヤ予測技術220と装置212内の任意の適切なSVC動き補償及びイントラ予測プロセスを使用することができる。残留テクスチャ信号214(動き補償及びイントラ予測装置212により発生される)は次に量子化され、動き信号216と一緒にエントロピー符号化装置218に供給される。エントロピー符号化装置218は次に任意の適切なエントロピー符号化機能を実行し、結果として生じる信号をマルチプレクサ210に供給する。マルチプレクサ210は次にエントロピー符号化装置208及び218からの結果信号を合成することができる。
いくつかの実施形態では、サイド情報をエンコーダ106に供給することもできる。このサイド情報は、例えばベースコンテンツのシーケンスと追加コンテンツのシーケンスとの差に対応するコンテンツが存在する(例えばロゴ又はテキストが位置する)画像領域を特定するものとし得る。この場合、サイド情報は追加コンテンツのシーケンスを処理するか否かを決定するためにブロック212内でモード判定ステップに使用される。
図3はいくつかの実施形態によるビデオ分配システム300の一例を示す。図に示されるように、分配コントローラ306は、ベースビデオソース302からビデオとしてベースコンテンツのシーケンスを、追加のビデオソース304からビデオとして追加コンテンツのシーケンスを受信する。これらのシーケンスは分配コントローラ306の一部分であるSVC対応エンコーダ308に供給することができる。SVC対応エンコーダ308は次に上述したようにベースレイヤ及び少なくとも一つのエンハンストレイヤを含むSVCストリームを発生し、このストリームを一つ以上のビデオディスプレイ312,314及び316に提供することができる。この分配コントローラは制御信号を一つ以上のビデオディスプレイ312,314及び316に供給するコントローラ310を含むこともできる。この制御信号は、ビデオディスプレイがどのエンハンストコンテンツ(もしあれば)を表示すべきかを指示することができる。コントローラ306の一部分をであり、ディスプレイ312,314及び316に結合されるコントローラ310に加えて或いは代えて、いくつかの実施形態では、SVCストリームのどの部分(例えばレイヤ)をディスプレイ312,314及び316に通過させることができるかを決定するコントローラ(例えばコントローラ310に類似)を含む別個のコンポーネント(例えば、ルータ、ゲートウェイなどのネットワークコンポーネント)をエンコーダ308とディスプレイ312,314及び316との間に設けることができる。
コントローラ310又はネットワークコンポーネント内の類似の装置、ディスプレイ、エンドポイントなどは、どのエンハンスメントレイヤを提示するかの制御及び/又はSVCストリームのどのパケットをコンシールするかの制御のために任意の適切なソフトウェア及び/又はハードウェアを使用することができる。例えば、これらの装置はディジタル処理装置を含むことができ、例えばマイクロプロセッサ、プロセッサ、コントローラ、マイクロコントローラ、プログラマブル論理装置及び/又はどのエンハンスメントレイヤを提示するか及び/又はSVCストリームのどのパケットをコンシールするかを制御する任意の他の適切なハードウェア及び/又はソフトウェアを含むことができる。
次に図4を参照すると、このような分配システムはいくつかの実施形態においてどのように使用できるかが例示されている。図に示されるように、ベースコンテンツのシーケンス402及び3つの追加コンテンツのシーケンス404,406及び408をエンコーダ308に供給することができる。この場合、エンコーダは基本レイヤ410及びエンハンスメントレイヤ412,414及び416を発生することができる。これらのレイヤは次に3つのSVCストリーム、即ちレイヤ410と412を含む一つと、レイヤ410と414を含む他の一つと、レイヤ410と416を含むさらに他の一つ、を形成することができる。3つのSVCストリームの各々はビデオディスプレイ312,314及び316の異なる一つにアドレス指定され、それぞれディスプレイ418,420及び422に示されるように表示される。
3つのSVCストリームを提供するのに加えて或いは代わりに、単一のストリームを発生させ、選択された部分(例えばパケット)のみがデオディスプレイ312,314及び316の各々で利用されるようにすることができる。部分の選択はディスプレイで行うことができ、またいくつかの実施形態において上述したようにエンコーダとディスプレイとの間のコンポーネントで行うことができる。
図5及び図6はいくつかの実施形態によるビデオ会議システム500を示す。図に示されるように、システム500は多地点会議装置(MCU)502を含む。MCU502はSVC対応エンコーダ504及びビデオ発生器506を含むことができる。ビデオ発生器506は常駐(continuous presence)レイアウトを任意の適切な方式で発生し、このCPレイアウトをベースコンテンツのシーケンスとしてSVC対応エンコーダ504に供給することができる。SVC対応エンコーダは、追加コンテンツのシーケンスとして、現発言者エンドポイント508、前発言者エンドポイント510及び他の参加者エンドポイント512,514及び516からそれぞれ現発言者ビデオ、前発言者ビデオ及び他の参加者ビデオを受信することもできる。次に、SVCストリームがエンコーダ504から現発言者エンドポイント508、前発言者エンドポイント510及び他の参加者エンドポイント512,514及び516に提供され、これらのストリームは図6に関連して以下に説明するように制御することができる。
図6に示されているように、現発言者エンドポイント508のディスプレイは、ディスプレイ608に示されるように、ユーザが基本レイヤからのCPレイアウト(グラフィックス602及びテキスト604を含むことができる)を前発言者及び一つ以上の他の参加者に対応するエンハンストレイヤと一緒に見るように制御することができる。前発言者エンドポイント510のディスプレイは、ディスプレイ610に示されるように、ユーザが基本レイヤからのCPレイアウトを現発言者及び一以上の他の参加者に対応するエンハンストレイヤと一緒に見るように制御することができる。他の参加者エンドポイント512のディスプレイは、ディスプレイ612に示されるように、ユーザが基本レイヤからのCPレイアウトを前発言者及び前発言者に対応するエンハンストレイヤと一緒に見るように制御することができる。このように、エンドポイントのユーザは自分自身を見ることはない。
図5はSVC対応エンコーダからエンドポイント508,510及び512,514及び516へそれぞれ異なるSVCストリームを供給することが示されているが、いくつかの実施形態では、これらのストリームはすべて同一にし、どのエンハンストレイヤが各エンドポイントに提示されるかを選択する別個の制御信号(図示せず)を設けることができる。加えて或いは代わりに、SVC対応エンコーダ又は任意の他の適切なコンポーネントは、パケットコンシールメント又は任意の他の技術を用いて、SVCストリームの宛先に基づいてSVCストリームの一部分として所定のエンハンストレイヤのみを選択し提供することもできる。
本発明を以上の例示的な実施形態について記載し説明したが、この開示は一例にすぎず、本発明の実施に当たっては、本発明の精神及び範囲内において多くの細部の変更が可能であり、本発明の精神及び範囲は後記の特許請求の範囲によってのみ限定される。開示の実施例の特徴は種々に組み合わせ、再編成することができる。
付録
いくつかの実施形態においてJSVM9.1エンコーダとともに使用できる“encoder.cfg”コンフィギュレーションファイルの一例を以下に示す。
Figure 0005519663
Figure 0005519663
いくつかの実施形態においてJSVM9.1エンコーダとともに使用できる(“encoder.chg”ファイルに参照されている)“base_content.cfg”コンフィギュレーションファイルの一例を以下に示す。
Figure 0005519663
Figure 0005519663
いくつかの実施形態においてJSVM9.1エンコーダとともに使用できる(“encoder.chg”ファイルに参照されている)“added_content.cfg”コンフィギュレーションファイルの一例を以下に示す。
Figure 0005519663
Figure 0005519663

Claims (30)

  1. スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステムであって、
    ベースコンテンツのシーケンス及び前記ベースコンテンツのシーケンスと異なるコンテンツを有する、内容の異なる複数の追加コンテンツのシーケンスを受信し、前記ベースコンテンツのシーケンスに対応する基本レイヤ及び前記複数の追加コンテンツのシーケンスのコンテンツにそれぞれ対応する複数のエンハンストレイヤを含むSVCストリームを生成するスケーラブルビデオ符号化可能なエンコーダであって、
    前記複数の追加コンテンツのシーケンスの第1のシーケンスが、第1の宛先に対応し、前記複数の追加コンテンツのシーケンスの第2のシーケンスが、第2の宛先に対応している、
    エンコーダと、
    前記SVCストリーム内の前記複数のエンハンストレイヤの第1のエンハンストレイヤが前記SVCストリームの前記第1の宛先での表示用として選択されるようにし、前記SVCストリーム内の前記複数のエンハンストレイヤの第2のエンハンストレイヤが前記SVCストリームの前記第2の宛先での表示用として選択されるようにするディジタル処理装置と、
    を備え、
    各宛先で表示されるエンハンストレイヤの選択は、前記エンコーダの下流で実行される、
    システム。
  2. 前記SVCストリームを受信し、復号化するSVCデコーダをさらに備える、請求項1記載のシステム。
  3. 前記SVCデコーダは、H.264/AVC標準のスケーラブルビデオ符号化エクステンションでコンパイルする、請求項2記載のシステム。
  4. 前記ベースコンテンツのシーケンスは前記複数の追加コンテンツのシーケンスの少なくとも一つより低い解像度バージョンである、請求項1記載のシステム。
  5. 前記ベースコンテンツのシーケンスは歪んだビデオを含む、請求項1記載のシステム。
  6. 前記複数の追加コンテンツのシーケンスの少なくとも1つはテキストを含む、請求項1記載のシステム。
  7. 前記複数の追加コンテンツのシーケンスの少なくとも1つはグラフィックスを含む、請求項1記載のシステム。
  8. 前記ディジタル処理装置は、前記SVCストリーム内の前記複数のエンハンストレイヤの前記第1のエンハンストレイヤが、前記SVCストリームの前記第1の宛先で、前記複数のエンハンストレイヤの前記第1のエンハンストレイヤの表示に関連の無いエンハンストレイヤのパケットをコンシールすることによって表示されるようにする、請求項1記載のシステム。
  9. 前記ディジタル処理装置は、前記SVCストリーム内の前記複数のエンハンストレイヤの前記第1のエンハンストレイヤが、前記SVCストリームの前記第1の宛先で、制御信号を前記第1の宛先に供給することよって表示されるようにする、請求項1記載のシステム。
  10. 前記基本レイヤ及び前記複数のエンハンストレイヤの少なくとも1つはビデオ会議のための常駐レイアウトを生成するために使用される、請求項1記載のシステム。
  11. スケーラブルビデオ符号化を用いて選択可能なビデオを提供する方法であって、
    ベースコンテンツのシーケンス及び前記ベースコンテンツのシーケンスと異なるコンテンツを有する、内容の異なる複数の追加コンテンツのシーケンスを受信する受信ステップと、
    前記ベースコンテンツのシーケンス及び前記複数の追加コンテンツのシーケンスから前記ベースコンテンツのシーケンスに対応する基本レイヤ及び前記複数の追加コンテンツのシーケンスのコンテンツにそれぞれ対応する複数のエンハンストレイヤを含むSVCストリームを符号化する符号化ステップであって、
    前記複数の追加コンテンツのシーケンスの第1のシーケンスが、第1の宛先に対応し、前記複数の追加コンテンツのシーケンスの第2のシーケンスが、第2の宛先に対応している、
    符号化ステップと、
    前記SVCストリーム内の前記複数のエンハンストレイヤの第1のエンハンストレイヤを前記SVCストリームの前記第1の宛先での表示用として選択し、前記SVCストリーム内の前記複数のエンハンストレイヤの第2のエンハンストレイヤを前記SVCストリームの前記第2の宛先での表示用として選択する選択ステップと、
    を備える、方法で、
    各宛先で表示されるエンハンストレイヤの選択は、前記符号化ステップの下流で実行される、
    方法。
  12. 前記SVCストリームを受信し、復号化する復号化ステップをさらに備える、請求項11記載の方法。
  13. 前記復号化ステップは、H.264/AVC標準のスケーラブルビデオ符号化エクステンションでコンパイルする、請求項12記載の方法。
  14. 前記ベースコンテンツのシーケンスは前記複数の追加コンテンツのシーケンスの少なくとも一つより低い解像度バージョンである、請求項11記載の方法。
  15. 前記ベースコンテンツのシーケンスは歪んだビデオを含む、請求項11記載の方法。
  16. 前記複数の追加コンテンツのシーケンスの少なくとも1つはテキストを含む、請求項11記載の方法。
  17. 前記複数の追加コンテンツのシーケンスの少なくとも1つはグラフィックスを含む、請求項11記載の方法。
  18. 前記選択ステップは、前記SVCストリーム内の前記複数のエンハンストレイヤの前記第1のエンハンストレイヤが、前記SVCストリームの前記第1の宛先で、前記複数のエンハンストレイヤの前記第1のエンハンストレイヤの表示に関連の無いエンハンストレイヤのパケットをコンシールすることによって表示されるようにする、請求項11記載の方法。
  19. 前記選択ステップは、前記SVCストリーム内の前記複数のエンハンストレイヤの前記第1のエンハンストレイヤが、前記SVCストリームの前記第1の宛先で、制御信号を前記第1の宛先に供給することよって表示されるようにする、請求項11記載の方法。
  20. 前記基本レイヤ及び前記複数のエンハンストレイヤの少なくとも1つはビデオ会議のための常駐レイアウトを生成するために使用される、請求項11記載の方法。
  21. プロセッサ実行時にスケーラブルビデオ符号化を用いて選択可能なビデオを提供する方法をプロセッサに実行させるコンピュータ実行可能な命令を含むコンピュータ読み取り可能な記録媒体であって、前記記録媒体が、
    ベースコンテンツのシーケンス及び前記ベースコンテンツのシーケンスと異なるコンテンツを有する、内容の異なる複数の追加コンテンツのシーケンスを受信する受信ステップと、
    前記ベースコンテンツのシーケンス及び前記複数の追加コンテンツのシーケンスから前記ベースコンテンツのシーケンスに対応する基本レイヤ及び前記複数の追加コンテンツのシーケンスのコンテンツにそれぞれ対応する複数のエンハンストレイヤを含むSVCストリームを符号化する符号化ステップであって、
    前記複数の追加コンテンツのシーケンスの第1のシーケンスが、第1の宛先に対応し、前記複数の追加コンテンツのシーケンスの第2のシーケンスが、第2の宛先に対応している、
    符号化ステップと、
    前記SVCストリーム内の前記複数のエンハンストレイヤの第1のエンハンストレイヤを前記SVCストリームの前記第1の宛先での表示用として選択し、前記SVCストリーム内の前記複数のエンハンストレイヤの第2のエンハンストレイヤを前記SVCストリームの前記第2の宛先での表示用として選択する選択ステップと、
    を含む方法をプロセッサに実行させるコンピュータ実行可能な命令を含むコンピュータ読み取り可能な記録媒体で、
    各宛先で表示されるエンハンストレイヤの選択は、前記符号化ステップの下流で実行される、
    コンピュータ読み取り可能な記録媒体。
  22. 前記方法が、前記SVCストリームを受信し、復号化する復号化ステップをさらに備える、請求項21記載の記録媒体。
  23. 前記復号化ステップは、H.264/AVC標準のスケーラブルビデオ符号化エクステンションでコンパイルする、請求項22記載の記録媒体。
  24. 前記ベースコンテンツのシーケンスは前記複数の追加コンテンツのシーケンスの少なくとも一つより低い解像度バージョンである、請求項21記載の記録媒体。
  25. 前記ベースコンテンツのシーケンスは歪んだビデオを含む、請求項21記載の記録媒体。
  26. 前記複数の追加コンテンツのシーケンスの少なくとも1つはテキストを含む、請求項21記載の記録媒体。
  27. 前記複数の追加コンテンツのシーケンスの少なくとも1つはグラフィックスを含む、請求項21記載の記録媒体。
  28. 前記選択ステップは、前記SVCストリーム内の前記複数のエンハンストレイヤの前記第1のエンハンストレイヤが、前記SVCストリームの前記第1の宛先で、前記複数のエンハンストレイヤの前記第1のエンハンストレイヤの表示に関連の無いエンハンストレイヤのパケットをコンシールすることによって表示されるようにする、請求項21記載の記録媒体。
  29. 前記選択ステップは、前記SVCストリーム内の前記複数のエンハンストレイヤの前記第1のエンハンストレイヤが、前記SVCストリームの前記第1の宛先で、制御信号を前記第1の宛先に供給することよって表示されるようにする、請求項21記載の記録媒体。
  30. 前記基本レイヤ及び前記複数のエンハンストレイヤの少なくとも1つはビデオ会議のための常駐レイアウトを生成するために使用される、請求項21記載の記録媒体。
JP2011517265A 2008-07-10 2009-07-09 スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 Expired - Fee Related JP5519663B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/170,674 2008-07-10
US12/170,674 US9532001B2 (en) 2008-07-10 2008-07-10 Systems, methods, and media for providing selectable video using scalable video coding
PCT/IB2009/006449 WO2010004424A2 (en) 2008-07-10 2009-07-09 Systems, methods, and media for providing selectable video using scalable video coding

Publications (2)

Publication Number Publication Date
JP2011527546A JP2011527546A (ja) 2011-10-27
JP5519663B2 true JP5519663B2 (ja) 2014-06-11

Family

ID=41505145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011517265A Expired - Fee Related JP5519663B2 (ja) 2008-07-10 2009-07-09 スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体

Country Status (5)

Country Link
US (1) US9532001B2 (ja)
EP (1) EP2324640B1 (ja)
JP (1) JP5519663B2 (ja)
CN (1) CN102138325B (ja)
WO (1) WO2010004424A2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
US8358690B2 (en) * 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US7944872B2 (en) * 2006-12-13 2011-05-17 Viasat, Inc. Adaptive coding and modulation aware network load balancing
US8395993B2 (en) * 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US8576858B2 (en) * 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
US7961665B2 (en) 2006-12-13 2011-06-14 Viasat, Inc. Terminal aware multicasting
US8411571B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8411572B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US8456986B2 (en) * 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
US20080144713A1 (en) * 2006-12-13 2008-06-19 Viasat, Inc. Acm aware encoding systems and methods
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
US8233026B2 (en) * 2008-12-23 2012-07-31 Apple Inc. Scalable video encoding in a multi-view camera system
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
JP6085907B2 (ja) * 2011-09-13 2017-03-01 株式会社リコー 会議システム、イベント管理サーバ、および、プログラム
US9648322B2 (en) * 2012-07-10 2017-05-09 Qualcomm Incorporated Coding random access pictures for video coding
US9131111B2 (en) * 2012-11-02 2015-09-08 OpenExchange, Inc. Methods and apparatus for video communications
CN104125479B (zh) * 2013-04-29 2017-03-29 成都懒人享乐科技有限公司 视频截图系统及方法
JP6406801B2 (ja) * 2013-08-14 2018-10-17 キヤノン株式会社 画像形成装置及びその制御方法、並びにプログラム
US9973780B2 (en) * 2013-10-31 2018-05-15 Microsoft Technology Licensing, Llc Scaled video for pseudo-analog transmission in spatial domain
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
EP4020998A1 (en) 2020-12-23 2022-06-29 Axis AB Encoding of modified video

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197225A (ja) * 1992-12-24 1994-07-15 Fujitsu Ltd 画像データ符号化方法および供給方法
JP2591439B2 (ja) * 1993-08-26 1997-03-19 日本電気株式会社 テレビ会議用動画像合成方式
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
JP3288898B2 (ja) * 1995-05-31 2002-06-04 株式会社東芝 ディジタルテレビジョン放送システム
JP3318712B2 (ja) * 1996-11-08 2002-08-26 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
JP4261630B2 (ja) * 1998-02-04 2009-04-30 キヤノン株式会社 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6798838B1 (en) * 2000-03-02 2004-09-28 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network
US7237032B2 (en) * 2001-02-16 2007-06-26 Microsoft Corporation Progressive streaming media rendering
US6496217B1 (en) * 2001-06-12 2002-12-17 Koninklijke Philips Electronics N.V. Video communication system using model-based coding and prioritzation techniques
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
JP2004147095A (ja) * 2002-10-24 2004-05-20 Canon Inc 復号方法
JP4433286B2 (ja) * 2004-03-25 2010-03-17 ソニー株式会社 送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
JP3936707B2 (ja) * 2004-05-26 2007-06-27 日本電信電話株式会社 スケーラブル通信会議システム,サーバ装置,スケーラブル通信会議方法,スケーラブル通信会議制御方法,スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体
TWI289998B (en) * 2004-10-06 2007-11-11 Nippon Telegraph & Telephone Scalable encoding method and apparatus, scalable decoding method and apparatus, and computer readable storage medium therefor
JP4510678B2 (ja) * 2005-03-29 2010-07-28 株式会社Kddi研究所 映像伝送装置および映像伝送・受信再生装置
CN101371312B (zh) * 2005-12-08 2015-12-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
EP1985116A4 (en) * 2005-12-22 2013-06-05 Vidyo Inc SYSTEM AND METHOD FOR VIDEO CONFERENCES USING SCALABLE VIDEO CODING AND COMPOSITION OF SCALABLE VIDEO CONFERENCE SERVER
US20080101456A1 (en) 2006-01-11 2008-05-01 Nokia Corporation Method for insertion and overlay of media content upon an underlying visual media
CN101427573B (zh) * 2006-02-16 2013-07-03 维德约股份有限公司 用于可缩放视频编码比特流的稀疏化的系统和方法
JP4687538B2 (ja) * 2006-04-04 2011-05-25 パナソニック株式会社 受信装置、送信装置およびその通信方法
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
JP2008048447A (ja) * 2007-09-26 2008-02-28 Dolby Lab Licensing Corp 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造
US20100049865A1 (en) 2008-04-16 2010-02-25 Nokia Corporation Decoding Order Recovery in Session Multiplexing

Also Published As

Publication number Publication date
EP2324640A4 (en) 2011-08-10
JP2011527546A (ja) 2011-10-27
EP2324640B1 (en) 2017-03-22
WO2010004424A3 (en) 2010-04-22
US9532001B2 (en) 2016-12-27
CN102138325A (zh) 2011-07-27
WO2010004424A2 (en) 2010-01-14
US20100008416A1 (en) 2010-01-14
EP2324640A2 (en) 2011-05-25
CN102138325B (zh) 2013-10-16

Similar Documents

Publication Publication Date Title
JP5519663B2 (ja) スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体
AU2011258272B2 (en) Systems and methods for scalable video communication using multiple cameras and multiple monitors
US20100232521A1 (en) Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
JP2022513715A (ja) 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
JP2013141284A (ja) スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法
JP2022514513A (ja) タイル及びサブ画像の分割
EP2304941A2 (en) Systems,methods, and media for providing cascaded multi-point video conferencing units
EP2060104A1 (en) Techniques for managing visual compositions for a multimedia conference call
CN113692744A (zh) 用信号通知具有子图片的输出层集的方法
EP1631088A1 (en) Apparatus for transmitting video signal and method thereof
WO2013116906A1 (en) Data, multimedia & video transmission updating system
US8934530B2 (en) Spatial scalability using redundant pictures and slice groups
JP2022532065A (ja) 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム
JP2024019620A (ja) 遠隔端末用の没入型テレビ会議およびテレプレゼンスのためのrtcpビューポートのシグナリングにおけるイベントベースのトリガ間隔
CN113875229A (zh) 已编码视频流中参数集引用约束方法
US20240397056A1 (en) Low complexity enhancement video coding with temporal scalability
Ferrara et al. The Next Frontier For MPEG-5 LCEVC: From HDR and Immersive Video to the Metaverse
CN113542209A (zh) 用于视频信令的方法、装置和可读存储介质
Cheng et al. The Analysis of MPEG-4 Core Profile and its system design
HK40067907B (zh) 视频信号发送方法、装置、计算机设备及存储介质
Shanableh Hybrid M-JPEG/MPEG-2 video streams using MPEG-2 compliant spatial scalability
HK40056101A (en) Method and apparatus for video signaling, and readable storage medium
HK40056101B (zh) 用於视频信令的方法、装置和可读存储介质
HK40067907A (en) Video signal transmission method, device, computer equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130415

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140306

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140403

R150 Certificate of patent or registration of utility model

Ref document number: 5519663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees