JP2004509574A - ファイングラニュラスケーラビリティに関する好適な伝送／ストリーミング順序 - Google Patents

ファイングラニュラスケーラビリティに関する好適な伝送／ストリーミング順序 Download PDF

Info

Publication number
JP2004509574A
JP2004509574A JP2002529009A JP2002529009A JP2004509574A JP 2004509574 A JP2004509574 A JP 2004509574A JP 2002529009 A JP2002529009 A JP 2002529009A JP 2002529009 A JP2002529009 A JP 2002529009A JP 2004509574 A JP2004509574 A JP 2004509574A
Authority
JP
Japan
Prior art keywords
frame data
video frame
bit rate
residual
snr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002529009A
Other languages
English (en)
Inventor
ファン　デル　スファール，ミハエラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004509574A publication Critical patent/JP2004509574A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Peptides Or Proteins (AREA)

Abstract

可変帯域幅を有するネットワーク上で、エンハンスメントレイヤのビデオフレームデータをストリーミングするための方法は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、Ｉ及びＰベースレイヤフレームを生成するステップ、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的なＢフレーム、並びに残余のＳＮＲのＩ及びＰフレームを生成するステップ、該残余の時間的フレームデータ及び該残余のＳＮＲフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するステップ、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するステップ、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的フレームの少なくとも一部を伝送するステップ、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的フレームの残りの部分と、該スケーラブルに符号化されたＳＮＲフレームの少なくとも一部を送信するステップを備える。

Description

【０００１】
［発明の分野］
本発明は、ビデオ符号化に関し、より詳細には、インターネットのような可変帯域幅を有するコンピュータネットワーク上で、エンハンスメントレイヤの残余の時間的なビデオフレームデータと信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとをストリーミングするための方法に関する。
【０００２】
［本発明に関連すする出願］
本出願は、２０００年９月２２日に提出された米国仮出願第６０／２３４，６０６号の利点を特許請求するものである。
２０００年６月９日に提出された“Ｈｙｂｒｉｄ Ｔｅｍｐｏｒａｌ−ＳＮＲ Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”と題された継続中の米国特許出願第０９／５９０，８２５号は、本発明の譲渡人に譲渡されている。
【０００３】
［発明の背景］
スケーラブルビデオ符号化は、インターネットのような可変帯域幅を有するコンピュータネットワークを通して伝送されるビデオを圧縮するために使用されている。かかるビデオ符号化スキームの１つは、ファイングラニュラスケーラブル（エンベッド）ビデオ符号化（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｌｅ （ｅｍｂｅｄｄｅｄ） ｖｉｄｅｏ ｃｏｄｉｎｇ）である。ファイングラニュラスケーラブル（ＦＧＳ）ビデオ符号化は、ＭＰＥＧ−４ストリーミングビデオプロファイルのためのコアとなるビデオ符号化方法として、ＩＳＯ ＭＰＥＧ−４標準により適用されている。
【０００４】
図１に示されているように、ＦＧＳビデオ符号化スキームは、非スケーラブルなコーデックで符号化され、ビットレートＲＢＬでＩ，Ｐ及びＢを含む動き補償ベースレイヤ１０と、ＦＧＳのようなスケーラブルなコーデックで符号化され、ビットレートＲｍａｘで信号対雑音比（ＳＮＲ）に関する品質のＩ，Ｐ及びＢの残余のフレームを含むエンハンスメントレイヤ１１とを含んでいる。
【０００５】
伝送時間では、ビットレートＲＥＬに対応するエンハンスメントレイヤ１１の一部は、利用可能な帯域幅Ｒ＝ＲＢＬ＋ＲＥＬとなるように、ＦＧＳ符号化ビットストリームから「切り取られる」。
【０００６】
たとえば、エンハンスメントレイヤのストリームが、１００ｋｂｉｔ／ｓと１Ｍｂｉｔ／ｓの間の範囲にあるビットレートでクライアントを収容することが必要な場合、ＲＢＬは１００ｋｂｉｔ／ｓに設定され、Ｒｍａｘは１Ｍｂｉｔ／ｓに設定される。したがって、１００ｋｂｉｔ／ｓで符号化されるベースレイヤのＩ，Ｐ及びＢフレームは、常に伝送されるが、より広い帯域幅が利用可能である場合、エンハンスメントレイヤの残余のＩ，Ｐ及びＢフレームの少なくとも１部もまた伝送される。
【０００７】
図２Ａ及び図２Ｂは、先に述べた、本発明の譲渡人に譲渡され、継続中の米国特許出願第０９／５９０，８２５号に記載された例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示している。
【０００８】
図２Ａのビデオ符号化スキームでは、ベースレイヤ１２は、非スケーラブルなコーデックで符号化されてＩ，Ｐ及びＢフレームを含み、エンハンスメントレイヤ１３は、ＦＧＳのようなスケーラブルなコーデックで符号化され、残余のＢフレーム、すなわち、時間的フレーム（ＦＧＳ符号化が使用されるときはＦＧＳＴフレーム）、及び残余の信号対雑音比に関する品質のＩ及びＰフレーム、すなわち、信号雑音比（ＳＮＲ）に関する品質のフレーム（ＦＧＳ符号化が使用されるときはＦＧＳフレーム）を含む。
【０００９】
図２Ｂのビデオ符号化スキームでは、ベースレイヤ１４は、非スケーラブルなコーデックで符号化され、Ｉ及びＰフレームのみを含む。すなわち、Ｂフレームは、ベースレイヤ１４において符号化されない。エンハンスメントレイヤ１５は、ＦＧＳのようなスケーラブルコーデックで図２Ａの符号化スキームと同様に符号化され、残余のＢフレーム、すなわちＦＧＳＴフレームと、ＳＮＲの残余のＩ及びＰフレーム、すなわちＦＧＳフレームを含んでいる。
【００１０】
サーバにより伝送される間、ベースレイヤのＩ，Ｐ及びＢフレーム（図２Ａの符号化スキーム）、又はベースレイヤのＩ及びＰフレーム（図２Ｂの符号化スキーム）は、ビットレートＲＢＬにまで符号化され、常に伝送される。より広い帯域幅が利用可能である場合、図２Ａ及び図２Ｂの符号化スキームにおけるエンハンスメントレイヤ１３，１５を伝送するための現在のアプローチは、レート制御手法を使用して、エンハンスメントレイヤのビットＲＥＬをＦＧＳフレームとＦＧＳＴフレームの間に等しく割当てている。
【００１１】
ＦＧＳ符号化に関連する１つの問題点は、非スケーラブルなコーデックと比較して、符号化効率が低下することである。この効率の不利益は、ＦＧＳで達成される、時間的に相関しないこと（非相関）が不十分であることによるものであり（時間的な相関は、ベースレイヤでのみ使用される）、エンハンスメントレイヤのエンベッド符号化によるものではない。
【００１２】
エンハンスメントレイヤにおける時間的な相関は、ベースレイヤにおける時間的な非相関を改善することにより低減することができる。これは、多数のビットをベースレイヤに割当てることにより達成することができる。しかし、このことは、常時クライアントが利用可能であると保証される最小の帯域幅にＲＢＬが対応するために不可能である。ＲＢＬが増加する場合、これらクライアントの中には、ＭＰＥＧ−４標準とは逆に、所定の時間でベースレイヤのフレームを復号化することができないクライアントがある。
【００１３】
［発明の概要］
本発明は、可変帯域幅を有するネットワーク上で、エンハンスメントレイヤのビデオフレームデータをストリーミングするための方法を提供する。ここで、エンハンスメントレイヤのビデオフレームデータは、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有する。
【００１４】
本発明の１態様は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するステップ、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び該残余のＳＮＲビデオフレームデータを生成するステップ、該残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するステップ、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するステップ、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するステップ、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するステップとを備える方法によるものである。
【００１５】
本発明の別の態様は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するための手段、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータを生成するための手段、該残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するための手段、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するための手段、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段とを備えるシステムによるものである。
【００１６】
本発明の更なる態様は、可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、スケーラブルに符号化された残余の時間的なビデオフレームデータの少なくとも一部を伝送するための手段、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段とを備えるビデオレートコントローラによるものである。
【００１７】
本発明の更なる態様は、オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するためのコード、該オリジナルの非符号化ビデオデータと該ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するためのコード、該残余の時間的ビデオフレームデータ及び該残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、該スケーラブルに符号化された残余の時間的ビデオフレームデータ及び該スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する該エンハンスメントレイヤのビデオフレームデータを生成するためのコード、該可変帯域幅を有するネットワークの利用可能な帯域幅を決定するためのコード、該利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、該ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するためのコード、及び追加的に、該利用可能な帯域幅が、該所定のビットレートと該ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、該スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、該スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するためのコードとを備える記憶媒体によるものである。
【００１８】
［発明の実施の形態］
本発明の効果、特徴及び様々な追加機能は、添付図面を参照してより詳細に記載される例示的な実施の形態を十分に考慮することにより明らかになるであろう。図面を通して、同じ参照符号は同じ構成要素を示している。
【００１９】
本発明の概念による方法は、インターネットのような可変帯域幅を有するコンピュータネットワーク上で、エンハンスメントレイヤの残余の時間的なビデオフレームデータ、及び信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータ（ＦＧＳ符号化の場合にはＦＧＳＴ及びＦＧＳフレームデータ）をストリーミングするために記載される。
【００２０】
本方法は、図２Ｂのハイブリッドテンポラル−ＳＮＲスケーラブルビデオ符号化スキームを利用して、エンハンスメントレイヤにおける時間的な相関における大幅な改善が達成される。したがって、本発明の譲渡人に譲渡された継続中の米国特許出願第０９／５９０，８２５号の全体的な開示は、参照により本実施の形態に組込まれる。
【００２１】
図２Ｂのビデオ符号化スキームは、ＳＮＲフレームの間の１つの時間的なフレームのみを示しているが、ＳＮＲフレームの間の２つ以上の時間的なフレームを有するテンポラル−ＳＮＲスケーラブルビデオ符号化スキームも本方法で使用される場合がある。
【００２２】
図３は、本発明の概念による方法を説明するフローチャートである。ステップＡＡ〜ＤＤは、米国特許出願第０９／５９０，８２５号に記載されたシステムのエンコーダ側で行われ、ステップＥＥ〜ＨＨは、米国特許出願第０９／５９０，８２５号に記載されたシステムのサーバ側で行われる。
【００２３】
ステップＡＡでは、オリジナルの符号化されていないビデオデータは、非スケーラブルなコーデックで符号化され、図２Ｂに示されるようなＩ及びＰフレームのみを有するベースレイヤ１４を生成する。Ｂフレームは、ベースレイヤでは符号化されない。
【００２４】
図２Ｂのビデオ符号化スキームの使用は、Ｉ及びＰフレームのみが時間的な相関に大きく寄与する事実を利用している。したがって、ベースレイヤにおけるＢフレームを符号化しないことは、より多くのビットＲＢＬがＩ及びＰフレームの符号化について利用することができるとき、高品質のベースレイヤのＩ及びＰフレームを提供する。高品質のベースレイヤのＩ及びＰフレームは、ベースレイヤにける時間的な非相関を改善する。
【００２５】
ステップＢＢでは、動き補償又は時間的に残余のＢフレームは、オリジナルのビデオデータとベースレイヤの参照のＩ及びＰフレームフレームの間の差を計算することにより予測される。２つの時間的に隣接するベースレイヤの参照フレームは、それぞれの時間的な残余のＢフレームを予測するために使用される。Ｂフレームは、改善された品質のベースレイヤの参照Ｉ及びＰフレームからより正確に予測されるので、この符号化スキームにおいて利益を与える。
【００２６】
ステップＣＣでは、改善された品質又は信号対雑音比（ＳＮＲ）の残余のＩ及びＰフレームは、オリジナルのビデオデータとベースレイヤフレームの基準フレームの間の差を計算することにより生成される。残余のＳＮＲのＩ及びＰフレームは、減少された時間的な相関により符号化されるので、この符号化スキームにおいて利益を与える。このことは、スケーラブルコーデックによる符号化が更に行われるときに、改善された性能をもたらすことになる。
【００２７】
ステップＤＤでは、残余の時間的なフレーム及び残余のＳＮＲフレームは、ＦＧＳのような適切なスケーラブルコーデックで符号化され、スケーラブルに符号化された時間的なＢフレーム及びスケーラブルに符号化されたＳＮＲのＩ及びＰフレームを有するエンハンスメントレイヤを生成する。図２Ｂに示される実施の形態では、残余の時間的フレーム及び残余のＳＮＲフレームは、ＦＧＳで符号化されており、したがって、ＦＧＳフレームにより示されるエンハンスメントレイヤの時間的なＢフレームが生成される。
【００２８】
ステップＥＥでは、ＲＢＬまでのビットレートは、高品質のベースレイヤのＩ及びＰフレームに割当てられ、ＲＢＬとＲＢＬ＋ｋ（ｋは、ＲＢＬより小さいか、ＲＢＬに等しい）の間のビットレートは、エンハンスメントレイヤの時間的なフレームに割当てられ、ＲＢＬ＋ｋとＲｍａｘの間のビットレートは、時間的なフレームとＳＮＲフレームの間に一様に割当てられる。
ステップＦＦでは、ベースレイヤのＩ及びＰフレームは、帯域幅ＲＢＬで常に伝送される。
【００２９】
ステップＧＧでは、利用可能な帯域幅がＲＢＬとＲＢＬ＋ｋ（ｋはＲＢＬより小さいか、ＲＢＬに等しい）の間であると判定されたときに、エンハンスメントレイヤの時間的なフレームの少なくとも１部が伝送される。これは、時間的なフレームの少なくとも１部を１つずつ徐々に伝送することにより達成されることが好ましい。時間的なフレームのどの部分をはじめに伝送すべきかを判定するための手法は、最も大きなモーションアクティビティを有する時間的なフレーム部分がはじめに伝送される符号化の間に、エンコーダによりこの情報が既に決定されているときに、モーションアクティビティに基づく場合がある。
【００３０】
ステップＨＨでは、エンハンスメントレイヤの時間的なフレームの残りの部分、及びエンハンスメントレイヤのＳＮＲフレームの少なくとも１部は、利用可能な帯域幅がＲＢＬ＋ｋとＲｍａｘの間にあると決定されたときに、追加的に伝送される。
【００３１】
図４は、図２Ｂの構造に適用される方法を例示している。
先に述べたように、本方法は、先に言及した米国特許出願第０９／５９０，８２５号で記載されたシステムを使用して実行される場合があり、該システムは図５に示されている。エンコーダでは、ビデオソース２０からの符号化されていないビデオデータは、ベースレイヤエンコーダ２１及びハイブリッドテンポラル−ＳＮＲスケーラブルビデオエンコーダ２２の両者に入力される。
【００３２】
ベースレイヤエンコーダ２１は、標準的なフレーム予測符号化技法を使用して、オリジナルのビデオデータの一部を符号化する。ベースレイヤエンコーダ２１は、所定のビットレートＲＢＬで圧縮する。関連する可変帯域幅のネットワーク２４の現在の帯域幅に基づいて、計算ブロック２３を使用してＲＢＬが決定されることが好ましい。
【００３３】
計算ブロック２３は、最小ビットレートＲｍｉｎ、最大ビットレートＲｍａｘ及びネットワーク２４の現在利用可能な帯域幅Ｒを測定する。次いで、計算ブロック２３は、ＲＢＬを好ましくはＲｍｉｎに設定して、その最小の帯域幅であっても、ネットワーク２４が符号化されたビデオデータを収容することができることを保証することができる。
【００３４】
ビデオソース２０からのオリジナルのビデオデータ、及びベースレイヤのエンコーダ２１により提供される符号化ビデオデータ（すなわち、ベースレイヤ）は、ハイブリッドエンコーダ２２における残像（ＲＩ）計算ブロック２５及び動き補償残像（ＭＣＲＩ）計算ブロック２６の両者に経路付けされる。
【００３５】
ＲＩ計算ブロック２５及びＭＣＲＩ計算ブロック２６は、オリジナルビデオデータと符号化ビデオデータを使用して、残像２７及び動き補償（ＭＣ）残像２８を生成する。より詳細には、ＲＩ計算ブロック２５は、ベースレイヤエンコーダ２１から符号化ビデオデータを受け、次いで、該符号化ビデオデータを復号化する。その後、残像２７は、この復号化ビデオデータにおける画素とオリジナルビデオデータにおける画素との間の差に基づいて生成される。
【００３６】
ＭＣＲＩ計算ブロック２６は、ベースレイヤエンコーダ２１から符号化ビデオデータを受け、次いで、該符号化ビデオデータを復号化する。その後、ＭＣ残像２８は、復号化されたビデオデータから、動き補償アプローチに基づいて生成される。次いで、この動き補償ピクチャは、対応するオリジナルピクチャから差し引かれる。
【００３７】
また、ハイブリッドエンコーダ２２は、ＭＣＲＩエンハンスメントレイヤエンコーダ２８、及び残像のエンハンスメントレイヤエンコーダ３０を含んでおり、その両者は、ＦＧＳのようなスケーラブルコーデックを利用する。動作の間、ＭＣＲＩエンハンスメントレイヤエンコーダ２９、及び残像のエンハンスメントレイヤエンコーダ３０は、スケーラブルコーデックを使用して、ＭＣ残像２２及び残像１２をそれぞれ符号化する。
【００３８】
ＭＣＲＩエンハンスメントレイヤエンコーダ２９は、圧縮された時間的なフレーム３１からなるデータストリームを生成し、ＲＩエンハンスメントレイヤエンコーダ３０は、ＳＮＲフレーム３２からなるデータストリームを生成する。データストリーム３１，３２は結合され、１つのエンハンスメントレイヤのデータストリームを生成することができ、２つの個別のストリームとして維持することもできる。いずれのケースであっても、結果的に得られるストリームは、リアルタイムで記憶又は伝送することができる。
【００３９】
サーバでは、リアルタイムのスケーラブルビデオレートコントローラ３４は、（ベースレイヤエンコーダ２１により生成されたベースレイヤのフレームデータストリーム３３と共に）時間的データストリーム３１及びＳＮＲフレームデータストリーム３２を受信し、上述した方法のステップＥＥ〜ＨＨをリアルタイムで実行する。
【００４０】
レートコントローラ３４は、メモリ（図示せず）との通信可能なプロセッサを典型的に含んでいる。このプロセッサは、上記方法のステップＥＥ〜ＨＨを実行することができる特定用途向けプロセッサ又は汎用プロセッサである場合がある。このプロセッサは、実行されたときに、上記方法のステップＥＥ〜ＨＨを実行するコードを含んでいる。このコードは、メモリに記憶されている場合がある。
【００４１】
レートコントローラ３４は、計算ブロック２３、ＦＧＳレートコントローラ３５及びオプション的なユーザ入力３６から受けた、入力Ｒ、ＲＢＬ及びＲｍａｘに基づいて、ステップＥＥ〜ＨＨを実行する。ＲＢＬまでのビットレートは、ベースレイヤのＩ及びＰフレームに割当てられているので、ベースレイヤのフレームは、これら入力に基づいて常に伝送される。
【００４２】
レートコントローラ３４は、時間的及びＳＮＲフレーム（Ｒ−ＲＢＬ）を伝送するために残されている利用可能な帯域幅を決定する。この情報に基づいて、レートコントローラ３４は、エンハンスメントレイヤのストリーム３１とストリーム３２の間のビットレートを本方法のステップＥＥに従い割当てる。
【００４３】
フレームデータストリーム間のビットレートを割当てた後、レートコントローラ３４は、ベースレイヤのストリームとエンハンスメントレイヤのストリームとして、可変帯域幅を有するネットワーク２４に、本方法のステップＦＦ〜ＨＨに従いデータストリームを伝送する。
【００４４】
良好な時間的な非相関の一方で、本発明は、ＢフレームはＦＧＳＴで常に符号化され、たった１つの残余（ＭＣ残余）が計算される必要があり、したがって、符号が１度だけ符号化される必要があるので複雑さを低くすることができ、良好な効率が実現されるという２次的な利点を有する。また、ベースレイヤは、Ｉ及びＰフレームのみを含むので、その複雑さは適度なものとなる。計算及びメモリトラフィックがより複雑になると、Ｂフレームはエンハンスメントレイヤのみに導入される。
【００４５】
本発明の方法は、図６に示されるハイブリッドテンポラル−ＳＮＲスケーラブルビデオ符号化スキームを採用する場合があり、該スキームは、Ｉ及びＰフレームで符号化されるベースレイヤ４０、２つのエンハンスメントレイヤ、すなわち、時間的なＢフレームで符号化されるテンポラルレイヤ４１、及びＳＮＲのＩ及びＰフレームで符号化されるＳＮＲレイヤ４２を含んでいる。この符号化スキームの詳細は、上述した米国特許出願第０９／５９０，８２５号で説明されている。
【００４６】
上述した発明は、上記実施の形態を参照して記載されてきたが、本発明の精神を逸脱することなしに、様々な変更及び変形を行うことができる。したがって、すべてのかかる変更及び変形は、特許請求の範囲に包含されることが考慮されている。
【図面の簡単な説明】
【図１】
従来のエンハンスメントレイヤのビデオ符号化スキームを示す図である。
【図２Ａ】
本発明で使用される例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示す図である。
【図２Ｂ】
本発明で使用される例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示す図である。
【図３】
本発明の概念による方法のステップを説明するフローチャートである。
【図４】
図２Ｂの構造に適用される方法を例示する図である。
【図５】
本発明のハイブリッドスケーラブル符号化スキームを利用した、例示的な実施の形態によるシステムを示す図である。
【図６】
本発明で使用される場合がある、別の例示的なＦＧＳハイブリッドテンポラル−ＳＮＲビデオ符号化スキームを示す図である。

Claims (15)

  1. 可変帯域幅を有するネットワーク上で、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有するエンハンスメントレイヤのビデオフレームデータをストリーミングするための方法であって、
    オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するステップと、
    前記オリジナルの非符号化ビデオデータと前記ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するステップと、
    前記残余の時間的なビデオフレームデータ及び前記残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、前記スケーラブルに符号化された残余の時間的ビデオフレームデータ及び前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する前記エンハンスメントレイヤのビデオフレームデータを生成するステップと、
    前記可変帯域幅を有するネットワークの利用可能な帯域幅を決定するステップと、
    前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するステップと、
    を備える方法。
  2. 前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するステップをさらに備える、
    請求項１記載の方法。
  3. 前記第２の帯域幅は、前記可変帯域幅を有するネットワークの前記最大の利用可能な帯域幅まで拡がる、
    請求項２記載の方法。
  4. 前記ベースレイヤのフレームデータは、ＩフレームとＰフレームについてのみのデータを含む、
    請求項１記載の方法。
  5. 前記スケーラブルに符号化された残余の時間的ビデオフレームデータは、Ｂフレームについてのみのデータを含む、
    請求項４記載の方法。
  6. 前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータは、ＩフレームとＰフレームについてのみのデータを含む、
    請求項５記載の方法。
  7. 前記スケーラブルに符号化された残余の時間的ビデオフレームデータは、Ｂフレームについてのみのデータを含む、
    請求項１記載の方法。
  8. 前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータは、ＩフレームとＰフレームについてのみのデータを含む、
    請求項１記載の方法。
  9. 可変帯域幅を有するネットワーク上で、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有するエンハンスメントレイヤのビデオフレームデータをストリーミングするための方法であって、
    オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するための手段と、
    前記オリジナルの非符号化ビデオデータと前記ベースレイヤのフレームデータとから、残余の時間的なビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するための手段と、
    前記残余の時間的ビデオフレームデータ及び前記残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、前記スケーラブルに符号化された残余の時間的ビデオフレームデータ及び前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する前記エンハンスメントレイヤのビデオフレームデータを生成するための手段と、
    前記可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段と、
    前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するための手段と、
    を備えるシステム。
  10. 前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段をさらに備える、
    請求項９記載のシステム。
  11. 前記第２の帯域幅は、前記可変帯域幅を有するネットワークの前記最大の利用可能な帯域幅まで拡がる、
    請求項１０記載のシステム。
  12. 可変帯域幅を有するネットワークの利用可能な帯域幅を決定するための手段と、
    前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、スケーラブルに符号化された残余の時間的なビデオフレームデータの少なくとも一部を伝送するための手段と、
    を備えるビデオレートコントローラ。
  13. 前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するための手段をさらに備える、
    請求項１２記載のビデオレートコントローラ。
  14. 可変帯域幅を有するネットワーク上で、スケーラブルに符号化された残余の時間的なビデオフレームデータとスケーラブルに符号化された残余の信号対雑音比（ＳＮＲ）に関する品質のビデオフレームデータとを有するエンハンスメントレイヤのビデオフレームデータをストリーミングするための記憶媒体であって、
    オリジナルの非符号化ビデオデータを非スケーラブルなコーデックで符号化して、ベースレイヤのフレームデータを生成するためのコードと、
    前記オリジナルの非符号化ビデオデータと前記ベースレイヤのフレームデータとから、残余の時間的ビデオフレームデータ及び残余のＳＮＲビデオフレームデータを生成するためのコードと、
    前記残余の時間的ビデオフレームデータ及び前記残余のＳＮＲビデオフレームデータをスケーラブルなコーデックで符号化して、前記スケーラブルに符号化された残余の時間的ビデオフレームデータ及び前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータを有する前記エンハンスメントレイヤのビデオフレームデータを生成するためのコードと、
    前記可変帯域幅を有するネットワークの利用可能な帯域幅を決定するためのコードと、
    前記利用可能な帯域幅が、ベースレイヤのフレームデータのみを伝送するために割当てられた最小ビットレートと、前記ネットワークの最大ビットレート以下の所定のビットレートとの間の範囲にある第１の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの少なくとも一部を伝送するためのコードと、
    を備える記憶媒体。
  15. 前記利用可能な帯域幅が、前記所定のビットレートと前記ネットワークの最大ビットレートとの間の範囲にある第２の帯域幅であるとき、前記スケーラブルに符号化された残余の時間的ビデオフレームデータの残りの部分と、前記スケーラブルに符号化された残余のＳＮＲビデオフレームデータの少なくとも一部を送信するためのコードをさらに備える、
    請求項１４記載の記憶媒体。
JP2002529009A 2000-09-22 2001-09-24 ファイングラニュラスケーラビリティに関する好適な伝送／ストリーミング順序 Withdrawn JP2004509574A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US23460600P 2000-09-22 2000-09-22
PCT/IB2001/002489 WO2002025925A2 (en) 2000-09-22 2001-09-24 Hybrid temporal-snr fine granular scalability video coding

Publications (1)

Publication Number Publication Date
JP2004509574A true JP2004509574A (ja) 2004-03-25

Family

ID=22882053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002529009A Withdrawn JP2004509574A (ja) 2000-09-22 2001-09-24 ファイングラニュラスケーラビリティに関する好適な伝送／ストリーミング順序

Country Status (8)

Country Link
US (1) US7020193B2 (ja)
EP (1) EP1319309B1 (ja)
JP (1) JP2004509574A (ja)
KR (1) KR20020064904A (ja)
CN (1) CN1258922C (ja)
AT (1) ATE346461T1 (ja)
DE (1) DE60124746T2 (ja)
WO (1) WO2002025925A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007537646A (ja) * 2004-05-12 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブロードキャスト用のスケーラブルビデオコーディング

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
JP4404180B2 (ja) * 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
EP1514378B1 (en) * 2002-06-11 2016-12-21 Thomson Licensing Multimedia server with simple adaptation to dynamic network loss conditions
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
CN100574329C (zh) * 2003-12-15 2009-12-23 皇家飞利浦电子股份有限公司 播放内容的方法及装置
KR100782343B1 (ko) * 2004-07-07 2007-12-06 한국과학기술원 영상 스트리밍 방법
WO2006038607A1 (ja) * 2004-10-06 2006-04-13 Nippon Telegraph And Telephone Corporation スケーラブル符号化方法および装置，スケーラブル復号方法および装置，それらのプログラムおよびそれらプログラムを記録した記録媒体
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
KR20070117660A (ko) 2005-03-10 2007-12-12 콸콤 인코포레이티드 컨텐트 적응적 멀티미디어 처리
US7725799B2 (en) * 2005-03-31 2010-05-25 Qualcomm Incorporated Power savings in hierarchically coded modulation
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
EP1938618A2 (en) * 2005-09-29 2008-07-02 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (vbr) video encoding
MY152568A (en) 2005-10-12 2014-10-31 Thomson Licensing Region of interest h.264 scalable video coding
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
BRPI0721640A2 (pt) * 2007-06-27 2013-01-29 Thomson Licensing aperfeiÇoamento de qualidade de imagem
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
US8539092B2 (en) * 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
WO2010076494A1 (fr) * 2008-12-16 2010-07-08 France Telecom Procede de transmission et procede de reception d'un contenu audiovisuel
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
WO2011097755A1 (zh) * 2010-02-11 2011-08-18 上海贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
GB201504403D0 (en) * 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
JP2017045124A (ja) * 2015-08-24 2017-03-02 株式会社日本自動車部品総合研究所 視差検出装置
US10491649B2 (en) * 2016-04-12 2019-11-26 Harmonic, Inc. Statistical multiplexing using a plurality of encoders operating upon different sets of unique and shared digital content
CN106713924B (zh) * 2017-01-24 2019-06-07 西安万像电子科技有限公司 用于文字分层压缩方法和装置
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1998053613A1 (en) * 1997-05-20 1998-11-26 Motorola Inc. Apparatus, method and computer readable medium for scalable coding of video information
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
EP1249131B1 (en) * 1999-12-22 2004-03-17 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007537646A (ja) * 2004-05-12 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブロードキャスト用のスケーラブルビデオコーディング

Also Published As

Publication number Publication date
WO2002025925A2 (en) 2002-03-28
EP1319309B1 (en) 2006-11-22
EP1319309A2 (en) 2003-06-18
DE60124746D1 (de) 2007-01-04
DE60124746T2 (de) 2007-09-13
US7020193B2 (en) 2006-03-28
ATE346461T1 (de) 2006-12-15
CN1436423A (zh) 2003-08-13
KR20020064904A (ko) 2002-08-10
US20020037037A1 (en) 2002-03-28
WO2002025925A3 (en) 2002-09-06
CN1258922C (zh) 2006-06-07

Similar Documents

Publication Publication Date Title
JP2004509574A (ja) ファイングラニュラスケーラビリティに関する好適な伝送／ストリーミング順序
US6639943B1 (en) Hybrid temporal-SNR fine granular scalability video coding
US6940905B2 (en) Double-loop motion-compensation fine granular scalability
Van Der Schaar et al. Adaptive motion-compensation fine-granular-scalability (AMC-FGS) for wireless video
US7830958B2 (en) Seamless switching of scalable video bitstreams
KR100855643B1 (ko) 비디오 부호화
US7042944B2 (en) Single-loop motion-compensation fine granular scalability
US20020037046A1 (en) Totally embedded FGS video coding with motion compensation
US20050195900A1 (en) Video encoding and decoding methods and systems for video streaming service
JP2003533067A (ja) 基準レイヤ符号化情報の使用による改良された精細スケーラブル・ビデオに関するシステム及び方法
JP2005519542A (ja) より高品質な基準フレームを利用したｆｇｓｔ符号化方法
US20070160136A1 (en) Method and apparatus for motion prediction using inverse motion transform
CA2557312A1 (en) Video encoding and decoding methods and systems for video streaming service
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
TWI293833B (en) Method and apparatus for mpeg-4 fgs performance enhancement
CN1254115C (zh) 双回路移动补偿精细颗粒的可标度性
KR101388591B1 (ko) 순방향 오류정정 패킷 할당방법 및 장치, 및 이를 채용한 서버 및 클라이언트 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080922

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090402