TW200937902A - A method and apparatus for streaming scalable multimedia data streams - Google Patents

A method and apparatus for streaming scalable multimedia data streams Download PDF

Info

Publication number
TW200937902A
TW200937902A TW097139080A TW97139080A TW200937902A TW 200937902 A TW200937902 A TW 200937902A TW 097139080 A TW097139080 A TW 097139080A TW 97139080 A TW97139080 A TW 97139080A TW 200937902 A TW200937902 A TW 200937902A
Authority
TW
Taiwan
Prior art keywords
layer
indicator
resource
exhausted
packet
Prior art date
Application number
TW097139080A
Other languages
English (en)
Other versions
TWI390887B (zh
Inventor
zhen-yu Wu
Zheng-Ye Liu
Alan Jay Stein
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW200937902A publication Critical patent/TW200937902A/zh
Application granted granted Critical
Publication of TWI390887B publication Critical patent/TWI390887B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6583—Acknowledgement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1812—Hybrid protocols; Hybrid automatic repeat request [HARQ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H04L2001/0093—Point-to-multipoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

200937902 九、發明說明： 【發明所屬之技術領域】 本發明涉及串流可調整多媒體資料流，特別是串流在受 損網路的單播和多播環境中的多媒體資料流。 【先前技術】 夕媒體串流應用通常是在由有線或無線網路提供的即時 服務中。即時服務，諸如多媒體串流，其特徵是延遲限 制。延遲到達用戶端的多媒體串流資料（服務資料）一般被 〇 該用戶端丟棄。多媒體串流資料通常有一與該資料相關的 截止時間，因為它是被顯示給在該用戶端器件的使用者。 由於如該網路中的擁塞或通道減損的原因，總是不能保證 多媒體串流資料及時且正確地傳輸給該用戶端。因此，在 該用戶端，在重播期間可能有多媒體資料丟失。 由於多媒體資料的大容量，所以多媒體串流應用通常需 要大的網路頻寬。對於那些頻寬受限的網路，資料傳輸率 限制通常影響此應用。在這裏，頻寬、資料傳輸率和網路 傳輸率都是可被互換地使用。頻寬通常用赫茲測量，但是 在數位通信頻寬中經常用每秒位元數（bps)律定，其實際上 - 是一傳輸率。同時，較上層應用可用的網路頻寬，例如檔 案下載和網頁流覽，也可能取決於如網路擁塞、實體層通 道中斷等因素而因時而異。當該可用網路頻寬少於該多媒 體串流應用所請求的數量時，該串流伺服器可能根據某種 資料棄置策略強迫丟棄多媒體資料以便降低資料率。任何 以上該等原因可導致在該用戶端發生資料損失，其會負面 134884.doc 200937902 影響用戶端重播品質。 因此，有-種在一延遲及/或頻寬受限的多媒體串流應 用經由一受損網路正在傳輸多媒體資料時改善多媒體重播 品質的方法及裝置將是有利的。如這襄使用之""I表示相同 或相似活動或元件的另外名稱。 【發明内容】 多媒體串流應用通常有嚴格的延遲和頻寬限制。本發明
描述了-種用於伺服器經由一提供一回饋通道的受損網路 串流由可調整編解碼器壓縮的多媒體内容到該（該等）用戶 端的方法及裝置。對於本發明，在用戶端方面的該多媒體 重播品質可被改善。 -種方法及裝置被描述，其包含接收—與—層相關的已 編碼的内容封包，接收關於通道情況的回㈣訊並基於該 回饋資訊應用混合自動重發請求以傳送該封包。其中分層 應用混合自動重發請求的該方法及裝置進—步包含確定是 否-資源被用i，如果該資源沒有被用盡，則排程一層的 分層編碼内容封包的傳送，確定是否該層的所有分層編碼 内容封包已經被發送’如果_層的分層編碼内容封包沒有 全部被發送’則前進到第-確^步驟，確^是否已經從— 使用者器件接收-確認資訊’如果沒有確認被接收，則確 定是否該資源被用盡以及如果該資源沒有被用冑，則排程 分層編碼前向糾錯封包的傳送。 【實施方式】 即時多媒體服務需要高資料可靠性和低界限時間延遲。 134884.doc 200937902 然而，提供此等服務的很多網路易錯且頻寬受限的。因 此，合適的錯誤控制技術在獲得可接收的服務品質上是必 要的。 如运裏所用的"用戶端"包含任何使用者器件、終端器 件、行動終端、電腦、處理器、膝上型電腦、個人數位助 理、雙模式行動電話、機頂盒以及其他可用於顯示或重播 包含音頻、視頻和多媒體内容的内容的任何器件。如這裏 所用的源或服務資料包含任何形式的未壓縮/已壓縮内 容，包含音頻、視頻和多媒體資料。 則向糾錯（FEC)編碼是一常用以提高受損網路的流通量 的錯誤控制技術。FEC添加受控冗餘到服務資料並且該冗 餘資料（在這襄也稱為FEC資料）也經由該網路被發送給該 用戶端無娜何時有資料損失，該用戶端均可利用該FEc 資料提供的該冗餘檢測並恢復損失。然而，為了有效地恢 復資料知失，FEC的數量需根據網路損失情況調整。但是 由於很多網路通道（例如無線網路）的時變特性，此類精確 資訊難以獲得。因Λ ’對於此等網路，供應不足時， 可造成FEC錯誤’而過度供應時，FEc會非必要地降低網 路：通量，兩者都會造成多媒體重播品質降低。 當網路提供一回饋通道且該用戶端能夠產生回饋資訊 時’重發是另一種常用於受損網路中的技術。為重發設計 的八尘協疋如下作業。在該發送方，當該服務資料經由 i肩路發送時，該伺服器等待一經由該網路回鎮通道來自 ”亥用戶端的確§忍（ACK)。在該接收方只有當該用戶端正 I34884.doc 200937902 =接㈣所有該等資料時，始由該用戶端發送-ACK。 一特疋期間（稱為超時期間）後，如果該飼服器還沒有接 戶那麼它假設該資料被丟失並再次發送該相同 貧科給該用戶端。 、輊序被重複，直到該伺服器從該用
端接收到該資料的# A 料的該ACK，以及然後如果需要，針對下個 資料開始相同程序。該重發方法-般只再次發送在重發期 間丟失的資料’因此它是具頻寬效率的。然而，該飼㈣ ❹ ❷ ^寻不等待該ACK以繼續，其通㈣人—長延遲，該延遲 疋不適合即時多媒體服務的。此外，該方法不能很好地調 整^用戶端的數目高時’ ACK的數目可能無限膨服，並 ㈣以㈣響流通量^無限似的問題被稱為ACK爆炸 問題。 第三種方法是混合自動重發請求（ARQ)，其結合重發與 FEC兩者的優點。用混合arq ’在該發送方，該词服器首 先發送出使用者資料以及然後發送咖資料給該用戶端。 ί程序期M g 4用戶端已經接收到所有該等使用者資 料或足以恢復損失的FEC資料時，該用戶端發送一 ACK經 由-該網路提供的㈣通道返回給㈣服器…旦該祠服 器接收到- ACK ’ β就停止發送任何資料。因&發送給該 用戶端的FEC資料的數量可按照當前網路情況經由ACK正 確地調整，所以混合ARQ能夠保持高頻寬效率。然而，當 該網路遭受過多的損失時，該伺服器可能在它可接收到一 ACK之别不得不發送大量的FEc資料。當該數量的FEc資 料超過該資料傳輸率限制，或在FEC傳送期程超過該延遲 134884.doc 200937902 限制時，用該混合arq方法仍可能發生内容資料損失，其 可降低多媒體重播品質。 一可調整源編碼器麼縮一源内容並產生一可調整編碼位 元流使得一位元流的一部分可以以一種方式去除，其中所 得之子位元流形成另一用於一給定解碼器的有效位元流， 其表示相對於該原始位元流具有一降低之重建品質的該源 内容。有很多可調整源編碼器，例如H.264/AVC(時間可調 整性）、用於視頻編碼的SVC(時間SNR和空間可調整性）' 以及用於圖像編碼的JPEG2000、SPIHT等。 一由上述源編碼器產生的可調整源位元流可被分成很多 層。第一層含有一該源的表示並且是獨立可解碼的。每個 以下層含有關於該源的額外資訊並且須依賴所有該等先前 層用於該正確解碼。因此，一般而言，在一可調整位元流 的所有該等層之中，該第一層在重建該原始源的方面有最 鬲重要性，以及其他另外層的重要性隨著其層指標增加而 降低。 在下文中’ 4慮了 —經由一具有回饋通道的受損網路單 播一可調整位元流到一用戶端的多媒體串流應用。該應用 有資料傳輸率和延遲限制，其將在以下被描述。 一 假疋一多媒體内容被—可調整源編碼器編碼成Μ層 ㈧⑼）’使得層m的重要性隨著m增加而降低（^以， ΜΝ)°進—步假設來自源層m的該位it流被封包化成^ 個源封包用於網路傳送。此外 m 此外使用如瑞德-索羅蒙（RS) 碼的特定FEC碼’針對層m編碼l』fec封包。特別是， I34884.doc 200937902 假設Lm是大到足以補償層m之可能資料損失而沒有任何 傳輸率或延遲限制。在下文中，”資料封包"—般包含⑽ FEC封包兩者。 一在電腦網路中以及如這裏所採用者，頻寬通常被用於指 不一資料傳輸率以及因此通常被表示為每秒之位元數。在 大多★數網路中，-通信路徑包含—系列在沿著該路徑的個 別節點間的鏈路。該路徑的頻寬係由㈣兩個鍵路之間的 最低頻寬限制。 假疋B是分配給該應用的該網路傳輸位元率（bp^，以及 T是在該應用被允許發送f料期間的—時槽的該持續時間 (，）。對於每個時槽，BT等於分配給該應用的總位元預算 (是或可在-給定時槽中經由該鍵路被發送的位元總數）以 及標註[dl，d2]為該視頻資料裏面遞增的重播截止時間。 本發明結合該混合ARQ方法與用於多媒體資料串流的該 可調整源編碼特性。在每個該词服器被允許發送資料之時 槽開始時’該飼服器獲得關於在[dl，d2]t；t重播截止時間 的該可調整位元流的每層的封包數目資訊。此資訊通常可 在該内容祠服器被獲得，其編碼/儲存該内容資料。該網 路飼服器從該内容健11請求並純此資訊。該網路飼服 器…:後通知該用戶端關於該資訊，此係以如專用資訊封包 或、！由來自忒等先前時槽的封包傳送的附加資訊的方式， 例如在該封包標頭中。 在該發送方，一旦该網路伺服器保證該用戶端接收到關 ;在該層中的源封包的數目的該資訊，它就開始發送屬於 134884.doc 200937902 e亥時槽的忒等資料封包。特別是，該網路伺服器首先發送 來自具有最低層指標（最高優先權）的該層的該等資料封包 以及然後進到具有遞增較高層指標的下一層。在每層内匕 該等源封包首先被發送，接著是該等FEC封包。 在該接收方，該用戶端接收—層的資料封包並不間斷地 檢查它是否已經接收到該層的所有該等源封包，或它可使 用該等接收到的FEC封包恢復任何丟失的源封包。這是有 可能的，因為制戶端知道為該時槽預計的每層的源封包 的精確數目。一旦該當前層的所有該等源封包是可得到 的’它就經由該回饋通道發送—獻給該飼服器。該用戶 端為它接收到的該當前層的每個資料封包重複以上程序。 在該發送期間，該词服器可發生以下三個事件的其中之 I 一來自該用戶端的ACK到達。 2. 該時槽的該位元預算BT被用盡。 ❹ 3. 該時槽的該持續時間T已經超過。 事件1指示該用戶端p猫拉 . 磲已經接收到或能夠恢復來自層m的 所有視頻封包。回應於、古u 次姐u & 〜於34事件，該伺服器停止發送層m的 貝枓封包並且進到發诸 ,^ 赞送來自層m+Ι(當m+KM時）的資料封 匕。在該當前層县甚古 V ν ,, ^ Μ 最円可用層之情況下，該伺服器簡單地
保持空閒並等待下個 A A ^ 時槽。备事件2或3發生時，它指示該 應用已經達到其資絲推k f ^ -F ^ ^ 4傳輸率限制。該伺服器然後不得不等 待下個時槽以及重複以上該等操作。 本發明可被進一牛μ ^ '^伸到多播多媒體資料到用戶端組。 134884.doc 200937902 對於每層m，當該組中的每個用戶端已經接收到或能夠恢 復該源層時，每次只有一ACK被發送返回給該伺服器。在 實施例中，在一有線/無線網路中有多類用戶端/接收器/ 使用者||件。用彳端组基於它們的通道損失情況被分類/ 分組。因此一用戶端所屬於的該多播組隨著該個別用戶端 的通道情況改變而可隨時間而變。也就是說，一個別用戶 端可基於其通道情況而隨時間加入或離開一或多個組。在 此策略下，在一、组中的該等用戶端在它們自己之間通信以 ❹ 卩當最後能夠接收/恢復該内容層的該個別用戶端也被這 樣完成時，一對應該組的一内容層的單個ACK可被發送。 在一請求重發的情況下，具有最多需要重發的封包的該個 別用戶端已發出該請求。也就是說，在上述所有情況下， 具有最多需要/最壞情況的該個別用戶端是該組用戶端中 唯一回應每個内容層的該用戶端。這經由使用回饋抑制解 決了該ACK爆炸問題。 ❾ 鑑於頻寬或延遲限制，本發明分配剩餘資源以保證該當 前源層的正確傳送，從最重要的資料開始到最不重要的資 料。對於多媒體資料的每個成功傳送的層，因為使用混合 ARQ，故本發明可保持受損網路的高頻寬效率。在當該給 定資源在屬於一時槽的所有該多媒體資料被傳送到該用戶 端之前被用盡的情況下，本發明經由充分利用該源位元流 的可調整特性保證最小性能損失。因此，本發明可根據網 路受損情況提供彈性位元率適應以及在用戶端提供改進的 多媒體重播品質。 I34884.doc •13- 200937902 圖1是本發明之單播操作的環境示意圖。伺服器ι〇5排程 經由一受損網路110發送給用戶端/使用者器件的内容。如 圖3中顯示的伺服器105可包含兩個伺服器：一内容伺服器 和一網路伺服器。該網路提供一回饋通道以通知飼服器 1〇5由該使用者器件/用戶端U5a、U5b接收到該發送内容 或由該使用者器件接收到足夠的封包（内容和fec)以便恢 復當前層編碼内容。 圖2A和2B合在—起是本發明的該封包排程器的操作的 © 流程圖。在本發明的此實施例中，該等封包被單播發送/ 派遣給複數個用戶端/使用者器件/接收器。在2〇5處，該封 包排程器（圖3中所示）從内容伺服器（圖3中所示）接收分層 編碼封包（内容和FEC)。在210處，該封包排程器還經由I 自該網路飼服器（圖3中所示）的一回饋通道從該等用戶端/ 使用者器件接收回饋。在215處，該封包排程器接著初始 化一時槽指標。在220處，該封包排程器初始化一編碼資 ❹ #層指標。在225處’一測試被執行以確定是否這個時槽 的任何資源已經被用盡。也就是說，確定是否該時槽的該 位元預算或封包傳送的截止時間過期。如果有任何資源被 用盡’那麼在260處’該時槽指標被遞増。如果沒有資源 被用盡，那麼在230處，該封包排程器通知/排程該網路伺 服器發送/派遣屬於當前編碼資料層的下個内容封包。在 235處，一測試被執行以確定是否屬於當前層的所有内容 封包已經被發送/派遣。如果屬於當前層的該等内容封包 沒有全部被派遣，那麼程序進到225處。如果屬於當前層 134884.doc -14- 200937902 的該等内容封包全部已經被派遣/發送，那麼在240處，— 測試被執订以確定是否已經從該用戶端接收到-ACK。如 果已經從該用户端接收到一 ACK,那麼在265處，一測試 被執行以確定是否該當前層指標是最高層指標。如果該各 制不是最高層，那麼該程序進到255處，其中該封包: 程器遞^該編碼資料層指標。該程序接著進到225處。如 果該當則層指標是最高層指標，那麼該時槽在細處被遞 如果沒有ACK從該用戶端接收到，那麼在245處，一 调!,被執行以確定是否該時槽的任何資源已經被用盡。也 就是說，確定是否該時槽的該位元預算或封包傳送的該截 止時間過期。如果任何資源已經被用盡’那麼在260處， 該時槽指標被遞if。如果沒有資源已經被用盡，那麼在 250處，該封包排程器通知/排程該網路伺服器發送"派遣該 等FEC封包。 人 圖3是按照本發明的原理的一伺服器的方塊圖。圖丨中所 _ 了的伺服器1G5可作為内容飼服器3Q5a和網路飼服器3㈣ 執仃。内谷伺服器305a負責提供分層編碼視頻位元流給網 路词服器3〇5b以及提供源資訊給該封包排程器模組⑽。 封包排程器模組從該内容伺服器接收該等分層編碼封包以 及經由網路伺服器305b從使用者器件/用戶端接收回饋。 封包排程器模組310發送封包排程資訊給網路伺服器 3〇5b，如上參考圖2八和23所述。封包排程器模組3ι〇可以 硬體或軟體或其組合執行。網路伺服器3〇5b經由下行鏈路 通道320發送封包（内容和FEC)給或經過受損網路315。受 134884.doc 200937902 損網路經由下行鏈路通道330發送封包（内容和FEC)給用戶 端/使用者器件340。如這襄所使用以及特別是在多播環境 中，用戶端/使用者器件340可以是多類別用戶端/接收器/ 使用者器件。受損網路315經由回饋通道335從用戶端/接 收器/使用者器件接收回饋，其經由回饋通道325回饋受損 網路315遞送給網路伺服器3〇5b。圖3顯示了 一單一用戶端 /使用者器件/接收器。在實際實踐中，假設有多個用戶 $。但圖3的要點在於本發明的實施例被單播給複數個用 〇 彳端。也應注意，該封包排程器的功能可在如所示的-獨 立模組（軟體或硬體）中或該功能可被劃分在該内容飼服器 3〇5a和該網路伺服器3〇5b之間或所有三個單元（該内容伺 服器3〇5a、該網路伺服器⑽和該封包排程器31〇)可被組 合在一單一器件中。 圖4是-使用H.264主規範執行該編瑪的示例性時間可調 整性編碼結構。H.264是幾個可能編碼方案的其中之一。 ❷圖4中的該組圖像被稱為—"圖像組"或G〇p，其可被分成 -基本層（BL)和多個加強層（EL)。圖4顯示了 3個EL在:時 間方向。該BL包含即時解碼更新（職)和p/B類型片。該等 EL包含分別標註為仏㈣的參考和非參考b類型片。圖*中 的該等箭頭指示在編碼期間的該等參考相關性。該等 相關性形成-分級運動預測結構。從圖4可看出，，W 可獨立地編碼以及E1_n不得不依賴机和(其中^ ^ 於正確編碼。此外，由於該等預測相關性—來自队以 的丢失圖像只影響來自較高層的圖像，如EL_n : 134884.doc • 16 · 200937902 *亥BL的丟失圖像可影響接下來的所有圖像直到下個①尺被 接收到。因此，在此編碼結構中，該ΒΕ一般是最重要的 (以及因係具有最低指標之層），接著是依降低重要性順序 的EL-1、EL-2和EL-3 ^此編碼結構滿足了分層内容編碼。 特別注意’該分層混合ARq也可與其他内容編碼可調整性 尺寸併同作業。 圖5疋本發明之多播操作的環境示意圖。伺服器丨〇5和受
損網路no是如上參考圖丨所述。多播組丨5〇5是一類用戶 端/使用者器件/接收器’其等基於它們的通道情況已經加 入多播組1，其中通道情況通常是自該源的距離的一函 數多播組2 5 1 0是另一類用戶端/使用者器件/接收器，其 等基於匕們的通道情況已經加入多播組2。在該環境中可 能有額外的多播組。 圖6是按照本發明的原& Θ旳原理的一封包排程器的方塊圖。在 本發明的該實施例中’從單播到多播，該封包排程器按昭 本發明的原理的延伸的描述執行與個制戶端相對之用戶 端組之排程。3〇5a、職、抓奶是如上參考圖3所述。 多播用戶端組605a、605h知 ㈧讣和605c每個可有一單個用戶端或 複數個用戶端。 應明白’本發明可以各種形式的硬體、軟體、韌體、專 用處理器或其組合執行。較佳地，本發明是以硬體和軟體 的組合執行。此外’該軟體較佳以-明白地體現在-程式 鍋件上的應用程式執行。該應用程式可被上載到或由 一包括任何合適結構的機器執行。較佳地，該機器被執行 134884.doc 200937902 在一具有如_或多個中央處理單元（CPU)、—隨機存取記 憶體（RAM)和輸入/輸出（1/0)介面的硬體的電腦平臺上。 該電腦平臺還包含一作業系統和微指令碼。這襄描：的各 種程序和功能可能是該微指令碼的一部分或該應用程式 (或其組合）的-部分’其是經由該作業系統執行。此外， 其他各種周邊器件可被連接到該電腦平臺，如一額外的資 料儲存器件和一列印器件。 ❹ 應進-步瞭解，由於在料所_式巾描㈣該等植成 系統元件和方法步驟的一些較佳被執行在軟體中，所以在 該等系統元件（或該等程序步驟）之間的該等實際連接 取決於本發明被規劃的方式而有所不同的 教不’熟習此項相關技術者將能夠設想這些以及本 類似執行或配置。 發月的 【圖式簡單說明】 圖1是本發明之單播操作環境示意圖。 圖2Α和2Β合在—起是本發明的操作流程圖。 圖3疋按照本發明的原理的—封包排程器的方塊圖。 圖4是示例性時間可調整性編碼結構。 圖5是本發明之多播操作環境示意圖。 圖6疋按照本發明的原理的一封包排程器的方塊圖。 【主要元件符號說明】 105 伺服器 110 受損網路 使用者Is件/用戶端 134884,doc 200937902 115b 305a 305b 310 315 320 325 330 〇 335 340 505 510 605a 605b 605c 使用者器件/用戶端 内容伺服器 網路伺服器 封包排程器模組 受損網路 下行鏈路通道 回饋通道 下行鏈路通道 回饋通道 用戶端/使用者器件 一類用戶端/使用者器件/接收器 另一類用戶端/使用者器件/接收器 多播用戶端組 多播用戶端組 多播用戶端組
134884.doc -19·

Claims (1)

  1. 200937902 十、申請專利範圍： 1. 一種方法’該方法包括： 接收一與一層相關之已編碼的内容封包； 接收關於各通道情況之回饋資訊；以及 基於該回饋資訊申請混合恢復重發請求以傳送該封 包。 , 2.根據凊求項i之方法，其中分層申請混合恢復重發請求 進一步包括： © 確定是否一資源被用盡； 如果該資源沒有被用盡，則排程一層之若干分層編碼 内容封包之傳送； 確定是否該層之所有分層編碼内容封包已經被發送； 如果一層之各分層編碼内容封包沒有全部被發送，則 前進到該第一確定步驟； 確定是否已經從一使用者器件接收一確認訊息； 如果沒有確認被接收’則確定是否該資源被用盡；以及 如果該資源沒有被用盡’則排程各分層編碼前向糾錯 封包之傳送。 .3·根據請求項2之方法，進一步包括： 初始化一時槽指標；以及 初始化一層指標。 4.根據請求項3之方法，進一步包括： 如果該層指標是一最高層指標，則遞增該時槽指標； 以及 134884.doc 200937902 重新初始化該層指標。 5. 根據請求項3之方法，進一步包括如果該層指標不是一 最高層指標，則遞增該層指標。 6. 根據請求項2之方法，其中該資源是受限頻寬和發送時 間其中之一。 7·根據請求項2之方法，其中該等分層編碼封包是由一可 調整編碼器產生。 ❹ ❹ 8根據明求項2之方法’其中該等分層編碼封包被排程用 於以由该層指標指示之它們之重要性之順序傳送以及進 一步其中該層指標以重要性遞減之順序增加。 9. 一種裝置，其包括： 用於接收—與一層相關之已編碼的内容封包之裝置； 用於接收關於各通道情況之回饋資訊之裝置；以及 :基於β亥回饋資訊申請混合自動重發請求以傳送該 封包之裝置。 10.根據請求項9之裝置，i ，、中用於分層申請混合自動重發 凊求之該裝置進一步包括： 用於確定是否-資源被用盡之裝置； 如果該資源沒有被用盡， 碼内容封包之傳送之褒置；_於排程一層之各分層編 用於確定是否該層之所 送之裝置； $刀層編碼内容封包已經被發 如果一層之分層編碼内 於前進到該第一確定步驟 容封包沒有 之装置； 全部被發送，則用 134884.doc 200937902 用於確定是否已經從一使用者器件接收一確認訊息之 裝置； 如果沒有確認已經被接收，則用於確定是否該資源被 用盡之裝置；以及 如果該資源沒有被用盡，則用於排程各分層編碼前向 糾錯封包之傳送之裝置。 11. 根據請求項10之裝置，進一步包括： Ο ❹ 用於初始化一時槽指標之裝置；以及 用於初始化一層指標之裝置。 12. 根據請求項11之裝置，進一步包括： 如果„亥層心標是一最向層指標，則用於遞增該時槽指 標之裝置；以及 I W滞化該廣知彳币之裝置。 13.根據請求項^ 一 裝置進步包括如果該層指標不是一 门層晶心，則用於遞增該層指標之裝置。 14·根據请求項之 ， 間其中之一 具干該資源是觉限頻寬和發送時 15.根據請求項之裝 調整編碼器產生。 置，其中該等分層編碼封包是由 —可 16·根據請求項10之裝 於以由該層指標指 一步其中該層指樑 置’其中該等分層編碼封包被排程用 示之它們之重要性之順序傳送以及進 以重要性遞減之順序增加。 134884.doc
TW097139080A 2007-11-01 2008-10-09 串流可調整多媒體資料流之方法及裝置 TWI390887B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/023079 WO2009058118A1 (en) 2007-11-01 2007-11-01 A method and apparatus for streaming scalable multimedia data streams

Publications (2)

Publication Number Publication Date
TW200937902A true TW200937902A (en) 2009-09-01
TWI390887B TWI390887B (zh) 2013-03-21

Family

ID=39739323

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097139080A TWI390887B (zh) 2007-11-01 2008-10-09 串流可調整多媒體資料流之方法及裝置

Country Status (8)

Country Link
US (1) US8395990B2 (zh)
EP (1) EP2206270B1 (zh)
JP (1) JP5562861B2 (zh)
KR (1) KR101389908B1 (zh)
CN (1) CN101849378B (zh)
BR (1) BRPI0722144A2 (zh)
TW (1) TWI390887B (zh)
WO (1) WO2009058118A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7944872B2 (en) 2006-12-13 2011-05-17 Viasat, Inc. Adaptive coding and modulation aware network load balancing
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
US8395993B2 (en) 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US8358690B2 (en) 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US8456986B2 (en) 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
US8411571B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8411572B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US7961665B2 (en) 2006-12-13 2011-06-14 Viasat, Inc. Terminal aware multicasting
US8576858B2 (en) 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
CN101729228B (zh) * 2008-10-31 2014-04-16 华为技术有限公司 丢包抑制重传的方法、网络节点和系统
KR101196452B1 (ko) * 2010-06-18 2012-11-01 동국대학교 산학협력단 비트스트림 전송 장치 및 방법
TWI411321B (zh) * 2010-10-18 2013-10-01 Univ Nat Pingtung Sci & Tech 多媒體串流傳輸之排程控制方法
US10602523B2 (en) 2016-12-22 2020-03-24 Verizon Patent And Licensing Inc. Allocation of network resources based on antenna information and/or device type information
CN108803958B (zh) * 2017-04-26 2022-12-16 腾讯科技（深圳）有限公司 文件载入控制、云存储应用中实现上传的交互方法和装置
CN115462078B (zh) * 2020-05-26 2025-09-05 华为技术有限公司 视频传输方法、装置和系统
EP4262218A4 (en) * 2020-12-29 2024-01-24 Huawei Technologies Co., Ltd. WIRELESS SCREEN PROJECTION METHOD AND APPARATUS

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01276939A (ja) * 1988-04-28 1989-11-07 Toshiba Corp ローカルエリアネットワークにおけるパケット送受信方式
US6999432B2 (en) * 2000-07-13 2006-02-14 Microsoft Corporation Channel and quality of service adaptation for multimedia over wireless networks
TW532014B (en) 2000-10-13 2003-05-11 Astrolink International Llc A distributed asynchronous transfer mode (ATM) switch architecture for satellites
JP2004514380A (ja) * 2000-11-17 2004-05-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 様々な送信スキームを用いて複数のネットワーク上でデータを効率良く通信するシステム及び方法
US7095729B2 (en) * 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
WO2003019895A1 (de) 2001-08-24 2003-03-06 Siemens Aktiengesellschaft Verfahren zur übertragung von datenpaketen in einem funk-kommunikationssystem
US20040071083A1 (en) * 2002-02-22 2004-04-15 Koninklijke Philips Electronics N.V. Method for streaming fine granular scalability coded video over an IP network
EP1488644B1 (en) * 2002-03-27 2007-05-30 British Telecommunications Public Limited Company Data structure for data streaming system
EP2393250A1 (en) * 2002-12-04 2011-12-07 Interdigital Technology Corporation Reliability detection of channel quality indicator (CQI) and application to outer loop power control
US8737219B2 (en) 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
US20070195878A1 (en) * 2004-04-06 2007-08-23 Koninklijke Philips Electronics, N.V. Device and method for receiving video data
JP2006033507A (ja) * 2004-07-16 2006-02-02 Sony Corp 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体
US8112075B2 (en) * 2006-03-24 2012-02-07 Nokia Corporation HARQ-aware CQI reporting
CN1917639A (zh) 2006-09-01 2007-02-21 北京天地互连信息技术有限公司 使用丢包重传的视频信号增强方法
KR100940730B1 (ko) * 2007-09-07 2010-02-04 엘지전자 주식회사 무선통신 시스템에서 기준 신호 생성 방법
US20090109912A1 (en) * 2007-10-25 2009-04-30 Interdigital Patent Holdings, Inc. Method and apparatus for pre-allocation of uplink channel resources

Also Published As

Publication number Publication date
TWI390887B (zh) 2013-03-21
JP5562861B2 (ja) 2014-07-30
KR101389908B1 (ko) 2014-04-29
WO2009058118A1 (en) 2009-05-07
BRPI0722144A2 (pt) 2015-02-10
US20100246390A1 (en) 2010-09-30
EP2206270B1 (en) 2018-01-10
EP2206270A1 (en) 2010-07-14
KR20100074228A (ko) 2010-07-01
CN101849378B (zh) 2013-05-08
CN101849378A (zh) 2010-09-29
JP2011503966A (ja) 2011-01-27
US8395990B2 (en) 2013-03-12

Similar Documents

Publication Publication Date Title
TW200937902A (en) A method and apparatus for streaming scalable multimedia data streams
CN102684833B (zh) 分组传输装置、通信系统
US7733911B2 (en) Error control in multicast video distribution
CN100539544C (zh) 媒体流式传输分发系统
US7813268B2 (en) Retry strategies for use in a streaming environment
US6014694A (en) System for adaptive video/audio transport over a network
US20060048036A1 (en) Method and apparatus for generating error correction data, and a computer-readable recording medium recording an error correction data generating program thereon
KR100864386B1 (ko) 데이터 네트워크에서의 컨텐츠의 스케일러블 송신을 위한시스템
CN108174234A (zh) 一种流媒体传输方法及系统
CN102075312A (zh) 基于视频服务质量的混合选择重传方法
CN101542957A (zh) 数据通信系统、数据发射装置、数据发射方法、数据接收装置、及数据接收方法
KR100883576B1 (ko) 멀티캐스트/브로드캐스트 데이터 배포를 위한 데이터 복구강화
CN1754385B (zh) 图像数据分发装置、方法及图像数据接收方法
WO2008134897A1 (en) Method and system for quality service enhancement in networks for media streaming
CN118233847A (zh) 基于喷泉码的ieee 802.11无线组播传输系统
Lo et al. An unequal error protection scheme for reliable peer-to-peer scalable video streaming
JP2007074413A (ja) コンテンツ配信装置およびコンテンツ受信装置、ならびにコンテンツ配信システム、コンピュータプログラム
Mannaert et al. A scheduling engine to allocate resources for multicast transmissions over a satellite link
HK1103563A (zh) 用於在數據網絡中對內容進行可擴展傳輸的系統

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees