TW201210325A - Method and apparatus for indicating switching points in a streaming session - Google Patents

Method and apparatus for indicating switching points in a streaming session Download PDF

Info

Publication number
TW201210325A
TW201210325A TW100125644A TW100125644A TW201210325A TW 201210325 A TW201210325 A TW 201210325A TW 100125644 A TW100125644 A TW 100125644A TW 100125644 A TW100125644 A TW 100125644A TW 201210325 A TW201210325 A TW 201210325A
Authority
TW
Taiwan
Prior art keywords
media
representation
switching point
media content
switching
Prior art date
Application number
TW100125644A
Other languages
English (en)
Inventor
Imed Bouazizi
Miska Matias Hannuksela
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW201210325A publication Critical patent/TW201210325A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

201210325 六、發明說明: c發明戶斤屬之技術領域3 發明領域 本發明一實施範例大體上係有關一串流化期間,並 且,尤其是,係有關於串流化期間用以指出切換點之方法 及裝置。 【先前技術3 發明背景 網路技術以及使用網路技術之電腦設備之演進方式持 續便利資訊傳送容易並且方便使用者。就此點而言,網路 擴張以及網路電腦設備之發展已提供充分之處理能力、儲 存空間以及網路頻寬以致動漸增複雜之數位媒體檔案的傳 送以及播放。因此,網際網路電視、視訊共享以及類似者 普遍地增加。 為了便利數位媒體檔案之傳送以及播放,數位媒體檔 案可自一伺服器被串流至一内容消耗設備,例如,一電腦 裝置。媒體檔案串流可藉由將媒體檔案切分成為複數個斷 片而被提供。内容消耗設備可要求媒體檔案之片段,並且 伺服器接著可回應於該要求而發送該片段至内容消耗設 備。一片段包含一個或多個斷片。緊隨著在一個片段的發 送以及接收之後,客戶消耗設備可自伺服器要求另一片 段。這處理程序可被重複而將媒體檔案自伺服器每次一片 段地發送至内容消耗設備。 【發明内容】 201210325 發明概要 依據一實施範例,一種方法、裝置以及電腦程式產品 因此被提供以供使用輸送協定(例如,超文件輸送協定 (HTTP))在媒體檔案串流期間指出切換點。藉由依據本發明 實施範例指出切換點,在不同的串流化表示之間的切換可 以是快速並且平順的。另外地,一實施範例之内容消耗設 備可安置一適當的切換點並且僅擷取供用於目標表示之必 須的媒體資料,因而進一步地增加切換效率。 於一實施範例中,一種方法被提供,該方法包含利用 一處理器決定在媒體内容之第一表示中的至少一切換點。 該方法也包含導致定義至少一切換點的切換點資訊關聯於 媒體内容之第一表示的一個或多個媒體片段而被傳信。該 方法進一步包含依據在媒體内容之第一表示中被決定之一 分別的切換點,而接收對於媒體内容之一第二表示的一要 求,並且導致媒體内容之第二表示的一個或多個媒體片段 被發送。 於另一實施範例中,一裝置被提供,該裝置包含至少 一處理器以及包含電腦程式碼的至少一記憶體,藉由至少 一記憶體以及電腦程式碼被組態,以利用至少一處理器, 而導致該裝置至少決定在媒體内容之第一表示中的一切換 點,並且導致定義至少一切換點的切換點資訊關聯於媒體 内容之第一表示的一個或多個媒體片段而被傳信。該至少 一記憶體以及該電腦程式碼也被組態,以利用至少一處理 器,而導致該裝置依據在媒體内容之第一表示中被決定之 201210325 一分別的切換點,而接收對於媒體内容之一第二表示的一 要求,並且導致媒體内容之第二表示之一個或多個媒體片 段被發送。 於進一步的一實施範例中,一裝置被提供,該裝置包 含用以決定在媒體内容之一第一表示中的至少一切換點之 構件,以及用以導致定義至少一切換點的切換點資訊關聯 於媒體内容之第一表示的一個或多個媒體片段而被傳信之 構件。這實施例裝置也包含用以依據在媒體内容之第一表 示中被決定之一分別的切換點,而接收對於媒體内容之一 第二表示的一要求之構件,以及用以導致媒體内容之第二 表示的一個或多個媒體片段被發送之構件。 於再另一實施範例中,一電腦程式產品被提供,該電 腦程式產品包含具有被儲存在其中的電腦可執行程式碼指 令之至少一電腦可讀取記憶體,當利用一處理器執行該電 腦可執行程式碼時,將導致進行包含決定在媒體内容之一 第一表示中之至少一切換點,並且導致定義至少一切換點 之切換點資訊關聯於媒體内容之第一表示之一個或多個媒 體片段被傳信的一方法。當執行這實施例之電腦可執行程 式碼指令時所進行之方法也包含依據在媒體内容之第一表 示中被決定之一分別的切換點而接收對於媒體内容之一第 二表示的一要求,並且導致媒體内容之第二表示的一個或 多個媒體片段被發送。 於一實施範例中,一方法被提供,該方法包含接收在 媒體内容之一第一表示中定義至少一切換點之切換點資 5 201210325 訊,並且利用一處理器,而決定自媒體内容之第一表示至 媒體内容之一第二表示所形成的一切換。這實施例之方法 也包含辨識自媒體内容之第一表示切換至媒體内容之第二 表示之一分別的切換點。就此點而言,分別的切換點可依 據所接收之切換點資訊被辨識。這實施例方法進一步包含 導致依據所辨識之分別的切換點供用於媒體内容之第二表 示的一個或多個媒體片段之一要求被發送。 於另一實施範例中,一裝置被提供,該裝置包含至少 一處理器及包含電腦程式碼的至少一記憶體,藉由該至少 一記憶體以及該電腦程式碼而利用該至少一處理器被組 態,以導致該裝置至少接收在媒體内容之一第一表示中定 義至少一切換點的切換點資訊,並且決定自媒體内容之第 一表示至媒體内容之一第二表示所形成的一切換。於這實 施例中,至少一記憶體以及電腦程式碼也被組態,以利用 至少一處理器,而導致該裝置至少辨識自媒體内容之第一 表示切換至媒體内容之第二表示的一分別切換點。就此點 而言,分別的切換點可依據所接收的切換點資訊被辨識。 至少一記憶體以及電腦程式碼也被組態,以利用至少一處 理器,而導致該裝置至少依據所辨識之分別的切換點而導 致對於媒體内容之第二表示的一個或多個媒體片段之一要 求被發送。 於一進一步實施範例中,一裝置被提供,該裝置包含 用以接收定義在媒體内容之一第一表示中的至少一切換點 之切換點資訊的構件,以及用以決定自媒體内容之第一表 6 201210325 示切換至媒體内容之一第二表示所形成的一構件。這實施 例裝置也包含用以辨識自媒體内容之第一表示切換至媒體 内容之第二表示之一分別的切換點之構件。就此點而言, 分別的切換點可依據所接收之切換點資訊被辨識。這實施 例裝置進一步包含依據所辨識之分別的切換點用以導致對 於媒體内容之第二表示的一個或多個媒體片段之一要求被 發出的構件。 於再另一實施範例中,一電腦程式產品被提供,該電 腦程式產品包含具有被儲存在其中的電腦可執行程式碼指 令之至少一電腦可讀取記憶體,當利用一處理器執行該電 腦可執行程式碼指令時,導致進行包含接收在媒體内容之 一第一表示中定義至少一切換點之切換點資訊,並且決定 自媒體内容之第一表示至媒體内容之一第二表示所形成的 切換的方法。執行這實施例之電腦可執行程式碼指令所進 行的方法也包含辨識自媒體内容之第一表示切換至媒體内 容之第二表示之一分別的切換點。就此而言,分別的切換 點可依據所接收之切換點資訊被辨識。執行這實施例之電 腦可執行程式碼指令所進行之方法也包含依據所辨識之分 別的切換點而導致用於媒體内容之第二表示的一個或多個 媒體片段之一要求被發出。 於一實施範例中,一系統被提供,該系統包含一伺服 器,該伺服器被組態以決定在媒體内容之一第一表示中的 至少一切換點,並且接著傳信定義關聯於媒體内容之第一 表示的一個或多個媒體片段至之少一切換點的切換點資 201210325 訊。這實施例之系統也包含一内容消耗設備,該設備被組 二以接收切換點資訊,而決定自媒體内容之第一表示至媒 體内谷之第一表示所形成的一切換,以依據所接收的切 換點資訊而辨識自媒體内容之第一表示切換至媒體内容之 第一表不之—分別的切換點,並且依據所辨識之分別的切 換點發出對於媒體内容之第二表示的一個或多個媒體片段 之一要求至伺服器。 上面“:供的概要僅是為了概述本發明實施例之一些範 J以便提供對本發明一些基本論點的了解。因此,應了 解’上面所說明的實施例僅是範例並且不應以任何方式被 硯為對本發明之範疇或精神的限定。將了解,除了此處概 述的那些之外,本發明範疇包含許多可能之實施例,其中 些將在下面進一步地被說明。 圖式簡單說明 大致說明本發明的-些實施例後,接著將參看附圖, 該等附圖不必定得是依比率而繪製,並且其中: 第1圖說明使用開放圖像族群(G〇p)之串流切換,於其 中陰影方塊代表被解碼之圖像; 第2圖說明使用開放圖像族群(G〇p)之串流切換,於其 中位元流之隱樣型是不同的,並且於其中陰影方塊代表 破解碼之圖像; 第3圖說明依據本發明—實施範例使用傳送協定而促 進媒體檔案串流化之系統; 第4圖是說明依據本發明―實施範例之移動式終端的 8 201210325 分解方塊圖; 第圖疋說明依據本發明一貫施範例用以促進媒體樓 案串流化所進行之操作的流程圖; 第6圖是說明依據本發明一實施範例利用伺服器所進 行之操作的流程圖; 第7圖是說明依據本發明一實施範例所提供之切換點 資訊的圖形表示; 第8圖是說明依據本發明一實施範例利用内容消耗設 備所進行之操作的流程圖; 第9圖β兑明依據本發明一實施範例在非框内圖像之串 流切換,於其中陰影方塊代表被解碼之圖像; 第10Α圖說明依據本發明一實施範例之對於可被格式 化之遵循國際標準化機構(ISO)為基礎之媒體檔案格式 (ISOFF)結構的媒體檔案;並且 第10B圖說明依據本發明另一實施範例之可被格式化 之遵循IS0FF結構的媒體檔案。 C實施方式j 詳細說明 接著將參考附圖更完整地說明本發明的一些實施例, 糾中…些’但不是所㈣,本發明之實關將被說明。 事實上’應了解’除了此處展示以及說明的那些之外,本 料亦可有許乡實软其他實關。本發明 實施例不應被視為對所設定的實施例之限定;反而,本發 明提供實施例’因而這揭示將滿^適當法令之需求。相同 9 201210325 參考號碼指示相同之元件β 如此處之使用,專有名詞‘電子線路,係指示⑷只有硬 體之電路實作例(例如’類比電路及/絲位電路之實作 例);(b)電路以及電腦程式產品,其包括儲存在-個或多個 電腦可讀取記憶體上之軟體及/或執體指令,之組合,其一 起工作以導致裝置進行此處制之-個❹個功能;以及 ⑷電路’、· 1要軟體或減(即錄體餘體不是實體 也呈現)以供知作之微處理機或微處理機之一部份。這‘電子 線路之疋義將應用至包含任—巾請專利範圍項中之這名 稱的所有制處。如進—步範例,如此處之使用,專有名 巧電子線路’也包含—實作例,其包括__個❹個處理器及 /或其之部份以及_之軟體及/純體。如另—範例,專有 名"司電子線路’如此處之使用,也包含,例如,用於移動 式電居之基頻積體電路或制處理^積體電路或用於祠服 盗、行動電話網路設備、其他網路設備、及/或其他電腦設 備中之相似的積體電路。 HTTP串流化是新興的’成為典型媒體傳送方法,例 2 ’移動圖像專家鱗(MPEG)_2輪送串流以及即時輸送協 定(RTP)之實用替代者。雖然Ηττρ不是被設計用於即時媒 體傳送1旦HTTP提供串流化媒體内容傳送應用之吸引優 勢。就此方面而言,HTTP是㈣容易安排與佈署。Ηττρ 也可在輸送協定上進行,例如,傳輸控制協定(Tcp),以便 提供媒體封&之確實収依序之傳送4外地航p媒體 傳送可採収㈣社獻4 口从可鎌礙其他串流方 10 201210325 法之網路位址轉發(NAT)設備。進一步地,HTTP利用非常 強健之基礎建設廣泛地被佈署,包含致動有效資料分配之 HTTP代理伺服器以及快取設備。 適應式HTTP串流化辦法可以是私有的,例如,微軟公 司之平順式串流(Microsoft Smooth Streaming),或標準化辦 法。於第三代合作夥伴計劃(3GPP)封包切換串流化之第9發 行版中,提供用於適應式HTTP串流化之標準化辦法。3GPP 適應式HTTP串流化辦法是依據第三代平臺(3Gp)檔案格 式’公開為3GPP技術規格26.244,其繼承國際標準化機構 (ISO)基礎媒體檔案格式(其於此處被稱為IS〇FF)之概念 以及結構。此外,3GPP適應式HTTP串流化辦法定義會期初 始权序’其疋依據於一可擴張審定語言(extensible Markup Language(XML))檔案’亦即,媒體表示說明(1^1>1))〇 如在上面所提到的,用於適應式HTTp串流化之3Gp檔 案格式是依據於ISOFF,其利用移動圖像專家族群(mpeg) 以及聯合圖像專豕族群(JPEG)共同地被規定。ISOFF被公開 如IS0/IEC國際標準14496-12,其也是習知如MPEG-4部份 12之規格。ISOFF依據物件導向結構被設計,於其中資料被 配置在匣中。該等匣可自其他匣承襲並且以新的資訊欄延 伸。於MPEG-4部份12之規格中,各匣被指定—個被使用以 辨識匣型式的4個文字數碼。如果分析器遇到未被確認型式 之一匣時,則該分析器可安全地跳過該未被確認型式之匣至 下個匣之起點。這跳過未被確認型式之匣的能力利用一般匣 之部份的長度指標被引動並且其為所有子型式所承襲。 201210325 ISOFF引動元資料以及媒體資料並排儲存在一個檔案 中。媒體資料作為一組連續之媒體樣本被儲存在一“mdat” 匣中。元資料一般被儲存在多種不同的匣中,例如,“抒外” 匣、“moov”匣及/或“moof’匣。“ftyp”匣指示檔案形式以及 相谷的品牌。這資訊提供關於一分析器是否能夠分析權案 之一示意給分析器。“moov”匣含有關於媒體檔案之資訊, 其之構成要素,例如,軌跡、使用的媒體編解碼器、時序 以及各媒體取樣位置。另外地,如果媒體檔案被斷片分割, 則媒體取樣資訊是可取自“moof’匣中。媒體檔案之斷片適 用於許多的用途,例如,檔案元資料之誤差強健性以及延 伸範圍。 於HTTP串流化中,一媒體表示可延伸一個或多個時間 週期。對於各時間週期,可以有媒體表示之内容的一個或 多個表示。對於一特定的時間週期,不同的表示可以不同 的位兀率及/或不同的特性被編碼。内容消耗設備接著可在 週期開始時選擇一適當的媒體表示,並且也可在該週期之 期間於s玄等表示之間切換。這切換能力致動11丁丁1>串流化之 速率適應性,因為内容消耗設備可選擇最嚴密地匹配其之 可用的產量之表示,並且接著可隨著可用產量改變而在該 等表不之間切換。一表示是由一啟始化片段以及一個或多 個接著的媒體片段所組成。啟始化片段是由“ftyp”以及 moov”匣所組成。媒體片段是由一個或多個媒體斷片所組 成。如在上面所提到的,媒體表示之結構利用厘1>1)被說明。 HTTP以及其他型式的串流化可被提供於隨機存取,亦 12 201210325 即’内容消耗設備開始解碼除了串流起點之外的一個點之 串流,並且重新獲得被解碼之串流的一確切或接近表示之 能力。—隨機存取操作具特徵於一隨機存取點以及—恢復 點。該隨機存取點可以是其中解碼可被啟動的任何編碼像 框或圖像’而該恢復點可以是在串流中的點,在該處所有 隨後被解碼的像框内容,依輸出順序,被更正或大約地被 更正。如果隨機存取點是相同於恢復點,則隨機存取操作 是瞬間的;否則,隨機存取操作是逐步的。 隨機存取可以各種情節被採用。例如,隨機存取點致 動局域性被儲存的媒體串流中之尋找、快速順向以及快速 反向操作。於隨選視訊串流中,例如,伺服器可藉由自最 接近於尋找操作之要求目的地的隨機存取點開始發送資料 而回應至尋找要求。在不同位元率之編碼串流之間的切 換,例如,在一隨機存取點,可被使用於網際網路之單向 播送串流中,以匹配發送之位元率與預期的網路總量並且避 免網路擁塞。更進一步地,隨機存取點引動對一廣播或多重 播送之調諧。此外,隨機存取點可被編碼作為對源序列中一 景像剪輯之回應或作為對一框内圖像更新要求之回應。 習慣上’各框内圖像已是在一編碼序列中之一隨機存取 點。但是,對於框間圖像預測之複數個參考圖像的介入,導 致—框内圖像不一定足以供用於隨機存取。例如,在解碼順 序中的一框内圖像之前的一解碼圖像可以被使用作為在解 碼順序中的框内圖像之後供用於框間圖像預測之參考圖 像。因此,如在H.264/先進視訊編碼(AVC)標準說明的一即 13 201210325 時解碼更新(IDR)圖像或具有相似於一 IDR圖像性質的一框 内圖像,可能必須被使用作為一隨機存取點。一閉合圖像 族群(GOP)是一圖像族群,於其中所有的圖像可正確地被解 碼。於H.264/AVC中’ 一閉合GOP藉由一記憶體管理控制操 作而自一IDR存取單元開始’或自一内部編碼圖像開始而使 所有先前參考圖像如同未使用一般。ISOFF之同步取樣匿被 使用以指示隨機存取點,例如,H.264/AVC串流之IDR圖像。 一開放GOP是一圖像族群,於其中在輸出順序中的啟 始框内圖像之前的圖像可能無法正確地解碼,但是緊隨在 啟始框内圖像之後的圖像是可正確地解碼。一 H.264/AVC 解碼器可自H.264/AVC位元流中之恢復點增補提昇資訊 (SEI) §fL息開始一開放GOP而辨識一框内圖像。在開始一開 放GOP的啟始框内圖像之前的圖像被稱為引導圖像,其可 以疋可解碼以及非可解碼之任一者。可解碼引導圖像是使 得當解碼自開始開放GOP之啟始框内圖像開始時,可正確 地被解碼。換言之’可解碼引導圖像僅使用啟始框内圖像 或解碼順序+之依序的时料㈣_像制巾之參考。 非可解碼引導圖像使得當解碼自開始開放G〇p之啟始框内 圖像開始時’不能正確地被解碼。換言之,非可解碼引導 圖像使用解碼順序巾之先前圖像以開始開放GQp之啟始框 内圖像作為框間圖像預測中之參考。助基礎媒龍案格式 之第3發行版的第1修正版,其也被稱為臓EC 國際標準 14496 12 · 2GG8,包含用以指出可解碼以及非可解碼引導 圖像之支援。就此而言,取樣附屬型絲之(leading語法 14 201210325 凡素指出-取樣是否為一引導圖像,並且當自 之框=_始解碼時指出糾導圖像是否為可解碼。 ggp^財⑽可調尺度^編解碼器 )广脈、、各中被使用於隨機存取脈絡中。於svc中,— GOP指不自具有temp〇ral」d等於〇(包括)之 等於〇(不包括)的下_個圖像之圖像族群。= 解^^中’ _G〇P是可被解竭之圖像族群,而無視於 解碼财中之任何先前輯是否被解碼。 逐步解碼更新(GDR)指示在_非說圖像_解碼並 〜解碼一些數量圖像之後回復内容正破之被解碼圖像之 :力WDR因此可被使用以達成來自非框㈣像之隨機存 取。用於框間圖像預測之-些參考圖像可能在隨機存取點 以及恢復點之f林是可得的,並且因此GDR週
圖像之一些部份可能無法正確地被重建。但是,這此部Z 不破使用於恢復點或在其之後的預期,其導致自恢復點開 始之無失誤解碼圖像。 。比較於即時解碼更新,GDR通常對於編碼器以及解碼 器是更麻煩的。但是’ GDR在易於出錯環境中基於至少2 個理由是所需的。首先,-編碼的框内圖像通常是可觀: 較大於-編碼的非框内圖像。這尺寸上之差異使得框内圖 像比非框關像更,感受誤差,並且該縣是很可能隨 寺間傳輸,直至損壞的巨塊位置被内部編碼為止。第_, 内。P編碼的巨塊被使用在易於出錯之環境中以停止誤差傳 輪。因此,邏輯上可組合内部巨塊編碼以供用於,例如, 15 201210325 在易於itj錯傳輸通道上操作 之隨機存ft 、 現矾會議以及廣播視訊應用 存取以絲差傳輸防止。 區域可人由隔離區域編碼方法被實現。圖像中之隔離 個隔離區域一Ή位置’並且圖像可含有不重疊之零或多 之圖像ϋ雜輯疋顿任何®像的隔離區域所覆蓋 之邊】域。當編碼-隔離區域時,圖像中預測不能跨越其 二-殘餘區域可自相同圖像之隔離區域被預測。 1麵離區域可被解碼而不需相同編碼圖像之任何 碼=或殘餘區域之存在。可能必須在殘餘區域之前解 之所有隔離區域。一隔離區域或-殘餘區域包含 主夕一個切片。 族其隔離ϋ域彼此侧之圖像群集成為—隔離區域圖像 矣群。—隔離區域可以在相同隔離區域圖像族群内自其他 圖像中之對應的隔離區域而框間圖像預測,而自其他隔離 區域或在隔離區域圖像族群外面之框間圖像預測則不被允 午 殘餘區域可以自任何隔離區域被框間圖像預測。耦 合的隔離區域之形狀、位置以及尺度可在_隔離區域圖像 族群中圖像至圖像逐步地形成。 一逐步形成之隔離區域可被使用以提供GDR。就此而 言’一新的逐步形成之隔離區域在隨機存取點被建立於圖 像中’並且隔離區域中之巨塊被圖像内部編碼。隔離區域 之形狀、大小以及位置自圖像至圖像逐步形成。隔離區域 可以於GDR週期自早先的圖像中對應的隔離區域而框間圖 像預測。當隔離區域覆蓋整個圖像範圍時,當自隨機存取 16 201210325 點開始解碼時,—内容完全正確之圖像被得到。這處理程 序也可被一般化以包含最後覆蓋整個圖像範圍之多於一個 逐步形成的隔離區域。 可能有頻帶内傳信,例如,恢復點增補提昇資訊(SEI) 訊息,以指出用於内容消耗設備之逐步隨機存取點以及恢 復點。更進一步地,恢復點SEI訊息可包含關於一逐步形成 之隔離區域是否在隨機存取點以及恢復點之間被使用的一 指示以便提供GDR。 恢復點或隨機存取點可被指示於具隨機存取恢復點取 樣群集之ISOFF中,例如,於ISOFF發行版3之條款10.1中所 規定。取樣群集之定義允許標誌發生在恢復週期的開始或 結束。取樣群集指示恢復週期中之取樣數量。取樣群集可 以被使用以指示開始一開放GOP之框内圖像,於其情況 中’恢復週期是零。取樣群集也可被使用以指示逐步解碼 更新’於其情況中,指示的恢復週期是非零。 如在上面所提到的,HTTP串流藉由在相同内容的不同 位元流之間的切換而提供位元率調適性。切換至一不同的 位元流可能自然地在開始一閉合G〇p的任何框内圖像完 成,例如,一IDR圖像。為了允許更快速地調適於位元率, 而避免頻繁的框内圖像之壓縮損失,串流切換已建議自非 框内圖像開始被完成。就此而言,Farber以及Girod建議僅 當自第一争流切換至第二串流時框間圖像編碼像框的§像 框被使用。參看N. FSrber與B. Girod,“用於移動式存取視 訊伺服器之強健Η·263相容視訊傳輸”,1997年1〇月之ieee 17 201210325 國際影像處理會議(ICIP)論文集,第2冊,第73_76頁。8像 框藉由一個小量化級距被編碼並且使得被解碼之s像框接 近於,但一般是不同的,第二串流之對應解碼圖像。 H.264/AVC包含一習知的SI/SP圖像特點,如由M Karczewicz 以及 R. Kurceren 所發表之“用於 H 264/AVC 之 SP-及SI-像框設計” ’ IEEE視訊技術之電路以及系統期刊, 第13冊’第7卷’第637-644頁’ 2003年7月。SI/SP圖像可相 同於S像框被使用,但是比較至自起點之串流解碼,其在切 換之後提供相同的解碼圖像。相同的解碼圖像之得到成本 疋在主要串流的SI/SP圖像的解碼程序中有另外的轉換以 及量化,且SI/SP圖像僅被使用切換。 就此點而§,切換圖像被儲存在切換圖像軌跡中,其 是與目前軌跡以及目標軌跡分離之執跡。切換圖像軌跡可 藉由執跡中一特定需求軌跡參考的存在而被辨識。一切換 圖像是具有精確相同解碼時間之目標軌跡的取樣之另一選 擇。如果所有的切換圖像是SI圖像,則無需進一步的資訊。 如果切換軌跡中之任一圖像是SP圖像,則有二個額外 資訊部份可能是需要的。第一,被切換之源軌跡必須使用 一轨跡參考被辨識。第二,源軌跡中之取樣上的切換圖像 之依賴性可能是需要的,因而一切換圖像僅當切換圖像依 據之圖像被供應至内容消耗設備時方被使用。 這依賴性藉由一選擇的額外取樣列表被表示。在切換 執跡中每個取樣的額外取樣列表中有一個項目。各項目記 錄相對之取樣數量在切換圖像所依據之源軌跡中。如果這 18 201210325 陣列對於一所給予的取樣是空的,則切換取樣含有一幻圖 像。如果依職不出現,則僅有SI_像框將於軌跡中出現。 -切換取樣可具有不同依賴性之多數個編碼表示。對 於AVC視訊…切換取樣之多數個表示被儲存在不同的切 換軌跡中。例如,一切換軌跡可依據一些先前之取樣而含 有被使用於串流切換的一 SP-圖像表示,而另—切換軌跡則 可包含被使用於隨機存取之一 SI-圖像的另一表示。 於HTTP串流中’自-内容表示切換至另—者是有利地 利用完美或接近完美之同步’亦即’媒體取樣同步而被進 行,以避免於媒體時間線的重疊或間隙以及媒體播放中之 暫停。 當決定進行一切換操作並且確保所需的同步時,一内 谷消耗設備通常必須:選擇適當的表示'操取概略地對應 至目前播放點之媒體片段、定位一切換點並且決定其之表 不時間,例如,定位一IDR或一I圖像,播放來自第一表示 之内容,直至來自第二表示之切換點的表示時間,並且接 著自決定的切換點開始播放來自第二表示之内容。這切換 操作對於該等表示之各媒體成分被進行,例如,音訊以及 視訊兩個表示。遺憾地,這些切換操作可能導致引發播放 中斷之主要延遲。 如在上面所提到的,切換點可以各種方式被形成,例 如’使用IDR圖像或I圖像或使用SP以及si圖像及/或使用 GDR,例如,在易於出錯之傳輸中。但是,藉由範例,Ηττρ 串流中之串流切換可使用開放GOP。 19 201210325 使用開放GOP於HTTP串流中之串流切換於適當地處 理引導圖像中可能產生挑戰性,如參看第1圖之展示。於第】 圖範例中,二個位元流,BS1以及BS2,利用自左方至右方 進行之圖像輸出順序被說明,雖然於這範例中之解碼順序是 不同於輸出順序。圖像以矩形被指示,並且圖像型式在矩形 之内被指示如IDR、像框内(1),像框間(p),或雙向預測(B)。 對於B圖像,大於〇之temp〇ral_id數值指示在圖像之後的一數 值’例如’ B1以及B2。箭號指示框間圖像預測關係,而箭 號之起源被採用作為箭號指示的圖像之一參考圖像。 於展示的範例中,自881至882之一切換被形成在工圖 像。應注意到,B2、B1以及依輸出順序即時地在〗圖像之前 的B2,至少部份地,是依據〗圖像用於解碼,並且,就此而 =,疋引導圖像。如果B2、B1以及即時地在〗圖像之前的 幻被备作非可解碼引導圖像時,則它們的遺漏將於播放中 導致一間斷,其通常是不佳的。 另外地,I圖像可自兩位元流,BS1以及BS2,被接收並 且破解碼。接著可在自BS1接收與解碼引導圖像或自脱接 收與解竭引導圖像之間作選擇。如果選擇自Bsi接收以及解 、導W#·則BS2之引導圖像通常也被接收,因為它們的 ,順序是緊接細像之後。另外地如果選擇自BS2接 Ά馬引導圖像,則㈣之引導圖像不需要被接收或被解 圖徐但是’應注意至|j’在解石馬處理程序中,來自bs2之引導 通常將不是如來自BS1之它們的—些參考圖像那樣完 、皮重建而BS2之引導圖像使用來自BS2之參考圖像被 20 201210325 編媽。但是’依據任-_擇,二個城像被接收並且被解 碼’由於比即時的解碼更緩慢,其消耗傳輸帶寬並且可能 在播放中導致小的暫停。 為了使在兩位元流之G0P結構是相同於以圖展示的情 況中,在祕品質之花許節省傳輸帶寬,在祕點僅有一 I圖像被解碼,例如,BS2中之!圖像,因而確保即時的操作 不暫停。尤其是,BS1之I圖像以及引導圖像不需要被傳送, 其節省傳輸帶寬。但是,依據它們對於在BS2中先前圖像(不 被解碼)的依賴性,BS2之引導圖像不是完祕被重建。但 是’BS2之引導圖像之不完美重建通常將僅使影像品質產生 暫時之降級,其通常根本不被察覺或絲毫不造成困擾。 但是,大體上,位元流之GOP樣型不需要是相同的。 因此,不知自一位元流被解碼之圖像是否可被使用作為其 他位元流之參考圖像。因此,第一位元流之引導圖像可被 解碼,但不是自第二位元流。藉由範例,第2圖展示一範例, 於其中位元流之GOP樣型是不同的。如將藉由參考第2圖所 確認地,由於BS1中之參考圖像沒有等於BS2之p圖像,這 範例中之BS2的引導圖像B1不能被解碼。 於H.264/AVC中,解碼的圖像是關聯於各種識別符、語 法元素或變量,例如,利用H.264/AVC編碼切片之 frame_num語法元素數值所指示的像框數目、圖像數目、以 及圖像順序計數。這些識別符可被使用於各種解碼處理程 序中,例如,隱含加權預測、參考圖像列表順序以及參考 圖像標記。即使二位元流之G〇P樣型是相同的,分別的識 21 201210325 別符/語a元件/變量之-些數值也可能是不同。因此,由於 這些識別符/語法兀素/變量中之一些的誤配,自一位元流至 另-位元流的切換可能導致解碼失效。大體上,在二個位 元流中之分別圖像中的這些識別符/語法元素/變量之數值 應是相同以便利於非IDR圖像之串流切換。 如先前討論之示例’内容消耗設備可能無法容易地決 定,在切換點之像框以及源串流之引導像框,例如,展示 範例中之來自B S1的I-圖像以及引導圖像,是否將被接收並 且被解碼。另外地,内容消耗設備可能無法容易地決定, 目標串流之引導像框’例如’展示範例中之BS2的引導圖 像,當必要時,是否可使用源串流之參考像框,例如,BS1 之參考圖像而被解碼。 因此’本發明之一些實施範例提供可滿足習見的媒體 串流技術之不足的方法、裝置以及電腦程式產品。例如, 為了便利於串流之間的切換,例如,適應式HTTP串流中, 依據本發明實施例之方法、裝置以及電腦程式產品被提 供,而允許切換點利用伺服器被辨識,以至於内容消耗設 備可容易地採用該等切換點而以有效的方式在不同的串流 之間切換。 就此而言’第3圖展示依據本發明一實施範例之用以便 利媒體檔案串流化的系統100之方塊圖。但是,應了解,除 了此處展示及說明的那些之外’本揭示之範疇將包含許多 可能之實施例。就此而言’雖然第3圖展示用以便利媒體檔 案串流之一系統組態的範例,但許多其他的組態也可被使 22 201210325 用以實作本發明實施例。進一步地,應了解,依據本發明 一些實施例,HTTP被使用作為可被使用於而於媒體檔案串 流化之應用層傳送協定之範例。除了或替代HTTP之外,本 發明其他實施例亦可被組態以使用其他應用層傳送協定而 串流化媒體檔案。 第3圖展示依據本發明一實施範例用以使用一應用層 傳送協定,例如,HTTP,以串流化媒體檔案之系統100的 方塊圖。於展示的實施例中,系統丨〇〇包括一内容消耗設備 102以及一伺服器1〇4。該内容消耗設備1〇2以及該伺服器 104被組態以經由網路1〇8通訊。網路1〇8,例如,包括一個 或多個有線網路、一個或多個無線網路、或其一些組合。 網路108可包括由網路操作者操作之公共陸地移動網路 (PLMN)。就此而言,網路108,例如,包括依據3GPP標準 提供行動電話網路存取之一操作者網路。網路丨〇8也可另外 地或不同地包括網際網路。 内容消耗設備102可包括被組態以在網路108上自伺服 器存取内容的任何設備。例如,内容消耗設備102包括 伺服器、桌上型電腦、手提電腦、移動式終端、移動式電 腦、移動式電話、移動式通訊裝置、遊戲設備、數位攝影 機/照相機、音訊/視訊播放機、電視設備、無線電接收器、 數位視訊錄影機、定位設備、其任何組合及/或其類似者。 於—實施範例中,内容消耗設備1〇2被實施作為移動式 終端,例如,藉由第4圖展示之範例。但是,應了解,所展 不以及此後所說明的移動式終端10僅是可實作及/或有益 23 201210325 於本發明一實施範例的内容消耗設備102之一型式的展 示,並且,因此,不應被視為對本發明範疇之限定。雖然 許多電子設備實施例被展示並且將在此後作為範例目的被 說明,但其他型式的電子設備,例如,移動式電話、移動 式電腦、輕便型數位助理(PDA)、攜帶型傳呼器、手提電腦、 桌上型電腦 '遊戲設備、電視、以及其他型式的電子式系 統,皆可能利用本發明實施例。
如所展示,移動式終端10可包含與發送器14以及接收器 16通訊之天線12或多數個天線12 ^移動式終端也可包含分 別地提供信號至發送器並且自接收器接收信號之處理器 20。這些信號可包含依據一可應用行動電話系統的一空中 界面標準、及/或任何數量之不同有線或無線網路技術之傳 信資訊’包括,但是不受限定於Wi-Fi、無線局域性存取網 路(WLAN)技術’例如,電氣及電子工程師學會(IEEE) 802.11,及/或其類似者。此外,這些信號可包含語音資料、 使用者產生的資料、使用者要求的資料、及/或其類似者。 就此而言’移動式終端是可以配合一個或多個空中界面標 準、通訊協定、調變型式、存取型式、及/或其類似者而操 作。尤其是,移動式終端可依據各種第一代(1G)、第二代 (2G)、2.5代、第三代(3G)的通訊協定、第四代(4G)通訊協 疋、及/或其類似者而操作《例如,移動式終端可依據2G無 線通訊協定IS-136(分時多重存取(TDMA))、用於移動式通 訊(GSM)之廣域系統、IS-95(分碼多重存取(CDMA)),及/ 或其類似者而操作。同時,例如,移動式終端也可依據25G 24 201210325 無線通訊協定一般封包無線電服務(GPRS)、提昇資料GSM 環境(EDGE)、及/或其類似者而操作。進一步地,例如’移 動式終端可依據3G無線通訊協定,例如,全球移動電信系 統(UMTS)、分碼多重存取2〇〇〇(CDMA2000),寬帶分碼多 重存取(WCDMA)、分時同步分碼多重存取(Td-SCDMA)、 及/或其類似者而操作。移動式終端可另外地依據3.9G無線 通訊協定’例如,長期進化(LTE)或進化式全球陸地無線電 存取網路(E-UTRAN)及/或其類似者而操作。另外地,例 如’移動式終端可依據第四代(4G)無線通訊協定及/或其類 似者以及可於未來被發展之相似無線通訊協定而操作。 一些窄頻帶先進移動式電話系統(NAMPS)、以及總存 取通訊系統(TACS) ’移動式終端也可自本發明實施例得 益’如作為雙重或較高模式電話,例如,數位/類比或 TDMA/CDMA/類比電話。另外地,移動式終端1〇可依據 Wi-Fi或全球互通微波存取(wiMAX)協定而操作。 應了解’處理器20可包括用以實作音訊/視訊以及移 動式終端10之邏輯功能的電路。例如,處理器2〇,例如, 可被實施為各種構件,其包含電子線路、一個或多個具有 附加數位信號處理器之微處理機、一個或多個不具有附加 數位彳έ號處理器之處理器、一個或多個協同處理器、一個 或多個多蕊心處理器、一個或多個控制器、處理電路、一 個或多個電腦、各種包含積體電路之其他處理元件,例如, 應用特定積體電路(ASIC)或場式可程控閘陣列(fpga),或 其一些組合。處理器可另外地包括一内部聲音編碼器 25 201210325 (vc)2〇a、内部資料數據機陶鳥、及/或其類似者。進一 步地’處理$可包括操作被儲存在記憶體中之—個或多個 軟體程式的功能。例如,處理器可操作一互連程式,例如, 網路瀏覽器。該互連裎-Via斗必去丄 式了允许移動式終端1〇發送以及接 收網路内谷’例如,位置為基礎之内容,其是依據於一協 定,例如,無線應用協定(碰)、HTTP、及/或其類似者。 移動式終k 1G可使用_發送控制協定/網際網路協定 (TCP/IP)以跨越’满際網路或其他網路而發送以及接收網路 内容。 移動式終端10也可包括可操作地輕合至處理器20之使 用者界面’該使用者界面包含,例如,耳機或擴音機24、 發聲器22、麥克風26、顯示器28、使用者輸入界面及/或其 類似者。雖然未被展示出,但移動式終端也可包括電池, 其用以供應電力給有關移動式終端之各種電路,例如,提 供機械式震動作為可檢測輸出之電路。使用者輸入界面可 包括允許移動式終端接收資料之設備,例如,袖珍鍵盤30、 觸控式顯示器、操縱桿、及/或其他的輪入設備。於包含袖 珍鍵盤之實施例中’該袖珍鍵盤可包括數字,例如,0-9, 以及有關之按鍵,例如,#、*、及/或用以操作移動式終端 的其他鍵。 如於第4圖之展示,移動式終端1〇也包含一個或多個用 以共用及/或得到資料之構件。例如,移動式終端可包括短 距離無線電頻率(RF)收發機及/或詢問製置64,因此資料可 依據RF技術與電子設備共用及/或自電子設備得到資料。移 26 201210325 動式終端可包括’例如,其他短距離收發機,例如,一紅 外線(IR)收發機66、使用由Biuet00th™特殊相關族群發展之 Bluetooth™品牌無線技術操作的藍芽Biuet00thTM(BT)收發機 68、無線通用序列匯流排(USB)收發機70及/或其類似者。 Bluetooth™收發機68可依據超低供電Biuet00thTM技術,例 如,Wibree™,無線電標準而操作。就此而言,移動式終 端10,以及,尤其是,短距離收發機可發送資料至移動式 終端鄰近(例如,在10米内)之内的電子設備及/或自該電 子設備接收資料。雖然不被展示出,但移動式終端可依據 各種無線網路技術自電子設備發送及/或接收資料,該等各 種無線網路技術’包含Wi-Fi、WLAN技術,例如,IEEE802.11 技術,及/或其類似者。 移動式終端10可包括記憶體,例如,用戶身份模組 (SIM)38、可移動式使用者身份模組(R_UIM)、及/或其類似 者,其可儲存有關移動式用戶之資訊元素。除了 SIM之外, 移動式終端可包括其他可移動的及/或固定的記憶體。移動 式終端10可包括其他非暫態記憶體,包含,但是不受限定 於,依電性記憶體40及/或非依電性記憶體42。例如,依電 性記憶體40可包含具有動態及/或靜態RAM之隨機存取記 憶體(RAM)、晶片上或晶片外之快取記憶體及/或其類似 者非依電性s己憶體42,可被欲進及/或是可移動的,可包 3例如,唯蟥§己憶體、快閃記憶體、磁式儲存設備(例 如,硬碟、軟碟驅動、磁帶,等等)、光碟驅動及/或媒體、 非依電性隨機存取記憶體(NVRAM)、及/或其類似者。相同 27 201210325 於依電性記憶體40,非依電性記憶體42可包含用於資料暫 存之快取區域。記憶體可儲存一個或多個軟體程式、 4曰令、資訊片段、資料及/或其類似者’其可被移動式終端 (例如,處理器20)所使用以進行移動式終端功能。例如,記 •“體可包括-識別符’例如,-國際性移動式設備辨識 UMEI)碼,可唯一地辨識移動式終端1〇。 再次參看至第3 H實_例中,内容消耗設備1〇2 包括用以進行此處說明的各種功能之各種構件,例如,處 理器110、記憶體H2、通訊界面114、使用者界面116、以 及媒體播放電路118。如此處說明的内容消耗設備1〇2之各 種構件包括硬體元件,例如,適當地被規劃之處理器、組 合邏輯電路、及/或其類似者,及/或電腦程式產品,包括電 腦-可讀取程式指令,例如,軟體及/_體,其被儲存在電 腦可讀取媒體上’例如,記憶體112。程式指令是可利用處 理設備,例如,處理器11〇而執行的。處理器11〇可被實施, 例如,作為各種構件,如包含-個或多個具有附加數位信 號處理器之微處理機…域多個不具附加數位信號處理 器之處理器、-個或多個協同處理器、—個或多個控制器、 處理電路、-個或多個電腦、各種其他處理元件(例如,包 含積體電路,例如,ASIC或FPGA,或其一些組合)。因此, 雖然第3圖被展示如-單一處理器’於一些實施例中,處理 器110包括複數個處理器。多數個處理器是可_而彼此通 訊,並且可整體地被組態而如此處說明地進行内容消耗設 備102之-個或多個功能。於實施例中,其中内容消耗設備 28 201210325 102被實施如移動式終端1〇,處理器11〇可被實施如或以不 同方式包括處理器20。於一實施範例中,處理器11〇被組態 以執行被儲存在記憶體112中之指令或可以不同方式接取 至處理器110。指令,當被利用處理器11〇執行時,將導致 内容消耗設備102如上所述地以及例如,如第5以及8圖中所 。兒月地進行内谷消耗設備102之一個或多個功能。 就此而S,不論是否利用硬體或軟體操作、或利用其 組合被組態,處理器110可代表,當因此被組態時能夠依據 本發明一實施範例進行操作的一實體。例如,當處理器110 作為一 ASIC、FPGA或其類似者被實施時,處理器i丨〇可明 確地包括用以進行上述之一個或多個操作之被組態的硬 體。另外地,如另一範例,當處理器110作為一指令執行器 被實施時’該等指令可明確地組態處理器110,此外,如果 不疋供用於藉由指令所提供的特定組態,則處理器110也可 以疋般用途之處理元件,以進行上述之一個或多個操作。 記憶體112可包含,例如,非暫態記憶體,例如,依電 性及/或非依電性記憶體。雖然於第3圖中被展示如單一記 憶體’但記憶體112可包括複數個記憶體《記憶體112可包 括依電性記憶體、非依電性記憶體或其一些組合。就此而 σ 5己憶體112可包括,例如,硬碟、隨機存取記憶體、快 取5己憶體、快閃記憶體、小型光碟唯讀記憶體(CD-ROM)、 數位多功能光碟唯讀記憶體(DVD-ROM)、一光碟、被組態 以儲存資訊之電路、或其一些組合。於實施例中,於其中 内谷消耗設備102作為移動式終端被實施,記憶體112被實 29 201210325 施如或可以不同樣方式包括依電性記憶體40及/或非依電 性記憶體4 2 »記憶體112可依據本發明實施範例被組態以儲 存用以引動内容消耗設備102實行各種功能之資訊、資料、 應用、指令或其類似者。例如,於至少一些實施例中,記 憶體112被組態以緩衝利用處理器U0所處理之輸入資料。 另外地,於至少一些實施例中,記憶體112被組態以儲存利 用處理器110執行的程式指令。記憶體112可儲存以靜態及/ 或動態資訊形式之資訊。這被儲存的資訊可被儲存及/或在 進行其之功能過程期間利用媒體播放單元118所使用。 通訊界面114可以硬體、電腦程式產品或其組合被實作 之任何設備或構件而被實施,其中該電腦程式產品包括被 儲存在電腦可讀取媒體(例如,記憶體112)上並且可利用處 理設備(例如,處理器11〇)執行之電腦可讀取程式指令,該 通訊界面114被組態以在網路1〇8上自/至一遠端設備接收 及/或發送資料。於至少一實施例中,通訊界面114是至少 部份地被實施如或以不同樣方式利用處理器11〇被控制。就 此而言,通訊界面114是可與處理器11〇軌,例如,經由 匯流排。通訊界面114可包含,例如,天線、發送器、接收 器、收發機及/或支援的硬體或軟體,以供引動與系統ι〇〇 的其他實體通,例如,第2圖之移動式終端⑺的天線U、 發送器14及/或接收^16 ^通訊界面ιΐ4可被組態以使用可 被使用於系統100的電腦設備之間通訊的任何協定而接收 及/或發送資料。通訊界面114可另外地(例如,經由匯流排) 與記憶體m、使用者界面116、及/或媒體播放 電路118通訊。 30 201210325 使用者界面116可與處理器110通訊以接收使用者輸 入之指示及/或提供聲音、視覺 '機械或其他的輸出至使 用者。就此而言,使用者界面116可包含,例如,鍵盤、 滑鼠、搖桿、顯示器、觸控屏幕顯示器、麥克風、擴音機、 及/或其他的輸入/輸出機構,例如,第4圖移動式終端1〇 之耳機或擴音機24、麥克風26、顯示器28及/或袖珍鍵盤 30。使用者界面116可提供一界面以允許使用者選擇自伺 服器104被串流化至内容消耗設備1〇2的媒體檔案及/或媒 體軌跡以供在内容消耗設備104上播放。就此而言,來自 一媒體檔案之視訊可被顯示在使用者界面116之顯示器上 並且來自一媒體檔案之音訊可經使用者界面116的擴音機 被聽見。使用者界面116可以,例如,經由匯流排而與記 憶體112、通訊界面114、及/或媒體播放電路118通訊。 媒體播放電路118可被實施如各種構件,例如,硬體、 電腦程式產品(其包括被儲存在電腦可讀取媒體,例如,記 憶體112上,並且利用一處理設備,例如,處理器110被執 行之電腦可讀取程式指令)或其一些組合’並且,於一實施 例中,被實施如或以不同樣方式利用處理器被控制。於 媒體播放電路118分別地由處理器11〇被實施的一實施例 中,媒體播放電路118是可與處理器no通訊。媒體播送電 路118可進一步地,例如,經由匯流排而與記憶體112、通 訊界面114及/或使用者界面116通訊。 飼服器104可包括一個或多個電腦設備’其被組態以提 供媒體檔案至内容消耗設備102。於至少一實施例中,伺服 31 201210325 器綱包括-個或多個町⑽服器、動態串流化舰器、 内容提供器健器、網路舰器、網路快取' 網路代理飼服 器、電腦網路舰器或其類似者。雖然龍器刚可以是媒 體檔案之來源’伺服器也可以是一媒介,其用以自一個或 多個内容來源接收媒體檔案並⑽以提供媒體檔案至内容 消耗設備102。於-實施範例中,伺服器1〇4包含各種構件, 例如,用以進行上述各種功能之處理器12〇、記憶體以2、 通訊界面124、使用者界面126、以及媒體串流化電路⑶。 如上所述之伺服器1〇4的這些構件可被實施作為,例如,硬 體元件’例如’力當地被規劃之處理器、組合邏輯電路及/ 或其類似者,-包括電腦可讀取程式指令之電腦程式產 品,例如,包括被儲存在一電腦可讀取媒體,例如記憶體 122上之軟體或_,其可利用適當地被組態之處理設備, 例如,處理器120而執行,或其一些組合。 處理器120可以作為各種構件被實施,例如,包含一個 或多個具有附加數位信號處理器之微處理機、—個或多個 不具有附加數位信號處理器之處理器、—個或多個協同處 理器、一個或多個控制器、處理電路、一個或多個電腦、 包含積體電路之各種其他處理元件,例如,—asic戋 FPGA,或其之一些組合。因此,雖然第3圖展示如單一處 理器,於一些實施例中,處理器12〇可包括複數個處理器。 該等多數個處理ϋ可在單—電腦設備上或被分佈而跨越複 數個電腦設備上被實施。該等多數個處理器可操作地彼此 通訊並且可整體地被組態以進行如上所述之伺服器的 32 201210325 一個或多個功能。於一實施範例中,處理器120被組態以執 行儲存在記賴122巾之指令或可以不«方式接取至處 理器120這些指令’當利用處理器12〇被執行時,可導致 伺服器1G 4進行如上所述之伺服器i 〇 4的_個或多個功能。 就此而言,不論是否利用硬體或軟體方法' 或利用其之組 =被組態,處理器12〇可代表當因此被組態時可依據本發明 貫把例進行操作之—貫體。因此,例如,當處理器作為 -asic、fpga或其類似者被實施時,處理器12〇可明確地 包括被組態而用以進行上述之—個或多個操作的硬體。另 外地,如另一範例,當處理器120被實施作為一指令執行器 時’該等指令可明嫁地組態處理器12〇,此外如果不是用於 該等指令所提供之特定組態,則其也可以是—般用途之處 理元件,以進行上述之-個或多個演算法以及操作。 記憶體122可包含,例如,依電性及/或非依電性記憶 體。雖然第3圖被展示如—單—記憶體,記憶體122可包括 複數個記憶體’其可在n算裝置或被分佈而跨越複 數個電腦設備上被實施°記憶體122可包括非短暫記憶體, 例如,依電性記憶體、非依電性記憶體,或其之一些組合。 就此而言’記憶體122可包括,例如,硬碟、隨機存取記憶 體I·夬取-己隐體、快閃記憶體、小型光碟唯讀記憶體 (CD-ROM) &位多功能光碟唯讀記憶體(DvD R〇M)、光 碟、被組態以料資訊之電路,或其之—些組合。記憶體 122可被組態以儲存資訊、資料、應用、指令、或其類似者, 以依據本發明實施例而引動内容提供器副實行,例如,第 33 201210325 5以及6圖所展示之各種功能。例如,於至少一些實施例中, 記憶體12 2被組態以緩衝利用處理器! 2 〇所處理的輸入資 料。另外地,於至少一些實施例中,記憶體122被組態以儲 存利用處理器120所執行的程式指令。記憶體122可儲存靜 態及/或動態資訊形式之資訊。這被儲存的資訊可在進行其 之功能的過程期間利用媒體串流單元128被儲存及/或被其 所使用。 通訊界面124可被實施,如以硬體、電腦程式產品(其 包括被儲存在電腦可讀取媒體,例如,記憶體122上,並 且利用處理設備裝置,例如,處理器12〇被執行之電腦可 讀取程式指令)被實施之任何裝置或構件,或其之組合而 被組態以在網路108上自/至一遠端裴置接收及/或發送資 料。於至少一實施例中,通訊界面124至少部份地如利用 處理器120被實施或以不同樣方式被控制。就此而言,通 訊界面124可,例如,經由匯流排而與處理器12〇通訊。 通訊界面124可包含,例如,用以引動與系統1〇〇的其他 實體通訊之天線、發送器、接收器、收發機及/或支援的硬 體或軟體。通訊界面124可被組態以使用可被使用於系統 100電細设備之間通訊的任何協定而接收及/或發送資料。 通訊界面124可,例如,經由匯流排而另外地與記憶體 122、使用者界面126、及/或媒體串流化電路128通訊。 使用者界面126是可選擇的並且可與處理器12〇通訊以 接收使用者輸入之指示,及/或提供一聽覺、視覺、機械的、 或其他輸出至使用者。就此而言,使用者界面126可包含, 34 201210325 例如,鍵盤、滑鼠、搖桿、顯示器、觸控屏幕顯示器、麥 克風、擴音機及/或其他輸入/輸出機構。於一些實施例中, 使用者界面126可被限定,或甚至被排除。使用者界面126 可’例如,經由匯流排而與記憶體122、通訊界面124、及/ 或媒體_流化電路128通訊。 媒體串流化電路128可被實施如各種構件,例如,硬 體、電腦程式(其包括被儲存在一電腦可讀取媒體,例如, 記憶體122上之電腦可讀取程式指令,並且利用處理設備裝 置’例如,處理器120被執行)或其一些組合,並且,於一 實施例中’被實施如或以不同樣方式利用處理器12〇被控 制。於其中媒體串流化電路128分別地自處理器120被實施 之實施例中’媒體串流化電路128可與處理器120通訊。媒 體串流化電路128可進一步,例如,經由匯流排而與記憶體 122、通訊界面124、及/或使用者界面126通訊。 如於第5圖展示之操作15〇,啟始地產生媒體内容。就 此而言,媒體内容可利用伺服器104或利用媒體内容之另一 來源被產生。例如,媒體内容可被獲得,例如,利用一個 或多個視訊攝影機、一個或多個音訊錄音器或其類似者, 或以不同樣方式自另一相似裝置或其類似者被存取,例 如,自資料庫。—旦被產生,媒體内容可被備妥以供用於 串流化。參看操作152。就此而言,媒體内容可被分割,以 至於產生的媒體内容包括通常彼此具有時間關係的複數個 片段。一個或多個片段也可被斷片分割,其一分別的片段 具有也可彼此具有一時間關係之複數個斷片。媒體内容之 35 201210325 預備工作包含,例如,媒體内容之片段分割以及斷片分割, 其可利用伺服器104被進行。另外地,媒體内容預備工作包 含,例如,片段分割以及斷片分割,其可利用媒體片段分 割器被進行,例如,伺服器或其類似者。緊隨於其之預備 工作之後,被片段分割之媒體内容可利用或關聯於一網路 伺服器被儲存。同時參看操作152。就此而言,第3圖之伺 服器104可包含網路伺服器,而緊跟在串流化媒體内容預測 之預備工作後用以儲存媒體内容至内容消耗設備1〇2,如將 在下面之說明。當考慮到第3圖之實施例時,伺服器1〇4可 將被分割成為片段之媒體内容儲存在記憶體122中,以便使 處理器120可接取而導致於要求時被分割成為片段之媒體 内容串流化至一内容消耗設備102。 媒體内容之多數個表示可被產生、被備妥並且被儲 存。如在上面所提到的,就位元率或其他特性而論,不同 的表示可能彼此不同。另外地,用於相同時間週期之多數 個媒體内容型式可被產生、被備妥並且被儲存’而包含, 例如,視訊内容、音訊内容、子標題内容及/或其類似者。 各不同型式的媒體内容可具有複數個不同的表示。 在產生、預備以及儲存之後,内容消耗設備102可包含 些構件’例如’處理器110、媒體播放電路118、通訊界 面114或其類似者,其用以自伺服器1〇4要求關聯於媒體内 容之第一表示的一個或多個媒體片段。參看第5圖之操作 154。於一實施範例中,媒體播放電路118被組態以傳送對 於—個或多個媒體片段的一傳送協定要求至伺服器104。於 36 201210325 一實施_中’所要求的媒體片段包括遵循I s 〇基礎媒體檔 案格式之媒體片段。—ISO基礎媒體槽案格式之範例包括一 3GP媒體播案以及—移動圖像專家族群4(MPEG-4)部份 14(MP4)檔案„玄要求,例如,可回應於經由使用者界面1 μ 所接收的使用者輪人或要求*被傳送。 傳达協定要求可包含媒體檔案將被幸流化至内容消耗 «又備102之&不。於—實施·中,傳送龄要求包括一 HTTP GET要求。 於一些實施例中’媒體内容可被備妥以供用於操作152 之串流作為對於操作154所產生的媒體片段之要求的一回 應媒體内谷準備工作包含,例如,片段分割以及斷片分 J其可利用一媒體段分器被進行,例如,伺服器或其類 似者,其可包含,例如,腳本形式之電腦程式指令,例如, 用以進行片段分割以及斷片分割之共通閘道界面(CGI)腳 本程式。於操作152中被備妥之一片段或一斷片實際上可即 時地自伺服器104被傳送至内容消耗設備102。於這些實施 例中’操作152可被考慮整體地並且即時地被連接於先前的 操作156。 於—些實施例,於操作150中,媒體内容是即時地實況 播送或被蝙碼或即時地被接收。因此,操作150與第5圖中 的其他操作同時地被進行。對於媒體片段分割及/或斷片分 割’用於一片段及/或斷片之媒體内容通常必須在操作152 中備妥片段及/或斷片之前是可供用的。 這實施例之伺服器104包含一些構件,例如,處理器 37 201210325 120、媒體串流化電路128、通訊界面124或其類似者,其用 以自内容消耗設備102接收要求,並且,依序地,提供或以 不同方式將關聯於媒體内容的第一表示之要求的媒體片段 發送至内容消耗設備。參看操作156。於一實施範例中,媒 體串流化電路128被組態以接收利用内容消耗設備1〇2被傳 送之一傳送協定要求。如果該傳送協定要求包含所要求的 媒體片段將被串流化至内容消耗設備1 〇 2並且伺服器10 4不 被組態以串流化一媒體檔案的一指示,則媒體串流化電路 128可被組態以傳送一失誤訊息至内容消耗設備102。但 是,如果伺服器104被組態以串流一媒體檔案,則媒體串流 化電路128可被組態以包含被傳送至内容消耗設備1〇2之一 答覆訊息的支援。此支援’例如,可被指示作為一HTTP答 覆訊息之Pragma樓頭欄的部份。 於一實施範例中’媒體串流化電路128進一步被組態, 以回應對於一媒體檔案之一傳送協定要求的接收,而自可 接取至伺服器104之記憶體122或其他記憶體存取所要求的 媒體檔案。這實施例之媒體串流化電路128被組態以抽取媒 體檔案中關聯於媒體片段之至少一邹份的資訊。於一實施 範例中’資訊之抽取部份包括媒體檔案中關聯於媒體片段 之元資料的一部份。例如,所抽取之元資料部份可包括關 於媒體片段内容之一般資訊,例如,媒體片段型式、媒體 片段中的不同軌跡及/或切換點資訊,如在下面之說明。 關聯於媒體片段之元資料’例如’可依據如下面列表 中概列之ISOFF而被構成: 38 201210325 L0 LI L2 L3 L4 L5 說明 Ftyp 檔案型式及相容性 Moov 對於所有元資料之包含者 mvhd 影片檔頭,全面聲明 trak 對於一分別trak或串流之包含者 tkhd 於一軌跡中之軌跡檔頭,全部資訊 tref 軌跡參考包含者 mdia 對於一軌跡中之媒體資訊的包含者 mdhd 媒體檔頭,關於媒體之全部資訊 hdlr 處理器,聲明媒體型式 minf 媒體資訊包含者 vmhd 視訊媒體檔頭,僅對於視訊軌跡之全部資訊 smhd 聲音媒體檔頭,僅對於聲音軌跡之全部資訊 stbl 取樣列表匣,對於時間/空間映圖之包含者 stsd 對於媒體解碼器之初始化的取樣說明 stts 解碼時間-對-取樣 ctts 構成時間-對-取樣 stsc 取樣-對-訊塊 stsz 取樣尺度 stco 對於檔案之開始的訊塊偏移 stss 對於隨機存取點之同步取樣列表 Moof 影片斷片 mfhd 影片斷片檔頭 traf 軌跡斷片 tfhd 軌跡斷片檔頭 trun 軌跡斷片執行 Mfra 影片斷片隨機存取 tfra 軌跡斷片隨機存取 mfro 影片斷片隨機存取偏移 Mdat 媒體資訊包含者 ISOFF以物件導向方式被設計。就此點而言,一ISOFF 遵循檔案是由可被承繼並且經由新匣的定義被延伸的一組 匣所組成。一 IS 0 F F遵循檔案中的所有資訊必須被包含在一 個匣中。一個匣它本身可含有其他的匣。各匣利用一唯一 的型式被辨識,其一般被定義作為一個4位元組的型式。例 如,4個文字。各匣同時也指示匣長度,包含匣檔頭。這二 39 201210325 個欄利用“Box匣被定義,其被所有的IS〇FF匣所繼承。 如上面之說明’ISOFF遵循資料包括複數個元資料位準 之一階系》各位準包括一個或多個包含有關親係位準之更 多特定元資料的子位準。例如,一第一位準,“L〇”包括元 資料類型ftyp、moov、m00f、mfra、以及mdat。Ftyp以及 111(131;可此不包3任何子位準。第二位準,m〇〇v之“LI”可包 括,例如,mvhd以及trak。第三位準,trak之“L2”,例如, 包括tkhd、tref、以及mdia。第四位準,mdia之“L3”例如, 可包括mdhd、hdlr、以及minf。第五位準,minf之“L4”可 包括vmhd、smhd、以及stbl。第六位準,Stbl之“L5”,例 如’可包括stsd、stts、ctts、stsc、stsz、stco、以及stss。因 此,上面之列表代表元資料方塊之一相互套疊的階系,其 中元資料方塊之子位準被展示在包含對應的親係元資料方 塊列之下的列中並且在包含對應的元資料親係方塊行之右 方的行中。因此,moov方塊之所有元資料方塊的子位準被 展示在包含moov方塊的列下之列表的列中,直至達到包含 “moof’方塊之列,例如,元資料之另一親係方塊,其是在 相同於moov方塊之位準上。同樣地,stbl方塊之元資料方塊 的所有子位準被展示在包含stbl方塊的列之下的列表之列 中’直至達到包含moof方塊之列,其是在相同於或較高於 stbl方塊之位準的第一方塊。 如於第6以及7圖之展示,本發明一實施範例之伺服器 104也包含一些構件,例如,媒體串流化電路128、處理器 120或其類似者,其用以決定至少一切換點,於該切換點中 40 201210325 一串流會期可自媒體内容的一個表示被切換至相同媒體内 容之另一表示。如於第7圖之展示,例如,在表示1中之各 個切換點可辨識表示2中之一對應的隨機存取點,以便告知 内容消耗設備102關於在分別的切換點自表示1至表示2之 一切換,可以在媒體内容之内有效地被完成。如於第7圖之 展示,伺服器104可辨識自媒體内容之一第一表示至相同媒 體内容之一第二表示之多數個切換點,而使該等切換點通 常在整個媒體内容有時間上分隔。另外地,雖然第7圖僅屐 示自表示1至表示2之切換點,伺服器104可具有相同媒體内 容之另外的表示,例如,表示3、表示4、等等,藉由伺服 器104決定在表示1以及多數個表示各者之間的切換點。就 此點而言,在表示1以及多數個表示各者之間的切換點可以 是相同或不同的。雖然伺服器104可以各種方式決定該等切 換點,而一實施例之伺服器可辨識各IDR像框或I像框作為 一切換點,雖然其他型式的像框也可作為切換點。 切換點可利用以目標表示中之一位元組偏移指示被定 義。該位元組偏移指示可以是直接或間接的。一直接位元 組偏移指示,通常在切換點資訊結構之内,提供在媒體片 段之内的位元組偏移。於間接位元組偏移指示中,對應至 切換點的一取樣被指示,其接著可被轉換至一位元組偏 移,例如,藉由軌跡斷片執行匣,並且如果出現並且是可 用的,也可能是取樣至訊塊匣。位元組偏移可以是相對至 媒體片段之起點,用於軌跡斷片執行之媒體資料起點、檔 案起點、或在一檔案格式結構之内的任何其他指定位置。 41 201210325 對於其中位元組偏移是相對的位置可在檔案或片段格式中 被預定,或位置可被指示,例如,在包含切換點資訊的结 構中。 1 如上面關聯於第5圖之操作156的敘述,伺服器104可提 供關聯於媒體内容的第—表示之所要求媒體片段至内容消 耗设備102。一實施範例之伺服器104也包含一些構件,例 如,媒體串流化電路128、處理器12〇或其類似者,其用以 提供包含傳信關聯於媒體内容之第一表示的切換點資訊至 客戶消耗設備之關聯於媒體片段的元資料。參看第6圖之操 作 182。 内谷/肖耗a又備1〇2可包含一些構件,例如,媒體播放電 路118、處理器110、通訊界面114或其類似者,其用以接收 關聯於媒體内谷之第一表示的媒體片段以及包含切換點資 訊之相關的元資料。參看第5圖之操作158,並且,更詳細 地,參看第8圖之操作200以及202。内容消耗設備1〇2可儲 存媒體片段及/或相關的元資料並且也可因此開始顯示或 以另外地輸出該等媒體片段。内容消耗設備1〇2可重複自伺 服器104要求關聯於媒體内容之第一表示的媒體片段,如於 第5圖㈣154之展示’並且伺服器⑽’可依序地,提供關 聯於媒體内容第一表示之所要求的媒體片段與包含切換點 資訊之相關元資料,如於操作156之展示。媒體片段之重複 的請求以及供應,允許内容消耗設備1〇2提供串流化媒體内 容之連續的輸出。 内容消耗設備102可包含一些構件,例如,媒體播放電 42 201210325 路、處理器110或其類似者,其用以在媒體内容之串流 化期間決定自媒體内容之第一表示至媒體内容之一第二表 不的一切換或改變。參看第5圖之操作16〇以及第8圖之操作 204。藉由範例,内容消耗設備1〇2之媒體播放電路118及/ 或處理器110可決定網路總產能被改變的方式,使得除了媒 體内容之第一表示之外關聯於媒體内容的一不同表示之位 凡率可以是較佳地適用於目前網路總產能。例如,媒體播 放電路118及/或處理器11〇可決定網路總產能已被增加,並 且也可,例如,依據河!》!),決定第二表示是具有一較大於 第一表示之位元率,但卻是與增加的網路總產能一致並且 被其所支援。於一些實施例中,當切換至一第二表示之決 定已在操作160被決定時’内容消耗設備1〇2可自伺服器1〇4 要求切換點資訊。該要求可以是,例如,一 HTTp GET要求。 伺服器104接著可藉由提供適當的切換點資訊而回應至該 要求。於其他實施例中’切換點資訊可以是容易地被包含 在包含媒體内容之第一表示的媒體片段中。 内容消耗設備102之媒體播放電路118及/或處理器ι1〇 接著可復審由伺服器104所提供的切換點資訊,並且辨識切 換至第二表示之一適當的切換點。參看第5圖之操作162以 及第8圖之操作208。於一實施例中,内容消耗設備1〇2可接 收包含切換點資訊之元資料,但是媒體播放電路118及/或 處理器110可能不剖析切換點資訊直至内容消耗設備決定 一切換被構成為止。另外地,内容消耗設備1〇2可包含一些 構件,例如,媒體播放電路118、處理器11〇及/或其類似者, 43 201210325 其用以當收到或先前於決定形成一切換至媒體内容之—不 同表示之任何其他時間時’剖析切換點資訊,使得内容消 耗設備10 2於決定一切換形成之前已辨識切換點資訊。於任 一實例中’實施範例之内容消耗設備剖析切換點資訊,並 且確認其中切換至媒體内容之第二表示的一適當切換點。 參看第8圖之操作206以及208。 雖然適當的切換點可以各種方式被決定,一實施例之 内容消耗設備10 2自一時間的觀點確認作為其中切換至媒 體内容之第二表示的切換點的一個切換點。如於第5圖操作 164及第8圖操作210之展示’内容消耗設備可包含一些構 件,例如,媒體播放電路118、處理器11〇及/或其類似者, 其用以要求關聯於媒體内容之第二表示的媒體片段在切換 點開始並且之後繼續。與對於在切換點開始之關聯於媒體 内容的第二表示之媒體片段的要求一致地,内容消耗設備 102可終止在相同切換點以及在其後關聯於媒體内容之第 一表示的媒體片段之要求。 伺服器104可包含一些構件,例如,媒體串流化電路 128、處理器12〇、通訊界面124及/或其類似者,其用以接 收對於關聯於媒體内容之第二表示的媒體片段之要求並且 接著提供關聯於媒體内容的第二表示之所要求的媒體片 段。參看第5圖之操作166以及第6圖之操作184與186。如上 所述’伺服器104也可提供具有包含,例如,供用於被提供 的那些媒體段之切換點資訊的元資料之關聯於媒體内容 的第二表示之元資料。内容消耗設備102可包含一些構件, 44 201210325 例如,媒體播放電路118、處理器110及/或其類似者,其用 以依序地,接收關聯於媒體内容之第二表示的媒體片段與 相關的元資料。如之前所述,内容消耗設備102可儲存元資 料並且可同樣地儲存及/或顯示或此外在利用切換點資訊 被辨識之媒體内容的第二表示中之隨機存取點的起點而以 不同方式輸出關聯於媒體内容之第二表示的媒體片段。 因而’内容消耗設備102可容易地自利用伺服器104所 提供的切換點資訊而辨識切換點,因而簡化利用其在媒體 内容表示之間的切換之一適當切換點的内容消耗設備之決 定。因此’内容消耗設備102可自使用者觀點有效地以無縫 方式在媒體内容的不同表示之間切換。有關第5圖所述之處 理程序可被重複一些次數,其是由於内容消耗設備1〇2確認 其他的實例’於其中其將是需要,例如,依據網路總產能 或其他參數之改變而自媒體内容之目前表示切換至媒體内 容的不同表示。 如上面所提到的,伺服器104可以各種方式提供切換點 資訊。但是’於一實施例中,伺服器1〇4於ISOFF-可相容媒 體内容402中提供切換點資訊,如於上面第1 〇A以及10B圖 列表中之展示。於一實施例中’切換點資訊被提供如一獨 立之切換點方塊416 ’其通常緊接在moov方塊406之後並且 在moof以及mdat方塊417以及418之前,如於第l〇A圖之展 示。一片段可具有其自己之獨立的切換點方塊,亦即,多 於一個之切換點資訊方塊416可呈現並且通常在一片段的 第一moof方塊之前。相對於上面所提供之IS〇FF_可相容元 45 201210325 資料列表,這實施例之獨立的切換點方塊416將是在位準L0 上,例如,與ftyp3〇3、moov406、moof417以及mdat418匣 一起。因此’如於第10A圖所展示之一獨立的切換點方塊416 中所提供之切換點資訊將是有關於在一分別的媒體片段之 内的各斷片。 於這實施例中,切換點可利用關聯一媒體取樣與目標 表示之資訊以及該目標表示中之隨機存取點的位置而被傳 信。該位置可簡單地指示至含有隨機存取點之斷片。如上 面所提到的,切換點資訊可在稱為spnt的新匣416中如下所 示地被表示: aligned class SwitchPointBox extends FulIBox(4spnt99 version = 0,0){ unsigned int track-Count; for (i=l; i<=track一count;i++) { unsigned int track-ID; unsigned int sample一count; for(j=l;j<=sample_count;j++) { unsigned int(32) samplenumber; unsigned int switch-point—count; for (k=l; k <= switch_point_count; k++) { unsigned int(32) representation一id_length; byte(representation_id_length) representation_id; signed int target一trackrefindex; unsigned int(l) leading_pictures_usable_flag; unsigned int(31) fragment_position; 於先前說明中,軌跡_辨識(track_ID)以及取樣數量 (samplenumber)被使用以置放媒體取樣,例如,作為來源表 46 201210325 示中之切換點的媒體取樣。切換_點_計數 (Switch_P〇int_count)給予關聯於這媒體取樣之切換點數 量。對於各切換點,關於媒體片段中之目標表示以及隨機 存取點位置的一指示被給予。一隨機存取點藉由指示隨機 存取點所屬的表示ID (representation_id)、軌跡識別符 (target—track_ID)以及含有隨機存取點(fragment_position) 之斷片的位元組位置而被定位。 當引導—圖像—可用-旗標(leading_pictures_usable_flag) 等於0時,被標記為is_leading等於1之目標表示中的引導圖 像將不應被解碼,因為“is_leading= 1 ’’指示於這脈絡中,這 取樣是在參考切換點之前具有一依賴性的一引導取樣。當 leading一pictures_usable—flag是等於 1 時,被標記為 is」eading 等於1之目標表示中的引導圖像,當需要時,可藉由使用框 間圖像預測中之來源表示的參考像框被解碼,因為 “is—leading=l”指示於脈絡這中,這取樣是在參考切換點之 前具有一依賴性的一引導取樣。 伴隨新切換點資訊匣416,一片段索引,sidx匣可—起 被提供。該sidxll可指示目標表示中之隨機存取點位置以及 時序。但是’關於隨機存取點之資訊可以其他方式被提供, 包含在切換點資訊匣416之内。切換點資訊匣416主要地是 一輸送匣。如上面之指示,切換點資訊匣416可指示被切換 所來自之取樣、目標軌跡、以及切換至取樣的位置。以這 方式’一旦内容消耗設備102決定一切換是值得的,則内容 消耗設備可辨識一適當的切換點並且最小化或至少減低在 47 201210325 媒體内容來源以及目標表示之間的内容恢復冗餘。 另外地,切換點資訊可被包含在各m00f匣之内。因為 元資料可包含多數個moof匣,如於第10B圖之展示,該切換 點資訊可同樣地具有關於利用moof匣定義的分別斷片之分 別的moof匣中之切換點資訊β於一實施例中,切換點資訊 可被包含在一moof匣之内的一執跡斷片匣traf中,如於第 10B圖之展示’並且是在上面提供之列表的位準[丨中。參考 第10B圖,展示範例之gm〇〇f匣包含三個trafg,例如,提 供一音訊軌跡斷片之traf匣419a、提供一視訊軌跡斷片之 trafU 41%以及提供包含供用於分別斷片之對應切換點資 訊之示意軌跡的traf匣419c。於第10B圖之實施例中,假設 音訊以及視訊斷片是同步,以至於一組共用之切換點資訊 疋可應用於音訊以及視訊兩斷片。但是,切換點資訊可以 其他方式被包含在moof匣之内,例如,藉由包含另外之含 有切換點資訊的traf匣。例如,一traf匣可包含供用於音訊 斷片之切換點資訊的示意軌跡,並且另一traf匣可包含供用 於視訊斷片之切換點資訊的示意轨跡。 於這實施例中’一取樣群集被指定以指示在一目前軌 跡(同時也稱為源軌跡)内之切換來自取樣。至所指示目的執 跡中切換至取樣之—切換可發生在切換來自取樣如下面 更詳細之說明。 在ISO基礎之媒體檔案格式以及其之衍生物中的一取 樣群集’例如’ AVC㈣格式以及svc㈣格式,是將在 -軌跡中之各取樣,依據—群集準則,至—取樣族群之成 48 201210325 員的一指派。在一取樣群集中之一取樣族群是不受限定於 連續的取樣並且可含有非相鄰的取樣。由於其可以是對於 一軌跡中多於一個取樣群集的取樣,各取樣群集具有用以 指不群集型式之一型式欄。取樣群集利用下面二個鏈接的 資料結構被表示:(丨)一個SampleT〇Gr〇up匣(sbgp匣)代表取 樣至取樣族群之指派;以及⑺一個sampleGroupDescription H(sgpdlE)含有用於說明族群性質之各取樣族群的一取樣 族群項目。可以有依據不同群集準則之多數個 SampleToGroup 以及 SampleGroupDescription 匣之實例。這 些利用被使用以指示群集型式之一型式欄被辨認。該等取 樣族群匡’亦即,SampleGroupDescription匣以及 SampleToGroup匣,存在取樣列(stbl)匣之内,其依序,而 被封閉在在一影片(moov)匣之内的媒體資訊(minf)、媒體 (mdia)、以及轨跡(trak)l£ 中。 供用於切換點取樣群集之一取樣族群說明項目可如下 所示被規定: class VisualSwitchPointEntry() extends VisualSampleGroupEntry (^pnt5) { unsigned int(l) leading_pictures_usable_flag; signed int(31) sample count delta; } 於其中,sample_count_delta指定在被切換來自軌跡中這 取樣族群說明項目所指示之一切換來自取樣,以及被切換 至軌跡中被切換至取樣之間的取樣計數之差量並且利用 grouping_type_parameter被辨識。如果取樣族群說明項目是由 在一軌跡斷片内一延伸取樣至族群匣所參考,則取樣計數 49 201210325 是相對於轨跡斷片。該差量是有關被切換至的轨跡令對應、 的軌跡斷片之取樣計數被導出。正的數值指示目的軌跡中 切換至取樣比源轨跡中之分別的切換來自取樣具有較大的 取樣數。 當leading_pictures_usable_flag是等於〇時,當軌跡從切換 至取樣開始被存取時,切換至取樣之引導圖像將不被解 碼。當leading_pictures_usable_flag是等於1時,當需要時,切 換至取樣之引導圖像可藉由使用源參考圖像被解碼。 引導圖像可被指定作為在切換至像框先前的那些圖 像’例如’輸出順序中之框内圖像,接續切換至像框的那 些圖像,例如,解碼順序中之框内圖像,並且具有is_leading 等於1以指示這取樣是在參考切換點之前而具有一依賴性 的一引導取樣。另外地,引導圖像可被指定作為在輸出順 序中切換至像框先前以及解碼順序中接續切換至像框的那 些圖像。第9圖展示一引導圖像之後面定義以及在一非框内 圖像之切換的一範例。於這範例中,包含p圖像的兩個時間 點可作用如切換點。如一範例,自位元流1至位元流BS2 的一切換發生在第二P圖像中。於這範例中, leading_picture_usable_flag被設定為1而指示用於切換至p圖像 的引導圖像。應注意到,位元流BS2不是在下一個框内圖像 之前完美地被重建,但是被解碼的取樣數值中之此不符是 可忍受的或可被忽視的,尤其是當自一較高位元率串流化 至一下較低位元率串流化之切換發生時。 於這實施例中,一取樣族群說明匣藉由群集型式‘spnt, 50 201210325 被產生而包含具有所需的leadingpictureusabie—flag以及 SamPle_C〇imt_delta數值之取樣族群說明項目。如果相同之 GOP結構被使用在自軌跡之切換以及至執跡之切換兩者, 則通常一個取樣族群說明項目是充分而具有數值 leading—picture一USable_flag 等於!以及 sa_e c〇unt—如如等於 〇 〇 型式‘spnt’之一執跡參考型式匣可在執跡參考匣之内 被產生並且含有供用於目前軌跡的所有切換至執跡。 取樣至族群匣之版本1可如下所示依IS〇FF發行版3之 修正版1中所指定地被使用: aligned(8) class SampleToGroupBox extends FullBox(‘sbgp’,version, 0) { unsigned int(32) grouping type; if (version == 1) { unsigned int(32) grouping_type_parameter; } unsigned int(32) entry count; for (i=l; i <= entry_count; i++) { unsigned int(32)sample_count; unsigned int(32)group一description—index; } } grouping_type_parameter被設定為源軌跡之型式‘spnt’ 的軌跡參考索引,從其中這軌跡被切換。就此點而言, grouping_type_parameter等於0指示於型式‘ spnt,之軌跡參 考型式匣中所列出之任何軌跡可在指示的切換點被切換。 目前,ISOFF對於一特定的grouping_type以及 grouping_type_parameter組對僅允許一取樣至族群匣。因斷· 51 201210325 片式索引可能是所需的,一延伸取樣至族群匣被指定。其 之語法可以是如下所示地相同於取樣至族群匣的語法: aligned(8) class ExtendedSampleToGroupBox extends FullBox('esgp% version, 0) { unsigned int(32) grouping type; if (version == 1) { unsigned int(32) grouping type parameter; } unsigned int(32) entry count; for (i=l; i <= entry一count; i++) { unsigned int(32) sample—count; unsigned int(32) group_description_index; } } 這實施例之延伸取樣至族群匣被包含在軌跡斷片g 中。於一實施範例中,必須是零或一之延伸取樣至族群£ 出現而在一單一執跡斷片匣中具有一特定的grouping、type 以及grouping_type_parameter數值組對。當一延伸取樣至族 群匣出現而具有特定的grouping_type以及 grouping_type_parameter數值時,具有相同的grouping_type 以及grouping_type_parameter數值之取樣至族群匣必須不 涉及在該軌跡斷片之内的任何取樣。 參數sample_count是相對於含有延伸取樣至族群之執 跡斷片。於這範例中,沒有超越軌跡斷片之取樣是延伸取 樣至族群匣所參考。 當sample_count是等於1時,sample_count參數指示目前 之取樣是一切換自取樣。當sample_count是大於1時,其指 52 201210325 示接著(sample_count-l)之取樣不是切換自取樣,並且它們 之後緊接著一切換自取樣。換言之,族群說明項目僅說明 切換自取樣之性質並且不包含對於不是切換自取樣之取樣 之一項目。 於一實施範例中,至少一延伸取樣至族群匣被產生以 供用於各軌跡斷片。如果相同的G〇p結構被使用於各轨跡 中,則具有grouping_type一parameter等於0之一延伸取樣至 族群匣可能是足夠的。如果在轨跡之間的G〇p結構不同, 則一延伸取樣至族群匣通常被產生以供用於各目標軌跡。 於這實施例中也可決定關於作用如同切換自取樣之那些圖 像。例如,開始於一開放GOP之框内圖像可被選擇作為切 換自取樣。此外,如果於所有軌跡fG〇p結構是相同的, 則具有temporaljd等於0的所有圖像可被選擇作為切換自 取樣。 於這實施例中,一旦内容消耗設備丨〇 2決定至 之一第二表示的一切換是所需的話,則内容消耗設備,例 如可依據MPD而蚊Μ於第二表r軌跡朗符。内容 消耗設備1G2接著可決定對於在源軌跡的執跡參考匿内之 型式的軌跡參考型式£之内的軌跡識別符之一執跡 參考索引。如果沒有_參考索引被發現,㈣容消耗設 備102將選擇另一表示。 / 〇Χ 這實施範例之内容消耗設備⑽可接著㈣㈣取樣 至族群匣,其具有grouping_type等於‘s帅,、具有 grouping—type_p_eter等於〇或戶斤需表示之軌跡參考索引 53 201210325 數值,並且被置放於被解碼之目前執跡斷片中。 這實施範例之内容消耗設備102接著可定位最接近之 依序切換自取樣至被接收或最近接收的取樣。如果供用於 所選擇之切換自取樣的leading_pictures一usable_flag是〇,則 切換自取樣以及其之引導圖像自源執跡被接收並且TCp連 接最後被終止。如果供用於所選擇之切換自取樣的 leading_pictures_usable_flag是1,則切換自取樣以及其之引 導圖像不需要自源軌跡被接收並且TCP連接可在接收切換 自取樣之前完全地被終止。 這實施範例之内容消耗設備102接著可自伺服器1 〇4要 求來自第二表示之分別的片段。就此點而言,内容消耗設 備102可要求片段之moof匣的影片斷片,以及自開始於切換 至取樣的片段之mdat匣的媒體資料。例如,内容消耗設備 102可估計moof匣之尺度並且以一位元組範圍指定一 HTTP GET要求以得到moof匣。内容消耗設備102接著可以對於開 始於切換至取樣之媒體資料以管線輸送具有一位元組範圍 之另一HTTP GET要求。另外地,内容消耗設備1〇2可斷開 二個TCP連接,一個是用以得到moof匣並且另一個是用以 得到開始於切換至取樣之媒體資料。當moof匣完全地被接 收時,用以得到moof £之TCP連接可被終止。於任一實例 中,内容消耗設備102可藉由分析軌跡斷片執行匣而決定在 mdat匣内之切換至取樣的位元組偏移。
於先前的討論中將可了解,ISOFF-遵循媒體片段被使 用作為範例目的,並且不是限定。相對應地,第10A與10B 54 201210325 圖展不以及與其相關之說明的元資料結構僅是用於範例目 的並且該結财依據本㈣其他實施例 而不同地被配置。 ^外地’第10A與10B圖之元資料是有關於影片 内容被說 月但疋’應了解本發明實施例同樣也可被應用至其他型 式的媒體内容’例如’僅音訊之媒體内容 '僅視訊之媒體 内交、 ” 、1及音訊/視訊媒體内容。雖然關聯於媒體内容之第 _表不之70資料的切換點資訊被提供,’然而關聯於目標表 T之切換點資訊或不被包含於第_表示或目標表示任一者 之刀別的資訊亦可被提供。更進一步地,切換點資訊不 :要被提供在ISOFF遵循媒體片段巾,但是可經由—計時元 資料軌跡被提供或可在頻帶外(例如,MpD部份)被傳信。 於—些實施例中’切換點資訊被提供以供用於共用某 -或被指示的性質之取樣族群。例如,其可在切換點資訊 中被指不最低時間位準的各框内圖像或各取樣是一切換 點。另外地,其可被指示任何取樣是一切換點。於這實例 中,被指示串流之GOP樣型是相同的並且在解碼處理程序 中關聯於解碼圖像所需的任何數值,例如,像框數目以及 圖像順序計數,也是相同的,並且因此在任何圖像之一切 換被引動。此一串流之性質可利用於此處被稱為相同位元 流結構(ibSS)之新型的軌跡族群型式匣被指示。軌跡族群匣 以及執跡族群型式匣在ISOFF發行版3之修正版1中如下所 示地被規定: aligned(8) class TrackGroupBox('trgr') { } aligned(8) class TrackGroupTypeBox(unsigned int(32) 55 201210325 track一group_type) extends FullBox(track_group_type, version = 0, flags = 0) { unsigned int(32) track_group_id; // the remaining data may be specified for a particular track group type } 於型式‘ibss’之軌跡族群型式匣中具有相同 track_group—id數值的軌跡具有一相同的位元流結構。被解 碼的取樣以及語法元素數值與關聯於一軌跡之解碼取樣的 變量可被使用於型式‘ibss’之軌跡族群型式匣中具有相同 track_group_id數值之另一軌跡的取樣解碼中。解碼圖像是 相似的’但是當自具有型式‘ibss’之軌跡族群型式匣中之相 同track_group_id數值的其他軌跡之解碼取樣被使用在解石馬 處理程序中時’則不需要具有相同的取樣數值。 用於共用某一或被指示性質之一取樣族群的此切換點 資訊也可或另外地於頻帶外(例如,MPD部份)被傳信。 第5、6以及8圖是依據本發明一實施範例之系統 '方 法、以及電腦程式產品的流程圖。應了解,各流程圖方塊, 以及流程圖中之方塊組合,可利用各種構件被實作,例如, 硬體及/或包括具有被儲存在其上之電腦可讀取程式指令 的一個或多個電腦可讀取媒體之電腦程式產品 。例如,此 處說明之一個或多個步驟可利用電腦程式產品之電腦程式 才曰令被實施。就此點而言’實施此處說明之步驟的電腦程 式產品可利用一個或多個移動式終端之記憶體設備'伺服 器或其他電腦設備被儲存並且利用電腦設備中之一處理器 (例如’處理器11〇或處理器12〇)被執行。於一些實施例中, 包括實施如上所述之步驟的電腦程式產品之電腦程式指令 56 201210325 可利用複數個電腦設備之記憶體設備被儲存。應了解,任 何此電腦程式產品可被裝載至一電腦上或其他可程控裝置 上以產生一機構’以至於包含在電腦上或其他可程控裝置 上執行該等指令之電腦程式產品,可產生用以實作在流程 圖方塊中被指定之功能的工具。進一步地,電腦程式產品 可包括電腦程式指令可被儲存在其上之一個或多個電腦可 讀取記憶體,以至於該等一個或多個電腦可讀取記憶體可 引導一電腦或其他可程控裝置以一特定方式進行,以至於 電腦紅式產品包括一製造物件,其實作流程圖方塊中所指 定之功能。一個或多個電腦程式產品之電腦程式指令也可 被裝載至一電腦上或其他可程控裝置上,例如,内容消耗 設備102及/或伺服|§1()4,以導致_系列操作在電腦或其他 可程控裝置上被進行,以產生_電腦實作處理程序,因而 在電腦或其他可程控裝置上執行之指令可實作流程圖方塊 中所指定的功能。 因此’流程时塊支㈣㈣行Μ減之構件組 合。應了解,流程U或多個方塊、以及流程圖之方 塊、.且u也可藉由進行指定的功能之特殊目的硬體為基礎 電腦系統、或特殊目的硬體以及電腦程式產品之組合而被 上述功能可⑽多方式被執行。例如,用以實行上述 =能之任何適當構件可被採心實行本發明實施例。於 ::例t適當破組態之處理器可提供本發明所有的 5 一持7"件。於另—實施例中’本發明所有的或-部份 57 201210325 元件可被組態並且在電腦程式產品控制之下擄作。用以進 行本發明實施例方法之電腦程式產品包含一電腦可讀取儲 存媒體,例如,非暫態、非依電性儲存媒體,龙且電腦可 讀取程式碼部份,例如,—系列之電腦指令,被實施於電 腦可讀取儲存媒體中。 熟習本發明技術者應明白,對於在此之前設定的本發 明之許多修改以及其他實施例,具有出現於先前說明與相 關圖形中所教導之優點。因此,應了解,本發明實施例是 不受限定於所揭示的特定實施例,並且其修改以及其他實 施例是將被包含在本發明範疇之内。此外,雖然先前的說 明以及相關的圖形說明在本文之元件及/或功能組合的某 些範例中之實施範例,但應了解,元件及/或功能之不同組 合可利用不同實施例被提供而不脫離本發明範疇。就此點 而言,例如,明確地被敘述的那些元件及/或功能之外的不 同組合也被預期在本發明範疇之内。雖然特定名詞在此處 被採用,然而它們僅被使用於-般的以及描述性的意義並 且不是被作為限制目的。 【闽式簡單說> 明】 第1圖說明使用開放圖像族群(G〇p)之串流切換,於其 中陰影方塊代表被解碼之圖像; ' 第2圖說明使關放圖像族群(G〇p)之串流切換,於盆 中位元流之G〇P樣型是不同的,並且於其中陰影方塊代i 被解碼之圖像; 第3圖說明依據本發明—實施範例使用傳送協定而促 58 201210325 進媒體檔案串流化之系統; 第4圖是說明依據本發明一實施範例之移動終端的分 解方塊圖; 第5圖是說明依據本發明一實施範例用以促進媒體檔 案串流化所進行之操作的流程圖; 第6圖是說明依據本發明一實施範例利用伺服器所進 行之操作的流程圖; 第7圖是說明依據本發明一實施範例所提供之切換點 資訊的圖形表示; 第8圖是說明依據本發明一實施範例利用内容消耗設 備所進行之操作的流程圖; 第9圖說明依據本發明一實施範例在非框内圖像之串 流切換,於其中陰影方塊代表被解碼之圖像; 第10A圖說明依據本發明一實施範例之對於可被格式 化之遵循國際標準化機構(ISO)為基礎之媒體檔案格式 (IS0FF)結構的媒體檔案;並且 第10B圖說明依據本發明另一實施範例之可被格式化 之遵循IS0FF結構的媒體檔案。 【主要元件符號說明】 16.. .接收器 20.. .處理器 20a...聲音編碼器 20b...資料數據機 22.. .發聲器 BS1、BS2...位元流 IDR...圖像型式 10.. .移動式終端 12.. .天線 14.. .發送器 59 201210325 24…耳機或擴音機 26.. .麥克風 28.. .顯示器 30.. .袖珍鍵盤 38··.用戶身份模組 40.. ·依電性記憶體 42…非依電性記憶體 64.. .收發機及/或詢問裝置 66…紅外線(IR)收發機 68··.藍芽收發機 70···無線USB收發機 100.··媒體檔案串流化的系統 102···内容消耗設備 104…祠服器 108.. .網路 110.. .處理器 112.. .記憶體 114…通訊界面 116.. .使用者界面 U8·.·媒體播放電路 120…處理器 122·.·記憶體 124 .·.通訊界面 126·..使用者界面 128.··媒體串流化電路 15〇视..舰_串流化之 操作流程步驟 180·186…伺服器進行之操作 流程步驟 2〇〇_212.“够魏設備進行 之才呆作流程圖步驟 402…ISOFF-可相容媒體内容 404.. .ftyp E. 406…moov 匣 416.. .切換點資訊匣 417 …moof 匣 418.. .mdat 匣 419a-419c...traf 匣 60

Claims (1)

  1. 201210325 七、申請專利範圍: 1. 一種方法,其包括下列步驟: 藉由-處理器,決定在媒體内容之_第—表示中的 至少一切換點; 導致定義該至少-切換點之切換點資訊關聯於該 媒體内容之第-表示的-個或多個媒體片段而被傳信; 依據該媒體内容之第一表示所決定之一分別切換 點,而接收對於該媒體内容之一第二表示的一要求;並且 導致s玄媒體内容之第二表示的一個或多個媒體片 段被發送。 2. 依據申請專利範圍第〖項之方法,其中導致該切換點資 sfl被傳k之步驟包括導致含有該切換點資訊以及該媒 體内谷之第一表示的一個或多個媒體片段之一媒體檔 案被發送。 3. 依據申請專利範圍第2項之方法,其中導致一媒體檔案 被發送之步驟包括下列步驟之至少一者: 導致可應用至一整個媒體片段之切換點資訊被提 供,以及 導致可應用至一分別的媒體斷片的切換點資訊被 提供。 4·依據申請專利範圍第ι_3項之任一項的方法,其中決定 至少一切換點之步驟包括下列步驟之至少一者: 決定在該媒體内容的第一表示以及該媒體内容的 第二表示之間的複數個切換點,以及 61 201210325 決定在該媒體内容的第一表示以及複數個其他表 示各者之間的複數個切換點。 5. —種電腦程式產品,其包括具有電腦可執行程式碼指令 被儲存在其中的至少一電腦可讀取記憶體,當利用處理 器執行時,該電腦可執行程式碼指令導致申請專利範圍 第1-4項之任一項的方法之進行。 6. —種裝置,其包括: 用以決定在媒體内容之一第一表示中的至少一切 換點之構件; 用以導致定義該至少一切換點之切換點資訊關聯 於該媒體内容之第一表示的一個或多個媒體片段被傳 信之構件; 用以依據該媒體内容之第一表示所決定之一分別 切換點,而接收對於該媒體内容之一第二表示的一要求 之構件;以及 用以導致該媒體内容之第二表示的一個或多個媒 體片段被發送之構件。 7. 依據申請專利範圍第6項之裝置,其中用以導致該切換 點資訊被傳信之該構件包括用以導致含有該切換點資 訊以及該媒體内容之第一表示的一個或多個媒體片段 之一媒體檔案被發送之構件。 8. 依據申請專利範圍第7項之裝置,其中用以導致一媒體 檔案被發送之該構件包括下列構件之至少一者: 用以導致可應用至一整個媒體片段的切換點資訊 62 201210325 被提供之構件,以及 用以導致可應用至一分別的媒體斷片的切換點資 訊被提供之構件。 9. 依據申請專利範圍第6-8項之任一項的裝置,其中用以 決定至少一切換點之該構件包括下列構件之至少一者: 用以決定在該媒體内容之第一表示以及該媒體内 容之第二表示之間的複數個切換點之構件,以及 用以決定在該媒體内容之第一表示以及複數個其 他表示各者之間的複數個切換點之構件。 10. —種方法,其包括下列步驟: 接收在媒體内容之一第一表示中定義至少一切換 點之切換點資訊; 藉由一處理器,決定自該媒體内容之該第一表示至 該媒體内容之一第二表示將形成的一切換; 辨識自該媒體内容之該第一表示切換至該媒體内 容之該第二表示之一分別的切換點,其中辨識該分別的 切換點包括依據所接收之該切換點資訊而辨識該分別 的切換點;並且 依據所辨識之該分別的切換點而導致對於該媒體 内容之該第二表示的一個或多個媒體片段之一要求被 發出。 11. 依據申請專利範圍第10項之方法,其中接收切換點資訊 包括接收關聯於該媒體内容之該第一表示的一個或多 個媒體片段之切換點資訊。 63 201210325 12. 依據申請專利範圍第n項之方法’其中接收關聯於一個 或多個媒體片段之切換點資訊包括接收含有該切換點 資訊以及該媒體内容之該第一表示的一個或多個媒體 片段之一媒體檔案。 13. 依據申請專利範圍第12項之方法,其中接收含有該切換 點資訊以及該等一個或多個媒體片段之—媒體檔案包 括下列步驟之至少一者·· 接收可應用至一整個媒體片段之切換點資訊,並且 接收可應用至一分別的媒體斷片之切換點資訊。 14. 依據申請專利範圍第1〇_13項之任一項的方法,進一步 包括分析該切換點資訊以辨識一個或多個切換點。 15. 依據中請專利範圍第14項之方法,其中分析該切換點資 訊包括在決定-切換將被形成之後分析該切換點資訊。 16. 依據申請專利範圍第1〇_15項之任一項的方法進一步 包括回應於該要求而接收該媒體内容之該第二表示的 一個或多個媒體片段。 17·:種電腦程式產品,其包括具有電腦可執行程式碼指令 儲存在其中的至少一電腦可讀取記憶體,當利用處理器 執行該電腦可執行程式碼指令時,導致申請專利範圍第 1〇-16項之任一項的方法之進行。 18· —種裝置,其包括: 用以接收在媒體内容之—第一表示中定義至少一 切換點的切換點資訊之構件; 用以决疋自5亥媒體内容之該第一表示至該媒體内 64 201210325 谷之一第二表示將形成的一切換之構件; 用以辨識自該媒體内容之該第一表示切換至該媒 體内容之該第二表示之一分別的切換點之構件,其中用 以辨識該分別的切換點之該構件包括用以依據所接收 的該切換點資訊而辨識該分別的切換點之構件;以及 用以依據所辨識之該分別的切換點而導致對於該 媒體内容之該第二表示的一個或多個媒體片段之一要 求被發出之構件。 19. 依據申請專利範圍第18項之裝置,其中用以接收切換點 資訊之該構件包括用以接收關聯於該媒體内容之該第 一表示的一個或多個媒體片段之該切換點資訊的構件。 20. 依據申請專利範圍第19項之裝置,其中用以接收關聯於 一個或多個媒體片段之該切換點資訊的該構件包括用 以接收含有該切換點資訊以及該媒體内容之該第一表 示的一個或多個媒體片段之一媒體檔案之構件。 21. 依據申請專利範圍第2〇項之裝置,其中用以接收含有該 切換點資訊以及該等一個或多個媒體片段之一媒體檔 案的該構件包括下列構件之至少一者: 用以接收可應用至一整個媒體片段的切換點資訊 之構件,以及 用以接收可應用至一分別的媒體斷片之切換點資 訊之構件。 22. 依據申請專利範圍第ι8_21項之任一項的裝置,進一步 包括用以分析該切換點資訊以辨識一個或多個切換點 65 201210325 之構件。 23. 依據申請專利範圍第22項之裝置,其中分析該切換點資 訊之該構件包括用以在決定一切換將被形成之後分析 該切換點資訊之構件。 24. 依據申請專利範圍第18-23項之任一項的裝置,進一步 包括用以回應於該要求而接收該媒體内容之該第二表 示的一個或多個媒體片段之構件。 25. —種系統,其包括: 依據申請專利範圍第6-9項之任一項的一伺服器; 以及 依據申請專利範圍第18-24項之任一項的一消費内 容設備。 66
TW100125644A 2010-07-21 2011-07-20 Method and apparatus for indicating switching points in a streaming session TW201210325A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US36649710P 2010-07-21 2010-07-21

Publications (1)

Publication Number Publication Date
TW201210325A true TW201210325A (en) 2012-03-01

Family

ID=45496580

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100125644A TW201210325A (en) 2010-07-21 2011-07-20 Method and apparatus for indicating switching points in a streaming session

Country Status (8)

Country Link
US (1) US20120185570A1 (zh)
EP (1) EP2596614A1 (zh)
KR (1) KR20130060266A (zh)
CN (1) CN103004224A (zh)
CA (1) CA2804598A1 (zh)
TW (1) TW201210325A (zh)
WO (1) WO2012011076A1 (zh)
ZA (1) ZA201301225B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489877B (zh) * 2012-06-28 2015-06-21 Qualcomm Inc 基於乾淨隨機存取(cra)圖像之串流適應

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011056139A1 (en) 2009-11-06 2011-05-12 Telefonaktiebolaget L M Ericsson (Publ). File format for synchronized media
KR101289083B1 (ko) * 2009-12-21 2013-07-22 한국전자통신연구원 그룹 정보에 기반한 센서 네트워크에서의 저전력 통신 방법 및 이를 이용한 센서 네트워크 시스템
KR101777348B1 (ko) * 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
US9986009B2 (en) 2010-10-06 2018-05-29 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content
JP5856295B2 (ja) * 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
US9590814B2 (en) 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP5773855B2 (ja) * 2011-12-02 2015-09-02 キヤノン株式会社 画像処理装置
WO2013159832A1 (en) * 2012-04-27 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Device-resident media files
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
US10062416B2 (en) * 2012-07-10 2018-08-28 Sony Corporation Image decoding device, and image decoding method, image encoding device, and image encoding method
US9560392B2 (en) 2012-09-07 2017-01-31 Google Inc. Dynamic bit rate encoding
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US20140098868A1 (en) 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
US9641906B2 (en) * 2012-10-09 2017-05-02 Sharp Kabushiki Kaisha Content transmission device, content playback device, content distribution system, method for controlling content transmission device, method for controlling content playback device, control program, and recording medium
JP6236459B2 (ja) * 2012-10-19 2017-11-22 インターデイジタル パテント ホールディングス インコーポレイテッド Httpストリーミングのための多仮説レート適合
US9813325B2 (en) 2012-12-27 2017-11-07 Comcast Cable Communications, Llc Information stream management
US9571847B2 (en) 2013-01-07 2017-02-14 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
CN104105012B (zh) * 2013-04-03 2018-04-20 华为技术有限公司 流媒体的片段准备方法和装置
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
US20150095450A1 (en) * 2013-09-30 2015-04-02 Qualcomm Incorporated Utilizing multiple switchable adaptation sets for streaming media data
US9270721B2 (en) * 2013-10-08 2016-02-23 Qualcomm Incorporated Switching between adaptation sets during media streaming
US10198777B2 (en) 2013-12-06 2019-02-05 Remote Media, Llc System, method, and application for exchanging content in a social network environment
EP2890075B1 (en) * 2013-12-26 2016-12-14 Telefonica Digital España, S.L.U. A method and a system for smooth streaming of media content in a distributed content delivery network
US10116616B2 (en) * 2014-04-23 2018-10-30 Remote Media, Llc Smart routing synchronization system and methods for socializing a synthetic rebroadcast and group stream
CN107431819B (zh) 2014-12-31 2022-02-01 诺基亚技术有限公司 用于视频解码的方法、装置、计算机可读存储介质及视频解码器
GB2534136A (en) * 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
MY199102A (en) * 2015-08-07 2023-10-13 Mediatek Inc Method and apparatus of bitstream random access and synchronization for multimedia applications
US10869032B1 (en) 2016-11-04 2020-12-15 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
US10484701B1 (en) * 2016-11-08 2019-11-19 Amazon Technologies, Inc. Rendition switch indicator
US10264265B1 (en) 2016-12-05 2019-04-16 Amazon Technologies, Inc. Compression encoding of images
US10681382B1 (en) 2016-12-20 2020-06-09 Amazon Technologies, Inc. Enhanced encoding and decoding of video reference frames
GB2567625B (en) 2017-10-12 2020-07-15 Canon Kk Method, device, and computer program for generating timed media data
KR102338466B1 (ko) * 2017-12-08 2021-12-14 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어방법
CN113615175A (zh) 2019-03-11 2021-11-05 华为技术有限公司 视频译码中的逐步解码刷新
ES2992932T3 (en) * 2019-03-20 2024-12-19 Beijing Xiaomi Mobile Software Co Ltd Method and device for transmitting viewpoint switching capabilities in a vr360 application
US11089356B2 (en) * 2019-03-26 2021-08-10 Rovi Guides, Inc. Systems and methods for media content hand-off based on type of buffered data
EP4716223A3 (en) * 2019-07-04 2026-06-17 Dolby International AB Media streaming
US20220256213A1 (en) * 2021-02-09 2022-08-11 Comcast Cable Communications, Llc Systems, methods, and devices for network control
US11223664B1 (en) * 2021-04-13 2022-01-11 Synamedia Limited Switching between delivery of customizable content and preauthored media content
CN113613049B (zh) * 2021-07-22 2023-04-07 山东浪潮超高清视频产业有限公司 机顶盒媒体播放器进度条平滑拖动的方法
US12101528B2 (en) * 2022-12-08 2024-09-24 Synamedia Limited Client device switching to low latency content
CN115988286B (zh) * 2022-12-13 2026-05-01 抖音视界有限公司 数据切片方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191116A1 (en) * 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
FI116498B (fi) * 2002-09-23 2005-11-30 Nokia Corp Kaistanleveyden mukauttaminen
US20080151885A1 (en) * 2005-02-08 2008-06-26 Uwe Horn On-Demand Multi-Channel Streaming Session Over Packet-Switched Networks
US7546377B2 (en) * 2006-08-10 2009-06-09 International Business Machines Corporation Alternate stream signaling for adaptive stream selection
US8543720B2 (en) * 2007-12-05 2013-09-24 Google Inc. Dynamic bit rate scaling
US7774488B2 (en) * 2008-03-12 2010-08-10 International Business Machines Corporation Method and system for switching media streams in a client system based on environmental changes
CN102187667B (zh) * 2008-08-26 2014-07-23 Csir公司 从第一编码视频流切换到第二编码视频流的方法
US8918533B2 (en) * 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489877B (zh) * 2012-06-28 2015-06-21 Qualcomm Inc 基於乾淨隨機存取(cra)圖像之串流適應
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
US10123030B2 (en) 2012-06-28 2018-11-06 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures

Also Published As

Publication number Publication date
KR20130060266A (ko) 2013-06-07
CA2804598A1 (en) 2012-01-26
WO2012011076A1 (en) 2012-01-26
US20120185570A1 (en) 2012-07-19
CN103004224A (zh) 2013-03-27
ZA201301225B (en) 2014-07-30
EP2596614A1 (en) 2013-05-29

Similar Documents

Publication Publication Date Title
KR101615974B1 (ko) 모바일 미디어 서버
CN103004224A (zh) 在流会话中指示切换点的方法和装置
CN110431850B (zh) 在使用mime类型参数的网络视频流式传输中发信重要视频信息
JP6425720B2 (ja) コンテンツ配信のための方法及び装置
TWI729997B (zh) 傳輸經寫碼音訊資料
KR101810496B1 (ko) 무선 통신 시스템의 비디오 스트리밍
TWI692974B (zh) 在媒體檔案中虛擬實境視訊之儲存
KR101549760B1 (ko) 비디오 데이터를 스트리밍하기 위한 랜덤 액세스 포인트의 시그널링
KR101401183B1 (ko) 스트리밍 미디어 파일의 표현을 기술하고 타이밍하기 위한 장치 및 방법
KR101703179B1 (ko) 미디어 스트리밍 동안 적응 세트들 간의 스위칭
KR101421390B1 (ko) 트릭 모드 비디오 표현물에 대한 비디오 샘플의 시그널링
TW201129040A (en) Systems, methods and apparatuses for media file streaming
TW201909007A (zh) 使用用於檔案格式邏輯框之一通用描述符處理媒體資料
CN106303682B (zh) 频道切换的方法、装置、终端及服务器
CN106791714B (zh) 网络摄像头与服务端设备的匹配方法和设备
HK40009749A (zh) 在使用mime類型參數的網絡視頻流式傳輸中發信重要視頻信息
HK40009749B (zh) 在使用mime類型參數的網絡視頻流式傳輸中發信重要視頻信息