TW201230768A - Encoding method, display device, and decoding method - Google Patents

Description

201230768 六、發明說明： 【智^明戶斤屬之^技^彳軒々貝域^】 發明領域 本發明係有關用以記錄或傳送顯示影像之編碼方法、 顯示裝置、及解碼方法。

t先前标;J 發明背景 近年，在電影院等伴隨著觀賞扣影像之機會增加，在 數位電視等亦逐步要求3£>影像之節目播放。 在此，作為揭示用以再生顯示立體視影像之技術之文 獻，例如有專利文獻1。專利文獻1中有揭示-種進行藉由 左右並排（Side.by.Side)方式(並列方式）所儲存之扣影像之 立體視再生_轉置。左右並財式德構成視訊流之 各個圖框之圖片資料分割成右半•域及左半部區域，並 於右半指域及左半職域分顺存並傳送立體視所需之 右眼關絲左眼關像之方式。如此―來，將有在書面 全體同時保存左㈣时及右„圖像之儲存圖像稱為 L-R儲存圖像。在使用習知的犯顯示裝置顯示上述左右並 排方式之_彡料，—般而言，首先卿㈣裝置會對輸入 進來的視訊流判斷是否為左右並排方式之3D影像。接下 來，若判斷為左右並排方式之3D影像，職示裝置便對包 3在其〜像中之L-R赌存圖像進行右眼用圖像與左眼用 圖像之解碼並顯示3D影像。 如上述，習知的犯顯示裝置僅可在儲存有左右並排方 3 201230768 式之L-R儲存圖像的情況下正確再生顯示3D影像。因上述 理由，將引申出如下之技術課題。 先前技術文獻 專利文獻 專利文獻1:日本專利第3789794號公報 t發明内容3 發明概要 發明欲解決之課題 第1圖係說明發布左右並排方式之影像時之技術課題 之圖。 首先’如第1圖之左下半部分顯示，對應於左右並排方 式之習知的3D顯示裝置係將左眼用圖像及右眼用圖像分別 擴大成顯示元件（顯示畫面）之尺寸，並使用時間分割等方法 進竹3D顯示。 聽者甚至無法將左右並排方式的視訊流作為原本的顯示畫 但’習知的2D顯示裝置於再生左右並排方式之視訊流 時，2D顯示裝置係將在左右排列有左眼用圖像及右眼用圖 像之圖片資料作為一張圊像直接顯示。因此，如第1圖之右 下半部分顯示，在2D顯示裝置之畫面係直接顯示左眼用圖 像及右眼用圖像排列在橫向之圖像。因此，視聽者將會看 】在顯不畫面上排列在左右之2張相似的犯影像。此時，視 面大小之2D影像觀賞。 為避免上述情況， 右並排方式的3D影像， 就數位電視之播放而言，有別於左 應準備重複且相同内容的2D影像。 201230768 右並:=Γ示裝置中’當同時傳送普通的扣影像及左 仍舊可、Γ料，職轉置即便無㈣她影像 w收3D影像。如此一來，視聽者必須以頻道切換 =nrlzapping)來挑選區分#通的2D影像。當以頻道切換 恰巧挑選到卿像時，㈣置仍舊無法避免如上述左 眼用圖像及右眼用圓像橫向排列顯示的現象。再加上，必 須對=目㈣目同時傳送重複内容的2D影像及3D影像之 種資料流，將會耗費掉多數的通訊頻帶而增加傳送負 擔’且必須進行多次切換而降低2D顯示裝置的操作性。 此外，在習知技術中，2D顯示裝置會直接再生右眼用 圖像及左眼用圖像橫向排列之圖像，因此，播放或發布3D 影像的事業經營者可能會從使用習知的扣顯示裝置的視聽 欠J.4示左眼用圖像及右眼用圖像橫向排列之圖像—而 非顯示2D圖像一'的抱怨。 又，在今後的新產品開發中，雖可對產品規格施加改 良以使新的2D顯示裝置不會直接顯示L_R儲存圖像，然 已在商市場中販賣且已設置在各家庭中之既存2D顯 不裝置之產品規格不會有所改變，課題依舊存在。 又’進行3D影像顯不時’習知的3D顯示裝置係以在圖 片資料的右半部之分割區域儲存有右眼用圖像、且在左半 部之分割區域儲存有左眼用圖像的前提下，進行左眼用圖 像及右眼關像的切割。但，當構成圖片資料之圖像之佈 局（layout)相異時，會無法正常將31)影像顯示在顯示畫面。 例如，若視讯流之製作側係對左眼用圖像及右眼用圖像之 201230768 儲存採用上下排列（Top And Bottom)方式，構成所傳送之圖 片資料之圖像之佈局係將左眼用圖像及右眼用圖像排列在 一晝面的上下而儲存。此時，對應於左右並排方式之習知 的3D顯示裝置將無法正確地顯示3D影像。 因此，本發明之目的在於提供一種不論在習知的2D顯 示裝置、新2D顯示裝置、習知的3D顯示裝置、或新3D顯示 裝置中任一者皆可將其顯示内容正確呈現之編碼方法、顯 示裝置及解碼方法。 用以解決課題之機構 本發明之編碼方法之特徵在於包含：生成步驟，係生 成第1顯示資訊及第2顯示資訊者，前述第1顯示資訊係在分 割畫面區域所獲得之分割區域的各個分割區域中儲存有左 眼用圖像及右眼用圖像之圖片資料中，包含將第1晝面區域 指定作為剪裁區之剪裁資訊者，前述第2顯示資訊係包含將 第2畫面區域指定作為剪裁區之剪裁資訊者；及編碼步驟， 編碼原圖像，獲得包含複數之前述圖片資料、與前述第1顯 示資訊及前述第2顯示資訊之視訊流。 又，本發明之顯示裝置或解碼方法係輸入視訊流並進 行顯示處理者，其特徵在於：前述視訊流包含複數圖片資 料及顯示資訊，且，各前述圖片資料在分割畫面區域所獲 得之分割區域之各個分割區域中，儲存有左眼用圖像及右 眼用圖像；前述顯示資訊有2D顯示資訊及3D顯示資訊，該 兩者分別包含圖片資料中指定用於顯示之剪裁區之剪裁資 訊、及用以對前述剪裁區施加比例化之比例化資訊；前述 201230768 3D顯示資訊中之剪裁資訊係將用於3D顯示之畫面區域指 定作為剪裁區，且，前述2D顯示資訊中之剪裁資訊係將左 眼用圖像及右眼用圖像中用於2D顯示之畫面區域指定作為 剪裁區；前述顯示裝置具備一次圖框緩衝部及二次圖框緩 衝部，且可進行下列處理，即：解碼壓縮圖片資料並將非 壓縮圖片資料寫入一次圖框緩衝部中，對於一次圖框緩衝 部中所儲存之非壓縮圖片資料，施加依照前述顯示資訊之 顯示處理，並將處理結果寫入二次圖框緩衝部中，又，依 照前述2D顯示資訊内之剪裁資訊，讀出將一次圖框緩衝部 所儲存之圖片資料中指定作為剪裁區之部分，依照前述2D 顯示資訊内之比例化資訊進行比例化轉換且寫入二次圖框 緩衝部中。 又，本發明之其他顯示裝置或解碼方法係輸入視訊流 並進行顯示處理者，其特徵在於：前述視訊流包含複數圖 片資料及顯示資訊，各前述圖片資料在分割晝面區域所獲 得之分割區域之各個分割區域中儲存有左眼用圖像及右眼 用圖像；前述顯示資訊有2D顯示資訊及3D顯示資訊，該兩 者分別包含圖片資料中指定用於顯示之剪裁區之剪裁資 訊、及用以對前述剪裁區施加比例化之比例化資訊；前述 3D顯示資訊中之剪裁資訊係將用於3D顯示之畫面區域指 定作為剪裁區，且，前述2D顯示資訊中之剪裁資訊係將左 眼用圖像及右眼用圖像中用於2D顯示之畫面區域指定作為 剪裁區；前述顯示裝置具備一次圖框緩衝部及二次圖框緩 衝部，且可進行下列處理，即：解碼壓縮圖片資料並將非 7 201230768 壓縮圖片資料寫人—次圖框緩衝部中，對於一次圖框緩衝 β中所儲存之非壓縮圖片資料施加依照前述顯示資訊之顯 不處理’並將處理結果寫人二次圖框緩衝器中，又記憶 具有2D再生模式及3D再生模式之顯示模式中現行 顯示模 式，並對二次圖框緩衝部中所儲存之圖片資料進行3D轉換 處理，虽現行顯示模式為3D再生模式時，會先於2D顯示資 訊優先參考3D顯示資訊，並依照前述3D顯示資訊内之剪裁 資訊讀出一次圖框緩衝部中所儲存之圖片資料中指定作為 剪裁區之部分，依照前述3D顯示資訊内之比例化資訊施加 比例化轉換且寫入二次圖框緩衝部中。 發明效果 依據本發明之編碼方法，可將2D影像正確地顯示在2D 顯不裝置，且可將3D影像正確地顯示在3D顯示裝置。在前 述意義下，可提供一種高互換性的31)視訊流。 在此，本發明之一實施形態之2D顯示資訊，在將右眼 用圖像及左眼用圖像其中一者指定作為剪裁區之剪裁資訊 的設定不同於習知的2D顯示資訊之觀點上相當新穎，有關 指示剪裁或比例化轉換的規格部分，可援用習知的2£)顯示 資汛之規格。因此，將包含2D顯示資訊之3D視訊流供給至 習知的2D顯示裝置時，習知的2D顯示裝置可藉由既存的硬 體，依據新的2D顯示資訊中之剪裁資訊或比例化資訊進行 剪裁或比例化。藉此，在將3D視訊流傳送至習知的2D顯示 裝置時亦可顯示正確的内容。因此，可提升已作成之視訊 流之互換性。又，由於是利用習知的2D顯示裝置之硬體來 201230768 達成正確的顯示内容’因此實用價值很大。 由於本發明之一實施形態之3D顯示資訊包含有剪 =貝5fl或比例化資訊，因此顯示裝置可輕易地依據3D顯示 貝或發現正確的右眼關像區域及左眼用圖像區域，並正 確地分別切⑽存在姻圖片資料巾之右眼用圖像及左眼 用圖像’以供給至立體視再生。因此，即便右眼用圖像及 左眼用圖像以橫向或縱向排列的方式儲存在圖片資料中， 或與圖片資料對應之右眼用圖像及左眼用圖像之比例大小 相異，亦可藉由抽出視訊流中之3D顯示資訊，無關乎傳送 方式而正確地切割儲存在圖片資料中之右眼用圖像及左眼 用圖像，並實現穩定的立體視再生。又，製作3D影像者與 習知技術相較之下，可比習知更自由地設定右眼用圖像及 左眼用圖像之儲存或傳送方法、及與圖片資料對應之右眼 用圖像及左眼用圖像之比例。 圖式簡單說明 第1圖係說明發布左右並排方式之影像時之技術課題 之圖。 第2圖⑷〜(d)係顯示3D數位方式及2D數位方式之利用 形態之圖 第3圖係顯示MPEG-2傳輸流形式之數位流之構成圖。 第4圖係詳細說明PMT之資料結構之圖。 第5圖（a)〜(c)係顯示視訊流之GOP結構、及視訊存取單 元之内部構成。 第6圖係顯示各個圖片資料轉換成pES封包之過程圖。 201230768 構0 第7圖（a) (b)係顯示構成傳輸流之TS儲存區之資料結 2D顯示資訊及3D顯示資訊之儲 第8圖係顯示如何儲存 存内容的具體例。 第9圖(a)、（b)係㈣如何將左右並射式及上下排列 方式中之L-R儲存圖像供給至顯示之顯示過程。 第0圖係顯*使用者藉*透過眼鏡來認知視聽3D區間 中之左眼用圖像及右眼用0像之立體視圖像。 第11圖（a)、（b)係顯示MPEG-4 AVC視訊解碼器之解碼 器模型。 第12圖（a)、（b)係顯示剪裁資訊之剪裁區之指定方法。 第13圖（a)、（b)係具體顯示 圖框變化之圖。 第14圖（a)〜(d)係顯示將左眼用圖像配置在左側之左右 並排方式中之4種佈局圖樣。 第15圖（a)、（b)係顯示上下排列方式中之2種佈局圖樣 之圖。 第16圖（a)、（b)係顯示有追加空白區之上下排列方式之 圖片資料及切片資料之關係之圖。 第17圖（a)~(d)係顯示有假設類型識別符之2D顯示用之 區域的4種類型（類型1〜4)。 第18圖係顯示進行傳輸流播放之播放台的内部構成。 第19圖係顯示實施形態1之編碼方法之處理順序之流 程圖。 第20圖係顯示實施形態1之編碼方法之處理順序之其 201230768 他例之流程圖。 第21圖係說明實施形態1之L-R儲存圖像與顯示資訊之 生成之流程圖。 第22圖係說明L-R儲存圖像之編碼處理之流程圖。 第23圖係說明實施形態1之多工處理之流程圖。 第24圖係顯示2D顯示裝置之内部結構之圖。 第25圖係顯示2D數位電視300之内部構成之圖。 第26圖係顯示3D顯示裝置之内部結構之圖。 第27圖係說明3D數位電視100之圖。 第28圖係顯示實施形態2之解碼方法之處理順序之流 程圖。 第2 9圖係詳細說明實施形態2之3 D模式顯示處理之流 程圖。 第30圖（a)、（b)係顯示實施形態3之3D顯示資訊之指定 之圖。 第31圖係顯示實施形態3之L - R儲存圖像及顯示資訊之 生成詳細之流程圖。 第3 2圖係顯示實施形態3之L - R儲存圖像之編碼順序之 流程圖。 第33圖係顯示構成實施形態3之L-R儲存圖像⑴之切片 資料之編碼順序之流程圖。 第3 4圖係顯示實施形態3之解碼方法之處理順序之流 程圖。 第3 5圖係顯示實施形態3之3 D模式顯示處理之處理順 201230768 序之流程圖。 第36圖（a)、（b)係顯示實施形態4之3D顯示資訊之指定 之圖。 第37圖係顯示從半HD2面之視訊流及半HD2面之擴張 流獲得全HD之左眼用圖像及右眼用圖像之過程。 第38圖係顯示將左眼用圖像(A)作為基影像，且右眼用 圖像（B)、左眼差分影像（C)及右眼差分影像（D)使用如 MPEG-4 AVC之視間參考來進行壓縮之過程。 第39圖係顯示從2D影像及深度圖生成左眼用圖像及右 眼用圖像之視差圖像之示意例。 第4 0圖係說明將2 D顯示資訊及3 D顯示資訊適用在深 度圖時之適用例之圖。 第41圖係將左眼用圖像及右眼用圖像作為個別的視訊 流儲存在1條傳輸流中之形態。 第42圖係顯示用以多重顯示編碼方式之立體視的左眼 視U右眼視訊流之内部構成之—例之圖。 【實施冷式】 用以實施發明之形態 -備上述課題解決機構之編碼方法在編輯電腦系統 中’可藉由作為電腦程式之處理順序加以組裝而實施。具 =上，課題解★機構之顯喊置可作為數位電視等工業產 抑而實把上述課題解決機構之解碼料在上述數位 電視中可藉由作為電腦程式之處理順序加以組裝而實施。 以下說明上述編碼方法之發明、顯示裝置之發明、 12 201230768 及解碼方法之發明之實施形態。首先，一開始說明對一般 消費者而言密切相關的顯示裝置之使用形態。顯示裝置之 實施品之數位電視有：如第2圖顯示可視聽3D影像之3D數 位電視100、及不支援3D影像再生而僅可苒生2D影像之2D 數位電視300。 第2圖（a)係顯示3D數位電視之使用形態之圖。如第2圖 (a)顯示，使用者可使用數位電視1 〇〇及3D眼鏡200觀看3D影 像。 3D數位電視1〇〇係可顯示2D影像及3D影像者，可藉由 再生包含在所接收之播放波中之串流來顯示影像。 3D數位電視100係藉由使用者穿戴3D眼鏡200來實現 立體視者GD眼鏡200具備液晶快門’可使使用者視聽依據 循序分離方式的視差圖像。視差圖像係由進入右眼之影像 及進入左眼之影像而構成之一組影像，係以僅對應於各個 單眼之圖片進入使用者雙眼的方式來進行立體視。第2圖（b) 係顯示左眼用圖像之視聽時之快門形態。在畫面上有顯示 左眼用圖像的一瞬間’前述3D眼鏡200會使對應於左眼之液 晶快門透光，並使對應於右眼之液晶快門遮光。第2圖（c) 係顯示右眼用圖像之視聽時之快門形態。在畫面上有顯示 右眼用圖像之一瞬間，乃以與前述相反的方式使對應於右 眼之液晶快門透光，並使對應於左眼之液晶快門遮光。如 第2圖（d)顯示，2D數位電視300不同於3D數位電視1〇〇，無 法實現立體視。2D數位電視300係僅可顯示2D影像者，僅 可將包含在所接收之播放波中之串流作為2D影像予以再 13 201230768 生。 以上係有關顯示裝置之使用形態之説明。 (實施形態1) 就實施形態1，係說明以上述顯示裝置之存在為前提之 編碼方法的具體形態《該編碼方法係從原圖像之左眼用圖 像及右眼用圖像生成視訊流及傳輸流者，其具體的順序主 要是依據視訊流及傳輸流之結構。在編碼方式之説明之 前，先說明有關傳輸流之基本的結構。 在數位電視之播放波等之傳送中’一般而言係使用 MPEG-2傳輸流（Transport Stream : TS)形式之數位流〇 MPEG-2傳輸流係用以多工傳送視訊或聲訊等各種串流之 規格。在ISO/IEC13818-1及ITU-T建議H222.0中，業經標準 化。 第3圖係顯示MPEG-2傳輸流形式之數位流之構成圖。 如本圖顯示，傳輸流係藉由多工視訊流、聲訊流及字幕流 等而獲得。視訊流儲存有節目之主影像，聲訊流儲存有節 目之主語音部分或副語音，字幕流儲存有節目之字幕資 訊。視訊流係使用MPEG-2及MPEG-4AVC等方式編碼。聲 訊流係以杜比 AC-3、MPEG-2 AAC、MPEG-4 AAC、及 HE-AAC等方式所壓縮編碼。 圖中之501、502、503係顯示視訊流之轉換過程。圖片 資料列501可轉換成PES封包列502，然後再轉換成TS封包 列 503。 圖中之504、505、506係顯示聲訊流之轉換過程。聲訊 14 201230768 信號504係經過量子化取樣後轉換成聲訊圖框列。聲訊圖框 可轉換成PES封包列505，然後再轉換成TS封包列506。 圖中之5〇8、509係顯示字幕流之轉換過程。字幕流係 轉換成頁面組合段(PCS=Page Composition Segment)、區域 組合段（RCS=Region Composition Segment)、色板定義段 (PDS=Pallet Define Segment)、及物件定義段(〇Ds=〇bject

Define Segment)等複數類別之功能對話列5〇8，然後再轉換 成TS封包列509。 圖中之6(Π、602、603係顯示串流管理資訊之轉換過程。 串流官理> sfl係儲存在稱為PSI(Program Specification Information :程式規格資訊)之系統封包中，乃將有多工在 傳輸流中之視訊流、聲訊流及字幕流管理作為1個播放節目 之資 sfl。串流管理負 §fl 中有 PAT(Program Association Table : 節目關聯表）、PMT(Program Map Table :節目圖表）、事件資 訊表EIT(Event Information Table)及服務資訊表 SIT(Service Information Table)之類別。其中，PAT係顯示利用在傳輸流 中之PMT之PID為何，乃以PAT本身的PID配列作登錄。pMT 具有包含在傳輸流中之影像、語音及字幕等各串流之PID及 與各PID對應之_流的屬性資訊，且具有有關傳輸流之各種 描述符。描述符有指示許可或不許可AV串流複製之複製控 制資訊等。SIT係以MPEG-2 TS標準，使用使用者可定義之 區域，依照各播放波之標準所定義之資訊。EIT具有節目之 名稱或播放日時、及播放内容等與節目相關聯之資訊。有關 上述資訊之具體規格，謹參考公開在網頁： 15 201230768 http:www.arib.or.jp/english/html/overview/doc/4-TR-B14v4_ 4-2p3.pdf中所儲存之ARIB(Association of Radio Industries and Businesses :電波產業會)之資料。 第4圖係詳細說明PMT之資料結構之圖。於PMT之前頭 配置記有包含在其PMT中之資料長度等之「PMT標頭」。於 其後配置複數個有關傳輸流之「描述符#1〜#N」。一般而言， 前述之複製控制資訊等資訊係作為描述符記載。於描述符 之後配置複數個包含在傳輸流中之有關各串流的「串流資 訊#1〜#N」。串流資訊係由記載有用以識別串流之壓縮編解 碼器等之串流類型、串流之PID、及串流之屬性資訊（圖框 率、長寬比等）之串流描述符而構成。 以上係有關傳輸流及其串流管理資訊之説明。接下 來，説明視訊流之詳細。 以實施形態1之編碼方式生成之視訊流係進行依照 MPEG-2、MPEG-4 AVC、及SMPTE VC-1 等動態圖像壓縮 編碼方式之壓縮編碼。在該等壓縮編碼方式中’係利用動 癌圖像之空間方向及時間方向之冗長性來進行資料量之麼 縮。到用時間方向之冗長性的方法係使用圖片間預測編 碼。在圖片間預測編碼中，編碼某圖片時係將以顯示時間 順序位在前方或後方之圖片作為參考圖片。並且，檢測來 自其參考圖片之動作量’並對已進行動作補償之圖片及編 碼對象之圖片之差分值除去空間方向之冗長度，藉以進行 資料量之壓縮。 如上述之各編碼方式之視訊流，在具有如第5圖（a)中顯 16 201230768 示之GOP結構之觀點上相互共通。視訊流係由複數 GOP(Group of Pictures :圖片群)所構成，藉由將GQp作為 編碼處理之基本單位，可進行動態圖像之編集或隨機存 取。GOP係由1個以上的視訊存取單元所構成。第5圖⑷為 GOP之一例。 如第5圖（a)顯示，GOp係由I圖片、p圖片、B圖片、及 Br圖片等複數類別之圖片資料而構成。 將GOP結構之各個圖片資料中不具有參考圖片且僅使 用編碼對象圖片進行圖片内預測編碼之圖片稱為【伽⑴圖 片。圖片為包含圖框及圖場兩者之1編碼單位。又，將參考 已處理完畢之1張圖片進行圖片間預測編碼之圖片稱為⑽ 片’並將同時參考已處理完畢之2張圖片進行圖片間預測編 碼之圖片稱為B圖片，B圖片中受其他圖片參考之圖片稱為

Br圖片。X，在此將圖框結構之圖框、及圖場結構之圖場 稱為”視訊存取單元"。 視訊存取單元為儲存圖片之編碼資料之單位，在圖框 結構的情況下係储存1圖框’在圖場結構的情況下係儲存1 圖場。G0P之前頭為I圖片。若就MPEG-4 AVC及MPEG-2 兩者進行説明’説明將變得相當冗長，故而在以下説明中， *未有特別σ知，係以視訊流之磨縮編碼形式為MpEG_4 AVC之前提進行説明。 第5圖（b)係顯示相當於位在GOP前頭之I圖片資料的視 況存取單70之内部構成。對應於GOP前頭之視訊存取單元 係由複數，稱抽象化層(NAL)單元而構成。對應於⑻p前頭 17 201230768 之視訊存取單元係以Au識別碼、序列標頭、圖片標頭、補 充資料、壓縮圖片資料' 及填充資料等NAL單元而構成。 「AU識別碼」係顯示視訊存取單元之前頭之開始符 號。「序列標頭」儲存有從複數視訊存取單元構成之再生序 列中之共通資訊。共通資訊有解析度、圖框率、長寬比、 及位元率等。「圖片標頭」儲存有圖片全體之編碼方式等之 資訊。「補充資料」係非壓縮資料之解碼所需之附加資料， 例如有儲存與影像同步顯示於TV之閉合標題之文字資訊 或GOP結構資訊等。「填充資料」係儲存用以調整形式之無 意義資料。例如，可作為用以確保已決定之位元率之填塞 資料(stuffing data)使用。 AU識別碼、序列標頭、圖片標頭、補充資料、壓縮圖 片資料、及填充資料當中之構成因視訊之編碼方式而有所 不同。 例如，在MPEG-4 AVC的情況下，AU識別碼係對應於 AU定界符(Access Unit Delimiter :存取單位定界符），序列 標頭係對應於SPS(Sequence Parameter Set :序列參數集）， 圖片標頭係對應於PPS(Picture Parameter Set :圖片參數 集），壓縮圖片資料係對應於複數個切片（slice)，補充資料 係對應於SEI(Supplemental Enhancement Information :補充 增強資訊），填充資料係對應於FillerData。 例如，在MPEG-2的情況下，序列標頭係對應於 sequence—Header 、 sequenceextension 、 及 group_〇f_picture_header，圖片標頭係對應於picture header、 18 201230768 及picture—coding一extension’壓縮圖片資料係對應於複數個 切片，補充資料係對應於user_data。AU識別碼雖不存在， 但只要使用各個標頭之起始碼，即可判斷視訊存取單元之 斷處。包含在傳輸流中之各串流係藉由稱為piD之串流識別 ID而識別。解碼器可藉由抽出該PID之封包來抽出對象的串 流。PID與串流之對應係儲存在以下説明之pMT封包之描述 符中。 各個圖片資料係經過第6圖的轉換過程而配置在 PES(Packetized Elementary Stream :封包化基本流）封包之 酬載中。第6圖係顯示各個圖片資料轉換成pES封包之過程 圖。 第6圖中之第1段係顯示視訊流之視訊圖框列。第2段係 顯示PES封包列。如第6圖之箭頭yyh yy2、yy3、yy4顯示， 視訊中之複數視呈現單位（video Presentation Unit)之I 圖片、B圖片、及P圖片係在每一張圖片分割並儲存在pES 封包之酬載中。各PES儲存區具有PES標頭，且於PES標頭 中儲存圖片之顯示時刻之PTS(Presentation Time-Stamp :呈 現時間戳記）、或圖片之解碼時刻之DTS(Decoding Time-Stamp :解碼時間戮記）。 藉由轉換各個圖片資料所獲得之PES封包係分割成複 數個，且各個分割部分係配置在TS封包之酬載中。第7圖中 顯示構成傳輸流之TS儲存區之資料結構。TS封包係由4位 元組之ts標頭、順應圖場、及TS酬載而構成之188位元組 固疋長度之封包。TS標頭係由tranSp〇rt_pri〇rity、PID、及 19 201230768 adaptaion—field—control等而構成。PID同前述係用以識別已 多工在傳輸流中之串流之ID。transport—priority係用以識別 相同PID之TS封包中之封包類別的資訊。又，以上各部並非 必需全部具備之部分’順應圖場與TS酬載可能僅有其中一 者存在，或可能兩者皆存在。在此，adaptation_field control 係顯示順應圖場與TS酬載是否存在。 adaptation_field—control為T時係顯示僅有TS酬載存在， adaptation_field_control為"2"時係顯示僅有順應圖場存 在，adaptation_field_control為"3”時係顯示TS酬載與順應圖 場雙方皆存在。 順應圖場係為了將PCR等資訊或TS封包設為188位元 組固定長度而填塞之資料的儲存區。於TS酬載中有PES封 包分割儲存。 如以上可知’各個圖片資料係經過PES封包化、及TS 封包化之過程而成為傳輸流，又，構成圖片資料之各個參 數係轉換成NAL單元。以上為有關傳輸流之説明。接下來， 說明2D顯示資訊及3D顯示資訊之詳細。 本實施形態中之特點在於以上的資料結構中有組裝2 D 模式用顯示資訊(2D顯示資訊）、及3D模式用顯示資訊(3D 顯示資訊）之一點^ ”顯示資訊"係規定與顯示裝置對應之顯 示控制之資訊。已接收視訊流或傳輸流之顯示裝置可依據 從視訊流所抽出之顯示資訊，來變更所編碼之圖框之區 域、或實際用於顯示之區域。

以下，將說明傳輸流之更進一步的詳細内部構成。2D 20 201230768 顯示資訊及3D顯示資訊必須以可與mpeG-4 AVC中之視訊 存取單元結構採取互換的形態而儲存。 第8圖係顯示如何儲存2D顯示資訊及3D顯示資訊之儲 存内容的具體例。在本圖之例中，係顯示使用全HD之圖框 尺寸來儲存左右並排方式之3D影像時之例。 本圖之第1段係顯示構成MPEG_4 AVC視訊流之視訊存 取單元之NAL單元，第2段係PES封包列，第3段係丁8封包 列，第4段係串流管理資訊’第5段係傳輸流，與第3圖中所 不者相同。第1段顯示NAL單元。該丨侃單元係構成儲存在 PES封包中之圖片資料者，與第5圖（b)相同。 犯顯示資訊係儲存在NAL單元之一之”序列標頭”中。 圖中之框w3係放大顯不壓縮切片資料之内部構成。如該框 ⑽示’壓縮㈣資料為構成多重顯示儲存圖像者。 多重顯不儲存圖像係指於j個圖片資料所形成之預定 像素區(稱為圖框區）中’儲存有來自複數視點之視 出=因此，當圖片資料被解碼時，可從其圖框區取 L於各概之視關像，藉㈣行立 圖像為立體圖像，春再生視差 你 差圖像係由左眼用圖像及右眼用in 像之組合而構成時，左 圖 像係儲存在圖片I: 右眼用圖像之2個視點圖 眼用圖像之多. 有左眼用圖像及右

诼之夕重顯不儲存圖像稱為”L 重顯示儲存圖俊的％ 士 ^ 儲存圖像"。若就多 象的所有版本進行說明，等 雜，故於町㈣中，衫錢讀/㈣㈣得相當須 像有儲存左目Μ圖像及㈣關^像騎為視點圖 豕之組合之L-R儲存圖像 21 201230768 來進行以下説明。 在該第8圖之具體例中，用以形成視訊流之壓縮圖片資 料係將全HD之左眼用圖像降頻至半HD並儲存在圖片的左 側區域，並將全HD之右眼用圖像降頻至半HD並儲存在圖 片之右側區域。藉此，左眼用圖像及右眼用圖像可以左右 排列的方式儲存在全HD之圖框内。 圖中之框w2係放大顯示序列標頭之内部構成。如該框 内顯示，於序列標頭儲存2D顯示資訊。2D顯示資訊係由剪 裁資訊及比例化資訊構成。虛線框係顯示依據剪裁資訊而 指定之範圍。 圖中之框wl係放大顯示補充資料及串流管理資訊之内 部構成。如該框内顯示，於補充資料及串流管理資訊配置 3D顯示資訊。3D顯示資訊原則上係儲存在補充資料中，若 未儲存在補充資料中，則是預備儲存在串流管理資訊中。 在PMT封包中，具體而言，3D顯示資訊係作為對應於 視訊流之串流描述符之一而儲存。包含3D顯示資訊之串流 描述符在MPEG-4 AVC的情況下以儲存在AVC視訊描述符 之未定義部分中為宜。包含3D顯示資訊之串流描述符在 MPEG-2的情況下以儲存在視訊編碼解碼控制描述符之未 定義部分中為宜。3D顯示資訊與2D顯示資訊同樣地包含 「剪裁資訊」及「比例化資訊」。在左右並排方式之例中， 3D顯示資訊之剪裁資訊不同於2D顯示資訊，可指定全HD 之圖片資料全體區域。又，比例化資訊有設定以全HD的態 樣顯示全HD之資料之值。即，比例化之比例為同等倍數。 22 201230768 具體而言’將3D顯+次“ ”’、’、貝訊加入補充資料中時，在 MPEG-4就的情況下係將扣顯示資訊儲存在sm訊息 中，在MPEG_2的情況下係將祀顯示資訊儲存在user_data 或 extension_data 中。 如以上3 D顯不資訊可儲存在補充資料或串流管理資 U者以下將解釋將該等分別作為犯顯示資訊之儲 存處時的優點。 於補充資料中儲存3D顯示資訊時，在視訊流時間轴 中，可使L-R儲存圖像之儲存方式改變。因此，用以使犯 顯示資訊之顯示控制内料時刻刻改變*言最適當。而， 亦可將3D顯示資訊僅儲存在Gqp前頭之圖片中此時，再 生裝置只要依每-個GOP進行解析即可，因此可簡單地進 行3D顯示資訊之解析處理。 相對於此，由於串流管理資訊為對丨個傳輸流有效之資 訊，因此係以視訊流時間軸全體來固定3〇顯示資訊之控制 内容。因此，欲以1或複數的節目來實現共通顯示控制時， 將3D顯示資訊配置在串流管理資訊是最適當不過。以上係 有關3D顯示資訊之儲存處之説明。 接下來，說明3D方式資訊之儲存處之詳細。 圖中之框w4有放大補充資料之内部構成。如該框内顯 示’於補充資料可配置3D方式資訊。3D方式資訊係顯示31) 方式之種類。 3D方式有圖框互換方式或多重顯示編碼方式，此外， 圖框互換方式有左右並排方式、上下排列方式、及線交替

S 23 201230768 (Line Alternative)方式等。於3D方式資訊中儲存有可特定上 述方式之種類的資訊。就左右並排方式之例而言，可於3D 方式資訊設定稱為「左右並排方式」之識別符。將3D方式 資訊加入補充資料中時，在MPEG-4 AVC的情況下係將3D 方式資訊儲存至SEI訊息，在MPEG-2的情況下係將3D方式 資訊儲存至 user_data 或extension_data 中。在MPEG-4 AVC 的情況下，作為定義圖框互換3D方式之類別之補充資料係 將frame_packing_arrangement SEI作為3D方式資訊使用。 以上係有關3D方式資訊之説明。接下來，說明視訊流 之3D再生之詳細。 在以下説明中，令視訊流為用以實現圖框互換方式之 3D再生者。圖框互換方式係分別減去或縮小與左眼視訊及 右眼視訊對應之各圖片’並將之合成為一張圖片來進行一 般的動態圖像壓縮編碼之方式。就其一例而言，例如左右 並排方式。在左右並排方式中，係以分別將與左眼視訊及 右眼視訊對應之各圖片在水平方向壓縮至1/2且左右排列 而合成為一張圖片。 所合成之圖片之動態圖像係進行一般的動態圖像壓縮 編碼而串流化。另一方面，再生時係依據一般的動態圖像 壓縮編碼方式將串流解碼成動態圖像。藉由將所解碼之動 態圖像之各圖片分割成左右圖像並分別在水平方向拉長至 2倍，可獲得左眼用圖像及右眼用圖像。 第9圖（a)係顯示如何將左右並排方式中之L-R儲存圖像 供給至顯示之顯示過程。顯示屬於GOP結構之圖片。第1段 24 201230768 之圖片為左右並排方式之L-續存圖像。該L_R儲存圖像係 構成第2段之3D影像區間者。區間係藉由使L_R儲存圖像中 所儲存之左眼用圖像及右眼用圖像顯示為一張圖片而構 成。 第1段及第2段之間之箭頭yal、⑽係示意顯示以分割 L-R儲存圖像巾之各個左眼用圖像及右眼關像而擴大顯 示之過程。 以上係有關左右並排方式之說明。接下來，說明上下 排列方式之詳細。 第9圖（b)係顯示如何將上下排列方式中之L R儲存圖 像供給至顯示之顯示過程。顯示屬於G〇p結構之圖片。第i 段之圖片為上下排列方式之L-R儲存圖像。該^汉儲存圖像 係構成第2段之3D影像區間者。3D影像區間係將L_R儲存圖 像中所儲存之左眼用圖像及右眼用圖像顯示為一張圖片而 構成。 第1段及第2段之間之箭頭ybl、yb2係示意顯示以切割 L-R儲存圖像中之各個左眼用圖像及右眼用圖像而擴大顯 示之過程。 第10圖係顯示使用者透過眼鏡來認知視聽3D影像區間 之左眼用圖像及右眼用圖像之立體視圖像。如本圖顯示， 係將已戴上立體眼鏡之使用者描繪在左側，並於右側分別 顯示從左眼看見對象物之恐龍骨架時之例、及從右眼看見 對象物之恐龍骨架時之例。當立體眼鏡為反覆右眼及左眼 之透光及遮光之交替時，在使用者的腦内會藉由雙眼的殘 25 201230768 像反應來崎進人左眼之景像及進人右眼之景像之重4， 可讓使用者看見宛如存在於臉部中央之延長線上之立體影 像。以上係有關視訊流之3〇再生之説明。 以上之左右並排方式及上下排列方式之圖片資料再生 係以視訊解碼器之解碼賴財之_㈣及比例化控制 為前提而進行。 以下，說明以左右並排方式及上下排列方式之圖片資 料再生為根據錄據視訊解碼器之解碼器模型中之剪裁資 訊之切割控制及比例化資訊之定標器控制。第u圖⑷係顯 不MPEG-4 AVC視訊解碼器之解碼器模型。本圖之解碼器模 型係由TB卜MB2、EB3、解碼㈣以、腦5、定標器6 視訊平面7、及顯示處理部8而構成。 傳輸緩衝器（Transport Buffer ; ΤΒ) 1係從解多工部輸出 包含視訊流之TS封包時，用以暫時以TS封包的態樣加以蓄 積的緩衝器。 多工緩衝器（Multiplexed Buffer ; MB)2係在將視訊流從 TB輸出至EB時用以暫時蓄積PES封包的緩衝器。當資料從 TB遞送至MB時，會去除TS封包之TS標頭。 基本緩衝器（Elementary Buffer ; EB)3係儲存處在編碼 狀態之視訊存取單元的緩衝器。當將資料從MB遞送至EB 時’會去除PES標頭。 解碼器核心4係藉由以預定解碼時刻（DTS)解碼視訊基 本流之各個視訊存取單元來作成圖框/圖場圖像。在解碼各 個圖片資料時，解碼器核心4係利用存於未來方向或過去方 26 201230768 向之圖片資料作為參考圖片來進行動作補償。 解碼圖片緩衝器（Decoded Picture Buffer; dpb)5係暫時 保持已解歇圖框/圖場圖像的緩衝器，乃於視訊解碼器57 解碼已圖片間預測編竭過之p圖片或B圖片等視訊存取單元 時’用以參考業已解碼之圖片而利用。 定標器6可對已儲存在解碼圖片緩衝器中之圖片資料 施加比例化轉換，並將轉換後之圖片資料寫人視訊平面中。 視訊平面7可儲存構成轉換後之圖片f料之_畫面份 的像素資料並將之供給於顯示。 里 顯示處理部8可執行依循剪裁資訊之剪裁控制、及依循 比例化資訊之比例化控制。 以上係有關視訊解碼||之解碼器模型之—例之説明。 而’本發明之顯示裝置之實施形態並祕於上述所説明之 MPEG-4AVC視訊解碼器之解碼器模型。 接下來，說明如何藉由將剪裁資訊及比例化資訊供給 至解碼器模型來顯示圖>{資料之顯示過程。第U圖⑼之左 側顯示解碼圖片緩衝H之儲翻容，右侧示視訊平面之 儲存内容。 首先，說明煎裁資訊所帶來之控制。剪裁資訊 圖框區之中實際顯示之區域指定作為「剪裁區」者。"圆框 區"係藉由解碼相當於1圖框之視訊存取單元而獲得之像素 之集合，當視訊存取單元内存有全HD之圖片資料時係構 成全HD之圖片資料之像素構成該圖框區。在解 碼器業已解碼NAL單元化之視訊存取單元時，圖框區係建 201230768 構在解碼圖ϋ緩衝器巾n 剪裁資訊所指定H 料區”係指圖框區中由 第11圖（b)之正中央顯示士折、 剪裁資⑽將㈣…、由剪裁資訊所指定之剪裁區。 剪裁貝係將销碼圖片 實際顯示之區域指定作為「剪=倚存内容之圖框區之中 示資訊供給至解碼器時，_示I °因此’當已將顯 訊之剪«訊，從解片^顿進行依彳細顯示資 煎裁區並將之遞送至視訊平t處剪㈣ 該剪裁之過程。 31衛㈣不思顯示 接下來，說明比例化資訊所 係用以將剪裁區顯示於電視等顯示工制。比例化資訊 合之尺寸之資訊。第1。圖㈨之正中:顯化成適 定-剪裁區。比例化資訊係指定以何種所指 片缓衝器所_之剪《之物ϋΓ將= 訊供給至解料時，定標^依循顯示資訊之比例 進行解析度轉換’並將轉換後之剪裁區寫人視訊平面中°。 圖中之白色箭頭ye2係示意顯示該解析度轉換過程。 以上係有關剪裁資訊及比例化資訊之説明。接下來， 説明剪裁資訊之剪裁區之指定方法。 第12圖係顯示剪裁資訊之剪裁區之指定方法。描繪 時，會於映做定x，Y座標系中之顯示座標。在第12圖中， 係將圖式之左上方設為原點_，並將右方向設為乂轴之正 #將下方向設為Υ軸之正向。在以下說明中絲有特別 告知，於Χ-Υ座標系之表記使用與本圖同樣的表記。 28 201230768 第12圖（a)係顯示將剪裁區之上線/下線/左線/右線、及 已編馬之圖框區之上線/下線/左線/右線之差分指㈣為上 I左右之剪裁量之指定方式。第12圖(_將解碼圖片緩衝 器中之圓框區之左上座標設為原點，並藉由定義剪裁區之 左上座標且定義剪裁區之橫寬及縱寬來指定剪裁區之指定 方式。 ，有關剪裁區之指定方法，若以支援第12圖（&)、（1?)雙方 則况明將變得煩雜’因此在以下説明中，將設為以第12圖 ⑻之表記指定剪裁區者^以上係有關剪裁區之指定方法之 兑月接下來，就2D顯示資訊及3D顯示資訊說明技術性意 義。 本貫知形態中之特徵在於，如上述，該等剪裁資訊及 比例化資訊係分別存於2£)顯示資訊及卿頁示資訊之點。2d .’、具示> Λ内之剪裁資訊有規定顯示裝置使用該視訊流來顯 示2D影像時進行剪裁所需之資訊。 以上係有關剪裁資訊之剪裁區之指定方法之説明。接 下來’說明2D顯示資訊巾之剪裁資訊及比例化資訊之功能 及祀顯示資訊中之剪裁資訊及比例化資訊之功能。 2D顯不資訊之剪裁資訊有指定圖框區中21)互換圖像 之佔有區。"2D互換圖像”係於3D模式及2D模式雙方模式中 供於顯示之視點圖像。用以立體視再生之視差圖像係由複 數視點圖像構成。該等複數視點圖像中適用於2〇模式中之 顯示者係由2D顯示資訊之剪裁資訊所指定。 視差圖像為立體圖像’當視差圖像係由左眼用圖像及 29 201230768 右眼用圖像之組合構鱗’錢_象及右眼關像之2視 點圖像中適用於2D模式中之顯示者係由2D顯示資訊之剪 裁資。fl所指&。視差圖像為多頻道圖像當視差圖像係由 左眼用圖像及右眼用圖像、中央、右斜上方圖像、右斜下 方圖像、左斜上方圖像、及左斜下方圖像等3個以上之視點 圖像構成時，料視關像巾朝於2D模式中之再生者係 由2D顯示資訊之錢:纽所㈣。若對視錢像及視點圖 像之全部版本進行説明，説明將變得煩雜故而在以下 口兑月中將2D互換圖像作為左眼用圖像來進行説明。扣顯示 資訊中之剪裁資訊及比例化資訊係規定顯示裝置使用該視 “來顯WDf彡料應進行剪裁之部分、及將已進行剪裁 之圖像予以比例化所需之資訊。 對照看來，3D顯示資訊内之剪裁資訊係將圖框區中扣 互換圖像及2D非互換圖像之結合圖像所佔有之佔有區指定 作為剪裁區。 2D非互換圖像"表示無法顯示在π再生模式而僅顯示 在3D模式中之影像。構成立體視影像之視差圖像係由2以上 之視點圖像構成，31此該等視點圖像巾之1為2D互換圖像， 剩餘的視fi__2D非互換目像。在本實卿態中，係從 於1個圖片貝料内儲存有複數視點圖像之前提，藉由3D顯示 ^ 剪裁資°代，指定圖框區之全體區域中複數視點圖像 所佔有之佔有區全體。 視差圖像為立體方式，當視點圖像為左眼用圖像及右 眼用圖像時’只要從由3D顯示資訊之剪裁資訊所指定之剪 30 201230768 裁區去除由2D顯示資訊之剪裁資訊所指定之區域，即可獲 得2D非互換圖像。顯示裝置每在取得2〇顯示資訊時係進 行切割由2D顯示資訊之剪裁資訊所指定之剪裁區之處理來 獲得2D互換圖像之左眼用圖像。並將如此所獲得之左眼用 圖像寫入左眼用之視訊平面中。另一方面，顯示裝置每在 取侍3D顯示資訊時’係進行從由3〇顯示資訊之剪裁資訊所 才曰定之剪裁區去除由2〇顯示資訊之剪裁資訊所指定之剪裁 區之處理來獲得2D非互換圖像之右眼用圖像。並將如此所 獲得之右眼用圖像寫入立體視用之視訊平面中。藉此，可 將左眼用圖像及右眼用圖像供於顯示。 3D顯示資訊之剪裁資訊係規定顯示裝置使用該視訊流 來顯示3D影像時進行剪裁所需之資訊者，3D顯示資訊中之 比例化資訊係規定顯示裝置使用該視訊流來顯示3D影像時 將已剪裁之圖像予以比例化所需之資訊。 於視訊存取單元之NAL單元之一之補充資料、及PMT 儲存區等串流管理資訊中’有存有或不存有r3D顯示資訊」 及「3D方式資訊」之兩種情況。於視訊流及串流管理資訊 中健存顯示「3D顯示資訊」及「3D方式資訊」之存否之旗 標（存否旗標）。如此一來，只要將存否旗標存於視訊流或 NAL單元中，3D數位電視100便可使用PMT封包之存否旗 標’在解碼前進行用以視訊流内之「3D顯示資訊」及r3D 方式資訊」之解析之記憶體確保等事前準備。 以上係有關3D顯示資訊中之剪裁資訊、及比例化資訊 之功能之説明。接下來，講解可在技術上將既存之編碼方 31 201230768 式之資訊元素中剪裁資訊及比例化資訊一視同仁者。 由於剪裁資訊與比例化資訊係可確定圖像之剪裁區及 比例化之比例的圖場或參數，因此可自既存的編碼方式之 語法發現具有相同功能之圖場或參數。 作為可確定圖像之剪裁區之圖場或參數，例如，有 MPEG-2 ISO/IEC 13818-2之標準中之以下參數相當。 -6.2.2.4 Sequence display extension、 -display_horizontal_size、 -display_vertical_size、 -6.2.3-3 Picture display extension、 -frame一centre_horizontal_offset、及、 -frame_centre_vertical_offset ° 又，在MPEG-4 AVC ISO/IEC 14496-10 之標準中，有以 下參數相當。 -7.4.2.1.1 Sequence parameter set data semantics、 -frame_cropping_flag、 -frame_crop_left_offset、 -frame_crop_right_offset、 -frame_crop_top—offset、及、 -frame_crop_bottom_offset。 是否進行剪裁區之指定方式係使用儲存在MPEG_4 AVC之SPS中之參數「framecropping」資訊者。較具體而 言，指定剪裁區時’係將上述所説明之參數 「frame_cropping_flag」設定為1 ’並於上述參數 32 201230768 「frame_crop_top_offset/frame_crop_bottom一offset/frame_c rop_left_offset/frame_crop_right_offset」指定上/下/左/右之 剪裁量。在MPEG-2的情況下，可使用剪裁區之縱橫之尺寸 (sequence_display extension 之 display horizontal size 、 display_vertical_size)、以及已編碼之圖框區之中心與 剪裁區之中心之差分資訊（picture_display_extension 之 frame_centre_horizontal_offset 、 frame_centre_vertical_offset)來指定剪裁區。 由於比例化資訊係用以將剪裁區比例化成適合顯示於 電視等顯示器之尺寸之資訊，因此，例如只要定義顯示時 之長寬比即可。因為，再生裝置只要可得知其長寬比，即 可將剪裁區升頻進行顯示。例如，在MPEG-4 AVC的情況 下’作為比例化資訊係於SPS儲存長寬比之資訊 (asepct—ratio—idc)。在MPEG-4 AVC的情況下，例如為了將 1440x1080之剪裁區擴大成1920x1080顯示，會將長寬比指 定為4 : 3。此時，係在水平方向升頻為4/3倍（1440 x 4/>192〇)，以擴大成l92〇xl080顯示。在MPEG-2的情況下 亦同樣地在序列標頭中儲存有長寬比之資訊 (aspect_ratio」nformation)。 當已編碼之圖片為左右並排方式之全HD影像時，係將 左眼或右眼之一半區域(半HD)指定作為剪裁區。當欲將左 眼側影像顯示作為2D影像時，在MPEG-4 AVC的情況下係 將剪裁區之資訊設定為上、左、下剪裁量之值為〇、且右剪 裁量為960畫素份。比例化資訊中有從96〇xl〇8〇之半 33 201230768 更成192〇χ1080之全HD之值。例如，在MPEG-4AVC的情況 下係在aspect一ratioidc中指定16(2:1)之值。該2D顯示資訊 係既存之2D顯示裝置使用所接收之左右並排方式之3E)視 訊流來進行2D再生時所參考之資訊。因此，即便2D顯示裝 置已接收到L-R儲存圖像(例如左右並排方式）之視訊流，亦 可藉由剪裁該圖像中一部分的圖像用於實際再生上，而正 常地再生2D影像。 第13圖係具體顯示圖框變化之圖。在此，就顯示2D影 像之顯示裝置之例說明21)數位電視，並就3D影像之顯示裝 置之例說明3D數位電視。X，第13圖⑷係左右並排方式之 全HD之例之解碼方法之例。 第13圖（a)顯示依據21)顯示資訊之圖片之顯示過程。第 3圖(a)之左側顯不[_尺儲存圖像，正中央顯示解碼圖片緩衝 态之儲存内容，右側顯示視訊平面之儲存内容。 一旦於於解碼圖 >；緩衝器中藉由將壓縮化L_R儲存圖 像予以解碼而獲得㈣紅Μ儲存輯之㈣資料，顯示 處理部8便會對所解碼之圖片資料使用2D顯示資訊決定顯 不方法。並且，顯示處理部會依循2D顯示資訊確定剪裁 由於在第I3圖（a)之例中’於扣顯示資訊中有指定左晝面之 半HD區（第1晝面區域之一例），因此此時顯示處理部係切割 ^出在解碼圖片緩衝H中所獲得之非壓縮圖片資料中左 忠面之半HD區。定標器係'依循2D顯示資訊之比例化資訊進 订已剪輯之圖片資料之比例化並寫人視訊平面中。在第13 圖⑷之例中’由於係藉由2D顯示資訊之比例化資訊來特定 34 201230768 用以將半HD升頻成娜之倍率（比例因數），因此定標器會 -面之半HD影像升頻成全HD，並配合顯示機器顯示 2D影像。 第13圖(b)顯示依據3D顯示f訊之圖片之顯示過程。第 = (b)之左側顯示L_R儲存圖像，正中央顯示解碼圖片緩 衝器之儲存内合’右側顯不視訊平面之儲存内容。顯示處 理部會對所解碼之圖片資料使請顯示資訊決定顯示方 法。並且，只要於解碼圖片緩衝器獲得非壓縮之L-R儲存圖 像便會依循3D顯示資訊之剪裁資訊確定解碼圖片緩衝器 中^剪裁區。在第13剛之财，由於在犯顯示資訊之剪 裁資訊中有指定全晝面之全HD區（第2畫面區域之—例），因 此3D數位電視會將全HD區直接切割並供於定標器。扣數 位電視係依循3D顯示資訊確^比例化方法。在第13圖⑻之 例中，由於在3D顯示資訊之比例化資訊中有儲存將全HD直 接顯示之值，因此定標器可將全HD影像直接利用並寫入視 訊平面中。 此外，3D數位電視係依循3D方式資訊進行既存的3〇影 像顯示。在第13圖（b)之例中，由於在3D方式資訊中有記栽 左右並排方式之影像，因此係分別升頻左右並排方式之左 眼用圖像及右眼用圖像，並配合電視的3D方式來進行3D县 示。 顯 總而言之，藉由構成如上述之規格之視訊流及傳輪 流，可使用L-R儲存圖像等圖框互換之3〇影像在僅可解= 2D影像之再生裝置中，以電視的顯示尺寸將左眼用圖像或 35 201230768 右眼用圖像中任一者再生為2D影像，並可在可作為3D影像 再生之再生裝置中再生為3D影像。例如，在左右並排方式 之全HD之視訊流的情況下’可於僅可再生2D影像之再生裝 置中將左右並排方式之左眼或右眼之影像升頻為全HD再 生。在僅可再生3D影像之再生裝置的情況下，可將左右並 排方式之左眼及右眼之影像升頻為全HD並再生為3D影 像。以上係有關2D顯示資訊及3D顯示資訊之説明。接下 來，說明可網羅2D顯示資訊及3D顯示資訊之l_r儲存圖像 之佈局圖樣。 L-R儲存圖像之佈局有各種圖樣，為使適合該等圖樣， 可設定2D顯示資訊。 在表記圖像部分’係將橫向之960個像素之集合作為 "1K”處理，並將縱向之1080個像素作為"ικ"處理。全HD 之解析度一亦即1920x1080—係以2Κ>1Κ表現。使用該1K 之單位時，作為左右並排方式之佈局可作成 2Κχ1Κ(192〇χ1080) 、 4Κχ 1Κ(384〇χ 1080) 、 3Κ>1Κ(2880χ1080)、及4Κ>2Κ(384〇χ2160)之4種圖樣。第 14圖係顯示左右並排方式中之4種佈局圖樣之圖。 第14圖⑷顯示2Κχ1Κ之全HD，亦即L-R儲存圖像之解 析度為1920x1080’並將左眼用圖像配置在左側且將右眼用 圖像配置在右側之佈局圖樣。圖中之虛線框係示意表示作 為2D視訊顯示之區域者。與該佈局圖樣對應之2D顯示資訊 係以虛線框包圍之部分，亦即企圖使96〇χ 1080像素之左眼 用圖像作為2D視訊顯示。 36 201230768 第14圖⑻顯示4KxlK，亦即L-R儲存圖像之解析度為 384〇χ 1080 ’並將左眼用圖像配置在左侧且將右眼用圖像配 置在右側之佈局圖樣。圖中之虛線框係示意表示作為2d視 訊顯示之區域者。與該饰局圖樣對應之2D顯示資訊係以虛 線框包圍之部分，亦即企圖使1920x1080像素之全HD之左 眼用圖像作為2D視訊顯示。 第14圖（c)顯示3Κ>1Κ，亦即L-R儲存圖像之解析度為 2880x1080 ’並將左眼用圖像配置在左側且將右眼用圖像配 置在右側之佈局圖樣。圖中之虛線框係示意表示作為2d視 訊顯示之區域者。與該佈局圖樣對應之2D顯示資訊係以虛 線框包圍之部分’亦即企圖使1920x1080像素之全HD之左 眼用圖像作為2D視訊顯示。 第14圖（d)顯示4Κχ2Κ，亦即L-R儲存圖像之解析度為 3840x2160’並將左眼用圖像配置在左側且將右眼用圖像配 置在右側之佈局圖樣。圖中之虛線框係示意表示作為21)視 訊顯示之區域者。與該佈局圖樣對應之2D顯示資訊係以虛 線框包圍之部分’亦即企圖使1920x2160像素之全HD之左 眼用圖像作為2D視訊顯示。 如該等第14圖（a)〜(d)顯示，在2KxlK、4K>1K、 3KxlK、及4Κχ2Κ等佈局中，即便在藉由左右並排方式配 置左眼用圖像及右眼用圖像的情況下，亦可從L-R儲存圖像 適當地僅切割左眼用圖像供於顯示。具體而言，在4κχ 1 κ 之左右並排方式之3D影像中，在2D數位電視3〇〇中21)影像 可使用2D顯示資訊以全HD再生，在3D數位電視100中31)影 37 201230768 像可使用3D顯示資訊以全HDx2面再生。同樣地，在2Kx2K 之上下排列方式之3D影像中’在2D數位電視300中2D影像 可使用2D顯示資訊以全HD再生，在3D數位電視100中3D影 像可使用3D顯示資訊以全HDx2面再生。以上係有關左右並 排之説明。接下來，說明上下排列之詳細。 作為上下排列方式之佈局，可作成 2Κ>2Κ(1920χ2160)、及2Kxl_5K(1920xl620)之2種圖樣。第 15圖係顯示上下排列方式中之2種佈局圖樣之圖。 第15圖（a)係具有1920x2160之解析度之2Κ>2Κ之上下 排列方式之L-R儲存圖像，為左眼用圖像在上側_右眼用圖 像在下側並將上半部的1920χ1080之左眼用圖像作為2D視 訊顯示者。由於作為2D視訊顯示者為左眼用圖像，因此設 定有剪裁資訊，以使將（〇,〇)設為左上座標之192〇><1〇8〇之左 眼用圖像作為2D視訊顯示。

第15圖（b)係具有1920x1620之解析度之2Κχ1.5Κ之上 下排列方式之L-R儲存圖像，為左眼用圖像在上側-右眼用 圖像在下側且將上半部的1920x1080之左眼用圖像作為2D 視訊顯示者。由於作為2D視訊顯示者為左眼用圖像，因此 設定有剪裁資訊，以使將（00)設為左上座標之192〇><1〇8〇 之左眼用圖像作為2D視訊顯示。在2K>1.5K之上下排列方 式之3D影像中’在2D數位電視300中2D影像可使用2D顯示 資訊以全HD再生，在3D數位電視100中3D影像可使用3D顯 示資訊取出3D顯示用區域並以已升頻全hd(L)及半HD(R) 者來進行3D顯示。亦可將全hd(L)降頻將兩者皆設為半HD 38 201230768 之解析度後再度升頻進行3D顯示。 如該第15圖顯示，即便在L-R儲存圖像為2Κχ 1K、 2Kxl.5K之佈局之下，亦可藉由設定2〇顯示資訊及3D顯示 資訊而適當進行在2D數位電視300之再生、及在3D數位電 視100之再生。如以上，只要變更剪裁資訊 '及比例化資訊 之設定’在3KxlK之左右並排方式之3D影像中，在2D數位 電視300中2D影像可使用2D顯示資訊以全HD再生，在3D數 位電視100中3D影像可使用3D顯示資訊取出3D顯示用區域 並以已升頻全HD(L)及半HD(R)者進行3D顯示。以上係有關 左右並排及上下排列之佈局之説明。接下來，說明上下排 列特有之編碼詳細。 顯示為1920x1080之左眼用圖像及右眼用圖像係配置 在圖片之上半部及下半部。欲配置成下半部及上半部時， 左眼用圖像及右眼用圖像分別為1920x540、及1920x540。 如此一來，若藉由上下排列方式將縱540像素之集合儲存成 圖片，如何將該等分割作為切片資料是一大問題。切片資 料係由複數巨集區塊（16x16之像素集合）而構成。若欲將 1920x1080分割成切片資料，由於1080並非16的倍數 (1080=16x67+8)，因此在對切片資料之分割中，會生成縱 像素數不足16像素之切片資料》爰此，必須於1920x1080 之下追加1920x8之空白區。藉此可將圖片資料之縱像素設 為16之倍數ι〇88(=16χ68) ’並將上下排列方式之圖片資料 轉換成68個切片資料。第16圖（a)係顯示已追加空白區之上 下排列方式之圖片資料與切片資料之關係圖。 39 201230768 左側顯示構成上下排列方式之圖片資料之左眼用圖像 及右眼用圖像及空白區。在本圖（a)中，係將1920x8之空白 區配置在上下排列方式之右眼用圖像之下。在該例中，係 將1920x540指定作為3D顯示資訊之左眼用圖像，並將 1920x540指定作為3D顯示資訊之右眼用圖像。並且，將 1920x8指定作為空白區。在第16圖（a)之上下排列方式之3D 影像的情況下，規定於2D顯示資訊之剪裁資訊之區域係指 上或下半部之區域。將2D顯示資訊之剪裁區設定為上半部 時，係以上、左、右剪裁量之值為0且下剪裁量為540畫素 份的方式設定。並於比例化資訊中設定從上或下半部之區 域（1920x540)升頻為全HD(1920xl080)時之值。在MPEG-4 AVC的情況下，asppect_ratio_idc之值係以Extended_SAR設 定為sar_width=l、且sar_height=2。 右側顯示視訊存取單元之構成元素之複數壓縮切片資 料。如本圖顯示可知’構成上下排列方式之左眼用圖像及 右眼用圖像、及空白區之像素資料係逐漸以每16像素轉換 成切片資料。 但，在該轉換中會產生以下問題。在編碼中，會將 1920x1080之像素轉換成切片資料。左眼用圖像及右眼用圖 像為1920x540像素’由於該540之縱像素數並非16的倍數 (540=16x33+12)，因此位於左眼用圖像末端的192〇x 12像 素、及位在右眼用圖像刚端的1920x4像素會儲存在相同切 片資料中。由於位在該等左眼用圖像末端之192〇xl2像素、 及位在右眼用圖像前端的1920x4像素之間不存有相關性， 40 201230768 因此4將位在左眼關像末端的192_像素、及位在右 眼用圖像前端㈣购像讀存在_諸巾，會降低壓 縮效率。 袭此，將1920x8之空白區分割成ΐ92〇χ4之空白區及 1920χ4之空白區’並將以分割所獲得之各空白區分別配置 到左眼用圖像及右眼關像。第16_)係顯示已追加以分 割所獲得之空白區之左眼用圖像及右眼用圖像之圖。如以 上方式追加，即可使左眼用圖像及右眼用圖像皆為 1920X544像素，由於該544之縱像素數為16之倍數 (544=l6x34)，因此位在左眼„像末端之觸川像素、 及位在右眼用圖像前端之192Gxl6像素可儲存於個別的切 片資料中。藉由將該等像素儲存於個別的㈣f料中，可 使壓縮效率不會降低。 在第16圖⑻之例中，係將把（〇,〇)設為左上座標之 1920x540之矩形區$日疋為用於3D_示資訊之左眼用圖像 之剪裁區（第1晝面區域之-例由此，將跳過空白區之區 域—亦即把(0,544)設為左上座標之192〇χ54〇之矩形區一指 定為用於3D顯示資訊之右眼用圖像之剪裁區(第2畫面區域 之一例）。 在L-R儲存圖像中，可採用左右並排方式及上下排列 方式等各種佈局，λ ’各個左眼用圖像及右眼用圖像之解 析度有時為多樣之值。❻，不論該等佈局及解析度之組合 為何，皆可從剪裁資訊及比例化資訊適當處理21)電視中之 再生内容或3Ε)電視中之再生内容。 201230768 以上係有關上下排列方式之特有改良之説明。接下 來，說明剪裁資訊之2D顯示區之表記版本。 第12圖中，來自剪裁區之各邊之支距雖是使用左上座 標、橫寬、及縱寬，但在L-R儲存圖像之左眼用圖像及右眼 用圖像之儲存方式已在某程度上定型化時，可於剪裁資訊 之表記使用類型識別符。該類型識別符係特定已定型化之 2D顯示用區域之類型者。第17圖係顯示有假設類型識別符 之2D顯示用區域之4種類型（類型1〜4)。 第17圖（a)係顯示類型1之L-R儲存圖像之方式及剪裁區 之指定。TYPE=1係L-R儲存圖像為左右並排方式，且將其 左側之左眼用圖像指定作為2 D顯示資訊之剪裁區（第1畫面 區域之一例）者。圖中之虛線框係示意顯示2D顯示資訊之剪 裁區之區域指定。 第17圖（b)顯示類型3之L-R儲存圖像之方式及剪裁區 之指定。TYPE=3係L-R儲存圖像為上下排列方式，且將其 上側之左眼用圖像指定作為2D顯示資訊之剪裁區（第1晝面 區域之一例）者。圖中之虛線框係示意顯示2D顯示資訊之剪 裁區之區域指定。 第17圖（c)顯示類型2之L-R儲存圖像之方式及剪裁區之 指定。TYPE=2係L-R儲存圖像為左右並排方式，且將其右 側之右眼用圖像指定作為2D顯示資訊之剪裁區（第2晝面區 域之一例）者。圖中之虛線框係示意顯示2D顯示資訊之剪裁 區之區域指定。 第17圖（d)顯示類型4之L-R儲存圖像之方式及剪裁區 42 201230768 之指定。ΤΥΡΕ=4係L_R儲存圖像為上下排列方式，且將其 下側之右眼用圖像指定作為2D顯示資訊之剪裁區（第2畫面 區域之一例）者。圖中之虛線框係示意顯示2D顯示資訊之剪 裁區之區域指定。 以上第17圖（a)〜(d)之中，例如若為第17圖⑷之 TYPE=2 ’「2D視訊顯示資訊」指「左右並排之右側」，因此 進行2D再生時係使用左右並排方式之右侧，顯示3D影像時 再組合「左側」即可。 若將2D視訊顯示資訊固定運用為「左圖像」或「右圖 像」其中一者，亦可藉由使用顯示其影像為2D影像、或為 左右並排、或為上下排列之3D方式資訊之識別符來特定3D 影像所需要之剪裁區。 以上係有關2D顯示資訊及3D顯示資訊之具體例之説 明。接下來’說明編碼方法之詳細。以上述編碼方法為前 提之硬體資源’係在播放台使用於數位播放節目之作成之 編輯電腦系統之硬體資源。該編輯電腦系統係由網路驅動 機、彳司服電腦、及用戶端電腦而構成，各個電腦包含Mpu、 ROM及RAM。s玄荨編輯電腦系統全體稱為"資料作成裝置，·。 第18圖顯示進行傳輸流播放之播放台之内部構成。如 本圖顯不，播放台係由編輯電腦系統之資料作成裝置4 〇 1、 及發送部402而構成。如本圖顯示’資料作成裝置4〇1係由 視訊編碼部η、多工處理部12、資料健存方法決定部、 及使用者介面14所構成。圖中之圓筒形記號表示，，硬碟儲存 器”。亦即’資料作成裝置t有：錯存著3D影像原像之儲存 43 201230768

Is、儲存者視訊流之儲在 、儲 、及 ρ Μ占 存益、儲存著聲訊流之儲存3| 存者字幕流之儲存器、抑六甩仔态 °儲存者串流管理資訊之儲在 儲存傳輸流之儲存器β β 路之網路鶴機，3D影像原像 ^ 及^ Λ A等在該等儲存器之預定目錄結構中係 作為㈣所料。視訊編碼部11及多瑞理部12為上述構 成_路之伺服電腦，可透過構成内網路存取如上述之儲 存15 ’並執行各種串流之讀出或傳輸流之寫人。以下，將 分別說明視訊編碼部u、及多卫處理部12。 視I編碼部11可讀出已儲存在儲存器之3〇影像原像並 進行壓縮編碼後’將叫縮編碼賴得之視减寫入儲存 器中。已贿在神ϋ巾之卿像原像，有左眼用 圖像之 非壓縮點陣11等圖像映像、及右賴圖像之非壓縮點陣圖 等圖像映像。視訊編碼部丨丨係依循MPEG_4 AVC或MPEG_2 等壓縮方式，依照資料儲存方法決定部13之指定進行編 碼。作為L-R儲存圖像之儲存方式指定「全HD之左右並排 方式之3D影像」時，係將全HD之左眼用圖像之圖像映像及 全HD之右眼用圖像之圖像映像分別降頻為半hd，並以左 右並排方式將各映像左右排列儲存於1圖框後進行壓縮編 碼。然後’視訊編碼部11在已壓縮編碼之串流中將2D顯示 資訊儲存至序列標頭並將3D顯示資訊儲存至補充資料後， 將所壓縮之影像流作為視訊流寫入儲存器中。 在對應於全HD圖框之壓縮編碼中，視訊編碼部11係藉 由將序列標頭及補充資料附加至構成對應於視訊序列前頭 44 201230768 之l - r儲存圖像之編仙m R儲㈣㈣換成視訊存 取早7G ’並且藉由將補充資料附加至構成對應於視訊序列 剛頭以外之L_R儲存圖像之編仙#來將l_r儲存圖像轉換 成視訊存取單元。於位在GOP前頭之視訊存取單元之序列 才不頭中儲存包含「剪裁資訊」及「比例化資訊」之顯 示資訊。視訊編碼部u還會將包含「剪裁f訊」及「比例 化資訊」之3D顯示資訊儲存在視訊流之補充資料中。 在此，為使了解串流對應於顯示裝置之3D方式，令： 視訊編碼部11於補充資料中儲存「3D方式資訊」。 多工處理部12對所生成之視訊流、及其他聲訊流與字 幕流等串流進行多工處理並將犯顯示資訊儲存於該視訊流 之串流官理資訊中以後，會將把L_R儲存圖像作為圖片資料 之視訊流及«視訊流之$流#理資訊，轉換成輸送封包 列並多工成聲訊歧字幕流。並將以鮮頌獲得之傳輸 抓寫入儲存$中。已寫人儲存器中之傳輸流係供給至發送 部402並加以播放。 以上係有關視訊編碼部"及多工處理部12之説明。接 下來，說明資_存方法決定部13、及使用者介面部14。 資料儲存方法蚊部13及制者介面部14為好端電腦。 在構成内網狀各儲存”⑽存犯影像原像、視訊流、 聲訊流、字幕流及傳輸流等魅在⑽巾，係關示或草圖 等來視覺表現。使时可藉由對顯示在使用者介面此⑽ 之圖示或草圖進行拖曳操作、# ^仏 $铞作放下操作、及點選操作，對 3D影像原像、視訊流、聲邛.土 —贫+ „ Α ^ ° /)IL、子幕流及傳輸流等執行複 45 201230768 製操作或削除操作、及其他編集操作。 以下，說明資料儲存方法決定部13。資料儲存方法決 定部13係透過使用者介面來呈現L_R儲存圖像之左眼用圖 像及右眼用圖像之儲存方式之—覧，並自使用者依^操作 來指定已揭示於該一覧中之儲存方式中任—者。例如，資 料儲存方法決定部13在作成第8圖之例中顯示之影像規^ 之傳輸流時’係、指定「全HD之左右並排方式之3D影像/ 該資訊會通知到視訊編碼部丨丨、及多工處理部12。儲存器 中所儲存之·像中有各種解析度者，因此左眼用圖像之 原圖像及右眼用圖像之原圖像之組合係相當於第〖4圖中所 示之4個左右並排佈局、及第15圖中所示之2個上下排列佈 局中任一者。依照左眼用圖像及右眼用圖像之儲存方式為 何、以及左眼用圖像及右眼用圖像之解析度為何將僅決 定出一種L-R儲存圖像之佈局，因此，自如上述方法所規定 之佈局，情境記憶體13會自動設定2D顯示資訊中之剪裁資 訊之指定或比例化資訊。 以上係有關資料作成裝置之説明。接下來，說明以該 資料作成裝置之硬體資源為前提之編碼方式之處理順序。 事先於資料作成裝置中裝入以電腦碼記述第19圖〜第 22圖之處理順序之程式，並藉由資料作成裝置之用戶端電 腦之MPU、及伺服電腦之MPU執行該程式之處理順序來實 現軟體控制。接下來’說明編碼方法之詳細。第19圖係顯 不有關本發明之編碼方法之處理順序之流程圖。 首先，視訊編碼部11生成上述顯示資訊(步驟S1)。具體 46 201230768 而言，對將左眼用圖像及右眼用圖像分別儲存在分割構成 圖片資料之畫面區域所獲得之分割區域之圖像(稱為L-R儲 存圖像），生成包含指定第1畫面區域作為剪裁區之剪裁資 訊之第1顯示資訊、及包含指定第2畫面區域作為剪裁區之 剪裁資訊之第2顯示資訊。在此’第1晝面區域及第2畫面區 域之指定方法（決定方法)如本說明書之其他攔所記載，有各 種範例。 接下來’視訊編碼部11編碼L-R儲存圖像後，將所生成 之顯示資訊放到所編碼之圖像資料之預定位置，並生成如 上述規格之視訊流(步驟S2)。依據上述編碼方法，可提供一 種可將2D影像正確地顯示在2D顯示裝置、且將3d影像正確 地顯示在3D顯示裝置之高互換性3D視訊流。 以上係有關本發明之編碼方法之處理順序之説明。由 於本發明之編碼方法係使用在用以作成數位播放節目之資 料處理裝置上’因此，作為編碼方法之實施形態需要用以 作成上述數位播放節目之基本處理順序。接下來，說明用 以在資料處理裝置上實施編碼方法之編碼方法之詳細。在 此’用以數位播放節目作成之基本處理順料生成視訊流 以外之基本流之行程、及多I藉此所生成之複數類別之基 本流之行程。視訊流以外之基本流係指聲訊流及字幕流， 在多工仃程中係多工該等視訊流、聲訊流及字幕流。以下， 說明第20圖之流程圖。第2()圖係顯示以數位播放節目作成 為前提之編碼方法之處理轉之餘圖。本練圖係於與 第19圖之祕@之共通處理順序（步職及㈣s2)，追加 47 201230768 用以數位播放節目作成之基本處理順序（步驟S3 '步驟討及 步驟S5)者。 ,首先，有輸入3D影像之原圖像時，視訊編碼部U係依 循藉由資料儲存方法決定和所決定之資料儲存方法從 所輪入之扣影像之原圖像生成L_R儲存圖像及上述顯示資 訊(步驟S1)。 接下來，視訊編碼部11編碼所生成之L_R儲存圖像後， 生成之顯示寅sil放到所編碼之圖像資料之預定位置， 並生成如上述規格之視訊流（步驟S2)。 接下來，進行聲訊流之生成（步驟S3)、及字幕流之生成 (步驟S4)，並對所生成之視訊流、聲訊流及字幕流進行多工 ，理且多卫至-傳輸射（步驟S5)，，料存有聲訊流及 字幕流，亦可省略步驟S3、步驟S4及步驟S5。 該第20圖之流程圖係相當於主程序者，作為本流程圖 之下位流程圖，有第21圖〜第23圖之副程序之流程圖。以 下，說明第21圖〜第23圖。 第21圖係說明實施形態丨之^尺儲存圖像及顯示資訊之 生成之流程圖。本流程圖之變數⑴係用以特定處理對象之 各L-R儲存圖像之控制變數。因此，在以下流程圖中，係以 循環之第i循環之處理，將處理對象之L_R儲存圖像表記為 L-R儲存圖像⑴。此外，將儲存在L_R儲存圖像⑴之左眼用 圖像及右眼用圖像表示為"左眼用圖像⑴、及右眼用圖像 (1)” ’並將對應於L-R儲存圖像⑴之視訊存取單元表示為"視 訊存取單元⑴’’，將對應於該視訊存取單元之圖框表示為 48 201230768 "圖框i"。 本圖之流程圖係在全部的圖框反覆步驟S12〜步驟S2〇 之處理之循環結構（步驟Si〇、及步驟S11)。 首先’藉由視訊編碼部丨丨將從3D影像原像所獲得之圖 框1之左眼用圖像（i)及右眼用圖像⑴設定為半HD(步驟 S12)。接下來’視訊編石馬部u依循由:身料儲存方法決定部 13所指定之貢料儲存方法，將半肋之左眼用圖像⑴及右眼 用圖像(1)分別儲存於相同畫面内之分割區域並獲得L_R儲 存圖像(ι)(步驟S13)。該資料儲存方法例如有上述之左右並 排方式及上下排列方式等。 接下來’對所生成之L-R儲存圖像⑴生成對顯示裝置下 令從半HD轉換至全HD之比例化資訊（步驟s丨4)。 接下來’視訊編碼部11判定2D再生用影像是否為左眼 用圖像(步驟S15)，若判定結果為rYES」，即生成^尺儲存 圖像(i)中指定左眼用圖像⑴作為剪裁區之左眼用剪裁資訊 (步驟S18)。且，將所生成之左眼用剪裁資訊及以步驟 所生成之比例化資訊設為有關圖框丨之2d顯示資訊（步驟 S19)。 若判斷結果為「NO」，則生成L-R儲存圖像⑴中指定右 眼用圖像(1)作為剪裁區之右眼用剪裁資訊(步驟S16)。且， 將所生成之右眼用剪裁資訊及以步驟S14所生成之比例化 資訊設為有關圖框i之2D顯示資訊(步驟S17)。 生成2D顯示資訊後，再生成作為剪裁區指定全晝面之 剪裁資訊、及指定1倍之比例化資訊，並將所生成之剪裁資 49 201230768 訊與比例化資訊設為聊示資訊（步驟s2〇)。 接下來，對全部的圖框反覆上述處理，以生成各圖框 的L-R·圖像且構成L__存圖像，並生成有關各圖框之 2〇顯不資訊及3D顯示資訊(步驟Sl〇、sii)。 而，在第21圖之流程圖中亦可省略比例化資訊之生成 (步驟训）。屆時，顯示裝置係依據顯示元件(顯示書面)之 尺寸進行比例化。即’就構成扣_資減糊示資歡 資訊而言，剪裁資訊雖屬必須，但比例化資訊為可省略之 任意元素。 接下來，視訊編碼部11使用如上述所生成之L-R儲存圖 像及顯示資訊來編碼L_R儲存圖像。第η圖係說明l_r儲存

圖像之編碼處理之流程圖。在第22圖中，係料圖框之L_R 儲存圖像執行步職3〜步驟S28之處理之循環結構（步驟 S21及步驟S22)。 首先編碼構成L-R健存圖像⑴之切片（步驟S23)，接 著判定現在正進行編碼處理之L_R儲存圖像⑴是否為視訊 序列則頭之視訊存取單元（步驟，若判斷結果為 「YES」，便移打至步驟S25將序列標頭、圖片標頭及補充 資料賦予至編碼切片之前、且取得視訊存取單元⑴後，於 所獲得之視訊存取單元⑴之序列標頭設定所生成之2〇顯示 資訊(步驟S26)。 若判斷結果為「N〇」，便移行至步驟S27，並將圖片標 頭及補充資料賦予至編碼切片之前、且取得視訊存取單元 50 ⑴0 201230768 接下來，移行至步驟S28，藉由於視訊存取單元⑴之補 充資料設定所生成之3〇顯示資訊，來完成與圖框1之1^_&儲 存圖像⑴對應之編碼。接下來，對全部的圖框反覆上述編 碼處理，以生成可利用於再生之視訊流。 第23圖係說明實施形態1之多工處理之流程圖。如第23 圖顯示，多工處理部12對包含視訊流之各基本流進行傳輸 流之封包化（步驟S41)，並使用從視訊編碼部1丨所獲得之3d 顯示資机將3D顯示資訊儲存至串流管理資訊（例如pmt封 包）中，且生成包含已儲存3D顯示資訊之PMT之輸送封包 (步驟S42)。接下來，多工處理部12從已儲存pmt之TS封包 及已儲存基本流之TS封包獲得傳輸流（步驟S43)。以上係有 關實施形態1之編碼方法之説明。 如以上’依據本實施形態，只有2D顯示資訊指定右眼 用圖像及左眼用圖像中任一者作為剪裁區之剪裁資訊之設 定不同於習知的顯示資訊，除剪裁資訊之設定以外，與對 顯示裝置指示剪裁及比例化轉換之習知顯示資訊沒有差 別。因此，將包含2D顯示資訊之3D視訊流供給至習知的顯 示裝置時，顯示裝置可依據剪裁資訊及比例化資訊進行剪 裁或比例化。藉此，可利用習知的2D顯示裝置之硬體使顯 示内容為正確者，因此實用價值很大。 由於3D顯示資訊含有剪裁資訊或比例化資訊，因此顯 示裝置可依據3D顯示資訊輕易地發現正確的右眼用圖像區 域及左眼用圖像區域，並可將儲存在相同圖片資料中之右 眼用圖像及左眼用圖像分別正確地予以切割並供給立體視 51 201230768 再生因此’即使右眼用圖像及左眼用圖像係 向地排列儲存於圖片資料中、或即使與圖片資：向或縱 眼用圖像及左眼用圖像之比例大小不同，〜應之右 訊流之3D_資訊，㈣乎料方式，正销 料中所儲存之右眼用圖像及左眼用圖像並可 貝 立體視再生。又，製細影像者與習知技術相 習知更可自由地狀右眼„像與左眼用 :::法、及_資料對應—像及左:::: (實施形態2) 施形態中，係有關於顯示在上述編碼處理中所 生成之傳輸流之顯示裝置。 第24圖係顯示實施形態2之扣顯示裝置3ι〇之内部 之圖。 与扣顯示裝置係對所輸入之視訊流進行顯示處理者由 影像解碼部24(解碼部）'顯示處理部25、圖框緩衝器（1)27(第 1圖框旦緩衝部）、及圖框緩衝器⑺28(第2圖框緩衝部）而構成。 影像解碼部24-接受視訊流，便會進行所接受之串流 之解碼。L-R儲存圖像之3D影像之圖框係以左右並排方二 所構成之圖框。影像解碼部24可將所解碼之圖框寫入圖框 緩衝器（1)27中並加以保存。 顯示處理部25係從圖框緩衝器（1)27中所儲存之解碼完 圖片"k料取出2D顯示資訊’並以2D顯示資訊之剪裁資訊 ^、比例化資讯為依據來決定顯示方法。即，依循2D顯示資 52 201230768 訊對圖框緩衝器⑴27所儲存之非壓縮圖片資料施加顯示處 理，並將處理結果寫入圖框緩衝器（2)28中。 具體而言，顯示處理部25係從圖框緩衝器（1)27中所儲 存之解碼完畢視訊紅相標頭等”犯顯*資訊。依循 所取出之2D顯示資訊中之剪裁資訊，讀出圖框緩衝器⑴27 中所儲存之圖片資料中指定作為剪裁區之部分並完成剪 裁且，顯示處理部25係依循上述2D顯示資訊内之比例化 貧訊對所讀出之剪裁區之部分施加比例化轉換，並寫入圖 框緩衝器（2)28中。 在此，說明上述2D顯示裝置之構成元素與以第〖I圖所 説明之MPEG-4 AVC視訊解碼器之解碼器模型之構成元素 之對應關係。 第24圖之影像解碼部24係對應於第丨丨圖之傳輸緩衝器 (TB)1、多工緩衝器（MB)2、基本緩衝器（TB)3、及解碼器核 心4。第24圖之顯示處理部25係對應於第η圖之顯示處理部 8、及定標器6。第24圖之圖框緩衝器（1)27係對應於第11圖 之解碼圖片緩衝器（DPB)5。第24圖之圖框緩衝器（2)28係對 應於第11圖之視訊平面7。 而，以第11圖所説明之MPEG-4 AVC視訊解碼器之解碼 器模型僅為一例’因此，本發明之2D顯示裝置之實施形態 並非限於第11圖之構成。 以上係本發明之2D顯示裝置之實施形態。依據上述2D 顯示裝置，在有供給包含2D顯示資訊之3D視訊流時，不會 將有排列右眼用圖像及左眼用圖像之圖像直接顯示，並可 53 201230768 顯示正確内容之2D圖像。 接下來，說明以該2D顯示裝置為基底之2D數位電視之 内部構成。具體而言，本實施形態之2D數位電視係可顯示 2D影像之電聚電視或液晶電視等裝置，可接收送出視訊流 之傳輸流。2D數位電視之内部構成係於2D顯示裝置之構成 元素中追加有用以擔保作為2 D電視機器之基本功能之構成 元素的形態。第25圖係顯示2D數位電視300之内部構成之 圖。在本圖中以虛線包圍之部位為2D顯示裝置之構成元 素。而且’用以擔保作為2D電視機器之基本功能之構成元 素有：用以將視訊流供給至2D顯示裝置之構成元素(調諧器 21、NIC22、及解多工部23)、用以處理視訊流以外之其他 基本流之構成元素（字幕解碼部29、OSD作成部30、加法部 31、及語音解碼部32)、以及用以實現與使用者之對話性之 構成元素（顯示部26、喇叭33、及使用者介面部34)。又，由 於存有用以擔保作為2D電視機器之基本功能之構成元素， 因此2D顯示裝置之構成元素可實現與用以擔保作為該2D 電視機器之基本功能之構成元素之間之輸入輸出。以下， 依照參考符號説明2D數位電視300之構成元素。 如第25圖顯示，2D數位電視3〇〇係由調諧器21、 NIC22、解多工部23、影像解碼部24、顯示處理部25、顯示 部26、圖框緩衝器⑴27、圖框緩衝器⑺28、字幕解碼部29、 OSD作成部30、加法部31、語音解碼部32、喇叭33、及使 用者介面部34而構成。其中，影像解碼部24、顯示處理部 25、圖框緩衝器（丨)27、及圖框緩衝器（2)28係與前述所説明 54 201230768 之2D顯示裝置310共通的構成元素，附有相同的參考符號。 調諧器21具有接收數位播放波之傳輸流並將所接收之 信號解調之功能。 網路介面卡(NIC)22係與IP網路連接，具有接收從外部 所輸入之傳輸流之功能。 解多工部23可將所接收之傳輸流解多工成視訊流及其 以外之語音流與圖形流等，並將視訊流輸出至影像解碼部 24。又，解多工部23可從調諧器214NIC22讀出傳輸流，並 '且可從記錄媒體讀出傳輸流。 影像解碼部24—從解多工部23接受視訊流，便會進行 所接受之串流之解碼。於該影像解碼部24之内部存有第U 圖⑷中所示之解碼器模型之構成元素中Tm、MB2、EB3、 解碼器核心4、及定標器6。L-R儲存圖像之3D影像之圖框 係以左右並排方式所構成之圖框。影像解碼部2诗將所解 碼之圖框寫人圖框緩衝器⑴27並加以保存。 _顯示處理部25可進行同於前述所説明之2_示裝置之 顯示處理部25之處理。 (2)28中之圖框顯示於顯示器 圖:古緩衝器⑴27係相當於解碼圖片緩衝器5之構成元 ^ 儲存以影像解科24所叫之圖框之區域。 用以3 =器(2)28係相^圖片平面之構成元素，具有 錯存理部25轉碼之圖框之區域。 字幕解碼部29可解碼以解多工部23之解多工所獲得之 55 201230768 字幕流。 〇SD作成部30係依循對使用者介面所進行之使用者操 作，作成電子節目指南（EPG)或設定目錄（setup menu)之螢 幕顯示。 加法部31可將以字幕解碼部之解碼所獲得之字幕、及 OSD作成部所作成之螢幕顯示合成至已解碼之圖框。在此 之合成係依據預定階層結構。該階層結構係視訊平面存於 下位層，字幕存於其上一層，且OSD存於其再上一層者。 層合成部6係依循該階層結構進行層合成，並於各個圖片資 料獲得有合成字幕及〇SD之合成影像且供於輸出。 語音解碼部32可解碼以解多工所獲得之聲訊流。 喇0八3 3可輸出以語音解碼部3 2之解碼所獲得之非壓縮 聲訊。 使用者介面部34控制解多工部23及顯示處理部25，以 使可從使用者接受電子節目指南(EPG)或設定目錄之呼叫 操作或頻_擇操作，並依制操作進行選台錢示處理。 以上係有關2D數位電視3〇〇之説明。接下來，說明3D 顯不裝置11G之詳細。3D顯示裝置削係具備有可維持其與 2D顯示裝置31〇之互換且用以立體視再生之構成元素者。第 26圖顯示3D顯示裝置11〇之内部構成。如本圖顯示，聊 示裝置110具有2D顯示裝置之構成;^素(影像解碼部24、顯 示處理部25、圖框緩衝器⑴27、及圓框緩衝器⑺28)、及3D ”"員不裝置UG特有之構成元素(模式記憶部40、3D轉換處理 °M1、圖框緩衝器（L)42、及圖框緩衝器(R)43)。在3D顯示 56 201230768 裝置110中，有關新穎所追加之構成元素，附有40起跳之參 考符號。有關有施加3D模式特有改良之構成元素（顯示處理 部25+)，可藉由於2位數之數值附加記號來與2〇顯示裝 置之構成元素作區別。以下，有關3D顯示裝置11〇特有之構 成元素（模式記憶部40、及3D轉換處理部41)、以及用以31) 顯不裝置11〇而有施加改良之構成元素（顯示處理部25+)，以 模式記憶部40—顯示處理部25+->3D轉換處理部41之順序 作説明。 模式§己憶部40儲存有顯示現行顯示模式為2D模式戈 3D模式中之哪一者之旗標。 顯不處理部25+可實現2D模式亦可實現3D模式，當模 式記憶部40中所記憶之現行顯示模式為3D模式時，會先於 2D顯不資訊優先參考3D顯示資訊，並依循3〇顯示資訊對圖 框緩衝器（1)27中所儲存之非壓縮圖片資料施加顯示處理， 並將處理結果寫入圖框緩衝器（2)28中。 3D轉換處理部41會對已寫入圖框緩衝器（2)28中之非 壓縮圖片資料進行3D轉換處理。在此，3D轉換處理表示藉 由为別切割已儲存在1張圖片中之左眼用圖像及右眼用圖 像並加以擴大來生成使用在3D顯示之左眼用圖像及右眼用 圖像。 藉由3D轉換處理所生成之左眼用圖像及右眼用圖像係 分別寫入圖框緩衝器(L)42、及圖框緩衝器(R)43中。 由於在本實施形態中所假設之多重顯示儲存圖像為 L-R儲存圖像，因此，於第％圖之3D顯示裝置存有左眼用 57 201230768 圖框緩衝器42、及右眼用圖框緩衝器43。不用說，當本實 施形態中所假設之多重顯示儲存圖像儲存有3個以上之視 點圖像時，於3D顯示裝置存有與3個以上之視點圖像分別對 應的3個以上之圖框緩衝器。

以上係本發明之3D顯示裝置之實施形態。依據上述3D 顯不裝置，可依據3D顯示資訊輕易地發現正確的右眼用圖 像區域及左眼用圖像區域，並可正確地分別切割儲存在相 同圖片資料中之右眼用圖像及左眼用圖像來進行立體視再 生。 接下來，說明3D數位電視1 〇〇之詳細。本實施形態之3£) 數位電視1〇〇係於3D顯示裝置11 〇之構成元素中追加有用以 擔保作為3D電視機器之基本功能之構成元素的形態。第27 圖係顯示3D數位電視100之内部構成之圖。在本圖中以虛線 包圍之部位為3D顯示裝置11 〇之構成元素。而且，用以擔保 作為3D電視機器之基本功能之構成元素中’有與第25圖中 所示之2D數位電視之構成元素相同者（調諧器21、NIC22、 解多工部23、顯示部26、字幕解碼部29、OSD作成部3〇、 加法部31、語音解碼部32、喇叭33、及使用者介面部34)， 以及3D數位電視1〇〇特有者（開關44)。有關有施加3D模式特 有改良之構成元素(解多工部23+、顯示處理部25+、顯示部 26+、及使用者介面部34+)，係藉由於2位數之數值附加„+，， 記號來與2D數位電視3〇〇之構成元素作區別。又，影像解碼 部24、圖框緩衝器（1)27、圖框缓衝器（2)28、顯示處理部 25+、模式記憶部4〇、3D轉換處理部41、圖框緩衝器（L)42、 58 201230768 及圖框緩衝器(R)43係與前述所説明之扣顯示裝置削共通 的構成元素，附有相同的參考符號。 以下’說明3D數位電視1〇〇特有之構成元素（開關44)。 開關44可選擇自圖框緩衝器(L)42、及圖框緩衝器⑻心 寫出之圖框圖像並遞送至顯示部26。並因應顯示之圖框， 交差選擇顯示圖框緩衝叫)42、及圖框緩衝器（r)43。 以上係有關3D數位電視1〇〇特有之構成元素之説明。接 下來，說明有施加3D數位電視1〇〇特有改良之構成元素（解 多工部23+、顯示處理部25+、顯示部26+、及使用者介面部 34+) 〇 解多工部23+將所接收之傳輸流解多工成視訊流及其 以外之語音流與圖形流等，並將視訊流輸出至影像解碼部 24。又，解多工部23+具有自所接收之傳輸流抽出psi等系 統封包，並從PMT封包等傳輸流之_流管理資訊取得與進 行顯不之視訊流對應之31)顯示資訊的功能，解多工部23+ 一從串流管理資訊抽出3D顯示資訊，便將該3D顯示資訊通 知到顯示處理部25+。又，解多工部23+可從調諧器21或 NIC22讀出傳輸流，亦可從記錄媒體讀出傳輸流。 顯示處理部25+在模式記憶部40中之現行顯示模式為 3D模式時，會先於2£)顯示資訊優先參考3〇顯示資訊，並以 3D顯示資訊之剪裁資訊與比例化資訊為依據決定顯示方 法。具體而言，顯示處理部25+從視訊流之補充資料等取出 3D顯示資訊，並依循所取出之3D顯示資訊内之剪裁資訊， 讀出圖框緩衝器（1)27中所儲存之圖片資料中指定作為剪裁 59 201230768 區之部分並完成剪裁。且，顯示處理部25+係依循上述3D ” 貝示> sK内之比例化資訊對所讀出之剪裁區之部分施加比 例化轉換並將之寫入圖框緩衝器（2)28中。 顯示部26+可顯示從開關44所遞送之圖框。顯示部26+ 可對3D眼鏡進行通訊並控制3D眼鏡之液晶快門，以使在顯 不左眼用圖像時開啟3D眼鏡之左眼侧，並在顯示右眼用圖 像時開啟3D眼鏡之右眼側。 使用者介面部34+可從使用者接收2D模式及3D模式之 選擇操作，並可改寫模式記憶部40中之旗標。2D模式及3D 模式之設定與變更係透過預先組裝於再生裝置中之設定目 錄而進行。本貫施形態之設定目錄中除了語音言語設定、 及字幕言語設定等一般設定項目以外，還存有2D模式及3D 模式之設定項目’只要透過遙控器設定該項目，即可改寫 模式記憶部4〇中之旗標之設定值。 以上係有關3D數位電視100之内部構成之説明。想當然 耳，用以擔保作為3D電視機器之基本功能之構成元素僅為 用以3D顯示裝置之發明實施所記載者。不用說，當將顯示 裝置之發明實施作為3D電視機器以外之其他機器時，可置 換成用以擔保其他機器中之基本功能之構成元素。 該3D數位電視1 〇〇之内部構成係相當於電腦之硬體資 源者，具備有上述課題解決機構之解碼方法係作為對該硬 體資源下令處理順序之電腦碼女裝在3D數位電視1 〇〇上。在 此，在第27圖中以虛線所包圍之部分相當於第26圖中所示 之本發明之「顯示裝置」。 60 201230768 接下來’說明解碼方法之詳細。第28圖係顯示實施形 態1之解碼方法之處理順序之流程圖β本流程圖係相當於最 上位處理一亦即主程序一者，作為本流程圖之下位流程 圖’有第29圖之流程圖。以下，說明主程序中之處理順序。 如第28圖顯示，首先，影像解碼部24之解碼器核心係 從儲存在解碼部所具備之基本流緩衝器（EB : Elementary Stream Buffer)等緩衝器中之解多工完畢之視訊流，檢索將 現行PTM(Presentation Time:呈現時間）設為解碼時刻DTS 之視訊存取單元（步驟S52) ’接下來，解碼所檢索之視訊存 取單元内之壓縮圖片資料並生成非壓縮之l_r儲存圖像且 寫入圖框緩衝器（1)27中（步驟S53)。 在此，現行PT1V[表示在播放器内時脈之系統時間時脈 (STC)時間轴之現在時刻。 接下來，顯示處理部25+檢索將現行PTM設為圖片之顯 示時刻PTS之視訊存取單元（步驟S54)，並將所檢索之視訊 存取單元設為現行之視訊存取單元（步驟S55)。 接著’藉由模式記憶部40判定現行模式（步驟S56)，並 在現行模式為2D模式時移行至步驟S57，然後顯示處理部 25+從構成現行視訊存取單元之網路抽象層單元之序列標 頭’取得2D顯示資訊之剪裁資訊與比例化資訊（步驟S57)， 再依循剪裁資訊從圖框緩衝器（1)27切割L-R儲存圖像内之 剪裁區（步驟S58)。接下來，顯示處理部25+依循比例化資 訊將所切割之剪裁區予以比例化後，將已比例化之圖片儲 存至圖框緩衝器（2)28中（步驟S59)。藉此，2D影像之解碼結 61 201230768 束，因而顯示部26+可從圖框緩衝器（2)28讀出並再生圖片 資料。 另一方面’若現行模式為3D模式，進入步驟S60之3D 模式顯示處理（步驟S60)。第29圖係詳細說明實施形態2之 3D模式顯示處理之流程圖。 如第29圖顯示，進入3D模式顯示處理後，首先，顯示 處理部25+從現行視訊存取單元之補充資料檢索3D顯示資 訊，並判定3D顯示資訊是否存在（步驟S71)。若判定結果為 「YES」即移行至步驟S72，並從現行視訊存取單元之補充 資料取得3D顯示資訊之剪裁資訊與比例化資訊。另一方 面，若判定結果為「NO」則移行至步驟S73，並藉由解多 工部23+檢索現行PTM ’從現行PTM取得3D顯示資訊之煎 裁資訊與比例化資訊（步驟S73)。 接下來’顯示處理部25+依循所取得之剪裁資訊從圖框 緩衝器⑴27切割L-R儲存圖像内之剪裁區（例如全晝面）(步 驟S74)。接下來，顯示處理部25+依循所取得之比例化資訊 將所切割之剪裁區予以比例化後，將已比例化之圖片儲存 至圖框緩衝器（2)28中（步驟S75)。 接著’最後使用已儲存在圖框緩衝器（2)28中之圖片進 行一般的3D再生。即，依循3D方式資訊等對圖框緩衝器 (2)28中所儲存之圖片進行3D轉換，並分別寫入圖框緩衝器 (R)/(L)其中一者(步驟S76)。 藉此，3D影像之解碼結束，因而顯示部26+可從圖框 緩衝器（R)/(L)分別讀出並再生圖片資料。再生裝置可依循 62 201230768 已儲存顯示資訊之具體位置，來識別為2D顯示資訊或為3D 顯示資訊而進行再生’因此可藉由簡單之構成實現晝面顯 示效果之提升。 在上述例中，顯示處理部係嘗試先從補充資料取出3D 顯示資訊後’再檢索串流管理資訊。即，顯示處理部從視 訊存取單元内之補充資料取出3D顯示資訊，並在視訊存取 單元内之補充資料中未存有3D顯示資訊時，從有關視訊流 之串流管理資訊取出3D顯示資訊。 如以上’依據本實施形態，僅需於既存的2D數位電視 300之内部構成追加用以處理3D顯示資訊之構成元素，改良 既存的2D數位電視3〇〇之構成元素之一部分，即可開發可進 行3D顯示資訊處理之3£)數位電視1〇〇並可將之銷售於市 場。藉由降低3D數位電視1〇〇之製造成本，可加速3D數位 電視100之普及。 (實施形態3) 實施形態1之3 D顯示資訊之剪裁資訊、及比例化資訊係 指定圖框區全體。相對於此，本實施形態之3D顯示資訊之 剪裁貧訊係指定不同於藉由將圖框區分割為二所獲得之分 割區域中’以2D顯示資訊之剪裁資訊所指定者之區域。 因為2 D顯示資訊之剪裁資訊係將左眼用圖像及右眼用 圖像中應作為2D互換圖像顯示之區域指定作為剪裁區，故 而圖框區之剩餘的分割區域應存有互換圖像之相反視線 之〜像，亦即2D非互換圖像。因此，每當顯示裝置取得2D 顯不資Sfl時’便會進行切騎由2D顯示資訊之剪裁資訊所 63 201230768 指定之剪裁區之處理，以獲得2D互換圖像之左眼用圖像。 並將如此所獲得之左眼用圓像寫入左眼用視訊平面4中。 另一方面，每當取得3D顯示資訊時，係進行切割藉由 3D顯示資訊之剪裁資訊所指定之剪裁區之處理，以獲得2〇 非互換圖像之右眼用圖像。並將如此所獲得之右眼用圖像 寫入右眼用視訊平面4中。藉此，可將左眼用圖像及右眼用 圖像供於顯示。 第30圖係顯示實施形態3之3〇顯示資訊之指定之圖。本 圖係以第13圖為基底所作圖，又，虛線框表示剪裁區之點 亦與第13圖相同。與該基底之構成相較之下，第％圖⑼之 内容有所不同。具體而言’ 3D顯示資訊中之剪裁資訊係指 定以2D顯示資訊所指定之區域之相反側區域作為剪裁區。 亦即，第3G®⑷之_貞示資訊之剪裁f訊係將左半部區域 (第1畫面區域之-例)指定作為剪裁區，而第3〇圖(b)之卿員 不貝机之剪裁資訊係將右半部區域（第2畫面區域之一例)指 定作為剪裁區。 如此-來’由於係將以2〇顯示資訊所指定之剪裁區之 相反側指㈣為3D顯示資訊用之剪裁區，因此在扣模式 中’顯示裝置只要依循其3D_f訊之剪裁f訊切割剪裁 區即可。 在第3〇圖中，在左右並排方式之全HD影像的情況下， 當2D顯示資訊表示左眼側之半HD區域時，3d顯示資訊係 指定右眼側之半HD區域。因&，在再生時，顯示裝置只要 組合2D顯示資訊與3D顯示資訊即可再生犯影像。 64 201230768 …f1 &於3D顯不資訊内之剪裁資訊係將2D顯示資訊未 心二作為剪賴之區域指定作為剪裁區，因此係使用2D 丁資。fl内之勢裁資訊及3£)顯示資訊内之剪裁資訊雙方來 指定3D顯示用之畫面區域。 此時’在實施形態3中以第26圖t顯示之顯示裝置進行 3D顯不時需注意町幾點。由於聊示資㈣之|裁資訊 係將，對上述2D顯示資訊指定作為剪裁區之區域指定作為 剪裁區，因此，顯示處理部25+係讀出圖框緩衝器（1)中所 儲存之圖片資料之圖框區中藉由2£)顯示資制之剪裁資訊 所才曰定之剪裁區、及藉由3聰示資訊内之剪裁資訊所指定 之剪裁區之雙方並寫入圖框緩衝器（2)中。 以下，說明3D顯示資訊之圖框剪裁(frame_cr〇pping)資 訊指定以2 D顯示資訊之圖框剪裁資訊所指定之剪裁區之相 反側區域時之具體編碼方法之處理順序、及解碼方法之處 理順序。 虽3D顯示資訊之圖框剪裁資訊指定以2D顯示資訊之 圖框剪裁資訊所指定之剪裁區之相反側區域時，若視訊流 為MPEG-4 AVC，只要以與第12圖（a)同樣的形式指定相反 側之剪裁區即可。具體而言，於3〇顯示資訊之圖框剪裁資 訊設置以 MPEG-4 AVC 所規定之 frame_cr〇p_〇ffset、 frame-crop一bottom_offset、frame_cropleft_〇ffset、及 frame-crop_right_offset之圖場，並以該等規定圖框區與剪 裁區之上下左右之支距即可。只要依上述方法規定，即可 以可維持與既存之MPEG-4 AVC解碼器之處理順序之互換 65 201230768 之形態來處理3D顯示資訊。 以上係有關實施形態3之3〇 説明。接下來’說明伴隨著該3〇顯二，之剪裁資訊之 之改良及解碼方法之改良。’“HR改良之編碼方法 將在實施形態i中使用第21圖〜第23圖所顯干之㈣ 存圖像及顯示資訊之生成處’ & ^ τ β ^ 只厅L-R儲存圖像之編碼順 序及夕工處理之處理顺序置換成 實施形態2中使用第28圖〜第 〜第33圖者’並將 順序、及3D識㈣示之解碼影像之處理 圖者。以下，序置換成第34圖〜第35 下參考第31圖〜第33 特改良的編碼方法之處理順序。月已化加貫施形態3獨 第31圖係顯示1^儲存圖像及顯示資訊之生成之詳細 之流程圖。本流程圖係就全部的圖框反覆步驟su2〜步驟 之處理之循環結構(步驟sm、步驟仙）。本流程圖之 變數⑴係用以特定處理對象之㈣l_r儲存圖像之控制變 數。因此，在以下的流程圖中，係設為以循環之第i循環之 處理，將纽對象之L姆存_絲記為l姆存圖像(i)。 此外，將儲存在L-R儲存圖像⑴中之左眼關像及右眼用圖 像表示為左眼用圖像⑴、及右眼用圖像⑴，並將與L-R儲存 圖像⑴對應之視訊存取單元表示為視訊存取單元⑴。 步驟S112〜步驟S120之處理如下。在步驟sm中將圖框 之左眼用圖像⑴及右眼用圖像⑴設定為半HD，在步驟 中依循所指定之資料儲存方法，儲存半111)之左眼用圖像⑴ 及右眼用圖像(i)並獲得L-R儲存圖像⑴，在步驟8114中生成 66 201230768 L-R儲存圖像(i)中將左眼用圖像指定作為剪裁區之左眼用 圖框剪裁資訊’並在步驟S115中生成L_R儲存圖像⑴中將右 眼用圖像指定作為剪裁區之右眼用圖框剪裁資訊。 接著’在步驟S116中生成下令半HD—全HD之轉換之 aspect_ratio_idc °步驟sm係經2〇再生者是否為左眼用圖 像之判定’若為左眼用圖像，將左眼用圖框剪裁資訊及 aspect一ratio_idc設為有關圖框之2]〇顯示資訊（步驟s丨丨8)。 若為右眼用圖像，將右眼用圖框剪裁資訊與 aspect_ratio_idc設為有關圖框之2〇顯示資訊（步驟s丨丨9)。在 步驟S120中將左眼用圖框剪裁資訊及右眼用圖框剪裁資訊 中並非2D顯示資訊者及aspect_rati〇_idc設為3D顯示資訊 (步驟S120)。

而’在第31圖中，亦可省略aspect_ratio_idc(比例化資 訊)之生成（步驟S116)。屆時，顯示裝置係依據顯示元件（顯 不畫面）之尺寸進行比例化。即，作為構成2D顯示資訊及3D 顯示資訊之資訊，剪裁資訊雖為必須，但比例化資訊為可 省略之任意元素。 第32圖係顯示L-R儲存圖像之編碼順序之流程圖。本流 程圖係就全部的圖框之L-R儲存圖像反覆步驟sl23〜步驟 S129之循環結構。步驟S123係構成L_R儲存圖像⑴之切片資 料之編碼順序，只要編碼結束便移行至步驟§124之判定步 驟。步驟sm係判定L_R儲存圖像⑴是否為視訊序列前頭之 視讯存取單元者。若為序列前頭，便將SPS、PPS、SEI等 NAL單元賦予至編碼切片資料之前且獲得視訊存取單元⑴ 67 201230768 (步驟S125) ’並將2D顯示資訊儲存至51^。若非序列前頭， 便將PPS、SEI等NAL單元賦予至編碼切片資料之前並獲得 視訊存取單元（i)(步驟S127)。之後，於視訊存取單元⑴之 SEI設定3D顯示資訊(步驟S128)，然後將構成視訊存取單元 (1)之SPS、PPS、SEI、及編碼切片資料分別予以NAL單元 化並加以配列（步驟S129)。 第33圖係顯示構成L-R儲存圖像⑴之切片資料之編碼 順序之流程圖。步驟S130係L-R儲存圖像⑴之儲存方式是否 為上下排列方式之判定，若為肯定，便在步驟S131於上下 之左眼用圖像及右眼用圖像之下端設置空白區，使左眼用 圖像及右眼用圖像之邊界與切片資料之界限一致。例如， 當L-R儲存圖像為1920x1080時，於192〇x540像素之左眼用 圖像之下部追加1920x4像素之空白區，並於192〇x54〇像素 之右眼用圖像之下部追加1920x4像素之空白區，因此左眼 用圖像與右眼用圖像之邊界可與切片資料之邊界之16像素 —致0 以上述處理進行邊界一致之保證後，移行至步驟S132〜 步驟S139之循環。該循環係就構成L-R儲存圖像之全部切片 '貝料反覆步驟S134〜步驟S139之處理者。步驟si34係切片資 料之圖片類型之決定，若為如存有參考圖片之圖片類型， 便對構成切片資料之巨集區塊執行圖框間動作預測（步驟 S136) ’並將巨集區塊予以差分化（步驟S137) ^若沒有參考 圖片，便跳過步驟S136及步驟S137。步驟si38係進行巨集 區塊之DCT量子化，並在步驟S139中進行巨集區塊之熵編 68 201230768 碼。藉由反覆該等處理，逐漸將構成1^汛儲存圖像之巨集區 塊予以編碼。 以上係有關貫施形態3之編碼方法之處理順序之説 明。接下來，參考第34圖〜第35圖說明已施加實施形態3獨 特改良之解碼方法之處理順序。 第34圖係顯示解碼方法之處理順序之流程圖。本流程 圖係在步驟S151中判定現行PTM是否有變成圖框期間之起 始期。現行PTM係以顯示裝置之内部時脈所管理之現在的 再生時刻。若現行PTM為圖框期間之起始期，便執行步驟 S152〜步驟S161之處理。該處理係執行下列處理者，即：從 基本緩衝器檢索將現行PTM設為DTS之視訊存取單元（步驟 S152) ’並解碼所檢索之視訊存取單元内之壓縮圖片資料且 將非壓縮L-R儲存圖像寫入圖框緩衝器〇)中（步驟S153)，然 後檢索將現行PTM設為PTS之視訊存取單元（步驟S154)，執 行將所檢索之視訊存取單元設為現行視訊存取單元（步驟 S155)之處理後，執行步驟S157之判定步驟。步驟S157係現 行模式是否為2D之判定，若為2D模式，便從現行視訊存取 單元之SPS取得2D顯示資訊之圖框剪裁資訊、及 aspect_ratio_idc(步驟S158)，然後依循現行SPS之圖框剪裁 資訊之 frame-crop—offset、frame-crop—bottom—offset、 frame-crop_left_offset、及 frame-crop_right_offset，從圖框 緩衝器切割L-R儲存圖像之剪裁區（步驟S159) ’並依循現行 視訊存取單元之aspect_ratio_idc進行剪裁區之比例化轉換 且將之寫入圖框缓衝器中（步驟S160)。在步驟S157中若判 69 201230768 定現行模式為3D模式，則移行至步驟S161並進行3D模式之 顯示處理。 第35圖係顯示3D模式顯示處理之處理順序之流程圖。 步驟S171係於現行視訊存取單元之SEI是否存有3D顯示資 訊之判定，若為肯定，便在步驟S172中取得現行視訊存取 單元之SEI之3D顯示資訊之圖框剪裁資訊、及 aspect_ratio_idc。若為否定，則在步驟S173中取得現行PTM 之3D顯示資訊之圖框剪裁資訊、及aspect_ratio_idc。在步 驟S174中係依循2D顯示資訊之圖框剪裁資訊之 frame-crop—offset 、 frame-crop_bottom offset 、 frame-crop_left_offset、及 frame-crop一right一offset，從圖框 緩衝器（1)切割L-R儲存圖像之剪裁區，並在步驟S175中依 循所取得之aspect_ratio_idc進行已切割之剪裁區之比例化 轉換並將之寫入圖框緩衝器（L)(R)中。 在步驟S176中係依循3D顯示資訊之圖框剪裁資訊之 frame-crop_offset 、 frame-crop_bottom offset 、 frame-crop_left_offset、及frame-crop_right_offset從圖框緩 衝器（1)切割L-R儲存圖像之剪裁區，並在步驟sm中依循 所取得之aspect_ratio_idc進行已切割之剪裁區之定標器轉 換並將之寫入圖框緩衝器（L)(R)其中一者。 如以上’依據本實施形態’係以3D顯示資訊將與以2d 顯示資§fl指疋作為剪裁區之部分區域相反側的部分區域指 疋作為剪裁區’因此可藉由依據2D顯示資訊執行依據3d顯 示h sfl所執行之處理’將左眼用圖像及右眼用圖像之雙方 70 201230768 供於顯示。藉此，可有效率地進行3D數位電視100之軟體處 理之安裝。而，由於實現本實施形態之編碼方法之資料作 成裝置之構成與在實施形態1中以第18圖所說明之資料作 成裝置之構成相同，故省略説明。 (實施形態4) 實施形態丨中之3D顯示資訊之剪裁資訊、及比例化資訊 係指定圖樞區全體。相對於此，在本實施形態中之3D顯示 資訊係省略剪裁資訊。使用3 D方式資訊來替代3 〇顯示資訊 中之剪裁資訊。 第36圖係顯示實施形態4之3D顯示資訊之指定之圖。本 圖係以第U®(a)、（b)綠賴作圖，又，虛線框表示剪裁 區之點亦與第13圖相同。與該基底之構成相較之下，第13 圖W之内容有所不同。具體而言，在第36gj(b)中未指定剪 裁區取而代之地，係將3D方式資訊賦予至顯示裝置。並 使用扣顯㈣訊之錢龍及财式㈣進行右眼用圖 像之亦即在3D方式資賴示左右並排方式且以2D 顯不資訊之剪裁資訊紋左眼關像作為剪裁區時，由於 、，裁區之铖向存有右眼用圖像，因此切割該圖框區之 右半部以供於顯示。 又在3D方式資訊顯示上下排列方式且以2D顯示資訊 ^剪裁資訊指定左眼關像作為耗區時，由於在其剪裁 ，之下方方向存有右眼用圖像，因此切割該圖框區之下半 相供於顯*。而，實現本實_態之編碼方法之資料作 之構成與貫施形態i中以第j8圖所説明之資料作成 71 201230768 裝置之構成相同，故省略説明。 (實施形態5) 本實施形態可實現半HD2面之3D影像再生。第37圖係 顯示從半HD2面之視訊流及半HD2面之擴張流獲得全HDi 左眼用圖像及右眼用圖像之過程。 本圖之左上方顯示構成全HD之左右並排方式等半 HD2面之3D影像之視訊流。 左下方顯示構成用以將半HD2面之3〇影像予以高解析 度化之差分影像之擴張流。 在2D影像再生裝置的情況下係依循2D顯示資訊再生 左右並排方式之L-R儲存圖像之儲存圖像中任一者，在3D 影像再生裝置的情況下係將左右並排方式之左眼用圖像及 右眼用圖像比例化擴大來顯示31)影像，在可使用差分資訊 進行高解析度化之3D影像再生裝置的情況下係使用左右並 排方式之左眼用圖像及右眼用圖像之差分資訊進行高解析 度化來再生3D影像。在該例中亦是以第8圖中所説明之影像 規格指定2D顯示資訊’而，在2D影像再生裝置的情況下係 擴大顯示以2D顯示資訊之剪裁資訊所指定之區域。 為了使再生裝置判斷「半HD2面之3D影像」及「用以 將半HD2面之3D影像予以高解析度化之差分影像」之關係， 將組合之資§孔儲存在PMT之描述符中為宜。 例如’可儲存在 MVC_extension_descriptor、或 MVC_operation一p〇int_descriptor等。在此，例如，該高解析 度用之差分影像在為將全HD2面之左眼用圖像及右眼用圖 72 201230768 像予以左右並排方式化而留下奇數列進行降低比例化的情 況下，係將集合偶數列者作為左眼用圖像及右眼用圖像之 差分影像加以儲存。 在如上述方法實現高解析度之方式的情況下，如第38 圖，若分別準備半HD串流並設為彼此相互參考之構成即可 提高壓縮效率。在第38圖的情況下係將左眼用圖像(A)設為 基影像，使右眼用圖像(B)、左眼差分圖像(C)、及右眼差分 圖像(D)使用如MPEG-4 AVC之視間參考來進行壓縮。此 時，右眼用圖像(B)、左眼差分圖像(C)、及右眼差分圖像(D) 之關係資訊係儲存在Ρ Μ T之描述符或視訊流内之補充資料 等中。 (實施形態6) 本實施形態揭示對深度圖方式之視訊流傳送使用3 D顯 示資訊之改良。深度圖方式係使用視差圖像之方法之一， 係分別準備進入右眼之影像及進入左眼之影像之方式以 外’另外準備以像素單位對2D影像賦予深淺值之深度圖， 並依序2D影像及深度圖以播放器或顯#器生成左眼用圖像 及右眼用圖像之視差圖像之方法。 第39圖係不意顯示從2D影像及深度圖生成左眼用圖像 及右眼用圖像之視差圖像之例。深度圖與2D影像内之各個 像素對應且具有深淺值’在第39圖之例中，2D影像之圓形 物體在深度Η中係、分配_示高深淺之資訊，其以外之區 域係分配_示低深淺之資訊。該資訊可以每-像素之位 兀列儲存，亦可作為圖像映像(例如將「黑色」顯示為低深 73 201230768 淺，且將「白色」顯示為高深淺之圖像映像)儲存。視差圖 像可從深度圖之深淺值藉由調整2 D影像之視差量而作成。 在第39圖之例中，由於2D影像内之圓形物體之深淺值較 高，因此作成視差圖像時，圓形物體之像素之視差量會變 大，且由於圓形物體以外之區域深淺值較低，因此將圓形 物體以外之區域之像素之視差量減小’藉以作成左眼用圖 像及右眼用圖像。只要使用循序分離方式等顯示該左眼用 圖像及右眼用圖像，即可達成立體視。 第40圖係說明將2D顯示資訊及3D顯示資訊適用在深 度圖時之例之圖。如第40圖之上方顯示，編碼部係以全HD 將2D影像儲存在左半部分，並將與2〇影像對應之深度圖之 影像儲存在右半部分。如此一來，只要適用以第8圖所説明 之影像規格，便可對2D顯示資訊之剪裁資訊將左半部分之 2D影像予以比例化及指定作為2D再生用，藉以在^^數位電 視300中再生左半部分之2D影像’並且，可對犯顯示資訊 之剪裁資訊指定全畫面作為3D再生用，並可於3〇資訊或3D 方式資訊設定可識別該深度圖方式之識別符，藉以在3〇數 位電視100中從左半部分之2〇影像及深度圖影像生成左眼 用圖像及右眼用圖像，而達成3D影像之顯示。 如第40圖之下方顯示，亦可生成圖框尺寸為288〇χΐ〇8〇 畫素份之L.R儲存圖像，並於其巾以全肋構成左右並排方 式之圖像，且以剩餘的96〇χ1〇8〇畫素份儲存與左眼或右眼 之影像對應之深度如此—來，該影像不僅可對 應於左右並排方式之3D數位電視1〇〇,亦可對應於深度圖之 74 201230768 再生裝置進行3D再生。此時，編 儲在n ⑯碼郤不僅可於3D顯示資訊 = 子用以實現左右並排方式之剪裁資訊或比例化資訊亦 可同時儲翻以實現在深度圖中之犯影像之剪裁資訊或此 例化資訊，因而可因應3D方式來進行選擇。 (備註） 以上，係就在本說明書提出申請時間點申請人所知之 最佳實施形態加以說明，並可就以下顯示之技術性主題施 加進-步的改良或變更實施。欲如各實施形態中所示方式

進行實施，或如施加該等改良與變更乃為任擇，需留意該 決定乃依實施者之主觀判斷。 X 在本實施形態中，雖以圖框互換方式之3D影像舉例說 明’但亦可如以下構成，即：如第41圖顯示，將左眼用圖 像及右眼用圖像設為個別的視訊流，並將之儲存在丨條傳輸 流中，在2D影像時再生左眼或右眼中任一影像，且在31)影 像時再生左眼及右眼雙方。此時，於pMT封包之描述符中 儲存有顯示與哪一個視訊流成對構成3〇影像之資訊。例 如，在第41圖之例中，左眼用圖像係PID為〇χ1〇11、且右眼 用圖像係PID為0x1015，此時，在其描述符中可記載左眼用 圖像之PID=0xl011且右眼用圖像之ρπ>=〇χ1015之資訊。 或，亦可於對應於視訊流之串流描述符中記載相反側之視 之PID。例如，在第41圖之例中，可於與左眼用圖像之視訊 流對應之串流描述符儲存0 X1015作為右眼用圖像視訊流之 PID，並於與右眼用圖像之視訊流對應之串流描述符儲存0 xlOll作為左眼用圖像視訊流之PID。當描述符係左眼用圖 75 201230768 像及右眼用圖像使用視間參考以MPEG-4MVC所壓縮時， 亦可 儲存在 MVC_extension_descriptor 或 MVC_operation_point_descriptor 中。第 42 圖顯示如何再生左 眼視訊流及右眼視訊流中之各個圖片資料。 第42圖係顯示多重顯示編碼方式之用以立體視之左眼 視訊流及右眼視訊流之内部構成之一例之圖。 本圖之第2段表示左眼視訊流之内部構成。於該串流中 包含有圖片資料Π、P2、Br3、Br4、P5、Br6、Br7、P9之 圖片資料。該等圖片資料係依循解碼時間戳記(DTS)而解 碼。第1段表示左眼用圖像。藉由依循PTS，以Π、Br3、Br4、 P2、Br6、Br7、P5之順序再生如上述方法所解碼之圖片資 料II、P2、Br3、Br4、P5、Br6、Br7、P9，可再生左目艮用 圖像。本圖中，將不具有參考圖片且僅使用編碼對象圖片 進行圖片内預測編碼之圖片稱為I圖片。圖片係包含圖框及 圖場兩者之1編碼單位。又’將參考既已處理完畢之1張圖 片進行圖片間預測編碼之圖片稱為P圖片，將同時參考既已 處理完畢之2張圖片進行圖片間預測編碼之圖片稱為B圖 片，並將B圖片中受其他圖片參考之圖片稱為Br圖片。 第4段顯示右眼視訊流之内部構成。該右眼視訊流包含 有PI、P2、B3、B4、P5、B6、B7、P8之圖片資料。該等 圖片資料係依循DTS解碼。第3段顯示右眼用圖像。藉由依 循PTS以P卜B3、B4、P2、B6、B7、P5之順序再生如上述 方法所解碼之圖片資料PI、P2、B3、B4、P5、Βό、B7、 Ρ8 ’可再生右眼用圖像。但’在循序分離方式之立體視再 76 201230768

生中，係將附有相同pts之左眼用圖像及右眼用圖像之成對 中其中一方之顯示延遲PTS間隔之一半時間（以下，稱為「3D 顯示延遲」）份來顯示。 第5段顯示如何使3D眼鏡200之狀態產生變化。如該第5 段顯示可知，左眼用圖像之視聽時係關閉右眼快門，並在 右眼用圖像之視聽時關閉左眼快門。 該等左眼視訊流及右眼視訊流係藉由利用時間方向之 相關特性之圖片間預測編碼、及利用視點間之相關特性之 圖片間預測編碼所壓縮。右眼視訊流之圖片係參考左眼視 訊流之相同顯示時刻之圖片所壓縮。 例如，右眼視訊流之前頭P圖片係參考左眼視訊流之I 圖片，右眼視訊流之B圖片係參考左眼視訊流之Br圖片，右 眼視訊流之第二個P圖片係參考左眼視訊流之P圖片。 並且，將已壓縮編碼之左眼視訊流及右眼視訊流中可 以單體解碼者稱為"基視視訊流”。又，將左眼視訊流及右 眼視訊流中依據與構成基視視訊流之各個圖片資料之圖框 間相關特性所壓縮編碼且已解碼基視視訊流才可解碼之視 訊流稱為"附屬視串流"。而，基視視訊流與附屬視串流可 分別作為個別的串流而儲存或傳送，例如亦可多工成 MPEG-2TS等相同串流。 如上述利用視點間之相關之多重顯示編碼方式之壓縮 方法’有稱為多視視訊編碼(Multiview Video Coding; MVC) 之MPEG-4 AVC/H.264之修正規格。iso/IEC MPEG及ITU-T VCEG之聯合方案之聯合視訊編碼組（J〇int video Team; 77 201230768 JVT)已於2〇08年7月結束稱為多視視訊編碼（Mvc)之 MPEG-4 AVC/H_264之修正規格策定。Mvc係整合複數視點 影像加以編碼之規格，不僅可利用影像之時間方向之類似 性，亦可將視點間之類似性利用在預測編碼，故與複數視 點獨立之壓縮相較之下，更可提升壓縮效率。 而，作為本影像規格雖以傳輸流之構成為例，但該等 當然亦可以播放波傳送，且可記錄在藍光光碟、dvd、 HDD、及SD卡等資訊記錄雜中，或可利用在網際網路等 網路中之傳送。而，在藍光光碟、DVD、HDD、及sd卡等 資訊記錄舰中，存有已儲存在傳輸流中之串流屬性、記 錄有隨機存糊之表資訊之_流屬性:#訊料、或定義傳 輸流之再生區間之播放清單標案。 亦可將3D顯示資訊僅儲存在G〇p前頭之視訊存取單元 中。藉此，再Μ題須說之視訊存取單元進行 資訊解析即可，因此可減少處理負荷。而1可規定_ 存放在全部的G〇P之視訊存取單元中。藉此，即便因隨機 存取而跳過，亦可確實地取出其資訊。而，在傳輸流内， 亦可規定不可變更2D顯示資訊或3D顯示資訊。藉此，再生 裝置僅需對傳輸流之再生進行一次的資訊解析即可因此 可減少處理負荷。而，在傳輸流彼此要求無縫連接之例中， 亦可設為不可變更2D顯示f訊或犯顯示f訊。藉此，可減 少無縫連接時之處理負荷。 3D影像之再生裝置亦可提供使用者在無法正確取得 3D顯不資訊時之處理時可交互變更扣顯示資訊之功能。因 78 201230768 此’係以與3D顯示資訊同樣的方式來轉換2D顯示資訊，藉 此’在發生串流之遞送錯誤等時亦可使用2D顯示資訊來進 行3D影像之顯示。 3〇顯示資訊亦可儲存在補充資料以外之網路抽象層單 元中。此時，視訊編碼部1701係將構成L-R儲存圖像之編碼 切片及編碼上述編碼切片所需之屬性資訊，轉換成網路抽 象層單元以生成視訊存取單元，並在進行該轉換時，於上 述視訊存取單元追加有儲存3D顯示資訊之網路抽象層單 元。藉此，可將3D顯示資訊保存在視訊存取單元中。 剪裁資訊及比例化資訊只要為可控制顯示裝置並對顯 不裝置提示進行剪裁動作或比例化動作之資訊即可，因此 可為以MPEG-2視訊、及MPEG-4AVC以外之規格所規定之 資巩元素，且只要為技術上可與視同於剪裁資訊及比例化 資訊者’亦可採用其他資訊元素。 圖框互換方式除了左右並排方式、及上下排列方式以 亦可採用於圖片内之每丨列交互配置左右圖像之線交替 方式。 、 a編喝時’可於3D方式資訊之設定利用剪裁資訊之設 或"T就3D方式-貝訊定義新值。具體而言，當3d方式資 訊係=存在PMT封包中時，多工時可將3D方式資訊儲存作 為與符合餘流龍之串流描述符之—。在mpeg_4 AVC ’隋/兄下’包含3D方式資訊之串流描述符亦可儲存在AVC 現聽述符之未定義部分中。在MPEG-2的情況下，包含3D 方式貝仏_流描述符亦謂存在魏解碼㈣描述符之 79 201230768 未定義部分中。又’如上述，該3D方式資訊並非必須，視 訊編碼部11在視訊流可未儲存該3D方式資訊而僅儲存顯示 資訊，且，僅在3D顯示裝置必須了解視訊流之3D方式時， 參考該3D方式資訊。 本發明中，多工處理部亦可將3D顯示資訊儲存在個別 的檔案中。如此一來，只要將資訊儲存在串流以外的檔案 中，便容易進行爾後的資料之修正。 構成視訊存取單元之NAL單元中有幾樣並非經常需 要，可因應實際需要進行增減。例如，序列標頭僅需存於 GOP前頭之視訊存取單元，其以外之視訊存取單元中沒有 亦可。又，依編碼方式的不同，圖片標頭可參考先前的視 訊存取單元者，在本身的視訊存取單元内沒有圖片標頭亦 〇 可將2D顯示資訊與3D顯示資訊全部保存在序列標頭 中，此時，在編碼處理中係藉由於構成與視訊序列前頭對 應之L - R儲存圖像之編碼切片附加序列標頭及補充資料’將 L-R儲存圖像轉換成視訊存取單元，並於該序列標頭中儲存 2D顯示資訊與3D顯示資訊。 在為數個3D方式為預設值之顯示裝置，特別作成視訊 流時，亦可省略該3D方式資訊。 在單獨生成視訊流且沒有聲訊或字幕等其他_流時’ 可省略該多工處理部12並僅輸出已編碼之視訊流。 在第21圖之流程圖中，首先是生成2D顯示資訊接著生 成3D顯示資訊，但該兩者間並無前後順序，邡可肯先生成 80 201230768 3D顯不資訊接著生成2D顯示資訊。又，亦可將步驟Sl4分 別移行至步驟S17及步驟S19之後，並在各判定分岐時，生 成比例化資訊。不論為何種順序，只要最終可生成2D顯示 資訊及3D顯示資訊之剪裁資訊與比例化資訊即可。 又，亦可藉由將左眼用圖像或右眼用圖像中任—者以 預設選擇作為2D再生用之圖像(例如預設為左眼用圖像）， 來省略步驟S15之判定。此時，第21圖中沒有步驟S15、16、 17。 雖將L-R儲存圖像及從半hd至全HD之轉換作為—例 加以説明，但此僅為本發明之具體實施例之一，亦可作成 於轉換比不同的分割區域中儲存有左眼用圖像或右眼用圖 像之L-R儲存圖像，且，左眼用圖像或右眼用圖像之大小無 須相同，其中一方的圖像大於另一方等情況亦可。 又，3D顯示資訊之比例化資訊無須為丨倍，亦可僅在晝 面上之~部分區域儲存3D顯示用之左眼用圖像或右眼用圖 像’並於剪裁該3D顯示區後將其擴大成顯示器之螢幕大小。 雖僅於視訊序列前頭之視訊存取單元之序列標頭中設 疋D顯示資訊，但如上述，當然亦可在各視訊存取單元之 序歹】4%頭設定2d顯示資訊。 在上述實施形態1、2中雖係列舉分別將2D顯示資訊與 3D顯—-欠 •不=貝訊設定在資料流之不同位置之例加以説明，但本 發明並不限於此’ 30顯示資訊不僅可儲存在補充資料或 PMT封包中，亦可擴張序列標頭之語法儲存在保留區域 或可重新準備資料。例如，在MPEG-4 AVC的情況下可 201230768 重新定義NAL單元。關樣的理由，2D顯示資訊之儲存位 置亦不限於視訊單元之序列標頭，亦可儲存在可由顯示裝 置識別之任意位置。藉此，顯示裝置可依循儲存2〇顯示資 甙與3D顯不資訊之位置來區分或識別2D顯示資訊與顯 不資讯，藉以正確判斷為21)顯示資訊或為3D顯示資訊。 在有接㈣制左右雜方紅犯影像種既存傳 輸流時，係將序列標頭中之原本的「2D顯示資訊」改寫成 2D顯示資訊，並可藉由設為第8圖中顯示之影像規格，在犯 數位電視3GG中剪裁再生左眼用圖像或右眼用圖像中任一 者。此外’藉由改寫或追加儲存在贿封包或補充資料中 2「犯顯示資訊」或「犯方式資訊」’可在進行3D再生之 前，藉由剪裁與比例化進一步確定顯示用之區域，並使3D 再生更加柔軟而僅用全畫面之一部分來進行犯再生。 視二=發明之編碼方法中，雖係設為可以所生成之 使2D數位電視3轉左右並排方式之左眼用圖像或 數位^圖像中任一者予以比例化再生，但當使用者欲在2D 電視则中以非左右分割狀態 將2 D顯示資訊與3 D顯示資訊 宜。藉此，$ 。去全部設為相同為 成二=藉由將序列標—示資訊置換 頻亍：IT 哪一位置之顯示資訊㈣ 可簡化處理。^或聊不分_碼或再生處理， 82 201230768

作為影像規格係列舉將顯示資訊儲存到傳輪流中之構 成’然而’在細D影料，作物數位電視_用於顯 示之資訊只要是可將適用於犯數位電視扇之犯影像再生 的剪裁區或長寬比儲存在「2D顯示資訊」中，或作為犯數 位電視1〇0用於犯影像顯示之資訊只要是可將適用於3隨 位電視刚中之3D影像再生的剪裁區或長寬比儲存在「犯 顯不資訊」巾者，補可儲存在傳輸流中，例如，亦可將 顯示資訊儲存在程式串流或刪G_4系統流等中。尤其，以 MPEG-4純流儲存MPEG_4 Avc時，係將sps與串流分離 以標頭部集中管理，因此，欲對既已左右並排方式記錄之 H<_以全畫面進行2D顯示—而非以2£)再生機器將影像 予以2分割顯示一時，可僅改寫儲存在標頭部中之spS22D 顯不資訊之剪裁資訊（frame_cr〇pping)、及比例化資訊 (aspect_ratio_idc)而實現。 將影像流以串流化等方式發布時，可因應使用者的期 望，改寫並發布「2D顯示資訊/例如，將左右並排方式形 式之全HD影像内容以網路串流化再生在2£)再生裝置中之 範例如下。當使用者希望將左眼用圖像或右眼用圖像其中 一者之半HD影像予以比例化顯示於電視時，編碼部係將以 第8圖所説明之影像規格之2D顯示資訊(剪裁資訊=半HD、 比例化資訊=從半HD至全HD之升頻）加入序列標頭中予以 遞送。當使用者希望將2分割成左右並排方式之左右之全 HD影像以該形態顯示於電視時’係於2d顯示資訊設定「煎 裁資訊=全HD、比例化資訊=全HD的狀態」之資訊，並將 83 201230768 序列‘射予以遞送。並且’在兩範例中皆是將序 列杯頁X外之資6fU5：為相同。藉由如此構成可實現因應 期望之晝面顯示，且發布側僅需變更序列標頭即 可’因此可減少資料作成負荷。 產業上之可利用性 本發明之影像流可將3 D影像内容在2 D數位電視3 〇 〇中 作為2D’V像再生，並在3D數位電視100中作為3D影像再 生。藉此，不論對具有僅可再生2〇影像之再生機器之使用 者，或對具有可再生3D影像之再生機器之使用者，皆可發 同樣的3D影像内容。因此，包含在本申請中之編碼方法 發月、顯示裝置之發明、及解碼方法之發明，在電視播 玫或電影等影像發布產業及民生機器產業中具有高度的可 利用性。 t陶式簡單説明3 第1圖係說明發布左右並排方式之影像時之技術課題 之圖。 第2圖（a)〜(d)係顯示3D數位方式及2£)數位方式之利用 形態之圖 第3圖係顯示MPEG-2傳輸流形式之數位流之構成圖。 第4圖係詳細說明PMT之資料結構之圖。 第5圖（a)〜⑷係顯示視訊流之G〇p結構、及視訊存取單 疋之内部構成。 第6圖係顯示各個圖片資料轉換成PES封包之過程圖。 第7圖（a) ' (b)係顯示構成傳輸流之丁8儲存區之資料結 84 201230768 構。 第8圖係顯示如何儲存2 D顯示資訊及3 D顯示資訊之儲 存内容的具體例。 第9圖（a)、係顯示如何將左右並排方式及上下排列 方式中之L-R儲存圖像供給至顯示之顯示過程。 第10圖係顯不使用者藉由透過眼鏡來認知視聽3D區間 中之左眼用圖像及右眼用圖像之立體視圖像。 第11圖（a)、（b)係顯示MPEG-4 AVC視訊解碼器之解碼 器模型。 第12圖（a)、（b)係顯示剪裁資訊之剪裁區之指定方法。 第13圖（a)、（b)係具體顯示圖框變化之圖。 第14圖⑷〜⑷係顯示將左眼用圖像西己置在左侧之左右 並排方式中之4種佈局圖樣。 第15圖（a)、（b)係顯示上下排列方式中之2種佈局圖樣 之圖。 第16圖⑷、⑼係顯示有追加空白區之上下排列方式之 圖片資料及切片資料之關係之圖。 第17圖（a)〜⑷係顯示有假設類型制符之2D顯示用之 區域的4種類型（類型K4丨 第18圖係顯不進行傳輸流播放之播放台的内部構成。 第19圖係顯示實她r & 耳施形態1之編碼方法之處理順序之流 程圖。 第20圖係顯示實施形態1之編碼方法之處理順序之其 他例之流程圖。 85 201230768 第21圖係說明實施形態1之L-R儲存圖像與顯示資訊之 生成之流程圖。 第22圖係說明L-R儲存圖像之編碼處理之流程圖。 第23圖係說明實施形態1之多工處理之流程圖。 第24圖係顯示2D顯示裝置之内部結構之圖。 第25圖係顯示2D數位電視300之内部構成之圖。 第26圖係顯示3D顯示裝置之内部結構之圖。 第27圖係說明3D數位電視100之圖。 第2 8圖係顯示實施形態2之解碼方法之處理順序之流 程圖。 第2 9圖係詳細說明實施形態2之3 D模式顯示處理之流 程圖。 第30圖（a)、（b)係顯示實施形態3之3D顯示資訊之指定 之圖。 第31圖係顯示實施形態3之L-R儲存圖像及顯示資訊之 生成詳細之流程圖。 第3 2圖係顯示實施形態3之L - R儲存圖像之編碼順序之 流程圖。 第3 3圖係顯示構成實施形態3之L - R儲存圖像(i)之切片 資料之編碼順序之流程圖。 第3 4圖係顯示實施形態3之解碼方法之處理順序之流 程圖。 第35圖係顯示實施形態3之3D模式顯示處理之處理順 序之流程圖。 86 201230768 第36圖（a)、（b)係顯示實施形態4之3D顯示資訊之指定 之圖。 第37圖係顯示從半HD2面之視訊流及半HD2面之擴張 流獲得全HD之左眼用圖像及右眼用圖像之過程。 第38圖係顯示將左眼用圖像(A)作為基影像，且右眼用 圖像（B)、左眼差分影像（C)及右眼差分影像（D)使用如 MPEG-4AVC之視間參考來進行壓縮之過程。 第3 9圖係顯示從2 D影像及深度圖生成左眼用圖像及右 眼用圖像之視差圖像之示意例。 第40圖係說明將2D顯示資訊及3D顯示資訊適用在深 度圖時之適用例之圖。 第41圖係將左眼用圖像及右眼用圖像作為個別的視訊 流儲存在1條傳輸流中之形態。 第42圖係顯示用以多重顯示編碼方式之立體視的左眼 視訊流及右眼視訊流之内部構成之一例之圖。 【主要元件符號說明】

1---TB 2…MB 3…EB

4…解碼器核心 5...DPB 6…定標器 7···視訊平面 8···顯示處理部 87 201230768 11···視訊編碼部 12…多工處理部 13…資料儲存方法決定部 14…使用者介面 21…調諧器 22…NIC(網路介面卡） 23、23+…解多工部 24…影像解碼部 25、 25+.·.顯示處理部 26、 26+…顯示部 27…圖框緩衝器(1) 28…圖框緩衝器(2) 29…字幕解碼部 30…OSD作成部 31···加法部 32…語音解碼部 33…味 34、34H —使用者介面部 40…模式記憶部 41-..3D轉換處理部 42…圖框緩衝器(L) 43…圖框緩衝器(R) 44…開關 57…視訊解碼器 201230768 100···3ϋ數位電視 110... 3D顯示裝置 200· “3D 眼鏡 300…2D數位電視 310—2D顯示裝置 401···資料作成裝置 402…發送部 501…圖片資料列 502、 505…PES封包列 503、 506、509…TS封包列 504…聲訊信號 508···功能對話列 wl、w2、w3、w4…框 yyl、yy2、yy3、yy4 ' yal、ya2、ybl、yb2、ycl、yc2...箭頭 SI〜S5、S10~S20、S21 〜S28、S41 〜S43、S52〜S60、S71 〜S76、 S110〜S120 、 S123〜S129 、 S130〜S139 、 S151〜S161 、 S171〜S177…步驟 89

Claims (1)

1. 201230768 七、申請專利範圍： 1· 一種編碼方法，其特徵在於包含： 生成步驟’生成第1顯示資訊及第2顯示資訊，前述 第1顯示資訊係於分割晝面區域所獲得之分割區域之各 個分割區域中儲存有左眼用圖像及右眼用圖像之圖片 資料中，包含將第1畫面區域指定作為剪裁區之剪裁資 訊者，前述第2顯示資訊係包含將第2晝面區域指定作為 剪裁區之剪裁資訊者；及， 編碼步驟，編碼原圖像，獲得包含複數之前述圖片 育料、與前述第丨顯示資訊及前述第2顯示資訊之視訊 流。 2.如申請專利範圍第！項之編碼方法，其中前述第i晝面區 域係與削述左眼用圖像或前述右眼用圖像其令一方對 應之晝面區域之-部或全部，前述第2畫面區域係與前 述左眼闕像對應之畫面區域之—部或全部、及與前述 右眼用圖像對應之畫面區域之—部或全部，又，使用前 述第1顯示資訊中之剪裁資訊，指定用於2D顯示之畫面 區域，並使用前述第2顯示資訊中之剪裁資訊指定用 於3D顯示之畫面區域。 3.如申請專利範圍第丨項 兩碼方法，其中前述第1畫面區 域係與前述左眼用圖像對應 應<畫面區域之一部或全 部，前述第2畫面區域係與前诫 眼用圖像對應之晝面 區域之一部或全部，又，使用 使用則迷第1顯示資訊中之剪 裁資訊及前述第2顯示資訊中之前 I <哥裁-貝汛雙方，指定用 90 201230768 於3D顯示之畫面區域，並使用前述第1顯示資訊中之剪 裁資訊及前述第2顯示資訊中之剪裁資訊任一方，指定 用於2D顯示之畫面區域。 4. 如申請專利範圍第3項之編碼方法，其中前述圖片資料 在以將畫面區域分割成上下所獲得之分割區域的各個 分割區域中，儲存有左眼用圖像及右眼用圖像。 5. 如申請專利範圍第1項之編碼方法，其中前述第1顯示資 訊及前述第2顯示資訊在以剪裁資訊所指定之剪裁區中 還包含用以施加比例化之比例化資訊。 6. 如申請專利範圍第1項之編碼方法，其中前述編碼步驟 包含以下子步驟： 將序列標頭及補充資料附加到複數之前述圖片資 料中構成與視訊序列前頭對應之圖片資料的編碼切片 中，藉以將圖片資料轉換為存取單元的子步驟；及， 將補充資料附加到複數之前述圖片資料中構成與 視訊序列前頭以外對應之圖片資料的編碼切片中，藉以 將圖片資料轉換為存取單元的子步驟； 且前述第1顯示資訊與前述第2顯示資訊之其中一 方係儲存在序列標頭中，另一方係儲存在補充資料中。 7. 如申請專利範圍第1項之編碼方法，其中前述編碼步驟 包含將構成前述圖片資料之編碼切片及用以解碼前述 編碼切片所需之屬性資訊轉換為網路抽象層單元，生成 存取單元的子步驟，又，對應於上述轉換，於前述存取 單元中追加儲存有前述第1顯示資訊及前述第2顯示資 91 201230768 訊之其中一方之網路抽象層單元。 8. 如申請專利範圍第1項之編碼方法，其中前述編碼步驟 包含將序列標頭及補充資料附加到複數之前述圖片資 料中構成與視訊序列前頭對應之圖片資料的編碼切 片，藉以將圖片資料轉換為存取單元的子步驟，又，前 述序列標頭中儲存有前述第1顯示資訊及前述第2顯示 資訊。 9. 如申請專利範圍第1項之編碼方法，其中前述編碼方法 還包含多工步驟，該多工步驟係進行包含視訊流之2以 上之基本流的多工，而獲得傳輸流， 在前述多工步驟中，係進行下列處理，即：將包含 複數之前述圖片資料的視訊流、及有關視訊流之串流管 理資訊轉換為傳輸流封包列，並與其他基本流進行多 工， 前述第1顯示資訊及前述第2顯示資訊之其中一方 係配置在有關前述視訊流之串流管理資訊。 10. 如申請專利範圍第9項之編碼方法，其中有關前述視訊 流之串流管理資訊係數位播放系統中之程式管理表 PMT、事件資訊表EIT、及服務資訊表SIT之其中一者。 11. 如申請專利範圍第9項之編碼方法，其中前述編碼步驟 包含將補充資料附加到構成前述圖片資料之編碼切片 中，藉以將前述圖片資料轉換為存取單元的子步驟， 在前述編碼步驟之子步驟中，決定是否將3D顯示資 訊儲存至前述補充資料，當決定不將3D顯示資訊儲存至 92 201230768 補充資料時，在前述多工步驟中將3D顯示資訊儲存至有 關前述視訊流之串流管理資訊。 12. —種顯示裝置，其係輸入視訊流並進行顯示處理者，其 特徵在於： 前述視訊流包含複數圖片資料及顯示資訊， 且，各前述圖片資料在分割晝面區域所獲得之分割 區域之各個分割區域中’儲存有左眼用圖像及右眼用圖 像， 前述顯示資訊有2D顯示資訊及3D顯示資訊，該兩 者分別包含圖片資料中指定用於顯示之剪裁區之剪裁 資訊、及用以對前述剪裁區施加比例化之比例化資訊， 前述3D顯示資訊中之剪裁資訊係將用於3D顯示之 晝面區域指定作為剪裁區， 且，前述2D顯示資訊中之剪裁資訊係將左眼用圖像 及右眼用圖像中用於2D顯示之晝面區域指定作為剪裁 區， 前述顯示裝置具備： 一次圖框緩衝部； 二次圖框緩衝部； 解碼部，解碼壓縮圖片資料並將非壓縮圖片資料寫 入一次圖框緩衝部中；及， 顯示處理部，對儲存在一次圖框緩衝部中之非壓縮 圖片資料，施加依照前述顯示資訊之顯示處理，並將處 理結果寫入二次圖框緩衝器中； S 93 201230768 前述顯示處理部係依照前述2D顯示資訊内之剪裁 資訊，讀出儲存在一次圖框缓衝部之圖片資料中指定作 為剪裁區之部分，依照前述2 D顯示資訊内之比例化資訊 施加比例化轉換並寫入二次圖框緩衝部中。 13. —種顯示裝置，其係輸入視訊流並進行顯示處理者，其 特徵在於： 前述視訊流包含複數圖片資料及顯示資訊， 各前述圖片資料在分割畫面區域所獲得之分割區 域之各個分割區域中，儲存有左眼用圖像及右眼用圖 像， 前述顯示資訊有2D顯示資訊及3D顯示資訊，該兩 者分別包含圖片資料中指定用於顯示之剪裁區之剪裁 資訊、及用以對前述剪裁區施加比例化之比例化資訊， 前述3D顯示資訊中之剪裁資訊係將用於3D顯示之 晝面區域指定作為剪裁區， 且，前述2 D顯示資訊中之剪裁資訊係將左眼用圖像 及右眼用圖像中用於2D顯示之晝面區域指定作為剪裁 區， 前述顯示裝置具備： 一次圖框緩衝部； 二次圖框緩衝部； 解碼部，解碼壓縮圖片資料並將非壓縮圖片資料寫 入一次圖框緩衝部中； 顯示處理部，對儲存在一次圖框緩衝部之非壓縮圖 94 201230768 片資料’施加依照前述顯示資訊之顯示處理，並將處理 結果寫入二次圖框緩衝器中； 模式記憶部，在有2D再生模式及3D再生模式之顯 示模式中記憶現行(current)顯示模式； 3D轉換處理部，對儲存在二次圖框緩衝部中之圖片 資料進行3D轉換處理； 左眼用圖框緩衝部，寫入左眼用圖像；及， 右眼用圖框緩衝部，寫入右眼用圖像； 前述顯示處理部在現行顯示模式為3D再生模式的 情況下，係先於2D顯示資訊優先參照3£)顯示資訊，並 依照前述3D顯示資訊内之剪裁資訊，讀出儲存在一次圖 框緩衝部之圖片資料中指定作為剪裁區之部分，依照前 述3D顯示資訊内之比例化資訊施加比例化轉換並寫入 二次圖框緩衝部中。 14 一種解碼方法，其係解碼視訊流並進行顯示處理者，其 特徵在於： 前述視訊流包含複數圖片資料及顯示資訊， 各前述圖片資料在分割畫面區域所獲得之分割區 域之各個分割區域中’儲存有左眼關像及右眼用圖 像， 前述顯示資訊有2D顯示資訊及_員示資訊，該兩 =分別包含圖片資料中指定用於顯示之剪裁區之剪裁 資訊、及用以對前述剪裁區施加比例化之比例化資訊， 前述犯顯示資訊中之剪裁資訊係將用於3D顯示之 95 201230768 晝面區域指定作為剪裁區， 且，前述2 D顯示資訊中之剪裁資訊係將左眼用圖像 及右眼用圖像中用於2D顯示之畫面區域指定作為剪裁 區， 前述解碼方法包含： 解碼步驟，解碼壓縮圖片資料並將非壓縮圖片資料 寫入一次圖框緩衝部中；及， 顯示處理步驟，可對儲存在一次圖框緩衝部中之非 壓縮圖片資料，施加依照前述顯示資訊之顯示處理，並 將處理結果寫入二次圖框緩衝部中； 在前述顯示處理步驟中，係依照前述2 D顯示資訊内 之剪裁資訊，讀出儲存在一次圖框缓衝部之圖片資料中 指定作為剪裁區之部分，依照前述2D顯示資訊内之比例 化資訊施加比例化轉換並寫入二次圖框緩衝部中。 15.—種解碼方法，其係解碼視訊流並進行顯示處理者，其 特徵在於： 前述視訊流包含複數圖片資料及顯示資訊， 各前述圖片資料在分割晝面區域所獲得之分割區 域之各個分割區域中，儲存有左眼用圖像及右眼用圖 像， 前述顯示資訊有2D顯示資訊及3D顯示資訊，該兩 者分別包含圖片資料中指定用於顯示之剪裁區之剪裁 資訊、及用以對前述剪裁區施加比例化之比例化資訊， 前述3D顯示資訊中之剪裁資訊係將用於3D顯示之 96 201230768 畫面區域指定作為剪裁區， 且，前述2 D顯示資訊中之剪裁資訊係將左眼用圖像 及右眼用圖像中用於2D顯示之畫面區域指定作為剪裁 區， 前述解碼方法包含： 解碼步驟，解碼壓縮圖片資料並將非壓縮圖片資料 寫入一次圖框緩衝部中； 讀出步驟，讀出記憶在模式記憶部中並有2D再生模 式及3D再生模式之顯示模式； 顯示處理步驟，對儲存在一次圖框緩衝部中之非壓 縮圖片資料，施加依照前述顯示資訊之顯示處理，並將 處理結果寫入二次圖框緩衝部中；及， 3D轉換處理步驟，對儲存在二次圖框緩衝部中之圖 片資料進行3D轉換處理，並將左眼用圖像寫入左眼用圖 框緩衝部中、將右眼用圖像寫入右眼用圖框緩衝部中； 在前述顯示處理步驟中，當現行顯示模式為3D再生 模式時，係先於2D顯示資訊優先參照3D顯示資訊，並 依照前述3D顯示資訊内之剪裁資訊，讀出儲存在一次圖 框緩衝部之圖片資料中指定作為剪裁區之部分，依照前 述3 D顯示資訊内之比例化資訊施加比例化轉換並寫入 二次圖框緩衝部中。 97