TW201143444A - Image transmission method, image reception method, image transmission apparatus, image reception apparatus, and image transmission system - Google Patents

Description

201143444 六、發明說明： 【發明所屬之技術領域】 本發明係有關於影像送訊方法、影像收訊方法影像 送訊裝置、影像收訊裝置、及影像傳輸系統。 【先前技術】 先前，例如下記的專利文獻中所記載，將具有視差的 左眼用θ像及右眼用影像以所定週期交互地供給至顯示器 ，以具備有同步於所定週期而驅動之液晶快門的眼鏡來觀 察該影像的方法，係爲人所知。 又’現行的數位播送中，電子節目表或資料播送等之 服務已被運用’可隨者使用者希望而接受通常映像與聲音 以外的服務。 [先前技術文獻] [專利文獻] [專利文獻1]日本特開平9-138384號公報 [專利文獻2]日本特開2000-36969號公報 [專利文獻3]日本特開2003-45343號公報 【發明內容】 [發明所欲解決之課題] 於此種狀況下，即使在通常節目中，也希望對映像與 聲音賦予新的附加價値而謀求更充實的服務。爲了對映像 201143444 賦予附加價値，考慮將通常之映像（以下稱作通常視聽用 動態影像）之外另行發送具有附加價値之映像（以下稱作 附加資訊動態影像），在收訊側係使用通常視聽用動態影 像與附加資訊動態影像’進行具有高附加價値的動態影像 提示。 以通常視聽目的而被製作的通常視聽用動態影像，連 同爲了提升內容附加價値而發送附加資訊動態影像時，雖 然有通常視聽用動態影像與附加資訊動態影像係各自被編 碼而傳輸、分別被解碼而進行動態影像提示的方法，但在 此情況下，在收訊裝置側就必須要進行2種的解碼，若搭 載2個解碼器，則收訊裝置本身的價格就會上揚。 另一方面，若通常視聽用動態影像與附加資訊動態影 像是收容在單一畫面內，則由於通常視聽用動態影像與附 加資訊動態影像是被一起編碼，因此可用單一的編碼器就 能進行編碼，並且可用單一的解碼器就能將通常視聽用動 態影像與附加資訊動態影像予以解碼。可是’在收訊裝置 的輸出時，通常視聽用動態影像與附加資訊動態影像就會 被一直顯示，變成與送訊側原本意圖之通常視聽用動態影 像不同的顯示方式。 例如，考慮傳輸了二眼立體收視動態影像’來作爲對 通常映像賦予高附加價値之映像的情形。此時只要考慮成 ，把單眼影像想成通常視聽用動態影像，而將另—方之單 眼動態影像當作附加資訊動態影像而發送即可。 其結果爲，在無法進行二眼立體收視的先前型的收訊 -6- 201143444 裝置上’就會如圖28、圖29所示，通常視聽用動態影像 與附加資訊動％影像是在同一畫面上往縱方向或橫方向縮 窄然後被同時並排顯示。由於二眼立體收視時的左右動態 影像中內容的差異很少，因此在無法進行二眼立體收視的 收訊裝置上，與其圖28、圖29所示，不如像是圖30那 樣僅單眼動態影像（通常視聽用動態影像）以正確縱橫比 來視聽，較爲理想。 於是，本發明係有鑑於上述問題而硏發，本發明的目 的在於，於動態影像傳輸中，提供一種使得現行的送訊. 收訊裝置之變更能被抑制在最小限度而可將通常視聽用的 動態影像連同附加資訊動態影像一起傳輸的新穎且改良過 的影像送訊方法、影像收訊方法、影像送訊裝置、影像收 訊裝置、及影像傳輸系統。 [用以解決課題之手段] 爲了解決上述課題，若依據本發明之某一觀點，則可 提供一種影像送訊方法，其係具備：將通常視聽用動態影 像與附加資訊動態影像是被配置在1畫格上而成的整合影 像，予以壓縮之步驟；和將用來表示通常視聽用影像之領 域的領域資訊，予以編碼之步驟；和將用來表示有附加資 訊動態影像存在之事實的存在資訊，予以編碼之步驟；和 將前記整合影像、前記領域資訊及前記存在資訊，予以發 送之步驟。 又，亦可爲，前記存在資訊，係含有用來指定附加資 201143444 訊動態影像之種類的資訊。 又’亦可含有用來指定是否爲複數眼立體收視用時所 使用之動態影像的資訊，來作爲前記附加資訊動態影像之 種類。 又，亦可爲，前記存在資訊，係含有用來表示前記附 加資訊動態影像之領域的領域資訊，或前記附加資訊動態 影像的長寬比。 又，亦可爲，前記存在資訊，係含有用來指定前記附 加資訊動態影像使用時的前記通常視聽用動態影像之影像 領域的資訊。 又，爲了解決上述課題，若依據本發明之另一觀點， 則可提供一種影像收訊方法，其係具備：將從送訊側所送 過來的、通常視聽用動態影像與附加資訊動態影像是被配 置在1畫格上而成的整合影像，予以解壓縮之步驟：和將 連同前記整合影像一起從送訊側所送過來的用來表示前記 通常視聽用動態影像之領域的領域資訊，予以解碼之步驟 ;和將連同前記整合影像一起從送訊側所送過來的用來表 示有前記附加資訊動態影像存在的存在資訊，予以解碼之 步驟；和基於前記領域資訊來指定前記通常視聽用動態影 像之領域而進行顯示之步驟；和基於前記存在資訊而辨識 出前記附加資訊動態影像之存在’而將前記附加資訊動態 影像予以顯示之步驟。 又，爲了解決上述課題，若依據本發明之另一觀點， 則可提供一種影像送訊裝置’其係具備：壓縮部，係將通 -8 - 201143444 常視聽用動態影像與附加資訊動態影像是被配置在1畫格 上而成的整合影像，予以壓縮；和領域資訊編碼部，係將 用來表示通常視聽用影像之領域的領域資訊，予以編碼； 和存在資訊編碼部’係將用來表示有附加資訊動態影像存 在之事實的存在資訊’予以編碼；和送訊部，係將已被編 碼之整合影像、領域資訊及存在資訊’予以發送。 又，爲了解決上述課題’若依據本發明之另一觀點， 則可提供一種影像收訊裝置’其係具備：解壓縮部’係將 從送訊側所送過來的、通常視聽用動態影像與附加資訊動 態影像是被配置在1畫格上而成的整合影像，予以解壓縮 ;和領域資訊解碼部，係將連同前記整合影像一起從送訊 側所送過來的用來表示前記通常視聽用動態影像之領域的 領域資訊，予以解碼；和存在資訊解碼部，係將連同前記 整合影像一起從送訊側所送過來的用來表示有前記附加資 訊動態影像存在的存在資訊，予以解碼；和影像輸出部， 係基於前記領域資訊來指定前記通常視聽用動態影像之領 域而加以輸出，並且基於前記存在資訊而辨識出前記附加 資訊動態影像之存在’而將前記附加資訊動態影像予以輸 出。 又，爲了解決上述課題，若依據本發明之另一觀點， 則可提供一種影像傳輸系統，其係具備影像送訊裝置和影 像收訊裝置，其中影像送訊裝置係具有：壓縮部，係將通 常視聽用動態影像與附加資訊動態影像是被配置在1畫格 上而成的整合影像，予以壓縮：和領域資訊編碼部，係將 -9- 201143444 用來表示通常視聽用影像之領域的領域資訊，予以編碼； 和存在資訊編碼部，係將用來表示有附加資訊動態影像存 在之事實的存在資訊’予以編碼；和送訊部’係將已被編 碼之整合影像、領域資訊及存在資訊’予以發送；影像收 訊裝置係具有：解壓縮部’係將從送訊側所送過來的、通 常視聽用動態影像與附加資訊動態影像是被配置在1畫格 上而成的整合影像，予以解壓縮；和領域資訊解碼部，係 將連同前記整合影像一起從送訊側所送過來的用來表示前 記通常視聽用動態影像之領域的領域資訊，予以解碼；和 存在資訊解碼部，係將連同前記整合影像一起從送訊側所 送過來的用來表示有前記附加資訊動態影像存在的存在資 訊，予以解碼；和影像輸出部，係基於前記領域資訊來指 定前記通常視聽用動態影像之領域而加以輸出，並且基於 前記存在資訊而辨識出前記附加資訊動態影像之存在，而 將前記附加資訊動態影像予以輸出。 [發明效果] 若依據本發明，則於動態影像傳輸時，可使得現行的 送訊·收訊裝置之變更能被抑制在最小限度而可將通常視 聽用的動態影像連同附加資訊動態影像一起傳輸。 【實施方式】 以下，一邊參照添附圖面，一邊詳細說明本發明的理 想實施形態。此外，於本說明書及圖面中，對於實質上具 -10- 201143444 有相同機能構成的構成要素，係標示同一符號以省略重複 說明。 此外，說明是按照以下順序進行。 1 第1實施形態（複數任意影像的傳輸例子） 2 ·第2實施形態（對立體收視影像的適用） 〔1.第1實施形態〕 首先，關於本實施形態所述之系統的槪念，根據圖面 來說明之。此處是以高爾夫轉播之內容爲例，說明將不使 用二眼立體收視來作爲附加資訊動態影像的動態影像進行 傳輸的情形。此外，高爾夫轉播之內容係僅爲例示而已， 本發明的適用範圍係不限於高爾夫轉播。 圖1係圖示了通常視聽用動態影像與附加資訊動態影 像是被表示在1畫面中之狀態，圖中的數字係表示像素數 。此處，作爲一例，說明對於果嶺周遭的狀況，採用本實 施形態之手法的情形。通常視聽用動態影像，係爲通常的 高爾夫轉播中所進行的動態影像，係爲對應於現行之節目 內容（本篇）的動態影像。另一方面，附加資訊動態影像 係爲獨立於通常視聽用動態影像的個別之動態影像，藉由 提供著以不同於通常視聽用動態影像之觀點所作成的動態 影像，以謀求節目內容的充實。 例如，如圖1所示，若在通常視聽用動態影像裡顯示 果嶺上的映像，則在附加資訊動態影像則使用了讓人了解 該果嶺之傾斜或凹凸等之動態影像或已經進洞取球的其他 -11 - 201143444 球員進入監視器的表情之動態影像等，使用者就可多角度 地捕捉映像的場面。又，若通常視聽用動態影像是球員走 在短草區的映像，則作爲附加資訊動態影像係可考慮使用 剛才開球的重現影像、或顯示著圖庫的動態影像。 <整合動態影像> 在本實施形態中，爲了減少從現行的動態影像壓縮解 壓縮手段所作的變更，而將通常視聽用動態影像與附加資 訊動態影像配置在1畫格（或圖場）上’以1個動態影像 (以下記載作整合動態影像）的方式而進行壓縮解壓縮處 理。 圖1中係圖示了，映有球跑到果嶺上的通常視聽用之 動態影像、和從上方觀看球洞全體的動態影像、及用來解 說果嶺傾斜的動態影像被配置在1畫格上之情況下的整合 動態影像的1道格。此外，即使把畫格（frame )換成圖 場（field )，本實施形態的有效性依然不變。 圖2中係將圖1之配置資訊以表格來表示》圖2係將 整合動態影像的大小設成1 920x1 080像素’將整合影像的 左上座標設作（〇，〇)時’各個動態影像的配置資訊。通 常視聽用動態影像’係由於是從左上方貼上’因此左上端 點係爲（〇，〇)。又’通常視聽用動態影像本身係爲在寬 度方向（水平方向）縮小一半的影像’寬X高係爲96〇x 1 0 8 0像素。由於有被縮小’因此樣本長寬比係爲2 : 1 ^ 另一方面，附加資訊動態影像係爲720x480像素的影像尺 -12- 201143444 寸，是想定1 6 : 9之畫面而被作成的動態影像爲基礎而想 定，因此樣本長寬比係爲40 : 3 3。此處，2個附加資訊動 態影像的領域長寬比並無必要特別一致，附加資訊動態影 像也不限定於2個。 <現行播送> 說明在現行的數位播送系統中傳輸上記整合動態影像 的情形。在現行的數位播送系統中，是藉由稱作MPEG2-TS ( transport stream)的封包多工化方式，將動態影像連 同聲音一起加以編碼而傳輸。作爲動態影像的編解碼器（ codec )係以 MPEG2 VIDEO ' Η.264 ( AVC )爲主流，動 態影像係藉由這些編解碼器而被壓縮然後傳輸。 <送訊裝置之構成> 圖22係本實施形態所述之送訊裝置100的區塊圖。 如圖22所示，送訊裝置1 〇〇係具備：動態影像壓縮部 1 02、通常視聽用動態影像領域編碼部1 04、附加資訊動 態影像存在資訊編碼部106。對圖22之送訊裝置100的 輸入係爲，將通常視聽用動態影像與附加資訊動態影像予 以整合而成的整合動態影像、通常視聽用動態影像之整合 動態影像內的領域與長寬比、附加資訊動態影像之種類與 (送訊收訊間尙未事前取決時的）領域、附加資訊動態影 像使用時的通常視聽用動態影像的整合動態影像內之領域 (送訊收訊間尙未事前取決時），輸出則爲這些所被編碼 -13- 201143444 而成的串流。此外，圖23係表示既存之送訊裝置’既存 之送訊裝置係不具備編碼資訊動態影像存在資訊編碼部 106，這點是和圖22的送訊裝置100有所不同。圖22及 圖23中所示之構成，係可由電路等之硬體、或由中央處 理裝置（CPU )和使用來使其發揮機能之程式（軟體）所 構成。這在後述的收訊裝置中也同樣如此。 <整合動態影像之壓縮與通常視聽用動態影像的領域編碼> 在本實施形態中，將如圖1般配置的整合動態影像， 以動態影像壓縮部102用既存之編解碼器進行動畫壓縮。 再者，在圖2的配置資訊當中，將通常視聽用動態影像的 樣本長寬比以及領域加以表示的資訊（左上端點' 寬度高 度），係藉由通常視聽用動態影像領域編碼部1 04使用既 存之編解碼器的編碼方法而進行編碼。 首先，關於通常視聽用動態影像的樣本長寬比，係例 如若動態影像的編解碼器是H. 264，則使用位於SPS內的 VUI ( Video usability information )內的 aspect_ratio_idc 、sar_width、 sar_height 而加以指定。 在圆2中雖然存在有複數個樣本長寬比，但爲了使通 常視聽用動態影像以正確的縱橫比顯示，而會使用通常視 聽用動態影像的樣本長寬比。在圖2的情況中，由於通常 視聽用動態影像的樣本長寬比係爲2 : 1，因此上述 sar_width、sar_height的設定係不需要，只要指定 aspect_ratio_idc=16 即可。 -14- 201143444 又，通常視聽用動態影像之領域的資訊’係當作整合 動態影像中的通常視聽用動態影像之切出領域’而加以編 碼。例如，若動態影像的編解碼器是H.264 ’則使用位於 SPS (序列參數集）內的 frame_crop一left-Offset、 frame_crop_right_offset 、 frame 一 crop_top_〇ffset 、 frame_crop_bottom_offset，當作用以從整合動態影像內 切出通常視聽用動態影像的crop參數而加以設定。 crop參數與所被切出之領域的矩形領域，係帶有如下 關係。使用圖3所示的SubWidthC、SubHeightC， 左上端點的座標（xs，ys )係爲： xs=SubWi dthC * frame_crop_left_of f s e t ys=SubHe i ghtC * (2—frame _mbs_ only —flag) * frame _ crop— top_offset 所表示。 右下端點的座標（xe, ye )係爲： xe = Pi cWi dthlnSaml es — (SubWidthC * frame _ crop_ right _offset + 1 ) y e = 1 6 * FrameHe i ght InMbs —(SubHeightC * (2—frame __mbs _ on I y — flag) * frame __ crop — botto m— o f f s e t + 1 ) 所表示。 chroma_format_idc、frarne_mbs_only_flag，係皆爲 位於H.264的SPS內的參數。 -15- 201143444 在現行播送中，由於chroma_format_idc係爲 1 ’因 此 SubWidthC = 2、SubHeightC = 2。frame_mbs_only_flag 係爲用來表示要以畫格單位還是圖場單位來進行動態影胃 壓縮的旗標。 圖1係畫格內之配置的圖示，是以畫格單位進行壓縮 ，設frame_mbs_only_flag=l而繼續說明。以圖場單位進 行壓縮時，只要設成 frame_mbs_only_flag = 0來計算即可 ，本實施形態係在以圖場單位進行壓縮時仍爲有效。 根據以上，xs，xe，ys, ye係爲： x s = 2 * frame _crop— left—offset y s = 2 * frame _ crop_ top — offset xe = Pi cWi dth I nSaml es —(2 * frame — crop— right _offset + 1) y e = 1 6 * FrameHe ί ght I nMbs — (2 * frame — crop — bottom— offset + 1) 因此，所被切出之影像的寬W、高h係爲： w = Pi cWi d th I nSaml es — 2 * frame_cr op— left—offset — 2 * frame —crop—r i g h t 一offset h = 1 6 * FrameHe i ght I nMbs 一 2 * f r a m e — crop— top_offset — 2 * frame_c rop—bottom_offset 將圖1的通常視聽用動態影像作切出的參數，係由於 整合動態影像的寬度而爲PicWidthInSamples= 1 920’整合 動態影像的高度係爲1080 ’並非16的倍數’因此爲16 * 心、 -16- 201143444 F r a m e H e i g h 11 η M b s = 1 〇 8 8 ° 再來，因爲通常視聽用動態影像的xs=0、ys=0、 w = 96 0、h= 1 080，所以 frame _crop __ \ e ^ —offset—0 frame — c r o p t 〇 P_of fset=0 f rame —crop一r ί ght—of fset=480 frame_crop __ bottom_offset — 8 只要如此設定即可。 如以上，只要指定通常視聽用動態影像的樣本長寬比 以及配置資訊，來進行H.264的編碼處理’則將已被編碼 之串流直接解碼，通常視聽用動態影像就會從整合動態影 像中被切出，以正確的縱橫比而顯示。 雖然上記係爲Η · 2 6 4中的通常視聽用動態影像的樣本 長寬比以及配置資訊的編碼’但在MPEG2 VIDE0中也是 可同樣地編碼。關於樣本長寬比’係在序列標頭內有 aspect_ratio_information，藉由樣本長寬比或顯不器長寬 比，就可進行參數設定。 樣本長寬比係表示剛解壓後的像素的縱橫比’顯示器 長寬比係表示在顯示時的縱橫比。 圖2的通常視聽用動態影像的樣本長寬比係爲2 : 1 ’係表示像素的寬度是高度的2倍。因此，爲了正確'進行 顯示，要將96〇χ 1 08 0的影像往橫方向拉長2倍而以 1920M080顯示。顯示器長寬比係爲顯示的1920M080的 縱橫比，因此係爲1920: 1080=16: 9。該16: 9係藉由 設成 aspect_ratio_information = 3 就可指定。 -17- 201143444 關於一方之領域切出，係可藉由序列顯示器擴充標頭 內的 display_vertical_size、display_horizontal_size，就 能指定所切出之寬度高度。藉由圖像顯示器擴充標頭內的 frame_centre_horizontal_offset 、 frame_centre_vertical_ offset，就可指定切出部分的中心與原本影像中心的偏置 。藉由這些參數，就可將通常視聽用動態影像的樣本長寬 比以及配置資訊加以編碼。只不過，在ITU-T.Rec.H.262 的描述中，這些參數是與pan scan並列描述，有時候’ 隨著播送規格而有可能無法自由地作參數設定。關於 H. 2 64，crop之參數係可獨立於pan scan而個別設定，因 此沒有涉及P a n s c a η的參數限制。 即使是其他的編解碼器，若帶有在動態影像之解壓縮 後進行切出用的參數，則可使用其來當作本發明的通常視 聽用動態影像之樣本長寬比以及配置資訊之指定。 接著說明，圖22所示之送訊裝置1〇〇的附加資訊動 態影像存在資訊編碼部1 06中進行編碼的附加資訊動態影 像存在資訊。 <附加資訊動態影像存在資訊> 在圖1的例子中，除了通常視聽用動態影像以外’還 傳輸著附加資訊動態影像1、2這2個附加資訊動態影像 。這些附加資訊動態影像，係作爲節目上的補足動態影像 而爲有效的動態影像，但與其一直被顯示，不如考慮成隨 應於使用者的喜好而顯示的動態影像’比較合適。 -18· 201143444 在圖1的例子中，對於主畫面的果嶺，將從相同視點 來表示其起伏的動態影像，和從球洞全體上空鳥瞰的動態 影像，當作補足動態影像而配置在整合動態影像中進行傳 輸。 附加資訊動態影像存在資訊，係爲表示「是否有這些 補足動態影像存在？」、「若存在，則寬度高度·位置、 樣本長寬比爲何？」「甚至，在使用這些補足動態影像之 際，要將通常視聽用動態影像的切出領域如何處理？」的 資訊。 在圖1及圖2的例子中，附加資訊動態影像的寬度、 高度 '樣本長寬比，係和通常視聽用動態影像的不同。 此處係想定了，附加資訊動態影像的寬度高度、樣本 長寬比、附加資訊動態影像使用時的通常視聽用動態影像 之切出領域，係沒有事先在送訊者與收訊者之間作好取決 之情形。 <以H.264規格的SEI來傳輸附加資訊動態影像存在資訊 的情形> 在 H.264 規格中係有一種稱作 Supplemental enhancement information ( SEI )的輔助資訊之描述方法 。在SEI中係描述，解碼之際的輸出入緩衝區內之資料的 保持時間或隨機存取時進行解碼之重點的提示等之資訊。 在本實施形態中係說明，藉由新增追加了附加資訊動 態影像SEI，就可將本實施形態的附加資訊動態影像存在 -19- 201143444 資訊加以傳輸的例子。 圖7係表示附加資訊動態影像SEI之階層，作爲SEI 的sei_message，係指定了附加資訊動態影像使用時的通 常視聽用動態影像之切出開始位置、寬度、高度、附加資 訊動態影像之種類、附加資訊動態影像數、各個附加資訊 動態影像的切出開始位置、寬度高度、樣本長寬比。 在本實施形態中被新增追加的SEI，係在文法上是遵 照H.2 64的文法規則而作成。因此，雖然在既存之收訊裝 置上無法解讀，但藉由略過讀取就可執行後續的處理。圖 33係將H.264當作編碼器而使用，並使用附加資訊動態 影像SEI時的送訊裝置1〇〇之處理流程圖。首先，根據整 合動態影像上的通常視聽用動態影像之位置與寬度、高度 ，將所算出的 H.264 之 crop parameter、和 aspect_ratio_ idc(若有需要則也會用到sar_width、sar_height)，設定 至編碼器（步驟S100)。 接著，將附加資訊動態影像使用時的通常視聽用動態 影像之切出開始位置、寬度、高度、附加資訊動態影像之 種類、樣本長寬比、左上端點、根據寬度高度所求出的附 加資訊動態影像之切出開始位置、寬度高度，當作附加資 訊動態影像SEI而設定至編碼器（步驟S102 )。然後將 整合動態影像進行了整合動態影像之影像尺寸等編碼器設 定後，將整合動態影像予以編碼（步驟S 1 04 )。當以數 位播送系統進行傳輸時，藉由MPEG2-TS進行多工化，就 可取得傳輸用之串流（步驟S1 06)。 -20- 201143444 此外，在圖7的指定時，通常視聽用動態影 資訊動態影像之配置，可藉由切出開始位置以及 度來指定，但配置亦可以H.264的crop領域之 等其他的方法，來指定配置。 SEI係爲 H.264規格中的傳輸描述，例； MPEG2 video則使用USER_DATA等，若是具有 針對動態影像壓縮解壓縮處理之輔助資訊的手段 器，則藉由新增追加用來傳輸輔助資訊之描述， 之。 在既存之收訊裝置（已經在市場上販售中的 置）上，雖然該被新增追加的附加資訊動態影像 法解讀，但可藉由略過讀取，就能使處理繼續進 係想定了，在既存之收訊裝置上，略過讀取附加 影像SEI而進行收訊處理之情形。 圖25係圖示既存之收訊裝置400的模式圖 施形態中’通常視聽用動態影像與附加資訊動態 合而成的整合動態影像的編碼、以及通常視聽用 之領域的編碼，係進行和既存之送訊裝置相同的 此，如圖25所示，即使在既存之收訊裝置400 態影像仍會被解碼，藉由已經說明過的crop資 通常視聽用動態影像按照期待予以切出，然後顯 影像輸出部206。 另一方面，圖24係本實施形態所述之收訊 的模式圖。本實施形態所述的收訊裝置2 0 0，係 像及附加 寬度、高 指定方法 :口，若爲 可以發送 的編解碼 就可對應 已販售裝 SEI係無 行。此處 資訊動態 。在本實 影像所整 動態影像 處理。因 ，整合動 訊，而將 示在動態 裝置200 具備動態 -21 - 201143444 影像壓縮部2 0 2、通常視聽用動態影像領域編碼部2 0 4、 附加資訊動態影像存在資訊編碼部208、動態影像輸出部 (顯示面板）2 〇 6。本實施形態所述的收訊裝置2 0 0中’ 係藉由附加資訊動態影像存在資訊編碼部206，就可解讀 附加資訊動態影像SEI。因此’收訊裝置200係可辨識到 在通常視聽用動態影像的領域外有附加資訊動態影像存在 之事實，可獲得附加資訊動態影像使用時的通常視聽用動 態影像之切出開始位置、寬度高度、附加資訊動態影像數 或每一附加資訊動態影像的切出開始位置、寬度高度、 sample aspect ratio 。 <以PMT的descriptor來傳輸附加資訊動態影像存在資訊 的情形> 在MPEG2-TS中，作爲所傳輸之節目程式的串流資訊 加以描述的 PSI ( Program System Information )，係有 PMT ( Program map table) ° 在PMT的串流資訊裡，含有用來選擇音訊或視訊等 之封包用的 PID( Packet ID) 、stream_type 或 descriptor 等，可以知道是使用哪種視訊的編解碼器或音訊的編解碼 器而被編碼。 圖4係表示Dolby公司的AC-3音訊的串流資訊。針 對 AC-3 的 stream_type 係在 ITU-T REC.H.222.0 中沒有規 定，在歐洲是使用PES private data的stream_type，在美 洲則是使用 User private 的 stream_type。 -22- 201143444 因此，僅就圖 4 的 stream_type 中，被 elementary — PID所指定之PID的封包，就連是不是音訊串 流都無法特定。因此，在AC-3中作爲PMT的descriptor ，係備有AC-3 descriptor，藉由偵測出該descriptor，就 可判別這是AC-3的串流。如此，在PMT中就有將節目程 式的編解碼器之相關資訊，透過descriptor而加以設定的 使用方法。 基於該使用方法，於本實施形態中也是說明，對 PMT追加descriptor而將附加資訊動態影像存在資訊予以 傳輸之例子。圖5係圖示在PMT的串流資訊中追加了附 加資訊動態影像descriptor之情形。該附加資訊動態影像 descriptor，係在具有被elementary_PID所指定之PID的 封包時，整合動態影像係被動態影像壓縮，除了通知有附 加資訊動態影像存在之事實，還會通知使用附加資訊動態 影像所需之參數。 若整合動態影像的壓縮是以 H.264來進行，則將 stream_type設定成OxlB，若是以MPEG2來進行，則將 stream_type設定成 〇χ2。由於附加資訊動態影像 descriptor本身係並非依存於編解碼器，因此無論在 MPEG2還是在H.264中都可同樣使用。當然，在既存之 收訊裝置400中係無法解譯附加資訊動態影像descriptor ，通常會忽視其而動作。 可是，在既存之收訊裝置400中，若是能照著本實施 形態而設定整合動態影像以及通常視聽用動態影像之領域 -23- 201143444 設定或樣本長寬比，則整合動態影像的解碼就成爲可能， 可從其中切出通常視聽用動態影像，因此就可正確地顯示 通常視聽用動態影像。 另一方面，在依照本實施形態的收訊裝置200中，藉 由附加資訊動態影像存在資訊解碼部208，就可將附加資 訊動態影像descriptor予以解碼而解譯。因此，可辨識出 在通常視聽用動態影像之領域外有附加資訊動態影像存在 之事實。 在本實施形態中係想定了，關於附加資訊動態影像使 用時的通常視聽用動態影像之切出領域及附加資訊動態影 像的寬度高度、樣本長寬比，在送訊者與收訊者之間多半 沒有事前取決，因此在該附加資訊動態影像descriptor中 儲存這些參數而傳輸。 圖6中係圖示了附加資訊動態影像descriptor的內容 例。又，圖34係將H.264當作編碼器而使用，並使用附 加資訊動態影像descriptor時的送訊裝置之處理流程圖。 首先，根據整合動態影像上的通常視聽用動態影像之位置 與寬度高度，將所算出的 H.264之crop parameter、和 aspect_ratio_idc (若有需要則也會用到 sar_width、 sar_height )，設定至編碼器（步驟S200 )。接著，將附 加資訊動態影像使用時的通常視聽用動態影像之切出開始 位置、寬度高度、附加資訊動態影像之種類、樣本長寬比 、左上端點、根據寬度高度所求出的附加資訊動態影像之 切出開始位置、寬度、高度，當作圖6的附加資訊動態影 -24- 201143444 像descriptor而備妥（步驟S202)。然後將 進行了整合動態影像之影像尺寸等編碼器設 動態影像予以編碼（步驟S204)。在以數 傳輸上所必要的MPEG2-TS多工化之際’將 資訊動態影像descriptor設定至PMT’就可 串流（步驟S206 )。 在圖2的例子中，由於除了通常視聽用 所存在的2個附加資訊動態影像係皆爲非立 資訊動態影像，因此附加資訊動態影像種類 收視用，在附加資訊動態影像使用時的通常 像之切出開始位置、寬度、高度之後，依序 動態影像之種類、附加資訊動態影像數、各 態影像的切出開始位置、寬度高度、樣本長 此處，在通常視聽用動態影像、附加資 領域指定時，雖然使用到開始位置與寬度高 爲整合動態影像內的配置之指定，因此亦互 crop指定方法同樣地做指定，亦可藉由別的 除了圖6的附加資訊動態影像descripti ，作爲非立體收視用附加資訊動態影像desc 每一附加資訊動態影像之種類備妥descri descriptor內的附加資訊動態影像種類之欄 就附加資訊動態影像1、附加資訊動態影偉 descriptor，以在PMT的串流資訊中描述複 態影像d e s c r i p t 〇 r的形式，而省略附加資訊 整合動態影像 定後，將整合 位播送系統之 所備妥之附加 獲得傳輸用的 動態影像之外 體收視用附加 係設成非立體 視聽用動態影 指定附加資訊 個附加資訊動 寬比。 訊動態影像的 度，但目的係 『和 Η . 2 6 4的 方法來規定。 3r之形式以外 :riptor也可對 ptor，而省略 位。又，亦可 i 2分別備妥 數附加資訊動 動態影像數之 -25- 201143444 欄位。 本發明關於MPEG2-PS也仍爲有效’藉由在Program stream map (PSM)內，新增追加用來儲存附加資訊動態 影像存在資訊的descriptor ’就可和對MPEG2-TS之PMT 新增追加了附加資訊動態影像descriptor時同樣地有效發 揮作用。 又，即使是MPEG2以外的容器（container)，還是 可對各個視訊資料撰寫輔助資訊，只要是能夠追加輔助資 訊的形式，則都可和上記的descriptor追加同樣地適用。 <以private section來傳輸附加資訊動態影像存在資訊的 情形> 在MPEG2-TS中，係可在與PMT階層相同的階層裡 ，傳輸section資料。想定要對該section做新增追加時， 可想到private section，也可想到把本實施形態的附加資 訊動態影像存在資訊，當作新增的private section而加以 傳輸。圖8係將附加資訊動態影像存在資訊，以新增的 private section來傳輸時的圖示。 該新增section，係在既存之收訊裝置400上無法解 讀，因此和PMT的descriptor同樣地，在既存之收訊裝 置400中會被略過讀取。 在圖8中係圖示了，在判別圖2的整合動態影像之封 包用的PID、附加資訊動態影像使用時的通常視聽用動態 影像之切出開始位置、寬度高度之後，依序指定附加資訊 -26- 201143444 動態影像之種類、附加資訊動態影像的切出開始位置、寬 度闻度、樣本長寬比之情形。 圖35係圖示，將H. 2 64當作編碼器而使用，並使用 附加資訊動態影像section時的送訊裝置之流程圖。首先 ，根據整合動態影像上的通常視聽用動態影像之位置與寬 度高度，將所算出的 H.264 之 crop parameter、和 aspect_ratio_idc (若有需要則也會用到 sar_width、 Sar_height)，設定至編碼器（步驟S3 00 )。接著，將封 包判別所需之PID、附加資訊動態影像使用時的通常視聽 用動態影像之切出開始位置、寬度高度、附加資訊動態影 像之種類、樣本長寬比、左上端點、根據寬度高度所求出 的附加資訊動態影像之切出開始位置、寬度高度，當作圖 6的附加資訊動態影像section而備妥（步驟S 3 02 )。然 後將整合動態影像進行了整合動態影像之影像尺寸等編碼 器設定後，將整合動態影像予以編碼（步驟S 3 04 )。在 以數位播送系統之傳輸上所必要的MPEG2-TS多工化之際 ，將所備妥之附加資訊動態影像s e c t i0 n 一起多工化’就 可獲得傳輸用的串流（步驟S 3 06 )。 此外，通常視聽用動態影像 '附加資訊動態影像的領 域指定，係用來特定出整合動態影像內的配置而爲之’因 此亦可以H.264的crop領域之指定方法等其他的方法’ 來指定配置。 又，若對附加資訊動態影像之每一種類新增追加 private section，則亦可省略附加資訊動態影像之種類。 -27- 201143444 藉由採用上記3種類的附加資訊動態影像存在資訊之 儲存方法的任一者，在本實施形態的送訊裝置1 00的附加 資訊動態影像存在資訊編碼部1 06中，附加資訊動態影像 存在資訊就會被編碼。 由以上就可獲得，整合動態影像、通常視聽用動態影 像領域和附加資訊動態影像使用時的通常視聽用動態影像 之切出領域、樣本長寬比、以及附加資訊動態影像存在資 訊所編碼而成的串流。 將視訊編解碼器設爲H.264，而得到該串流時，將該 串流以滿足H.264 (ITU-T Rec.H.2 64 )規格的既存之收訊 裝置400進行解碼時，附加資訊動態影像存在資訊會被忽 視，而顯示出通常視聽用動態影像。此外，視訊編解碼器 是 MPEG2 VIDEO ( ITU-T Rec.H.262)也同樣如此。 而另一方面，若是適用了本實施形態的收訊裝置200 ，則附加資訊動態影像存在資訊也能被正確解碼，使用者 係可獲得比既存之收訊裝置400還多的服務。 如此在本實施形態中，可和既存的TV系統保有相容 性，同時追加新的機能，因此相較於不買新機就不能視聽 、或是會看到異樣感的動態影像之情形，對使用者的好處 較大。 <收訊裝置上的使用者之互動> 本實施形態的收訊裝置200，係在接收到有附加資訊 動態影像之節目程式時，可隨著從使用者向收訊裝置200 -28- 201143444 下達的設定、指示，而至少可以選

1 )和通常一樣顯示通常視聽用動I 2 )將通常視聽用動態影像與附加 畫面顯示

3 )僅將附加資訊動態影像進行畫B 將通常視聽用動態影像與附加 畫面顯示時，亦可設計成，附加資 或它們在畫面上之配置或尺寸等， 來變更。 此處，對收訊裝置200之設定 作，事前設定好要將有附加資訊動 何顯示。對收訊裝置200之指示， 示而當場變更有附加資訊動態影像 〇 圖36、圖37、圖38係分別爲 的附加資訊動態影像SEI、對PMT 附加資訊動態影像descriptor、對 加資訊動態影像s e c t i ο η時的收訊 這些流程圖中，係解讀SEI、desc ，判斷是否有附加資訊動態影像’ 訊動態影像使用時的通常視聽用動 影像之參數。圖36、圖37、圖 MPEG2-TS的demux時，是解讀 37、圖38 )，或是由H.264之解 擇以下3種的顯示。 I影像 資訊動態影像同時進行 S顯示 資訊動態影像同時進行 訊動態影像的顯示數， 也可因應使用者的要求 ，是藉由遙控器等之操 態影像之節目程式做如 有時會根據使用者的指 之節目程式的顯示方法 使用了對Η.264所追加 的descriptor所追加的 MPEG2-TS所追加的附 裝置2 0 0的流程圖。在 riptor 、 section 之資訊 若有時，則取得附加資 態影像或附加資訊動態 丨38中不同的是，在 PSI/SI而獲得參數（圖 碼結果而獲得參數（圖 -29- 201143444 36)。參數取得後，係讀出使用者對收訊裝置之設定，看 是要進行通常顯示、使用附加資訊動態影像進行顯示、還 是兩者都顯示，而變更動態影像輸出。此處，若使用者設 定是通常顯示，則輸出通常視聽用動態影像（步驟S410 、S510、S610)。又，若使用者設定是要輸出通常視聽用 動態影像及附加資訊動態影像，則將通常視聽用動態影像 及附加資訊動態影像予以輸出（步驟S414、S514、S614 )。又，若使用者設定不是要輸出通常視聽用動態影像及 附加資訊動態影像，則將附加資訊動態影像予以輸出（步 驟 S416、S516、S616)。 此外，在本實施形態中，雖然例示了附加資訊動態影 像是與通常視聽用動態影像之內容比較有關連的動態影像 ，但即使並無特別關連，本實施形態也依然能有效作用。 〔2.第2實施形態〕 此處係以山的景色的複數眼立體收視內容爲例，針對 傳輸在複數眼立體收視中使用之動態影像來作爲附加資訊 動態影像的情形，說明在送訊·收訊間進行了關於以下資 訊之取決時的情形。此外，關於取決未被進行的情形，則 只要和「第1實施形態」同樣地傳輸這些資訊即可。 •附加資訊動態影像使用時的通常視聽用動態影像之切出 領域 •附加資訊動態影像之位置 .附加資訊動態影像之寬度高度 -30- 201143444 •附加資訊動態影像之樣本長寬比 1.二眼立體收視動態影像 此處係考慮，對於複數眼立體收視當中的二眼立體收 視動態影像，將左眼動態影像當作通常視聽用動態影像、 將右眼動態影像當作附加資訊動態影像而加以傳輸之情形 〇 首先，關於整合動態影像的動態影像壓縮、通常視聽 用動態影像本身與樣本長寬比之壓縮，係以和第1實施形 態所記載之方法完全相同的方法，就可加以編碼。 關於附加資訊動態影像存在資訊，首先，考慮在送訊 側與收訊側上所進行的取決。通常視聽用動態影像與附加 資訊動態影像係由於是二眼立體收視動態影像的配對’因 此作爲動態影像係可想成帶有相同的性質，將通常視聽用 動態影像的參數流用給附加資訊動態影像的參數’係爲自 然的取決。 亦即，此處係假設進行以下之取決。 (1 )通常視聽用動態影像與附加資訊動態影像的影像尺 寸係爲相同的寬度高度。 (2 )通常視聽用動態影像與附加資訊動態影像的樣本長 寬比係爲相同。 又，在此實施形態中’不進行二眼立體收視時’係顯 示左眼動態影像。該被顯示之領域與作爲二眼立體收視的 左眼動態影像而被使用之領域’係爲相同的取決。亦即’ -31 - 201143444 (3 )附加資訊動態影像使用時的通常視聽用動態影像的 切出領域，係和附加資訊動態影像非使用時的通常視聽用 動態影像的切出領域相同 就會如此取決。 接著，通常視聽用動態影像與附加資訊動態影像係被 配置在1畫格中，但考慮在送訊·收訊間，附加資訊動態 影像係被配置在通常視聽用動態影像的下方，根據二眼立 體收視動態影像的影像尺寸，特定出附加資訊動態影像的 切出開始位置。 將附加資訊動態影像的切出位置配置在緊臨通常視聽 用動態影像之後面時，就成爲如圖9所示的配置’成爲如 圖10所示的取決內容。 又，若避免左眼動態影像的下端與右眼動態影像的上 端被同一聚集區塊所編碼，則有如圖11所示，對左眼動 態影像保持間隔而配置右眼動態影像的情形’而成爲如圖 12所示的取決內容。 圖10、圖12中係僅描述一部分的影像尺寸，但是否 針對有被傳輸之可能性的所有影像尺寸都進行如圖10、 圖1 2之取決，則是根據通常視聽用動態影像的crop參數 ，如以下所示的算出式來進行取決。 圖9的附加資訊動態影像的切出開始位置（xa、ya ) ，係由於是從通常視聽用動態影像的最下端掃描線的正下 方開始，因此： -32- 201143444 y a = 1 6 * FrameHe i ght InMbs —2 * frame _ crop _ b o t tom._ offset 而附加資訊動態影像的影像尺寸（w、h)，係和通常視 聽用動態影像相同，係爲： w=Pi cWi dthlnSaml es —2 * f r a m e_crop_left_of fSet —2 * f r a m e_crop_r i ght—〇f fset h = 1 6 * FrameHe i ght InMbs —2 * f r a m e_c rop—t op —o f f Se t —2 * f r a m e_c r op_bo t t o m__ offset 另一方面，圖 1 0的附加資訊動態影像之切出開始位 置（xb、yb )，係若使用上記圖9的切出開始位置（xa， y a )，則爲·· X b = X a yb = ya + (16 一 y a % 1 6 ) (ya%16係表示ya除以16後的餘數。） 根據這些條件， (4 )附加資訊動態影像的整合動態影像中的切出開始位 置之特定方法，例如，基於圖12的表格，若爲表格中所 沒有的影像尺寸時 者 就會如此取決。 ，則使用其高度以上而最接近於該高度 藉由以上（1)至（4)之取決，以下的資訊就會在送 訊.收訊間被取決。 .附加資訊動態影像使用時的通常視聽用動態影像之切出 -33- 201143444 領域 •附加資訊動態影像之位置 •附加資訊動態影像之寬度高度 •附加資訊動態影像之樣本長寬比 關於這些取決，係藉由使收訊裝置2 0 〇內的附加資訊 動態影像存在資訊的解碼部208，具備根據通常視聽用動 態影像的crop參數而特定出附加資訊動態影像的切出開 始位置或影像尺寸之機能，以及將通常視聽用動態影像的 樣本長寬比當作附加資訊動態影像的樣本長寬比而輸出之 機能，就可加以對應。 在本次的取決時，作爲參數而交付的所有相關取決會 被進行，因此作爲附加資訊動態影像存在資訊而從送訊裝 置側傳輸至收訊裝置側的必須內容係爲，附加資訊動態影 像是否存在、和通常視聽用動態影像與附加資訊動態影像 係否爲二眼立體收視動態影像之配對。 因此，藉由發送出可以規定附加資訊動態影像之種類 的符碼，在收訊側偵測到該符碼時則根據（1 )至（4 )， 獲得附加資訊動態影像而使用即可。因此，即使是舊式的 傳輸資訊，也是能夠當作附加資訊動態影像存在資訊而使 用。 以下就針對已經在第1實施形態終所說明過的，

• H.264 的 SEI (若爲 MPEG2 video 貝 IJ 是 USER_DATA) -34- 201143444 • MPEG2-TS 的 PMT 的 descriptor (若爲 MPEG2-PS 貝IJ 爲 PSM 的 descriptor) • MPEG2-TS 的 private section 這些資訊，說明適用本實施形態的情形。 圖16係對H. 264新增追加了附加資訊動態影像SEI 時之內容。附加資訊動態影像使用時的通常視聽用動態影 像之切出領域、整合動態影像內的附加資訊動態影像之領 域或樣本長寬比，係事前在送訊•收訊間就進行了取決’ 因此作爲sei_meesage所需之最低限度的資訊係只有’附 加資訊動態影像之種類係爲已取決之縱排列二眼立體收視 用。將其示作既定縱排列二眼立體收視用而表示在圖1 6 中。此外，雖然稱作既定二眼立體收視用即可，但此處係 除了上下並排者以外，還有左右並排者，因此在表示上下 並排之意思時，在名稱上會包含有縱排列。 雖然關於本實施形態的SEI新設1個至H.264時的情 形係如圖1 6所示，但若是對附加資訊動態影像之每一種 類都新設SEI的情況下，則由於例如藉由既定縱排列二眼 立體收視用附加資訊動態影像SEI本身的存在’就可判定 整合影像是具有縱排列二眼立體收視用的附加資訊動態影 像，因此如圖17所示’ sei_message內的資訊中就變成沒 有必須項目。（當然，也有可能含有其他的資訊。） 接著，圖1 8係圖示’對PMT新增追加了附加資訊動 態影像descriptor時之內容。 -35- 201143444 附加資訊動態影像使用時的通常視聽用動態影像之切 出領域、整合動態影像內的附加資訊動態影像之領域或樣 本長寬比，係事前在送訊·收訊間就進行了取決’因此作 爲descriptor所需之最低限度的資訊係只有，附加資訊動 態影像之種類係爲既定縱排列二眼立體收視用。 關於該descriptor也是，若有對附加資訊動態影像之 每一種類準備了 descriptor，則如圖 19所示，在 descriptor內就沒有本實施形態之適用上所必要之資訊。 圖 20 係圖示，對 MPEG2-TS 的 private section 追加 了附加資訊動態影像存在資訊而傳輸時， private_data_byte 之內容。與 PMT 的 descriptor 同樣地， 必須要指定附加資訊動態影像之種類’同時，必須要指定 有附加資訊動態影像之串流的PID。 關於private section也是，若是對附加資訊動態影像 之每一種類都新增追加了 private section的方法，則附加 資訊動態影像之種類亦可省略。 由以上就可和第1實施形態同樣地，獲得整合動態影 像、通常視聽用動態影像領域和附加資訊動態影像使用時 的通常視聽用動態影像之切出領域、樣本長寬比、以及附 加資訊動態影像存在資訊所編碼而成的串流。 將視訊編解碼器設爲H.264，而得到該串流時，將該 串流以滿足H.264 ( ITU-T Rec.H.264 )規格的既存之收訊 裝置400進行解碼時，附加資訊動態影像存在資訊會被忽 視，而顯示出通常視聽用動態影像。視訊編解碼器是 -36- 201143444 MPEG2 VIDEO ( ITU-T Rec.H.262 )也同樣如此。 而另一方面，若是適用了本實施形態的收訊裝置200 ，則藉由附加資訊動態影像存在資訊編碼部20 8，附加資 訊動態影像存在資訊也能被正確解碼，如以下所示，使用 者係可獲得比既存之收訊裝置400還多的服務。 如此在本實施形態中，可和既存的TV系統保有相容 性，同時追加新的機能，因此相較於不買新機就不能視聽 、或是會看到異樣感的動態影像之情形，對使用者的好處 較大。 接著說明，將圖9、圖11所示的影像，顯示在依據 本實施形態之收訊裝置200上時的情形。當收訊裝置無法 提示二眼立體收視時，來自整合動態影像的通常視聽用動 態影像的切出係使用H.264規格內的crop參數，因此基 本上會把通常視聽用動態影像提示給使用者。 若爲使用了本實施形態的收訊裝置200，則由於可特 定出附加資訊動態影像的存在或配置、樣本長寬比，因此 藉由設置從使用者指示把附加資訊動態影像的右眼動態影 像顯示出來以取代通常視聽用動態影像之左眼動態影像的 機能，就可將左眼或右眼或雙方作切換顯示。 圖42、圖43、圖44係分別爲使用了對Η·264所追加 的附加資訊動態影像SEI、對ΡΜΤ的descriptor所追加的 附加資訊動態影像descriptor、對MPEG2-TS所追加的附 加資訊動態影像section時的收訊裝置2 00的流程圖。在 這些流程圖中，係在附加資訊動態影像存在資訊編碼部 -37- 201143444 208 中解讀 SEI、descriptor、section 之資訊’判斷 附加資訊動態影像’若有時’則取得附加資訊動態 用時的通常視聽用動態影像或附加資訊動態影像之 圖42、圖43、圖44中不同的是，在MPEG2-TS的 時，是解讀PSI/SI而獲得參數（圖43、圖44) ’ H. 264之解碼結果而獲得參數（圖42)。參數取得 讀出使用者對收訊裝置之設定’判斷是要進行通常 還是使用附加資訊動態影像進行顯示。 在本實施形態中，由於附加資訊動態影像之種 立體收視，因此在無法進行立體收視的收訊裝置上 法使用通常視聽用動態影像、附加資訊動態影像來 體收視。可是，當使用者不選擇通常是聽時’使用 通常視聽用動態影像、附加資訊動態影像之中選擇 顯示的動態影像’隨應於該選擇狀況’可從已被解 合動態影像中，切出通常視聽用動態影像或附加資 影像，隨著使用者之指示、設定而進行動態影像輸 上述，就可將左眼或右眼或雙方作切換顯示。 又，當收訊裝置是可提示二眼立體收視時，則 通常視聽用動態影像與附加資訊動態影像來提示二 收視。由於使用者並不一定總是希望二眼立體收視 亦可隨著使用者的指示或設定，不作二眼立體收視 僅把通常視聽用動態影像、或僅把附加資訊動態影 以顯示。 圖39、圖40、圖41係分別爲使用了對H.2 64 是否有 像使 參數。 demux 或是由 後，係 顯示、 類係爲 ，係無 進行立 者可從 出想要 碼之整 訊動態 出。如 可使用 眼立體 ，因此 ，而是 像，加 所追加 -38- 201143444 的附加資訊動態影像SEI、對PMT的descriptor所追加的 附加資訊動態影像descriptor、對MPEG2-TS所追加的附 加資訊動態影像section時的收訊裝置的流程圖。在這些 流程圖中，係解讀SEI、descriptor、section之資訊，判 斷是否有附加資訊動態影像，若有時，則取得附加資訊動 態影像使用時的通常視聽用動態影像或附加資訊動態影像 之參數。圖39、圖40、圖41中不同的是，在MPEG2-TS 的demux時，是解讀PSI/SI而獲得參數（圖40、圖41) ，或是由H.264之解碼結果而獲得參數（圖39)。參數 取得後，係讀出使用者對收訊裝置之設定，判斷是要進行 通常顯示、還是使用附加資訊動態影像進行顯示。 在使用附加資訊動態影像時’若附加資訊裡含有立體 收視動態影像時，則根據使用者之指示、設定來判定是否 進行立體收視（步驟S920 )’若不進行立體收視時’則 將從通常視聽用動態影像、附加資訊動態影像之中所選擇 出來的動態影像予以輸出（步驟S722、S724 )。若要進 行立體收視時則進行相應於各視點的動態影像輸出而進行 立體收視提示（步驟S 7 3 0、S 8 3 0、S 9 3 0 )。若附加資訊 動態影像之種類並非立體收視時（步驟S 7 1 2、S 8 1 2、 S912中的NO時），則和圖36、圖37、圖38的流程圖所 示之處理同樣地，進行從通常視聽用動態影像、附加資訊 動態影像所選擇出來之動態影像輸出（亦可不單只有一個 動態影像而是組合了複數者）。當然，因爲是可立體收視 的收訊裝置，所以若對已被選擇之動態影像輸出進行往左 -39- 201143444 右之平移而作成右眼動態影像與左眼動態影像，則可將輸 出動態影像的提示面，往前後移動》 在此例中，雖然是將通常視聽用動態影像當作左眼動 態影像來說明，但即使當作右眼動態影像也無妨。又，就 算通常視聽用動態影像與附加資訊動態影像的上下關係改 變，也只要變更針對各個動態影像的參數，就可對應之。 和此例同樣地，在通常視聽用動態影像的橫向配置附 加資訊動態影像時，本發明仍爲有效。 2.複數眼立體收視動態影像 在柱狀透鏡方式或視差障壁方式下，可處理複數眼立 體收視的動態影像。此情況下，例如將第1及第2影像當 作左眼用及右眼用之影像而可從第1方向進行立體收視， 將第3及第4影像當作左眼用及右眼用之影像而可從與第 1方向不同的第2方向進行立體收視。本實施形態，係在 動態影像輸出手段中不具這些方式之影像提示方法時，仍 爲有效，只要使用複數眼立體收視當中的1個影像來作爲 通常視聽用動態影像，至於剩下的影像則當作附加資訊動 態影像看待即可》 關於附加資訊動態影像之配置，作爲在送訊·收訊間 進行取決之方法，例如，取決在橫方向上將複數眼立體收 視的動態影像予以並排，至於橫向並排的個數’則根據整 合動態影像的寬度與通常視聽用動態影像的寬度而加以算 出。 -40- 201143444 該取決而並排時的整合影像之配置狀況，示於圖13 。又，作爲別的取決，係先取決好複數眼立體收視之動態 影像數與並排之方向（例如橫方向），在橫方向上儘可能 擠入並排後，若還有動態影像時則往縱方向上並排配置。 該取決而並排時的整合影像之配置狀況，示於圖14 。圖1 3、圖1 4皆必須要包含「影像間要保持多大間隔」 而進行取決。當然，作爲附加資訊動態影像之種類，可先 準備好有影像間隔之橫方向配置三眼立體收視、無影像間 隔之橫方向三眼立體收視的2種類，來作爲附加資訊動態 影像存在資訊而予以傳輸的話，就可就每一內容來選擇哪 種整合動態影像之形式。 3.複數眼立體收視與其他觀點立體收視動態影像 甚至，作爲節目程式，係如第1實施形態中所說明， 還考慮傳輸著從其他觀點所觀看的映像。由於主映像是立 體收視動態影像，因此從其他觀點觀看之映像也是立體收 視動態影像的話，在視聽上較爲理想，因此以立體收視動 態影像的方式來說明。此外，即使其他觀點映像並非立體 收視動態影像，本實施形態仍爲有效。 圖1 5係在上段配置主要的立體收視動態影像，在下 段配置補足用的立體收視動態影像而成的整合動態影像例 。節目程式上，預想到通常視聽用動態影像會是主要的立 體收視動態影像當中的1個動態影像。該通常視聽用動態 影像除外的動態影像，係全部都是附加資訊動態影像。此 -41 - 201143444 外，通常視聽用動態影像係並不一定限於左上之配置。 考慮關於主要的立體收視動態影像係和圖1 3同樣地 在送訊•收訊間進行過取決，關於補足用的立體收視動態 影像則是尙未取決的情形。圖21係對H.264新增追加了 附加資訊動態影像SEI時之內容。作爲SEI的內容係有’ 身爲主要的立體收視動態影像的既定橫排列三眼收視用之 附加資訊動態影像、和身爲補足用的立體收視動態影像的 補足橫排列三眼收視用之附加資訊動態影像。補足橫排列 三眼收視用，係意味著是橫排列三眼收視用，並且不含通 常視聽用動態影像；是和單純的「橫排列三眼收視用」意 思不同。 站在實作的觀點上，亦可考慮使用把以下資訊含在位 元欄位的ID，來指定附加資訊動態影像之種類。 •是否使用通常視聽用動態影像的位元 •在送訊側與收訊側是否已取決了附加資訊動態影像使用 時的通常視聽用動態影像之切出領域的位元 •在送訊側與收訊側是否已取決了附加資訊動態影像之位 置的位元 •在送訊側與收訊側是否已取決了附加資訊動態影像之寬 度高度的位元 •在送訊側與收訊側是否已取決了附加資訊動態影像之樣 本長寬比的位元 •是否爲立體收視的位元 •若是立體收視時是否橫排的位元 -42- 201143444 •立體收視時的視點數 在圖21的sei_meesage中，藉由指定既定橫排列二 眼收視用的附加資訊動態影像，就可特定出以下的資訊° •主要的附加資訊動態影像使用時的通常視聽用動態影像 之切出領域 •主要的附加資訊動態影像之位置 •主要的附加資訊動態影像之寬度高度 •主要的附加資訊動態影像之樣本長寬比 接著，指定補足橫排列三眼收視用的附加資訊動態影 像，指定三眼份的附加資訊動態影像之位置、寬度高度、 樣本長寬比。在三眼收視的情況下，各個視點用的動態影 像’係想成寬度高度、樣本長寬比是相同，因此在圖2 1 中係爲，寬度高度、樣本長寬比係共通而設定1次’僅切 出開始位置是指定了三眼份的形態。 圖26係圖示，對PMT的descriptor新增追加了附加 資訊動態影像descriptor時之內容。和圖21的SEI同樣 地’藉由指定既定橫排列三眼收視用的附加資訊動態影像 ’就可特定出： •主要的附加資訊動態影像使用時的通常視聽用動態影像 之切出領域 •主要的附加資訊動態影像之位置 •主要的附加資訊動態影像之寬度高度 -43- 201143444 •主要的附加資訊動態影像之樣本長寬比 接著，藉由指定補足橫排列三眼收視用的附加資訊動 態影像，就可特定出三眼份的附加資訊動態影像之位置、 寬度商度、樣本長寬比。 圖 27 係圖示，對 MPEG2-TS 的 private section 追加 了附加資訊動態影像存在資訊而傳輸時’ private_data_byte之內容。除了指定有附加資訊動態影像 存在之串流的PID以外，其餘是和附加資訊動態影像SEI 的指定內容相同。 和圖2 1的SEI同樣地，藉由指定既定橫排列三眼收 視用的附加資訊動態影像，而特定出以下的資訊。 •主要的附加資訊動態影像使用時的通常視聽用動態影像 之切出領域 •主要的附加資訊動態影像之位置 •主要的附加資訊動態影像之寬度高度 •主要的附加資訊動態影像之樣本長寬比 接著，藉由指定補足橫排列三眼收視用的附加資訊動 態影像，就可特定出三眼份的附加資訊動態影像之位置、 寬度高度、樣本長寬比。 以上就表示了，主映像是立體收視動態影像’同時將 作爲其補足而追加的從其他觀點觀看之立體收視動態影像 ，是可依照本實施形態而進行傳輸。該主要補足之立體收 -44- 201143444 視動態影像的串流也是’若是依照本實施形態的串流，則 在既存之收訊裝置400上仍可將主要的一眼，當作通常視 聽用動態影像而加以視聽。甚至’若是適用了本實施形態 的收訊裝置2 0 0，則可從主要•補足之立體收視動態影像 之中，選擇喜好的一眼動態影像來視聽，或將主要或補足 之立體收視影像加以視聽。 4.使用了通常視聽用動態影像與影像尺寸不同之附加資訊 動態影像的二眼立體收視 圖3 1係將通常視聽用動態影像設成左眼動態影像 1 4 4 0 X 1 0 8 0，將附加資訊動態影像設成右眼動態影像 4 8 0 X 1 0 8 0的方式而配置在整合影像內的情形，圖3 2係將 通常視聽用動態影像設成中央動態影像1 9 2 0 X 8 1 0 ’將附 加資訊動態影像設成960x270的2個影像（左動態影像、 右動態影像）的方式而配置的情形。 在本實施形態中係爲’在處理多眼立體收視動態影像 時，亦可不必將所有視點都以相同影像尺寸來處理，而是 如圖3 1、圖3 2那樣，使通常視聽用動態影像的資訊量較 多，使附加資訊動態影像的資訊量較少而進行傳輸（積存 )。藉此，就可一面抑制通常視聽用動態影像的劣化’一 面傳輸多眼立體收視動態影像。 實際進行多眼收視時’例如圖3 9的通常+附加資訊所 致之立體收視輸出時，通常視聽用動態影像的放大率與附 加資訊動態影像的放大率係爲不同’以使得往左右眼的提 • 45 - 201143444 示尺寸被調整成相同。當然’附加資訊動態影像會因爲資 訊量減少，而可能造成再生影像劣化之疑慮。 可是，人類的兩眼立體視覺的補正機能很優秀，會發 生藉由資訊量較多的單眼影像資訊，來補足另一方影像資 訊的現象。例如，就算左右視力不同的人，還是能夠有立 體視覺。實際上單眼影像帶有一些模糊的狀態下仍可進行 立體收視，此一事實已獲確認，因此即便是圖3 9的不平 衡的左右動態影像，仍可立體收視》 圖3 2係三眼立體收視用的動態影像，但由於是將資 訊量較多的通常視聽用動態影像當作中央之動態影像的整 合動態影像，所以無論將資訊量較多的動態影像當作右眼 動態影像、還是左眼動態影像，皆可對應。 在右眼動態影像使用資訊量較多之動態影像時，係將 通常視聽用動態影像的中央動態影像當作右眼用、將附加 資訊動態影像的左動態影像當作左眼用而使用。又，在左 眼動態影像使用資訊量較多之動態影像時，係將通常視聽 用動態影像的中央動態影像當作左眼用、將附加資訊動態 影像的右動態影像當作右眼用而使用。這是因爲，對使用 者而言，因爲左右視力或左右眼的疲勞等，而考慮讓使用 者隨著偏好來選擇用哪個眼睛來觀看資訊量較多的通常視 聽用動態影像》 此外，在圖3 1、圖3 2的整合動態影像內的通常視聽 用動態影像與附加資訊動態影像之配置、影像尺寸係爲例 子，並非對本發明賦予限制。 -46 - 201143444 如以上說明，若依據上述的實施形態’則即使在既存 之收訊裝置上仍可視聽通常視聽用動態影像。又’在使用 本實施形態所作成的串流中，若能將編解碼器的切出參數 做正確處理，則即使在既存之收訊裝置上’仍可從整合動 態影像內切出通常視聽用動態影像而提示。 又，若依據本實施形態’則可一面保持與既存收訊裝 置之相容性，一面追加新的機能’不會因爲不買新機就無 法視聽、也不會看到有異樣感的動態影像’使用者係可在 所望的切換時期’接受新的服務。藉此’在既存之收訊裝 置與可接受附加資訊動態影像之收訊裝置混合存在的狀況 下，可對既存收訊裝置側不造成障礙地，轉換成有附加資 訊動態影像之動態影像的送訊裝置。又’由於與既存之送 訊裝置·收訊裝置的變更量較少即可完成，因此可降低開 發成本，可降低使用本實施形態的送訊裝置、收訊裝置之 價格。 以上雖然一面參照添附圖面一面詳細說明了本發明的 理想實施形態，但本發明並非限定於所述例子。只要是本 發明所屬技術領域中具有通常知識者，自然可於申請專利 範圍中所記載之技術思想的範疇內，想到各種變更例或修 正例，而這些當然也都屬於本發明的技術範圍。 【圖式簡單說明】 [圖1 ]通常視聽用動態影像與附加資訊動態影像是被 表示在1畫面中之狀態的模式圖。 -47- 201143444 [圖2]將圖1之配置資訊以表格表示之狀態的模式圖 〇 [圖3]crop參數與所被切出之領域的矩形領域所涉及 之參數的模式圖。 [圖4]Dolby公司的AC-3音訊之串流資訊的模式圖。 [圖5 ]在Ρ Μ T的串流資訊中追加附加資訊動態影像 descriptor時的模式圖。 [圖6]附加資訊動態影像descriptor之內容例的圖示 〇 [圖7]附加資訊動態影像SEI之階層的圖示。 [圖8]將附加資訊動態影像存在資訊，以新增的 privatesection來傳輸時的圖不。 [圖9]將附加資訊動態影像的切出位置配置在緊臨通 常視聽用動態影像之後面時的模式圖。 [圖10]將附加資訊動態影像的切出位置配置在緊臨通 常視聽用動態影像之後面時的取決內容的模式圖。 [圖1 1]對左眼動態影像保持間隔而配置右眼動態影像 時的模式圖。 [圖12]圖11之取決內容的模式圖。 [圖13]已取決了要在橫方向上並排複數眼立體收視之 動態影像時的整合影像之配置狀況的模式圖。 [圖14]在橫方向上儘可能擠入並排後，若還有動態影 像時則往縱方向並排配置的取決並排時的整合影像之配置 狀況的模式圖。 -48- 201143444 [圖1 5 ]在上段配置主要的立體收視動態影像’在下段 配置補足用的立體收視動態影像而成的整合動態影像例的 模式圖。 [圖16]對H.264新增追加了附加資訊動態影像SEI時 之內容的模式圖。 [圖17]對每一附加資訊動態影像之種類新設SEI時， sei_meSSage內的資訊中變成沒有必須項目之狀態的模式 圖。 [圖18]對PMT新增追加附加資訊動態影像descriptor 時之內容的模式圖。 [圖 1 9]對每一附加資訊動態影像之種類備有 descriptor時，descriptor內的資訊的模式圖。 [圖 20]對 MPEG2-TS 的 private section 追加了 附加資 訊動態影像存在資訊而傳輸時，Private_data_byte之內容 的模式圖。 [圖2 1]對H.264新增追加附加資訊動態影像SEI時之 內容的模式圖。 [圖22]本實施形態所述之送訊裝置的區塊圖。 [圖23]既存之送訊裝置的模式圖。 [圖24]本實施形態所述之收訊裝置的模式圖。 [圖25]既存之收訊裝置的模式圖。 [圖26]對PMT的descriptor新增追加了附加資訊動 態影像d e s c r i p t 〇 r時之內容的模式圖° [圖 27]對 MPEG2-TS 的 private section 追加了 附加資 -49- 201143444 訊動態影像存在資訊而傳輸時’ private-data-byte之內容 的圖示。 [圖28]通常視聽用動態影像與附加資訊動態影像是在 同一畫面上往縱方向或橫方向縮窄然後被同時並排顯示之 狀態的模式圖。 [圖29]通常視聽用動態影像與附加資訊動態影像是在 同一畫面上往縱方向或橫方向縮窄然後被同時並排顯示之 狀態的模式圖。 [圖30]僅將單眼動態影像（通常視聽用動態影像）以 正確的縱橫比加以顯示之狀態的模式圖。 [圖3 1 ]將通常視聽用動態影像設成左眼動態影像 1 440x 1 0 80，將附加資訊動態影像設成右眼動態影像480x 1080的方式而配置在整合影像內時的模式圖》 [圖32]將通常視聽用動態影像設成中央動態影像 1 920x8 10，將附加資訊動態影像設成960x270的2個影像 (左動態影像、右動態影像）的方式而配置時的模式圖。 [圖3 3]將H.2 64當作編碼器而使用，並使用附加資訊 動態影像SEI時的送訊裝置之處理流程圖的模式圖。 [圖34]將H.2 64當作編碼器而使用，並使用附加資訊 動態影像descriptor時的送訊裝置之處理流程圖的模式圖 〇 ' [圖35]將H.264當作編碼器而使用，並使用附加資訊 動態影像section時的送訊裝置之流程圖的模式圖。 [圖36]使用了對H.264所追加之附加資訊動態影像 -50- 201143444 SEI時的收訊裝置的流程圖。 [圖37]使用了對PMT之descript〇r所追加之附加資 訊動態影像descriptor時的收訊裝置的流程圖。 [圖38]使用了對MPEG2_TS所追加之附加資訊動態影 像section時的收訊裝置的流程圖。 [圖3 9 ]使用了對η · 2 6 4所追加之附加資訊動態影像 SEI時的收訊裝置的流程圖。 [圖40]使用了對ΡΜΤ之descriptor所追加之附加資 訊動態影像descriptor時的收訊裝置的流程圖。 [圖41]使用了對MPEG2.TS所追加之附加資訊動態影 像section時的收訊裝置的流程圖。 [圖42]使用了對H.264所追加之附加資訊動態影像 SEI時的收訊裝置的流程圖。 [圖43]使用了對PMT之descriptor所追加之附加資 訊動態影像d e s c r i p t 〇 r時的收訊裝置的流程圖。 [圖44]使用了對MPEG2-TS所追加之附加資訊動態影 像s e c t i ο n時的收訊裝置的流程圖。 【主要元件符號說明】 1〇〇 :送訊裝置 102 :動態影像壓縮部 104 :通常視聽用動態影像領域編碼部 1 06 :附加資訊動態影像存在資訊編碼部 200 :收訊裝置 -51 - 201143444 202 :動態影像解壓縮部 2 04 :通常視聽用動態影像領域解碼部 2 0 6 :動態影像輸出部 20 8 :附加資訊動態影像存在資訊解碼部 -52-

Claims (1)

1. 201143444 七、申請專利範圍： 1. 一種影像送訊方法，其特徵爲，具備： 將通常視聽用動態影像與附加資訊動態影像是被配置 在1畫格上而成的整合影像，予以壓縮之步驟；和 將用來表示通常視聽用影像之領域的領域資訊，予以 編碼之步驟；和 將用來表示有附加資訊動態影像存在之事實的存在資 訊，予以編碼之步驟；和 將前記整合影像、前記領域資訊及前記存在資訊，予 以發送之步驟。 2. 如申請專利範圍第1項所記載之影像送訊方法，其 中，前記存在資訊，係含有用來指定附加資訊動態影像之 種類的資訊。 3 ·如申請專利範圍第2項所記載之影像送訊方法，其 中，含有用來指定是否爲複數眼立體收視用時所使用之動 態影像的資訊，來作爲前記附加資訊動態影像之種類。 4.如申請專利範圍第1項所記載之影像送訊方法，其 中’前記存在資訊，係含有用來表示前記附加資訊動態影 像之領域的領域資訊，或前記附加資訊動態影像的長寬比 (aspect ratio ) 〇 5 ·如申請專利範圍第1項所記載之影像送訊方法，其 中’前記存在資訊，係含有用來指定前記附加資訊動態影 像使用時的前記通常視聽用動態影像之影像領域的資訊。 6.—種影像收訊方法，其特徵爲，具備： -53- 201143444 將從送訊側所送過來的、通常視聽用動態影像與附加 資訊動態影像是被配置在1畫格上而成的整合影像，予以 解壓縮之步驟；和 將連同前記整合影像一起從送訊側所送過來的用來表 示前記通常視聽用動態影像之領域的領域資訊，予以解碼 之步驟；和 將連同前記整合影像一起從送訊側所送過來的用來表 示有前記附加資訊動態影像存在的存在資訊，予以解碼之 步驟；和 基於前記領域資訊來指定前記通常視聽用動態影像之 領域而進行顯示之步驟；和 基於前記存在资訊而辨識出前記附加資訊動態影像之 存在，而將前記附加資訊動態影像予以顯示之步驟。 7_—種影像送訊裝置，其特徵爲，具備： 壓縮部，係將通常視聽用動態影像與附加資訊動態影 像是被配置在1畫格上而成的整合影像，予以壓縮；和 領域資訊編碼部，係將用來表示通常視聽用影像之領 域的領域資訊，予以編碼；和 存在資訊編碼部，係將用來表示有附加資訊動態影像 存在之事實的存在資訊，予以編碼；和 送訊部’係將已被編碼之整合影像、領域資訊及存在 資訊，予以發送。 8.—種影像收訊裝置，其特徵爲，具備： 解壓縮部’係將從送訊側所送過來的、通常視聽用動 -54- 201143444 態影像與附加資訊動態影像是被配置在1畫格上而成的整 合影像，予以解壓縮；和 領域資訊解碼部，係將連同前記整合影像一起從送訊 側所送過來的用來表示前記通常視聽用動態影像之領域的 領域資訊，予以解碼；和 存在資訊解碼部，係將連同前記整合影像一起從送訊 側所送過來的用來表示有前記附加資訊動態影像存在的存 在資訊‘，·予以解碼；和 影像輸出部，係基於前記領域資訊來指定前記通常視 聽用動態影像之領域而加以輸出，並且基於前記存在資訊 而辨識出前記附加資訊動態影像之存在，而將前記附加資 訊動態影像予以輸出。 9 . 一種影像傳輸系統，其特徵爲，具備： 影像送訊裝置和影像收訊裝置，其中， 影像送訊裝置係具有：壓縮部，係將通常視聽用動態 影像與附加資訊動態影像是被配置在1畫格上而成的整合 影像，予以壓縮；和領域資訊編碼部，係將用來表示通常 視聽用影像之領域的領域資訊，予以編碼；和存在資訊編 碼部，係將用來表示有附加資訊動態影像存在之事實的存 在資訊，予以編碼：和送訊部，係將已被編碼之整合影像 、領域資訊及存在資訊，予以發送； 影像收訊裝置係具有：解壓縮部，係將從送訊側所送 過來的、通常視聽用動態影像與附加資訊動態影像是被配 置在1畫格上而成的整合影像，予以解壓縮；和領域資訊 -55- 201143444 解碼部，係將連同前記整合影像一起從送訊側所送過來的 用來表示前記通常視聽用動態影像之領域的領域資訊，予 以解碼；和存在資訊解碼部，係將連同前記整合影像一起 從送訊側所送過來的用來表示有前記附加資訊動態影像存 在的存在資訊，予以解碼；和影像輸出部，係基於前記領 域資訊來指定前記通常視聽用動態影像之領域而加以輸出 ’並且基於前記存在資訊而辨識出前記附加資訊動態影像 之存在，而將前記附加資訊動態影像予以輸出。 -56-