TWI558166B - 用於多視點裸視立體顯示器的深度地圖遞送格式 - Google Patents

用於多視點裸視立體顯示器的深度地圖遞送格式 Download PDF

Info

Publication number
TWI558166B
TWI558166B TW103107711A TW103107711A TWI558166B TW I558166 B TWI558166 B TW I558166B TW 103107711 A TW103107711 A TW 103107711A TW 103107711 A TW103107711 A TW 103107711A TW I558166 B TWI558166 B TW I558166B
Authority
TW
Taiwan
Prior art keywords
depth map
viewpoint
data segmentation
depth
image data
Prior art date
Application number
TW103107711A
Other languages
English (en)
Other versions
TW201503662A (zh
Inventor
威爾姆斯 布魯斯
卡雷斯 舒爾
菲利浦 克雷徹
Original Assignee
杜比國際公司
卡尼林克菲利普公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比國際公司, 卡尼林克菲利普公司 filed Critical 杜比國際公司
Publication of TW201503662A publication Critical patent/TW201503662A/zh
Application granted granted Critical
Publication of TWI558166B publication Critical patent/TWI558166B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

用於多視點裸視立體顯示器的深度地圖遞送格式 交叉參考相關案
本案主張於2013年4月4日申請之第61/808422號的美國臨時申請案，其於此以其全部合併參考。
本發明一般係關於影像。更特別是，本發明之實施例關於針對遞送用於多視點裸視立體顯示器之深度地圖的格式。
三維(3D)視頻系統對於增強消費者之體驗獲得很大的興趣，無論在電影院或家庭中。這些系統使用立體或裸視立體的顯現之方法，包括：視差圖像(anaglyph)、線性偏振(linear polarization)、圓偏振(circular polarization)、快門眼鏡(shutter glasses)及光譜分離(spectral separation)。
現今在市場中可獲得的大多數3D顯示器為立 體電視(TV)，其需要使用者穿戴快門3D眼鏡(shutter 3D glasses)，以為了體驗3D效果。遞送3D內容到這些顯示器需要運載兩個分開的視點(view)：左視點和右視點。廣泛採用裸視立體(免除眼鏡)顯示器係為可見的。這些顯示器提供某運動視差(motion parallax)之量；觀看者能輕微地移動他/她的頭以從許多不同的角度觀看物體。
傳統的立體顯示器提供單一3D視點；然而，裸視立體顯示器(亦稱多視點顯示器)提供多視點，像是5視點、9視點、28視點等，其係基於顯示器之設計。當提供傳統的立體內容到裸視立體顯示器時，顯示器提取深度地圖(depth map)且基於這深度地圖建立或呈現多視點。如於此所使用的，術語「深度地圖」意指影像或其它位元流(bit-stream)，其包含關於來自觀看點(viewpoint)的場景物體之表面之距離的資訊。如更充分的解釋如下，深度地圖能輕易的轉換成位差圖(disparity map)，並且在本文件之內文中，術語「深度地圖」與「位差圖」是相同的且可互換的。
深度地圖資訊亦可使用於量身打造3D體驗以用於具有不同解析度和顯示尺寸(例如，1080P顯示器或4K顯示器)之不同的顯示器類型。已有若干研究顯示設計用於3D電影院的深度之量並不適合用於較小行動裝置且反之亦然。可以使用深度地圖來再呈現(re-render)視點以變更感知的深度且作成額外的調整。如由發明人在此 所讚賞的，用於遞送伴隨內容的深度地圖之改善的技術係對於改善具有裸視立體與立體顯示器的使用者體驗係為理想的。進一步令人讚賞的是，這些改善的技術較佳的與現存的單一視點(2D)與3D系統向後相容。
在本段所說明的手法係為可以尋求的，但非必然是先前已思及或尋求過的手法。因此，除非另外的指示，不應假定在本段說明的手法之任一者只是憑借在此段他們的納入而合格成為先前技術。類似的，對照一或更多手法而識別的問題不應假定基於此段已而已公認在任何先前技術中，除非另外指示。
110‧‧‧影像資料及深度格式器
120‧‧‧編碼器
130‧‧‧解碼器
140‧‧‧解多路器
本發明之實施例係藉範例的方式，且非以限制的方式在所附圖式之圖中闡述，並且在其中相似的參考數字參照到相似的元件且其中：圖1描述依據本發明實施例用於遞送3D視頻及相關的深度地圖資料的範例系統；圖2描述非對稱單一層深度地圖遞送格式之範例；圖3描述依據本發明實施例使用旋轉的深度地圖的非對稱深度地圖遞送之範例；圖4A及圖4B描述依據本發明之實施例深度地圖遞送格式之範例；以及圖5描述依據本發明之實施例用於使用深度 地圖旋轉及深度地圖切割兩者產生影像資料及深度地圖資料分割的過程之範例。
【發明內容及實施方式】
於此說明對於用於立體及裸視立體(多視點)顯示器之深度地圖的遞送格式。此格式支援各種視頻遞送情景，包括傳統的電纜、衛星或透過空中廣播及過頂傳遞(over-the-top delivery)。在下列說明中，為了解釋之目的，提出眾多的特定細節以為了提供本發明之徹底的理解。然而將顯而易見的是，本發明可不以這些特定的細節實踐。在其它例子中，周知的結構及裝置並不以過度的細節說明，以為了避免不必要的模糊本發明。
概觀
於此說明的範例實施例係關於用於對於多視角顯示器之深度地圖資訊的遞送格式。給定3D輸入圖片及對應的輸入深度地圖資料，可建立多路的、非對稱的、輸出的影像訊框，其結合影像資料分割與深度地圖資料分割，其中影像資料分割具有與深度地圖資料分割不同的尺寸。影像資料分割包含一或更多的3D輸入之輸入視點，同時深度地圖分割包含相對於在多路輸出影像訊框中影像資料之定向而旋轉的輸入深度地圖資料之至少部分。
在一些實施例中，深度地圖資料亦可切割成一或更多深度地圖片段，其可於被多路轉換成輸出影像訊 框之深度地圖分割之前而被重排。
用於3D之範例遞送格式
圖1描述依據本發明之實施例用於編碼與解碼3D資料及相關的深度資料的範例系統。如在圖1中所描述的，輸入立體信號(105)之左和右視點(105-1、105-2)及相關的深度資料Z(107)係依據於此說明的方法由影像資料及深度格式器(Image Data and Depth Formatter)(110)首先格式化且多路轉換成3D+Z信號(112)。
在本發明實施例中，深度資料(107)代表在左及右視點之間的位差(disparity)。如於此所使用的，術語「位差(disparity)」意指在立體影像之左視點和右視點中物體之位置之間的橫向距離(lateral distance)。在立體感視頻成像中，位差通常代表在一個視點中(例如，左側影像)影像特徵之水平位移(例如，往左側或往右側)(當在另一個視點中觀看時(例如，右側影像))。舉例來說，位於水平定位h L (在左側影像中)與h R (在右側影像中)中的點可意指為具有h L -h R 像素之位差。位差資料亦可表示為深度或「輸入Z」資料，通常表示為在[0,255]範圍中的8位元灰階資料，雖然能使用替代的表示。
取決於譯碼格式，3D+Z信號(112)可包含一或更多層(像是基層(base layer))以及一或更多增 強層(enhancement layer)。3D+Z訊號(112)係由編碼器(120)編碼以產生譯碼的位元流(122)。編碼器(120)可為任何已知的視頻編碼器，像是由ISO/IEC MPEG-2、MPEG-4第2部(MPEG-4 part 2)、MPEG-4，第10部(MPEG-4,part 10)(H.264/AVC)或HEVC標準所規定的該些者，或是其它的編碼器，像是VP8、VC-1等。在儲存或傳送之前，譯碼的位元流(122)可以額外的輔助資料或元數據(metadata)(未繪示)進行多路轉換以協助合適的解碼器且將立體影像資料及他們對應的深度資料進行解多路(demultiplex)。
在接收器中，像是機上盒(set-top box)、TV等，解碼器(130)(例如，MPEG-2或H.264解碼器)能解碼由編碼器(Encoder)(120)所編碼的位元流，且產生解碼的3D+Z訊號，對於失真壓縮(lossy compression)，其為傳送的3D+Z信號(112)之接近的近似。解多路器(demultiplexor)(140)提取深度地圖資料(147)以及一或更多影像視點(142)，並且可將他們傳遞到後續的處理，像是關於顯示管理及顯示。舊有的接收器可忽略深度資料及第二視點，因此僅將單一視點顯示為傳統的2D影像；然而，其它解碼器能使用所有可得的資訊而再生一或更多3D信號(105)之視點。
圖2描述單一層3D+Z信號遞送格式(200)之範例。格式化的3D+Z信號(212)包含亮度(或luma)成分(212-Y)及對應的色度成分(212-UV)。舉 例來說，在一些實施例中，信號(212)可以4：2：0 YUV格式編碼。在一些其它實施例中，其可以4：2：0 YCbCr格式編碼。如在圖2中所描述的，信號(212)之色度成分可具有比亮度成分較低像素解析度；然而，所有於此說明的方法則應用到色度可在與亮度成分相同的解析度之色彩格式(例如，4：4：4 YCbCr或4：4：4 YUV)。
遞送格式(200)可使用非對稱空間多路轉換；亦即，在經多路轉換之結合影像資料(212-YI)(例如，左視點(L)105-1)與相關的深度資料(212-YZ)(例如，Z 107)兩者的圖片中，影像資料(例如，左視點(L))之解析度不同於其相關的深度地圖(例如，ZL)之解析度。
給定具有像素解析度h x w(例如，h=1080與w=1920)多路轉換輸入訊框(例如，112)，在實施例中，子取樣的(sub-sampled)左視點(L)可被分配比其相關的深度地圖更多的像素。因此，給定比例a，其中1>a 1/2，原始左視點圖片可被縮放(例如，子取樣的)至尺寸h x aw，同時深度地圖可縮放到尺寸h x(1-a)w。此手法可造成比對稱的左及右視點圖片(例如，當a=½時)更銳利的3D圖片。
可選擇地，額外的深度資料(例如，ZL’與ZL”)亦可在對應的譯碼的訊框(例如，212-UV)之色度成分中被嵌入。
在替代的實施例中，包含影像及深度地圖分 割(例如，212-Y)的圖片訊框之尺寸可大於輸入影像之視點的活動影像尺寸；由此，可能沒有任何需要去縮放影像資料以適配於影像分割內。舉例來說，給定1080 x 1920影像資料(例如，L)，(212-Y)之寬度w可大於1920且高度h可大於1080。遞送訊框亦可由虛設資料填塞以為了達成與由編碼器(120)所使用之譯碼的單位(例如，巨集塊(macroblock))對準。舉例來說，在範例實施例中，8條像素線可添加到1080之高，使得線之總數目1088為16之倍數。
在替代的實施例中，多路轉換的影像訊框(例如，112)可橫過垂直方向而分割。由此，影像資料分割(212-YI)可具有ha x w解析度，同時深度地圖資料分割(212-YZ)可具有h(1-a)x w解析度。
在一些實施例中，影像資料分割可被多路轉換到深度地圖資料分割之右側。
在一些實施例中，影像資料分割可被多路轉換到深度地圖資料分割之底部。
在實施例中，可藉由在編碼位元流中使用剪裁矩形(cropping rectangle)及寬高比(aspect ratio)語法參數，藉界定圖片(例如，h x aw)之有效顯示區域(active area)(類似於在AVC/H.264或HEVC視頻譯碼標準)而達成向後相容性。在這類的建置之下，舊有的2D接收器僅可提取、解碼及顯示由這些參數界定的圖片區域(例如，L)且忽略深度地圖資訊(例如，ZL)。具 有3D能力的接收器可解碼整個圖片、使用剪裁及長寬比參數決定圖片區域與深度地圖區域以及接著使用深度地圖資訊以呈現多個視點。3D接收器能使用接收的剪裁及長寬比參數縮放如需要的2D圖片及深度。亦可傳送包含關於在每圖片基礎上圖片安排的資訊的輔助資料(或元數據(metadata))。
在範例實施例中，若a=2/3，給定1080 x 1920輸入信號，接著影像資料(例如，L)可在水平維度上縮減且使用1080 x 1280像素之解析度譯碼，同時可縮放深度成分(例如，ZL)且使用1080 x 640解析度來譯碼。在一些實施例中，可在水平及垂直解析度中縮減深度成分且以替代的解析度、小於在深度地圖分割中可得的區域來譯碥，例如540 x 640或360 x 640。在這類建置中，未對應到任何深度值的亮度或色度成分之像素值可設定到固定的填充符(filler)值(例如，128)以改善譯碼效率。如在圖3中所描述，此未對稱格式之效能可藉由允許更平衡的影像及深度資料之分配而更加改善。
圖3描述依據本發明之實施例的深度地圖遞送格式之範例。為了簡化，僅描述信號(112)之亮度成分；然而，類似的像素配置也可在色度成分上施行。如在圖3中所描述的，影像(212-Y)包含一或更多的影像視點之亮度成分的縮放的表示(例如，L 214)以及相關的深度地圖之旋轉的及縮放的表示(例如，ZL 218)。如一範例，用於1080 x 1920輸入，在一個實施例中，影像視 點之亮度可縮放到1080 x 1280解析度(對應到在水平方向上的2/3縮放)，同時原始深度地圖可縮放到540 x 960解析度(對應到在水平及垂直方向上縮放了一半)。如圖3所描述的，深度地圖旋轉了90度允許傳送比在圖2中描述的傳統格式更高水平解析度之深度地圖，其在接收器處造成全體更佳且更精確的3D圖片品質。
如在圖3中所描述，由於縮放及旋轉，影像訊框(212-Y)之像素區域中的一些可能未用過。此區域(例如，216)不是可被設至到固定填充符值(例如，128)就是影像及深度資料區域可被適當的縮放使得他們的和填充整個區域。例如，在實施例中，影像區域可具有1080 x 1280像素解析度，同時深度地圖資料可具有540 x 960像素解析度。在較佳的實施例中，為了改善譯碼效率，影像及深度地圖視點尺寸之維度可選擇為由編碼器(120)所使用譯碼單元尺寸之倍數(例如，16 x 16像素)。或者，遞送格式(例如，212-Y)之尺寸可藉添加虛設資料來調整以為了達到與由編碼器(120)所使用的譯碼單元之尺寸對齊(例如，巨集塊)。舉例來說，在範例實施例中，8條像素線可添加到1080之高，使得所有線之數目1088為16之倍數。
如在圖4A及4B中的範例實施例，能使用旋轉深度地圖於各種其它深度資料遞送格式中。在圖4A所描述的格式類似於在圖3中所描述者，排除了影像部分(410)包含在水平方向上子取樣且並列的堆疊的左(L) 及右視點(R)。在範例實施例中，使用1080 x 1920訊框，視點之各者可使用1080 x 720解析度儲存，同時480 x 960深度地圖(例如，ZL)係在1080 x 480深度地圖資料分割(418)中旋轉後儲存。
如在圖4B中所描述的，在另一實施例中，影像部分(412)包含在垂直及水平兩者的方向上所子取樣且一者被堆疊於其中另一者之頂部的左(L)及右視點(R)。在範例實施例中，使用1080 x 1920訊框，視點之各者可使用540 x 1440解析度來儲存，同時480 x 960深度地圖(例如，ZL)係在1080 x 480深度地圖資料分割(418)中旋轉後儲存。
在圖5中，深度資料遞送格式(520)描述依據實施例的3D+Z資料遞送之另一個範例。此格式將深度地圖資料之旋轉與選擇的切割結合。如一範例，考量原始影像資料(I)(510)與深度資料(Z)(512)(在1080 x 1920解析度處)要被多路轉換進入單一1080 x 1920輸出訊框(520)。如之前的，為了簡化，僅描述用於亮度成分的多路轉換；然而，也可在色度成分上施行相類似的操作。
使用非對稱的空間縮放之原理，可縮放影像資料與深度資料兩者以產生縮放的影像資料IS(514)與縮放的深度地圖資料ZS(516)。舉例來說，影像I可以跨水平方向¾的來縮放以產生1080 x 1440影像IS(514)，同時深度資料Z(512)可由在兩者方向上的2 之因子所縮放以產生540 x 960縮放的深度地圖ZS(516)。為將ZS配適進入深度地圖分割(520-Z)，(例如1080 x(1920-1440)=1080 x 480)，縮放的深度地圖ZS(516)可被劃分成二或更多片段(例如，480 x 960 ZA，與60 x 480 ZB及ZC)。接著，輸出多路的影像(520)之深度地圖分割(520-Z)可包含：堆疊在ZB及ZC深度地圖片段之頂部的旋轉的ZA深度地圖片段。
縮放深度地圖Z(512)可將分配的深度地圖分割(520-Z)與深度地圖片段之後續的旋轉及切割納入考量。
在一些實施例中，輸出多路的圖片(520)之影像部分分割(520-I)之尺寸可等於或大於主動輸入影像資料I(510)之尺寸，因此可跳過影像資料(510)之縮放。
在一些實施例中，影像資料分割及深度資料分割可藉將他們垂直的堆疊而多路轉換，一者在其中另一者之頂部。
在輸出影像(520)中深度地圖片段之位置、尺寸及定向可使用輔助資料或元數據從編碼器發訊到解碼器。在接收器中，在解碼及解多路影像資料與深度資料區域之後，接收器可使用元數據以解多路深度資料片段(518)並重建統一的深度地圖區域(516)，其當需要觀看影像資料(510)時可被縮放。
範例電腦系統建置
本發明之實施例可以電腦系統、以電子電路及組件組態的系統、像是微控制器的積體電路(IC)裝置、場可程式閘陣列(FPGA)或另一種可組態或可程式邏輯裝置(PLD)、離散時間或數位信號處理器(DSP)、特定應用IC(ASIC)及/或包括一或更多這類系統、裝置或組件的設備來建置。電腦及/或IC可施行、控制或執行關於編碼及解碼深度地圖遞送格式的指令，像是於此說明之該些者。電腦及/或IC可計算各種關於如於此說明的編碼與解碼深度地圖遞送格式的參數或值之任一者。影像與視頻動態範圍擴充實施例可以硬體、軟體、韌體及其不同的結合來建置。
本發明之某些建置包含電腦處理器，其執行導致處理器施行本發明之方法的軟體指令。舉例來說，在顯示器中的一或更多處理器、編碼器、機上盒、變碼器(transcoder)等可藉執行在對處理器可存取的程式記憶體中之軟體指令建置用於編碼與解碼如上述之深度地圖遞送格式的方法。本發明亦可以程式產品之形式被提供。程式產品可包含指令，其當由資料處理器執行時，導致資料處理器執行本發明之方法。依據本發明之程式產品可在廣泛多樣的非暫態形式之任一者中。程式產品可包含例如實體媒體，諸如包括軟碟(floppy diskettes)、硬碟驅動器的磁性資料儲存媒體、包括CD、ROM、DVD的光學資料儲存媒體、包括ROM、快閃RAM的電子資料儲存媒體或 類似者。在程式產品上的電腦可讀信號可選擇性地被壓縮或加密。
上面組件(例如，軟體模組、處理器、組合件、裝置、電路等)所參照到的地方，除非另外指示，參照到該組件(包括參照到「手段(means)」)應理解為包括該組件之等效以及施行所說明組件之功能的任何組件(例如，其為功能上的等效)，包括非結構上的等效於施行在本發明之闡述的範例實施例中的功能所揭露結構的組件。
等效、延伸、替代及綜合
藉此說明關於編碼及解碼深度地圖遞送格式的範例實施例。在前面的說明書中，本發明之實施例已參照到可隨建置而變化的眾多特定的細節來說明。因此，本發明為何之唯一且專有的並且被申請人打算要當做本發明的指示係為從本案中發布的該組記載的申請專利範圍，其包括任何隨後的校正。於此任何針對包含在上述的申請專利範圍中之術語明白提出的定義應決定當在申請專利範圍中使用時上述的術語之意義。由此，不會有未明白記載於請求項中的限制、元件、性質、特徵、益處或屬性應該以任何方式限制這樣的請求項之範圍。據此，說明書及圖式係以說明性的而非限制性的義意來認定。

Claims (21)

  1. 一種用於遞送3D深度資料的方法，該方法包含：存取輸入立體圖片及與該輸入立體圖片相關的輸入深度資料；回應於該輸入立體圖片，在第一定向上產生影像資料分割；產生深度地圖資料分割，其中該深度地圖資料分割具有與該影像資料分割不同的尺寸且包含回應於該輸入深度資料而產生的二或更多深度地圖片段，其中產生該深度資料分割包含：縮減該輸入深度資料，用以產生縮減的深度地圖；切割該縮放的深度地圖，用以產生二或更多深度地圖片段；相對於該第一定向旋轉該深度地圖片段之至少一者，用以產生旋轉的深度地圖片段；以及多路轉換該至少一旋轉的深度地圖片段以及該剩餘的深度地圖片段之一或更多者，用以形成該深度地圖資料分割；多路轉換該影像資料分割及該深度地圖分割以形成多路的輸出圖片；以及使用編碼器編碼該多路的輸出圖片以產生譯碼的位元流，用以被傳送到解碼器。
  2. 如申請專利範圍第1項之方法，其中該影像資料 分割包含基於該輸入立體圖片之第一視點或該輸入立體圖片之第二視點任一者的像素資料。
  3. 如申請專利範圍第1項之方法，其中該影像資料分割包含基於該輸入立體圖片之第一視點及該輸入立體圖片之第二視點兩者的像素資料。
  4. 如申請專利範圍第2項之方法，其中該影像資料分割係藉由將該輸入立體圖片之該第一視點或該第二視點跨水平方向或垂直方向縮減取樣來產生。
  5. 如申請專利範圍第2項之方法，其中該影像資料分割係藉由將該輸入立體圖片之該第一視點或該第二視點跨垂直方向及水平方向兩者縮減取樣來產生。
  6. 如申請專利範圍第1項之方法，其中產生深度地圖資料分割包含考慮分配的深度地圖分割(520-Z)的尺寸以及該深度地圖片段之後續的旋轉及切割來減縮該輸入深度資料。
  7. 如申請專利範圍第1項之方法，其中該一或更多剩餘的深度地圖片段並未旋轉。
  8. 如申請專利範圍第3項之方法，其中該影像資料分割係藉由將該影像視點之至少一者跨水平方向或垂直方向縮減取樣來產生。
  9. 如申請專利範圍第3項之方法，其中該影像資料分割係藉由將該影像視點之至少一者跨水平方向及垂直方向兩者縮減取樣來產生。
  10. 如申請專利範圍第1至5項之任一項的方法，其 中該第一定向為水平定向。
  11. 如申請專利範圍第1至5項之任一項的方法，其中該至少一深度地圖片段係旋轉了90度。
  12. 如申請專利範圍第1至5項之任一項的方法，其中該影像資料分割及該深度地圖資料分割係多路轉換為並排的圖片。
  13. 如申請專利範圍第1至5項之任一項的方法，其中該影像資料分割及該深度地圖資料分割係多路轉換為頂部及底部圖片。
  14. 如申請專利範圍第3項之方法，其中產生該影像資料分割更包含：縮減取樣該第一視點以建立縮減取樣的第一視點；縮減取樣該第二視點以建立縮減取樣的第二視點；以及藉由透過將該等縮減取樣的第一視點及第二視點以併排格式或頂部-底部格式之任一者堆疊而多路轉換該縮減取樣的第一視點及該縮減取樣的第二視點來產生該影像資料分割。
  15. 如申請專利範圍第1項之方法，其中該縮放的深度圖片係跨水平方向或垂直方向而切割。
  16. 如申請專利範圍第14或15項之方法，其中多路轉換該旋轉的深度地圖片段及該剩餘的深度地圖片段之一或更多者以形成該深度地圖資料分割包含將該旋轉的深度地圖片段與另一個深度地圖片段垂直地或水平地堆疊。
  17. 一種用於解碼自編碼器傳送的3D深度地圖資料的方法，該方法包含：使用解碼器解碼譯碼的位元流以產生第一定向之影像資料分割及深度地圖資料分割，其中該深度地圖資料分割包含二或更多深度地圖片段，該深度地圖片段之至少一者已相對於該第一定向被旋轉；旋轉該至少一被旋轉的深度地圖片段以產生具有匹配該第一定向之定向的至少一第二深度地圖片段；以及回應於至少該影像資料分割、該至少一第二深度地圖片段以及該剩餘深度地圖片段之一或更多者來產生解碼的輸出信號。
  18. 如申請專利範圍第17項之方法，其中該影像資料分割包含傳送的3D信號之第一視點或第二視點之縮放的表示。
  19. 如申請專利範圍第17項之方法，其中該影像資料分割包含傳送的3D信號之第一視點及第二視點兩者之縮放的表示。
  20. 如申請專利範圍第17項之方法，其中產生解碼輸出信號包含使用該影像資料分割、該至少一第二深度地圖片段以及該剩餘深度地圖片段之一或更多者呈現多視點。
  21. 一種非暫態電腦可讀儲存媒體，具有儲存於其上的電腦可執行指令，用於執行依據申請專利範圍第1項至第20項之任一者的方法。
TW103107711A 2013-04-04 2014-03-06 用於多視點裸視立體顯示器的深度地圖遞送格式 TWI558166B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361808422P 2013-04-04 2013-04-04

Publications (2)

Publication Number Publication Date
TW201503662A TW201503662A (zh) 2015-01-16
TWI558166B true TWI558166B (zh) 2016-11-11

Family

ID=50478382

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103107711A TWI558166B (zh) 2013-04-04 2014-03-06 用於多視點裸視立體顯示器的深度地圖遞送格式

Country Status (5)

Country Link
US (1) US10015465B2 (zh)
EP (1) EP2995081B1 (zh)
CN (1) CN105103545B (zh)
TW (1) TWI558166B (zh)
WO (1) WO2014161989A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI521940B (zh) * 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
CN104104934B (zh) * 2012-10-04 2019-02-19 陈笛 无眼镜多观众三维显示的组件与方法
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
JP6622388B2 (ja) * 2015-09-04 2019-12-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ビデオ画像に関連付けられているオーディオ信号を処理する方法および装置
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
CN105898274B (zh) * 2016-04-13 2018-01-12 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN105872519B (zh) * 2016-04-13 2018-03-27 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像横向存储方法
CN107046637A (zh) * 2017-01-05 2017-08-15 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法
CN108399596B (zh) 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
US11315321B2 (en) * 2018-09-07 2022-04-26 Intel Corporation View dependent 3D reconstruction mechanism
WO2022256497A1 (en) * 2021-06-02 2022-12-08 Dolby Laboratories Licensing Corporation Method, encoder, and display device for representing a three-dimensional scene and depth-plane data thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998039927A1 (fr) * 1997-03-07 1998-09-11 Sanyo Electric Co., Ltd. Recepteur de telediffusion numerique et afficheur
TW201223248A (en) * 2010-07-28 2012-06-01 Sisvel Technology Srl Method for combining images relating to a three-dimensional content

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002952873A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
JP4481275B2 (ja) 2006-06-19 2010-06-16 日本電信電話株式会社 ３次元映像情報の伝送方法
BR122018004903B1 (pt) 2007-04-12 2019-10-29 Dolby Int Ab ladrilhamento em codificação e decodificação de vídeo
US9225961B2 (en) * 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
IT1402995B1 (it) 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato
WO2012067399A2 (ko) 2010-11-15 2012-05-24 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
WO2014025294A1 (en) 2012-08-08 2014-02-13 Telefonaktiebolaget L M Ericsson (Publ) Processing of texture and depth images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998039927A1 (fr) * 1997-03-07 1998-09-11 Sanyo Electric Co., Ltd. Recepteur de telediffusion numerique et afficheur
TW201223248A (en) * 2010-07-28 2012-06-01 Sisvel Technology Srl Method for combining images relating to a three-dimensional content

Also Published As

Publication number Publication date
US20160050404A1 (en) 2016-02-18
CN105103545A (zh) 2015-11-25
EP2995081B1 (en) 2019-06-12
US10015465B2 (en) 2018-07-03
EP2995081A1 (en) 2016-03-16
TW201503662A (zh) 2015-01-16
WO2014161989A1 (en) 2014-10-09
CN105103545B (zh) 2016-12-14
HK1211764A1 (zh) 2016-05-27

Similar Documents

Publication Publication Date Title
TWI558166B (zh) 用於多視點裸視立體顯示器的深度地圖遞送格式
US10165251B2 (en) Frame compatible depth map delivery formats for stereoscopic and auto-stereoscopic displays
US9584794B2 (en) Depth helper data
EP2742695A2 (en) Method and apparatus for creating a disocclusion map used for coding a three-dimensional video
US20150062296A1 (en) Depth signaling data
HK1211764B (zh) 用於多视图自动立体显示器的深度图传送格式
Assunção et al. 3D Media Representation and Coding
Vetro Three-Dimensional Video Coding
HK1261742B (zh) 用於立体显示器和自动立体显示器的深度图传送格式
HK1261742A1 (zh) 用於立体显示器和自动立体显示器的深度图传送格式
HK1206182B (zh) 用於立体显示器和自动立体显示器的深度图传送格式