TW201904280A - 使用多參考基於深度影像之再現之光場壓縮之方法及系統 - Google Patents

使用多參考基於深度影像之再現之光場壓縮之方法及系統 Download PDF

Info

Publication number
TW201904280A
TW201904280A TW107119069A TW107119069A TW201904280A TW 201904280 A TW201904280 A TW 201904280A TW 107119069 A TW107119069 A TW 107119069A TW 107119069 A TW107119069 A TW 107119069A TW 201904280 A TW201904280 A TW 201904280A
Authority
TW
Taiwan
Prior art keywords
light field
image
images
orthophoto
imaging system
Prior art date
Application number
TW107119069A
Other languages
English (en)
Inventor
劉萬凱
薩賀 Y 艾帕斯朗
哈森 S 艾爾－葛洛力
Original Assignee
美商傲思丹度科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商傲思丹度科技公司 filed Critical 美商傲思丹度科技公司
Publication of TW201904280A publication Critical patent/TW201904280A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

本發明揭示用於使用多參考基於深度影像之再現技術(MR-DIBR)來壓縮光場影像之方法及系統。該等方法及系統使用參考深度(或像差)圖及色彩圖來增強經壓縮光場影像之光場影像品質以達成經壓縮光場影像資料集中之孔洞填充及裂紋填充。

Description

使用多參考基於深度影像之再現之光場壓縮之方法及系統
本發明之實施例係關於光場顯示壓縮。更具體而言，本發明之實施例係關於使用參考深度(或像差)圖及色彩圖達成光場影像之壓縮的多參考基於深度影像之再現(MR-DIBR)。
光場影像資料壓縮對於容納與全視差及全色彩光場顯示器(一般包括數百萬個元素影像)相關聯之大量影像資料已成為一必要。使用基於深度影像之再現(DIBR)之習用光場壓縮方法雖然對於元素影像之壓縮係高效的，但可能無法併入在可接受壓縮比下提供高品質光場影像所必要之遮擋及孔洞填充功能。在(例如)標題為「Methods for Full Parallax Compressed Light Field Synthesis Utilizing Depth Information」之第2016/0360177號美國專利申請公開案中揭示此習用DIBR壓縮方法之一實例，該美國專利申請公開案之揭示內容以引用方式併入本文中。
光場顯示器調變光之強度及方向以用於重建一場景中之三維(3D)物件而不需要用於觀看之專門眼鏡。為了實現此目的，光場顯示器通常利用大量視圖，此在3D處理鏈之獲取及透射階段中施加數個挑戰。壓縮係處理所涉及之巨大資料大小之一必要工具，且系統在影像產生階段處對視圖進行二次取樣且然後在顯示階段處重建缺失視圖係常見的。舉例而言，在Yan等人之「Integral image compression based on optical characteristics」(計算機視覺 ，IET ，第5卷，第3期，第164、168頁(2011年5月))及Yan Piao等人之「Sub-sampling elemental images for integral imaging compression」(2010 年國際音訊語言與影像處理會議 (ICALIP) ，第1164、1168頁(2010年11月23日至25日))中，作者基於顯示系統之光學特性而執行元素影像之二次取樣。光場取樣之一更正式方法存在於以下作品中：Jin-Xiang Chai等人之(2000年)「Plenoptic sampling」，其在第 27 屆計算機圖形與互動技術年會記錄 (SIGGRAPH ’00)中；及Gilliam, C.等人之「Adaptive plenoptic sampling」，2011 年第 18 屆 IEEE 國際影像處理會議 (ICIP) ，第2581、2584頁(2011年9月11日至14日)。為了在顯示側處重建光場視圖，當前使用範圍介於自電腦圖學方法至基於影像之再現方法內之數種不同方法。
在電腦圖學方法中，創建一場景或一場景之一視圖之行為稱為「視圖再現」。在電腦圖學中，通常使用併入有來自相機視點之照明及表面性質之一複雜3D幾何模型。此視圖再現一般需要多個複雜操作及場景幾何形狀之一詳細知識。
另一選擇係，基於影像之再現(IBR)用多個周圍視點之使用來替換複雜3D幾何模型之使用，該多個周圍視點用於直接自對光場進行過取樣之輸入影像合成視圖。儘管IBR產生較多真實視圖，但其需要一較密集資料獲取程序、資料儲存及光場中之冗餘。為減少資料處置懲罰，基於深度影像之再現(DIBR)利用來自3D幾何模型之深度資訊以便減少所需IBR視圖之數目。(例如，參見第8,284,237號且為C. Fehn之美國專利，圖片編碼研討會記錄中之「3D-TV Using Depth-Image-Based Rendering (DIBR)」，舊金山，加利福尼亞州，美國，2004年12月)。在此方法中，每一視圖具有與每一像素位置相關聯之一深度，稱作一深度圖，然後使用該深度圖來合成缺失視圖。
DIBR方法通常具有三個相異步驟：亦即，1)視圖扭曲(或視圖投影)，2)視圖合併，及3)孔洞填充。視圖扭曲係由一個相機擷取之一場景重新投影至另一相機之影像平面。此程序利用由參考視圖內之每像素深度資訊提供之場景之幾何形狀以及擷取裝置之特性，亦即，相機之內在參數(焦距、主點)及外在參數(旋轉、3D位置)(在圖片編碼研討會記錄中之「3D-TV Using Depth-Image-Based Rendering (DIBR)」，舊金山，加利福尼亞州，美國，2004年12月)。可在兩個單獨階段中執行視圖扭曲/視圖投影步驟：僅投影像差值之一向前扭曲階段，及自參考提取色彩值之一向後扭曲階段。由於像差扭曲可受舍入及深度量化影響，因此可將一選用像差濾波區塊添加至系統以校正錯誤經扭曲像差值。
在使一個參考視圖扭曲之後，目標影像之各部分可能仍然係未知的。由於處於不同深度之物件以不同表觀速度移動，因此在參考視圖中由一個物件隱藏之場景之部分在目標視圖中可係未遮擋的，同時目標視圖之此部分之色彩資訊不可自參考獲得。通常，多個參考用於嘗試覆蓋來自多個視點之場景，使得可自另一參考影像獲得一個參考之未遮擋部分。在多個視圖之情況下，不僅場景之未遮擋部分可來自不同參考，而且可同時藉由多個參考將場景之各部分視覺化。因此，該等參考之經扭曲視圖可係互補的且同時係重疊的。
視圖合併係使多個視圖一起成為一個單視圖之操作。若來自不同視圖之像素經映射至相同位置，則使用深度值來判定主導視圖，該主導視圖將由最接近視圖或數個視圖之一內插給出。
甚至在多個視圖之情況下，存在如下可能性：在目標視圖處視覺化之場景之部分不對應於參考視圖中之任何色彩資訊。缺少色彩資訊之彼等位置稱為「孔洞」，且已提出數種孔洞填充方法以用來自周圍像素值之色彩資訊填充此等孔洞。通常自物件未遮擋部產生孔洞，且丟失色彩與背景色彩相關。已提出根據背景色彩資訊填入孔洞之數種方法(例如，Kwan-Jung Oh等人之「Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-D video」，圖片編碼研討會， 2009.PCS 2009 年 ，第1、4、6至8頁，2009年5月)。
由於顯示裝置之解析度限制，尚未將DIBR方法完全令人滿意地應用於全視差光場影像。然而，隨著具有極小像素間距之高解析度顯示裝置之出現(舉例而言，第8,567,960號美國專利)，使用DIBR技術之全視差光場之視圖合成現在係可行的。
Levoy等人利用兩個平行平面之間的光射線內插來擷取一光場且重建其視點(例如，參見Marc Levoy等人(1996)之「Light field Rendering」，其在第 23 屆電腦圖學與互動技術年會記錄 (SIGGRAPH '96)中)。然而，為達成真實結果，此方法需要產生且處理大量資料。若考量到場景之幾何形狀，具體而言深度，則可實現資料產生及處理之一顯著減少。
在Steven J. Gortler等人(1996年)之「The lumigraph」(在第 23 屆電腦圖學與互動技術年會記錄 (SIGGRAPH '96)中)中，作者提出使用深度來校正射線內插，且在Jin-Xiang Chai等人(2000年)之「Plenoptic sampling」(在第 27 屆計算機圖形與互動技術年會記錄 (SIGGRAPH '00)中)中，展示再現品質與視圖數目及可用深度成比例。當使用更多深度資訊時，需要較少參考。但不利的係，基於深度影像之再現方法已由於不準確深度值且由於合成方法之精確度限制而易於出錯。
深度獲取本身係一複雜問題。通常，系統利用一相機陣列，且一物件之深度可藉由在不同相機位置處之對應物件特徵來估計。此方法由於遮擋或平滑表面而易於出錯。最近，已使用用於深度獲取之數種主動方法，諸如深度相機及三維測距相機。然而，所擷取深度圖仍存在對視圖合成程序造成不利影響(儘管低振幅)之雜訊位準。
為了處理不準確幾何資訊，特定習用方法可應用一預處理步驟以對所獲取深度圖進行濾波。舉例而言，在Kwan-Jung Oh等人之「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video」(信號處理快報，IEEE ，第16卷，第9期，第747、750頁(2009年9月))中，提出使深度圖平滑化同時增強其邊緣之一濾波方法。在Shujie Liu等人之「New Depth Coding Techniques With Utilization of Corresponding Video」(IEEE 廣播會報 ，第57卷，第2期，第551、561頁(2011年6月))中，作者提出將對應色彩資訊添加至傳統雙邊濾波器以改良色彩與深度之間的匹配的一個三邊濾波器。然而，深度資訊之預處理並未消除合成假影且可係計算密集的且對於低延時系統係不實際的。
與視圖合併有關之一已知問題係視圖之間的色彩不匹配。在Yang L等人(2010年)之「Artifact reduction using reliability reasoning for image generation of FTV」(J Vis Commun Image Represent，第21卷，第542至560頁(2010年7月至8月))中，作者提出使一參考視圖扭曲至另一參考視圖位置以便驗證兩個參考之間的對應性。在扭曲期間不使用不可靠像素(亦即，在兩個參考中具有一不同色彩值之像素)。為了不減少參考像素數目，作者依據立體顯示器與應用XXI記錄中之「Novel view synthesis with residual error feedback for FTV」(第7524卷，2010年1月，第75240L-1-12頁(H. Furihata等人))提出使用自兩個參考視圖中之對應像素之間的差異獲得之一色彩校正因子。儘管此所提出方法改良再現品質，但該改良以檢查像素色彩及深度之經增加計算時間及記憶體資源為代價。
由於習用合成方法系針對彼此相對地接近之參考視圖而最佳化，因此此等DIBR方法對於光場二次取樣不太有效，其中參考視圖進一步彼此間隔開。此外，為減少相關聯資料處置負荷，用於視圖合成之此等習用方法通常僅以水平視差視圖為目標且垂直視差資訊保持未處理。
在3D編碼標準化(ISO/IEC JTC1/SC29/WG11，Call for Proposals on 3D Video Coding Technology，日內瓦，瑞士，2011年3月)程序中，視圖合成正被視為3D顯示器處理鏈之一部分，此乃因其允許擷取階段與顯示階段之解耦。藉由在顯示側處併入視圖合成，需要擷取較少視圖。
雖然合成程序並非規範之一部分，但MPEG組織提供在3D視訊系統之評估中使用之一視圖合成參考軟體(VSRS)。VSRS軟體實施用於視圖合成之技術，包含全部三個階段：視圖扭曲、視圖合併及孔洞填充。由於VSRS可與任何種類之深度(包含自電腦圖學模型獲得之地表實況深度圖直至來自立體對影像之經估計深度圖)一起使用，因此併入諸多精密技術以適應性地處理深度圖缺陷及合成不準確。為了VSRS合成，僅使用兩個視圖來判定輸出；一左視圖及一右視圖。
首先，比較左深度與右深度之間的差之絕對值與一預定臨限值。若此差大於一預定義臨限值(指示深度值彼此非常不同，且可能與不同深度層中之物件有關)，則最小深度值判定距相機較近之物件，且假定視圖係左視圖或右視圖。在深度值彼此接近之情況下，那麼孔洞數目用於判定輸出視圖。比較左視圖中之孔洞數目與右視圖中之孔洞數目之間的絕對差與一預定臨限值。在兩個視圖皆具有一類似孔洞數目之情況下，然後使用來自兩個視圖之像素之一平均值。否則，選擇具有更少孔洞之視圖作為輸出視圖。此程序對於不可靠地扭曲之像素係有效的。其偵測錯誤值且拒斥該等錯誤值，但同時需要一高計算成本，此乃因針對每一像素單獨地執行一複雜視圖分析(深度比較及孔洞計數)。
VSRS使用一水平相機配置且僅利用兩個參考。其針對具有小基線之視圖(亦即，彼此接近之視圖)之合成經最佳化。其未使用任何垂直相機資訊且不適合用於光場合成中。
在Graziosi等人之「Depth assisted compression of full parallax light fields」(IS&T/SPIE電子成像。國際光學與光子學協會(2015年3月17日))中，引入以光場為目標且使用水平及垂直資訊兩者之一合成方法。該方法採用多參考基於深度影像之再現(MR-DIBR)之態樣且與相關聯像差一起利用多個參考以再現光場。在此方法中，像差首先向前扭曲至一目標位置。接下來，將一濾波方法應用於經扭曲像差以減輕假影，諸如由不準確像素位移導致之裂紋。第三步驟係合併所有經濾波扭曲像差。選擇具有較小深度(亦即，最接近於觀察者)之像素。VSRS混合來自具有類似深度值之兩個視圖之色彩資訊且獲得一模糊經合成視圖(其在合併之後僅利用一個視圖來保持參考視圖之高解析度)，與Graziosi等人之「Depth assisted compression of full parallax light fields」(IS&T/SPIE電子成像國際光學與光子協會(2015年3月17日))相比較。再現時間因自僅一個參考進行色彩資訊之簡單複製而非內插數個參考而在VSRS中減少。
最後，經合併元素影像像差用於使來自參考之色彩之色彩向後扭曲且產生最後經合成元素影像。
當來自參考視圖之深度值係不準確的時，此視圖合併演算法趨向於展現品質降級。已在(例如) C. Fehn之第8,284,237號美國專利(「3D-TV Using Depth-Image-Based Rendering (DIBR)」，在圖片編碼研討會記錄中，舊金山，加利福尼亞州，美國(2004年12月))及Kwan-Jung Oh等人之「Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video」(信號處理快報，IEEE ，第16卷，第9期，第747、750頁(2009年9月))中提出用於對深度值進行濾波之方法，但此等方法不合意地增加系統之計算要求且可增加顯示系統之延時。
將參考下文所論述之細節闡述本發明之各種實施例及態樣，且附圖將圖解說明各種實施例。以下說明及圖式對本發明進行圖解說明且不應解釋為限制本發明。闡述眾多具體細節以提供對本發明之各種實施例之一透徹理解。然而，在特定例項中，未闡述眾所周知或習用細節以便提供對本發明之實施例之一簡潔論述。
在說明書中對「一項實施例」或「一實施例」之提及意味結合該實施例所闡述之一特定特徵、結構或特性可包含於本發明之至少一項實施例中。在說明書中各種地方出現之片語「在一項實施例中」未必全部係指同一實施例。隨機存取係指在一讀取/寫入輸入/輸出操作期間至少一次對一檔案之一隨機位移進行存取(讀取/寫入)。
下文所闡述之壓縮方法解決存在於習用DIBR壓縮方法中之若干個缺陷。使用此等壓縮方法，可藉由使用透視投影光場影像(例如，元素影像或全像元素影像)或藉由使用正射投影光場影像(例如，子影像、子孔隙影像等)而重建光場影像。使用本文中所闡述之壓縮方法之輸出影像之品質及壓縮比因此取決於場景特性，諸如物件之深度及形狀。
本發明揭示用於使用多參考基於深度影像之再現技術(MR-DIBR) 來壓縮光場影像之方法及系統。該等方法及系統使用參考深度(或像差)圖及色彩圖來增強經壓縮光場影像之光場影像品質以達成經壓縮光場影像資料集中之孔洞填充及裂紋填充。
根據本發明之一項態樣，該方法接收一場景之一光場影像之影像資料。該光場影像包含一或多個子影像。該方法基於該所接收影像資料而在一顯示裝置之一顯示表面上產生該光場影像。該方法基於顯示校準參數而校準該顯示表面。該方法基於用於該等子影像中之每一者之一再現區而在該經校準顯示表面上產生一新光場影像。
根據本發明之另一態樣，該方法自一或多個正射光場影像產生一經合併正射光場影像。針對該等正射光場影像中之每一者，該方法判定該正射光場影像與一其他正射光場影像之間的一距離，藉此產生一或多個距離。該方法基於該等所判定距離而配置該等正射光場影像。
根據本發明之另一態樣，該方法接收包含一或多個子影像之一光場影像之影像資料。該方法藉由將一立體匹配演算法應用於該一或多個子影像中之一對子影像而基於該影像資料來產生該光場影像之一像差圖。該方法使用來自該一或多個子影像之其他子影像驗證該像差圖。該方法將該像差圖轉換為該光場影像之一深度圖。
根據本發明之另一態樣，該方法接收一場景之一光場影像之影像資料。該場景包含一或多個物件。該方法基於一深度分佈而將該場景劃分成一或多個子空間。該方法針對該等子空間中之每一者計算一或多個定界框。該等定界框中之每一者環繞該子空間內之一物件。
根據本發明之另一態樣，該方法接收一場景之一光場影像之影像資料。該場景包含一或多個物件。針對該等物件中之每一者，該方法計算該場景中之該物件之一邊界，且基於該經計算邊界而計算該物件之一定界框。
根據本發明之另一態樣，該方法接收一場景之一光場影像之影像資料。該場景包含一或多個物件。針對該等物件中之每一者，該方法搜尋一相鄰像素以判定該物件之一邊界，且基於該所判定邊界而計算該物件之一定界框。
根據本發明之另一態樣，該方法產生包含複數個間隙之一經合成光場影像。該方法使該經合成光場影像之一參考深度向前扭曲以產生一合成深度圖。該方法對該合成深度圖施加一間隙填充濾波器。該方法基於一參考紋理而使該合成深度圖向後扭曲以產生該經合成光場影像之一經再現紋理。
1.基於透視投影之MR-DIBR 編碼及解碼
如標題為「Preprocessor for Full Parallax Light Field Compression」之第2016/0021355號美國公開案(其揭示內容以引用方式併入本文中)中所詳述，MR-DIBR使得能夠自參考影像且自參考像差圖重建其他視角。最初經由一「可見度測試」選擇參考影像及參考像差圖。該可見度測試利用：1)物件距一調變表面之距離，及2)顯示器之FOV以判定且界定參考影像及像差圖。
一般而言，與含有距調變表面之物件較近之一場景相比較，含有距調變表面較遠之物件之一場景趨向於產生較小數目個參考影像及參考像差圖。較小數目個參考影像及參考像差圖產生一較高壓縮比。然而，一般而言，較高壓縮比亦意味經解碼影像中之較大降級。下文將經解碼影像品質與場景中之物件之深度之間的關係(具有壓縮比之目標度量、峰值信雜比(PSNR)及結構類似性(SSIM))論述為本發明之各種態樣之一簡短背景及介紹。
1.1關於不同深度之壓縮比
藉由公式判定兩個取樣相機之間的距離：
depth_obj * tan(cam_FOV / 2)
其中depth_obj係物件之深度且cam_FOV係相機之FOV。
下文係關於使用一範例基於QPI成像器之光場顯示裝置(或QPI光場顯示裝置)執行MR-DIBR及傳統壓縮演算法之一論述。
例如在第7,623,560號美國專利、第7,767,479號美國專利、第7,829,902號美國專利、第8,049,231號美國專利、第8,243,770號美國專利、第8,567,960號美國專利及第8,098,265號美國專利中揭示此新類別之QPI光場顯示裝置，該等美國專利之揭示內容以引用方式併入本文中。在某些實施例中，本文中提及之所揭示發光結構及裝置可基於一QPI成像器。該QPI光場顯示裝置可以全部在一非常小單個裝置大小(包含所有必要影像處理驅動電路)中之高亮度、非常快速多色彩光強度及空間調變能力為特徵。在一項實施例中，QPI光場顯示裝置之固態光(SSL)發射像素可係一發光二極體(LED)或雷射二極體(LD)或兩者，其接通-關斷狀態可受含納在一互補金屬氧化物半導體(CMOS)晶片(或裝置) (成像器之發射性微尺度像素陣列接合且以電子方式耦合在其上)內之一驅動電路控制。包含此成像器裝置之發射性陣列之像素之大小通常在大致5微米至20微米之範圍內，其中一典型發射性表面積在大致15平方毫米至150平方毫米之範圍內。發射性微尺度像素陣列裝置內之像素通常透過其CMOS晶片之驅動電路可在空間上、在色度上且在時間上個別地定址。由此QPI光場顯示裝置產生之光之亮度可在合理地低功率消耗下達到多倍的100,000 cd/m2。
然而，應理解，QPI光場顯示裝置僅僅係可使用之一裝置類型之一實例。因此，在下文說明中，對QPI成像器、顯示器或顯示裝置之提及應理解為係為了所揭示實施例中之具體說明之目的，而非為了本發明之態樣之任何限制。
參考圖1，一物件100 (例如，一立方體或立方塊)可包含多個相等面，其中每一面具有相等邊(例如，邊105)。如圖2中所展示，紋理200可施加至物件100。更詳細地，下文之表1展示基於QPI之LFD之參數且下文之表2展示物件100之參數。在一項實施例中，物件100之邊105可係8毫米(mm)。在一項實施例中，調變表面位於xy平面(其中z = 0)上，且物件100之深度可係可變的。
表1. 基於QPI 之LFD 參數
表2. 立方塊參數
參考圖3，可基於下文在表1至2中列出之三個壓縮演算法而以計算且圖表方式表示物件100之壓縮比與深度之間的關係。
表1至2. 壓縮方法比較
如圖3中所展示，當物件100之中心點之深度係大約z = -3 mm時熵編碼(如由曲線圖320表示)及霍夫曼編碼(如由曲線圖310表示)表現最好，此乃因諸多元素影像僅顯示物件100之一個面且元素影像之複雜度係低的，從而導致低熵(亦即，一較高壓縮比)。自此位置開始，改變距顯示螢幕之距離減小針對熵編碼之壓縮比。相比之下，當物件100移動為距顯示螢幕較遠時MR-DIBR (如由曲線圖330表示)表現更好。
圖4展示在物件100靠近於一顯示螢幕之情況下之壓縮比。例如，當z = 4.25 mm時，物件100之前面非常靠近於調變表面，因此可見度測試選擇對定界框進行定址之每一全像元素。參考圖5 (其展示當物件100移動為距顯示螢幕(亦即，調變表面)較遠時壓縮比之改良)，視圖網格之密度顯著減小。
因此，MR-DIBR編碼之壓縮比(其與參考影像數目成比例)取決於物件100之定界框距調變表面之距離。相比之下，熵編碼之壓縮比由物件100之形狀及紋理複雜度判定。
參考圖6，一物件600可係為與圖1之物件100不同之一形狀。在一項實施例中，物件600可係為經延長長度且包含多個面，其中每一面係大致矩形形狀的。在一項實施例中，物件600之一面可包含一邊605 (其可係1 mm)。
圖7圖解說明當圖2之紋理200施加至物件600時物件600之壓縮比與深度之間的關係。如圖7中所展示，當物件600之深度係大約z = 1 mm時霍夫曼編碼(如由曲線圖710表示)及熵編碼(如由曲線圖720表示)具有一最佳壓縮比。再次，當物件600移動為距顯示螢幕較遠時(亦即，當物件600之深度增加時) MR-DIBR (如由曲線圖730表示)具有一較佳壓縮比。
圖8圖解說明當圖9之紋理900 (例如，一電影海報)施加至物件600時物件600之壓縮比與深度之間的關係。如圖8中所展示，當物件600之深度係大約z = 1 mm時霍夫曼編碼(如由曲線圖810表示)及熵編碼(如由曲線圖820表示)亦具有一最佳壓縮比。如先前關於圖7所闡述，當物件600移動為距顯示螢幕(或調變表面)較遠時MR-DIBR (如由曲線圖830表示)具有一較佳壓縮比。
因此，圖7及圖8展示MR-DIBR之壓縮比不取決於物件600之大小或物件600之紋理。然而，熵編碼及霍夫曼編碼之效能基於物件600之形狀及紋理而改變。在熵編碼及霍夫曼編碼中，舉例而言，當物件600位於顯示螢幕附近時壓縮比較高。此乃因物件600接近於相機且相機僅記錄物件600之紋理之一小部分，從而引起一低頻率擷取。然而，當物件600距相機較遠時，相機看到更多物件細節且記錄一更高頻率影像，此減小壓縮比。在此等實驗中，物件600之形狀影響最高壓縮比之位置。物件600之厚度表現得像一距離偏差且使物件600之面之位置移動為最接近於相機。物件600之形狀可取決於凸性/凹性及形狀之特徵之細節而具有其他效應。
圖10圖解說明根據本發明之一項實施例之一光場成像系統。參考圖10，光場成像系統1000可包含一預處理器1010及一光場顯示系統1050，光場顯示系統1050具有一再現單元1020及一光場顯示器1030。
在一項實施例中，預處理器1010可擷取、再現或接收表示一物件(例如，圖1之物件100或圖6之物件600)之光場輸入資料(或場景/3D資料) 1001。另一選擇係，在另一實施例中，光場輸入資料1001可由一單獨單元(例如，一擷取或再現單元(未展示))擷取或再現。此外，預處理器1010可產生與光場輸入資料1001相關聯之一先驗資訊。舉例而言，如下文更詳細地闡述，預處理器1010可執行對光場輸入資料1001之立體匹配及/或深度估計以獲得一場景之空間結構之一表示。隨後，預處理器1010可將資訊及光場輸入資料1001提供至再現單元1020以用於再現。例如，再現單元1020可基於透視及/或正射投影而對光場輸入資料1001執行MR-DIBR以產生經壓縮或經再現影像(例如，元素影像或全像元素影像)。然後可將該等經壓縮或經再現影像提供至光場顯示器1030以用於顯示在一顯示螢幕(亦即，調變表面)上。
1.2MR-DIBR 解碼中之顯示校準參數( 三個自由度)
下文論述MR-DIBR解碼中之顯示校準參數之處置。假定一顯示器中之校準誤差以在x軸上之一移位、在y軸上之一移位或圍繞z軸之一旋轉之形式出現在xy平面中。出於圖解說明目的，假定本實例之顯示器為直立的，假定x軸沿著顯示器之水平方向，假定y軸沿著顯示器之垂直方向且假定+z軸以右手記法係自顯示器朝向觀看者延伸。假定顯示器在xy平面中之中心係世界座標中之原點(0,0,0)。
在一項實施例中，直接自參考影像再現經校準影像。除參考影像之外，亦可利用三個校準參數(dx、dy及Ω)，其中dx係水平平移誤差(或水平位移)，dy係垂直平移誤差(或垂直位移)，且Ω係圍繞z軸在一逆時針方向上之旋轉誤差(或傾斜角度)。
圖11展示一光場顯示器(LFD) 1100中之一QPI成像器之一位置，且圖12展示當施加一紋理(例如，圖2之紋理200)時由LFD 1100顯示之一影像。出於實例目的，如圖11中所展示，假定LFD 1100包含傾斜QPI成像器(例如，3D QPI成像器)之一4×6陣列。先前在表1中展示範例LFD之規格。為了校準，選擇QPI成像器1101 (其表示LFD 1100上之位置(3, 2))，如圖11中所繪示。
圖13係圖解說明根據本發明之一項實施例之用於再現一光場影像之一方法之一流程圖。可由處理邏輯執行程序1300，該處理邏輯包含硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合。舉例而言，可由圖10之再現單元1020執行程序1300。
參考圖13，在方塊1310處，處理邏輯接收一場景之一光場影像之影像資料，其中該光場影像包含一或多個子影像(例如，元素影像或全像元素影像)。在方塊1320處，處理邏輯基於所接收影像資料而在一顯示裝置之一顯示表面(例如，透鏡陣列)上產生光場影像。在方塊1330處，處理邏輯基於顯示校準參數而校準顯示表面。作為一所圖解說明實例(亦參考圖15)，使用dx = 0.13 mm、dy = -0.06 mm及Ω = 0.9°之校準參數之一現實最壞情景集合。參考圖14，圖解說明根據本發明之一項實施例之一QPI成像器1410 (例如，9×16全像元素陣列)及一經旋轉且經平移微透鏡陣列1420。在圖14中，QPI成像器1410之左上全像元素移位全像元素大小之幾乎三分之一。自原始位置之最大移位針對角全像元素而發生，此乃因角全像元素距QPI成像器之中心最遠。在下文導出傾斜度與最大移位之間的關係。
依據方程式(1)及(2)，在圖16及表3中展示傾斜度對最大移位。
表1. 傾斜度對最大移位
通常，傾斜誤差小於1°，此意味：針對接近於顯示器之中心之一單個全像元素，dx (如由圖16之曲線圖1610表示)及dy (如由圖16之曲線圖1620表示)小於0.4個像素。可針對屬一顯示器之所有全像元素寫出類似公式且結果遵循相同趨勢。依據此分析，可推斷出，透鏡傾斜(或旋轉)僅影響每一全像元素之中心位置，但對再現區形狀不太有影響。
返回參考圖13，在方塊1340處，處理邏輯基於用於子影像中之每一者之一再現區而在經校準顯示表面上產生一新光場影像。為在校準之情況下產生或再現新影像，判定新全像元素之中心(例如，全像元素中心1460)，且然後判定用於每一全像元素之再現區。如先前所闡述，可(舉例而言)使用MR-DIBR執行再現經校準影像。
基於以上分析，可以一分段方式達成使用MR-DIBR合成一光場影像(包含顯示校準參數)，其中可將每一全像元素視為在依據校準資料計算之中心位置處定中心之一正方形(或矩形影像)。以此方式，在壓縮資料保持有用的同時解決了顯示器微透鏡陣列(MLA)之總體移位及旋轉之問題。
在一項實施例中，使用以上測試影像之PSNR係23.28 dB。比較圖形處理單元(GPU)之輸出，不存在輸出影像之顯著差異，且基於此模擬，可能經由MR-DIBR再現經校準元素影像。
2.基於正射投影之MR-DIBR
參考圖17 (其展示MR-DIBR校準資料之一輸出)，當物件位於距相機較遠處時具有透視投影(如先前所闡述)之MR-DIBR給出經改良結果(亦即，經合成影像中之較高壓縮比及較少失真)。(亦參見圖18，其展示一原始影像與一經合成影像之差異)。
然而，位於接近於相機處之物件通常產生高數目個參考影像。因此，正射投影解決此問題且已判定接近於相機之物件可由藉由正射投影而形成之小數目個參考影像表示。
2.1正射相機之可見度測試
正射投影影像(或正射影像)之可見度測試假定中心視圖方向(亦即，正交於相機表面，或相機光學軸)始終經選擇為第一視圖，此乃因其係經擷取之物件之正面視圖。可見度測試用於判定必須選擇哪些其他方向來覆蓋物件。
如圖19及圖20中展示，可見度測試自相機1920之FOV之末端角度2015及2017 (其能夠覆蓋物件1910)開始且在物件1910之另一側上之末端角度上結束。為覆蓋整個物件，一使用者亦需要計算兩個角度之間的步階。如圖21及圖22中所見，物件1910之一部分2112未由兩個末端方向及中心方向覆蓋，因此需要提供額外正射視圖。由最遠距離判定兩個視圖角度之間的步階。
下文展示用於判定參考影像數目之方程式：
N = z/{(W/2)/[tan(FOV/2)]}，
其中W係螢幕寬度，N係參考影像數目，z係深度，且FOV係相機之FOV。
藉由Dist = (全像元素數目) / N – 1計算兩個參考影像之間的距離。
若距離Dist大於中心視圖之寬度，則添加更多視圖。
儘管中心視圖及末端角視圖通常擷取整個物件，但其仍可能丟失經遮擋(如圖23及圖24中所展示)之物件之某些區(例如，圖24之區2410)。為減少遮擋效應，添加又一個視圖以覆蓋遮擋區。藉由使用距相機之物件距離及遮擋區之大小而計算視圖角度。
2.2具有正射投影之MR-DIBR
表4. LFD 及物件參數
表5. 經模擬物件參數
表4及表5展示範例經模擬LFD及物件參數。
圖25係一輸入正射光場影像之一顯示器，且圖26係輸入正射光場影像之一放大視圖。所圖解說明可見度測試之結果判定：除中心視圖之外，亦需要四角視圖，如圖27 (其展示四角視圖2712至2718之一參考視圖網格)及圖28 (其展示一立方體或立方塊之四個角之四個參考影像)中所展示。
基於各別色彩圖及像差圖，參考影像經轉換為新視圖位置，且然後經合併至一新正射影像中。最常見假影由未根據觀看角度經正確地取樣之表面之投影導致。由於每一影像之假影係不同的，因此失真發生在合併彼等影像之後。為減少失真，MR-DIBR應用以下步驟(如下文關於圖29所闡述)。
圖29係圖解說明根據本發明之一項實施例之用於再現一光場影像之另一方法之一流程圖。可由處理邏輯執行程序2900，該處理邏輯包含硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合。舉例而言，可由圖10之再現單元1020執行程序2900。
參考圖29，在方塊2910處，處理邏輯自一或多個正射光場影像(如先前所闡述)產生一經合併正射光場影像。在方塊2920處，針對正射光場影像中之每一者，處理邏輯判定正射光場影像(例如，一參考影像)與一其他正射光場影像(例如，另一參考影像)之間的一距離，藉此產生一或多個距離。在方塊2930處，處理邏輯基於所判定距離而配置正射光場影像。舉例而言，在某些實施例中，針對正射光場影像中之每一者，以距目標位置之一最短距離開始向距目標位置之一最遠距離而進行，若一候選深度與一當前深度之間的一差至少係一預定深度臨限值，則處理邏輯可將正射光場影像切換成一下一正射光場影像以便替換該當前深度及經合併正射光場影像之一色彩圖。另外，處理邏輯可填充經合併正射光場影像內之裂紋(例如，使用一修補演算法)。
然而，在某些實施例中，可難以判定可基於相鄰像差而設定之適當深度臨限值。就此而言，圖31展示在與一深度臨限值一起使用四角視圖之情況下之一經合成影像，該經合成影像具有對比圖30之經合成影像而經改良之品質。而且，圖32展示使用四角視圖及一中心視圖之一經合成影像，該經合成影像亦改良品質。
2.3兩個MR-DIBR 方法( 透視及正射) 之輸出之比較
為探索本發明之兩個透視MR-DIBR方法與正射MR-DIBR方法之間的差異，在下文就壓縮比、PSNR及SSIM而言比較每一MR-DIBR方法。
圖33及圖34展示透視MR-DIBR方法及正射MR-DIBR方法(如先前所闡述)之視圖網格。圖35至圖38展示來自兩種方法之呈不同組態之輸出影像。關於壓縮比，透視相機係57:1，而正射相機係320:1。就輸出影像之品質而言，下文在表6中展示PSNR及SSIM。
表6. 使用兩種方法計算之輸出 影像之PSNR 及SSIM
如可見，透視方法之PSNR比正射方法稍微好。然而，正射相機之壓縮比更好。就SSIM而言，存在極少差異。由於兩個物件距顯示螢幕不遠，因此透視方法之壓縮比不與正射相機一樣高。
如依據上文顯而易見，在壓縮操作中，可能取決於哪一者提供更佳壓縮效能而選擇一正射或透視投影。亦可能使用此等投影平面之兩者且改良經合成影像品質。舉例而言，接近於顯示表面之場景可使用一正射投影且距顯示器較遠之場景可使用一透視投影。
3.深度估計
一深度圖(或一像差圖)係用於MR-DIBR之輸入資料。若藉由一GPU產生光場影像，則可藉由GPU使用適合軟體準確地產生相關聯深度圖。另一方面，對於藉由可商購光場相機或相機陣列而擷取之影像，一使用者必須使用像差估計方法形成相關聯像差圖。
3.1深度估計之介紹
對於兩個元素影像，存在用以執行立體匹配及深度估計之諸多可用演算法。此等功能可存在於(例如) Matlab中之電腦視覺工具箱中或OpenCV中之程式庫中。對於光場影像，每一元素影像之大小係非常小的且總全像元素數目係非常大的。若在兩個元素影像之間使用立體匹配，則其具有兩個限制。首先，每一影像之小大小意味存在需要比較之有限特徵。傳統立體匹配僅比較兩個影像。當一物件之紋理係簡單的或區塊之大小係小的時，可在相鄰影像上存在多個匹配區塊。圖39係圖解說明一影像內之多個匹配區塊之一實例。其次，若深度估計僅基於兩個影像，則所有其他資訊丟失，該資訊可已用於改良估計之準確性。
圖40係圖解說明根據本發明之一項實施例之用於深度估計之一方法之一流程圖。可由處理邏輯執行程序4000，該處理邏輯包含硬體(例如，電路、專用邏輯等)、軟體(例如，嵌入於一非暫時性電腦可讀媒體上)或其一組合。舉例而言，可由圖10之預處理器1010執行程序4000。
另外，程序4000可在最近相鄰元素影像當中識別匹配區塊，然後藉由匹配此等區塊與在同一水平或垂直線上但相距較遠之元素影像而驗證像差。
參考圖40，在方塊4010處，處理邏輯接收包含一或多個子影像之一光場影像之影像資料。在方塊4020處，處理邏輯藉由將一立體匹配演算法應用於一或多個子影像中之一對子影像而基於影像資料來產生光場影像之一像差圖。在一項實施例中，對於水平像差，可利用同一列上之元素影像進行立體匹配。類似地，同一行上之元素影像可用於垂直像差。例如，參見圖41 (其圖解說明一元素影像之一水平像差圖及一像差圖至一深度圖之一轉換)及圖42 (其係圖解說明用於一或多個光場影像之深度估計之一方法之一流程圖)。
返回參考圖40，在方塊4030處，處理邏輯使用來自一或多個子影像之其他子影像驗證像差圖。舉例而言，藉由同一列或行上之所有可能元素影像驗證匹配區塊可改良像差值之準確度，但顯著增加運行時間。使用一2的冪搜尋(舉例而言)可確保最小運行時間內之準確度。2的冪搜尋演算法檢查兩個隔開的元素影像(EI)、四個隔開的EI、八個隔開的EI等的一區塊匹配。運行時間然後自O(n)減小至O(log n)。雙向地(亦即，在兩個方向上)搜尋亦改良估計之準確度(例如，參見圖43及圖45)。當在正方向上搜尋區塊時，預期向右移動，且當在負方向上搜尋區塊時，預期向左移動。由於取樣誤差，因此一匹配區塊可存在於預期位置之±1像素內，因此2的冪搜尋方法亦在水平及垂直方向上查看±1像素區以驗證區塊匹配(及像差)，例如，參見圖44 (其係與一單像素移位一起圖解說明一2的冪搜尋技術之一實例)。再次轉回至圖40，在方塊4040處，處理邏輯將像差圖轉換至光場影像之一深度圖。
圖45圖解說明對一測試影像應用雙向搜尋技術。在圖45中，圓圈4505係在兩個方向上匹配之區塊。在右邊，匹配以在右鄰居元素影像上之兩個匹配區塊4515及4517開始。兩個區塊中之僅一者繼續具有在右邊之一匹配且其經選擇為實際匹配。在左邊，在兩個EI中識別匹配。在左邊，最遠匹配係在一EI處識別出，即在圓圈左邊之第二個EI，且在右邊，最遠匹配係在圓圈右邊之第16個EI。最左邊經匹配EI處之像差係-3且最右邊經匹配EI處之像差係+23。基於此等結果，藉助以下公式由圓圈識別像素之最後像差：
像差 = (右像差 – 左像差)/(右EI距離 - 左EI距離)
因此，像差 = (23-(-3))/(16-(-2))=26/18=1.44。
參考圖46至圖51，展示具有不同區塊大小之深度圖之輸出。舉例而言，當區塊大小係3×3 (圖46至圖47)時，平均誤差係0.41個像素。當區塊大小係5×5 (圖48至圖49)時，平均誤差係0.36個像素。兩者皆小於0.5個像素，此無法藉由僅在兩個元素影像之間進行比較之先前技術方法來達成。圖51展示基於交叉相關係數方法之輸出結果，交叉相關係數方法之誤差係大約1.38個像素。
3.2物件邊界處之誤差
在本文中之非限制性所圖解說明實例中，使用54×64個全像元素影像作為輸入影像，然後針對中心20×20個全像元素計算像差圖–圖52展示此20×20個全像元素之像差圖。以上像差圖之平均誤差係0.30個像素。如自圖52所見，誤差大部分分佈在物件之邊界附近。
當背景接近於一物件之邊界時，背景通常由物件遮擋。由於背景之紋理僅係黑色的，因此方法可給出一假陽性且將背景偵測為一匹配區塊，例如，參見圖53。藉由使用背景偵測(如下文所論述)而解決此問題。
3.3深度圖上之物件識別及分割
可見度測試需要場景中之物件之一定界框作為其主要輸入，且下文闡述用以判定一光場視訊之每一圖框中之物件之定界框之一方法。舉例而言，方法找出具有與一顯示表面平行之一面之一定界框。為估計定界框之位置，使用光場影像之深度圖且自光場深度圖之每一全像元素獲取中心像素。此界定與顯示表面平行之一物件之定界框之末端位置(例如，參見表7、圖5及圖7)。
表7. 單立方塊模型之參數
圖54 (其展示一單個立方塊模型之一輸入光場深度圖)及圖55 (其展示來自單個立方塊模型之深度圖之全像元素之中心像素)。基於圖55，經估計定界框具有以下座標：Xmin = -6.6 mm，Xmax = 6.6 mm，Ymin = -5.8 mm，Ymax = 5.4 mm，Zmin = 16.6248 mm。當場景中之物件數目增加時，可使用數個方法來估計定界框，如表8中所展示。
圖56係圖解說明根據本發明之一項實施例之用於定界框估計之一方法之一流程圖。可由處理邏輯執行程序5600，該處理邏輯包含硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合。舉例而言，可由圖10之預處理器1010執行程序5600。
參考圖56，在方塊5610處，處理邏輯接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件。在方塊5620處，處理邏輯基於一深度分佈而將一場景劃分成一或多個子空間。舉例而言，場景中之物件之定界框係可見度測試(如先前所闡述)之主要輸入中之一者。用於計算定界框之方法中之一者係深度分佈方法。此方法(舉例而言)使用像差圖(或深度圖)之一直方圖(例如，參見圖59)取決於場景中之深度分佈而計算物件之定界框，例如，參見圖69。隨後，可利用叢集分析來識別直方圖中之像差(或深度)叢集。像差(或深度)叢集一般由特定臨限值(例如，圖59之臨限值5902及5904)分開。舉例而言，若一深度小於30 mm，則物件屬一第一叢集，該第一叢集可用於判定一第一子空間(例如，參見圖60)。若深度介於30 mm與40 mm之間，則物件屬一第二叢集，該第二叢集可用於判定一第二子空間(例如，參見圖61)。若深度多於40 mm，則物件屬一第三叢集，該第三叢集可用於判定一第三子空間(例如，參見圖62)。每一叢集識別其中可存在一定界框之一場景之一部分。藉由判定每一叢集內之物件之末端座標(舉例而言，Xmin、Xmax、Ymin、Ymax、Zmin及Zmax)而找到每一叢集中之定界框。在方塊5630處，針對子空間中之每一者，處理邏輯計算一或多個定界框，其中定界框中之每一者環繞子空間內之一物件。
圖57係圖解說明根據本發明之一項實施例之用於定界框估計之另一方法之一流程圖。可由處理邏輯執行程序5700，該處理邏輯包含硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合。舉例而言，可由圖10之預處理器1010執行程序5700。
參考圖57，在方塊5710處，處理邏輯接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件。在方塊5720處，針對物件中之每一者，處理邏輯計算場景中之物件之一邊界(例如，使用一梯度圖)。在方塊5730處，處理邏輯基於經計算邊界而計算物件之一定界框。
圖58係圖解說明根據本發明之一項實施例之用於定界框估計之另一方法之一流程圖。可由處理邏輯執行程序5800，該處理邏輯包含硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或其一組合。舉例而言，可由圖10之預處理器1010執行程序5800。
參考圖58，在方塊5810處，處理邏輯接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件。在方塊5820處，針對物件中之每一者，處理邏輯搜尋一相鄰像素以判定物件之一邊界。在方塊5830處，處理邏輯基於所判定邊界而計算物件之一定界框。
在下文所論述之實例中，展示一個三立方塊測試模型。表8展示模型之參數，且表9展示三立方塊模型之實際定界框。
表8. 三立方塊模型之參數
表9. 三立方塊模型之實際定界框
表10. 使用圖56之方法之經估計定界框
依據上文之表10，使定界框在不同子空間當中重疊，此可藉由重疊偵測來解決。例如，針對不同子空間參見圖60至圖62。如圖59上所展示，當深度間隙在物件當中係非常小的時，找到一最佳臨限值(例如，臨限值5902及臨限值5904)係關鍵的。若兩個物件具有相同深度值，則不可能經由圖56之方法將其除以一臨限值。如此，當面對此問題時圖57至圖58之方法係更適當的。
表11. 使用圖57 之方法之經估計定界框
圖57之方法不選擇邊界上之像素。例如，針對藉由對深度圖執行一梯度操作而得出之經計算(或經偵測)邊界參見圖63。圖64至圖66關於圖57之方法展示不同子空間。在每一經估計定界框上添加一額外全像元素，此產生圖58之方法(例如，參見表12、圖67)。
表12. 使用圖58 之方法之經估計定界框
在不計算邊界之情況下，最近鄰居搜尋需要比圖57之方法少之運行時間。然而，由於邊界上之樣本誤差(例如，參見圖68)，因此邊界上可存在某些小物件。
由於遮擋，因此檢查側視圖係有益的。定界框在每一視圖上經計算且然後與來自彼等視圖之定界框組合。考量存在自側視圖之一移位，添加相對移位，其中相對移位 = 深度 * tan(FOV/2)。
表13. 來自所有視圖之經組合定界框
使用來自不同視圖之定界框可有益地減少遮擋效應。當一個視圖展示一單個定界框時，另一視圖可展示多個定界框(例如，參見圖70至圖73)。舉例而言，在圖69中看到一單個定界框，而在圖74中，將最左邊立方塊劃分成兩個子部分。因此，當方法識別場景中之所有可能定界框時，自不同視圖查看場景係重要的。當合成不同視圖時，使用者應首先識別不同視圖中之定界框且然後針對場景中之每一物件形成一經合成定界框。
顯示器之邊緣上之元素影像可用於搜尋在顯示邊界外側之物件。對於基於一透視相機之MR-DIBR，最小深度可判定一視圖網格之密度。為找到視圖網格之開始及結束索引，針對每一中心線搜尋非空白區，該非空白區在圖75至圖76上由區7502及7504展示。
3.4在不具有一單獨深度圖之情況下對一光場影像執行之可見度測試
如先前所闡述，為了產生用於可見度測試之必要輸入，在以下步驟中處理光場影像：
1. 深度估計，
2. 定界框估計，及
3. 可見度測試。
表14. 輸入測試光場影像
圖77圖解說明來自不同全像元素之多個視圖，且圖78至圖79展示僅來自一色彩圖之輸出影像。為減少在立方體之邊界附近之誤差，對每一立方體應用背景偵測。當前，輸出之品質由於來自經估計深度圖之誤差而並非良好的，但存在諸如可應用於深度估計之深度學習等技術，在改良深度圖之準確度之後，輸出影像得以改良。
4.基於射線變換之再現
射線變換係基於相機之位置而再現新影像之一方法。當一固定FOV相機移動為距一場景較遠時，其覆蓋更多場景但記錄更少細節。知曉此之情況下，可調整壓縮演算法使得將某些相機放置為距場景較遠以記錄更一般資訊且將某些相機放置為距場景較近以記錄需要額外細節之區。射線變換之概念用於藉由使用經放置為距場景較遠之一單個相機形成多個特寫相機之不太詳細視圖。為使此方法有效，相機之FOV不必須係相同的，如圖80中所展示。
4.1射線變換之方程式：
圖80展示兩個相機之一射線變換投影。在圖80中，將相機8010放置為距場景較遠，而將相機8020放置為距場景較近。兩個相機8010及8020具有相同焦距(f )，但具有不同FOV。在所圖解說明實施例中，假定相機8010係參考相機，且相機8020係經合成相機。
如圖80中所繪示，將相機8010放置在遠離物件8050之距離D1處且將相機8020放置在遠離物件8050之距離D2處。物件高度係H，相機8010中之經記錄影像高度係H1且相機8020中之經記錄影像高度係H2。依據類似三角關係，獲得：
然後得出：
此方程式用於找出兩個相機之間的像素之關係。若經合成相機之光學軸不與參考相機之光學軸重疊，則將一移位添加至以上公式且得出：
然後可在必要之情況下在水平方向及垂直方向兩者上添加移位。
保存相機。
圖81圖解說明由參考相機及其他相機覆蓋之FOV。隨著參考相機移位為距物件較遠，其覆蓋之面積變得更大。下文展示FOV與距離之間的關係：
如圖81中所展示，參考相機8010可覆蓋四個或更多個普通相機8120a至8120d之FOV，且在其覆蓋範圍中包含相機平面。藉由僅使用參考相機，一使用者可減少拍攝場景之圖片所需要之相機數目。
參考相機之位置係靈活的。
此外，一使用者可將參考相機放置在任何位置處。不要求將參考相機放置在與其他相機相同之平面上或放置為與其他相機之光學軸平行。考量物件之位置及大小，有時可藉由不同相機使經覆蓋區重疊。可忽略可由其他相機重建之冗餘相機。
隨著參考相機與經再現相機之間的距離變得更大，經重建影像之解析度減小。為確保經再現影像之解析度，較遠參考相機可經組態以具有一較高解析度。
圖82展示一參考影像，且圖83至圖85展示具有不同深度之經再現影像。參考影像之解析度係500×500個像素。依據圖83至圖85，解析度隨著兩個相機之間的距離增加而減小。為補償此效應，可使用具有較高解析度之一參考相機，但此等方法伴隨較大量資料。因此，經重建影像之品質取決於物件之形狀。
圖86展示一遮擋區之一實例。若相機8610係一參考相機，則相機8620係一經再現相機。無法自相機8610重建物件8650之遮擋區8660。基於射線變換再現，參考面之傾斜應小於射線與水平線之間的交叉角度。在使用射線變換之前，可執行一類型之可見度測試以判定任何遮擋問題。為解決一所偵測遮擋問題，使用者可使參考相機移位或使用額外參考相機。
針對一透視投影相機，隨著相機定位為距一物件較遠，深度平面之量化變得更粗糙，此意味深度值針對較遠物件具有一較大誤差。
圖87係圖解說明一深度精確度與距一相機之一距離之間的一關係之一曲線圖(自https://developer.nvidia.com/content/depth-precision-visualized 複製)。假定參考相機比經合成相機距物件遠。由於參考相機與經合成相機相比較距物件更遠，因此經合成相機影像亦將受深度量化影響。
4.2合成演算法
圖88係根據本發明之一項實施例之用於合成一光場影像之一方法之一流程圖。在某些實施例中，可由圖10之再現單元1020執行該方法。
在方塊8810中，針對輸入參考深度8801執行向前扭曲，此產生具有光場影像之深度值之一合成深度圖(或經扭曲深度圖) 8803。在一項實施例中，合成深度圖8803可包含間隙。舉例而言，返回參考圖83至圖85，由於參考影像及經合成影像之解析度(大小)係相同的(但經合成影像係參考影像之一子集)，因此間隙(例如，黑色間隙)可在射線變換再現之後出現在經合成影像中。
在一項實施例中，藉由對深度圖8803施加一間隙填充濾波器，可(舉例而言)由相鄰像素填充間隙，且產生一經濾波深度圖。舉例而言，一物件之形狀通常係連續的。基於此假定，可執行內插以填充深度圖8803上之間隙。
在方塊8820處，藉由使用深度圖8803 (或經濾波深度圖)及參考紋理8805執行向後扭曲以產生經再現紋理8807。例如，向後扭曲可用於找到參考影像(或紋理)上之對應像素。舉例而言，在圖89至圖90中展示向後扭曲演算法之結果(或一經再現紋理)。
圖91係可與本發明之一項實施例一起使用之一資料處理系統之一方塊圖。舉例而言，系統9100可用作如圖10中所展示之光場成像系統1000之一部分。注意，雖然圖91圖解說明一電腦系統之各種組件，但其不意欲表示使組件互連之任一特定架構或方式；此乃因此等細節並非與本發明有密切聯繫。亦將瞭解到，具有更少組件或可能更多組件之網路電腦、手持式電腦、行動裝置(例如，智慧型電話、平板電腦)及其他資料處理系統亦可與本發明一起使用。
如圖91中所展示，系統9100 (其係一資料處理系統之一形式)包含一匯流排或互連件9102，匯流排或互連件9102耦合至一或多個微處理器9103及一ROM 9107、一揮發性RAM 9105及一非揮發性記憶體9106。微處理器9103耦合至快取記憶體9104。匯流排9102將此等各種組件互連在一起且亦將此等組件9103、9107、9105及9106互連至一顯示控制器與顯示裝置9108，而且互連至輸入/輸出(I/O)裝置9110，輸入/輸出(I/O)裝置9110可係滑鼠、鍵盤、數據機、網路介面、印表機及此項技術中眾所周知之其他裝置。
通常，輸入/輸出裝置9110透過輸入/輸出控制器9109耦合至系統。揮發性RAM 9105通常實施為連續地需要電力以便再新或維持記憶體中之資料的動態RAM (DRAM)。非揮發性記憶體9106通常係一磁硬碟機、一磁光碟機、一光碟機或一DVD RAM或甚至在自系統移除電力之後維持資料之其他類型之記憶體系統。通常，非揮發性記憶體亦將係一隨機存取記憶體，儘管此並非必需的。
雖然圖91展示非揮發性記憶體係直接耦合至資料處理系統中之組件之其餘部分之一區域裝置，但可利用遠離系統之一非揮發性記憶體，諸如，透過諸如一數據機或乙太網路介面之一網路介面耦合至資料處理系統之一網路儲存裝置。匯流排9102可包含透過各種橋接器、控制器及/或適配器彼此連接之一或多個匯流排，如此項技術中眾所周知。在一項實施例中，I/O控制器9109包含用於控制USB周邊裝置之一通用串列匯流排(USB)適配器。另一選擇係，I/O控制器9109可包含一IEEE-1394適配器，亦稱為用於控制火線裝置之火線適配器。
可由處理邏輯執行前述各圖中所繪示之程序或方法，該處理邏輯包括硬體(例如，電路、專用邏輯等)、軟體(例如，體現於一非暫時性電腦可讀媒體上)或兩者之一組合。儘管上文就某些順序操作而言闡述程序或方法，但應瞭解，可以一不同次序執行所闡述之某些操作。此外，可並行地而非順序地執行某些操作。
未參考任何特定程式化語言闡述本發明之實施例。將瞭解，各種程式化語言可用於實施如本文中所闡述之本發明之實施例之教示。
在前述說明書中，本發明之實施例已參考其具體例示性實施例經闡述。將明白，在不背離如以下申請專利範圍書中所陳述之本發明之較寬廣精神及範疇之情況下，可對本發明做出各種修改。因此，應將本說明書及圖式視為具有一說明性意義而非一限定性意義。
100‧‧‧物件
105‧‧‧邊
200‧‧‧紋理
310‧‧‧曲線圖
320‧‧‧曲線圖
330‧‧‧曲線圖
600‧‧‧物件
605‧‧‧邊
710‧‧‧曲線圖
720‧‧‧曲線圖
730‧‧‧曲線圖
810‧‧‧曲線圖
820‧‧‧曲線圖
830‧‧‧曲線圖
900‧‧‧紋理
1000‧‧‧光場成像系統
1001‧‧‧光場輸入資料
1010‧‧‧預處理器
1020‧‧‧再現單元
1030‧‧‧光場顯示器
1050‧‧‧光場顯示系統
1101‧‧‧量子光子成像器
1100‧‧‧光場顯示器
1410‧‧‧量子光子成像器
1420‧‧‧經旋轉且僅平移微透鏡陣列
1460‧‧‧全像像素中心
1610‧‧‧曲線圖
1620‧‧‧曲線圖
1910‧‧‧物件
1920‧‧‧相機
2015‧‧‧末端角度
2017‧‧‧末端角度
2112‧‧‧部分
2712‧‧‧四角視圖
2714‧‧‧四角視圖
2716‧‧‧四角視圖
2718‧‧‧四角視圖
2900‧‧‧程序
2910‧‧‧方塊
2920‧‧‧方塊
2930‧‧‧方塊
4000‧‧‧程序
4010‧‧‧方塊
4020‧‧‧方塊
4030‧‧‧方塊
4040‧‧‧方塊
4505‧‧‧圓圈
4515‧‧‧匹配區塊
4517‧‧‧匹配區塊
5600‧‧‧程序
5610‧‧‧方塊
5620‧‧‧方塊
5630‧‧‧方塊
5700‧‧‧程序
5710‧‧‧方塊
5720‧‧‧方塊
5730‧‧‧方塊
5800‧‧‧程序
5810‧‧‧方塊
5820‧‧‧方塊
5830‧‧‧方塊
7502‧‧‧區
7504‧‧‧區
8010‧‧‧相機/參考相機
8020‧‧‧相機
8120a-d‧‧‧普通相機
8050‧‧‧物件
8610‧‧‧相機
8620‧‧‧相機
8650‧‧‧物件
8660‧‧‧遮擋區
8801‧‧‧輸入參考深度
8803‧‧‧合成深度圖/深度圖
8805‧‧‧參考紋理
8807‧‧‧經再現紋理
8810‧‧‧方塊
8820‧‧‧方塊
9100‧‧‧系統
9102‧‧‧匯流排/互連件
9103‧‧‧微處理器/組件
9104‧‧‧快取記憶體
9105‧‧‧揮發性隨機存取記憶體/組件
9106‧‧‧非揮發性記憶體/組件
9107‧‧‧ROM/組件
9108‧‧‧顯示控制器與顯示裝置
9109‧‧‧輸入/輸出控制器
9110‧‧‧輸入/輸出裝置
D1‧‧‧距離
D2‧‧‧距離
dx‧‧‧校準參數/水平平移誤差
dy‧‧‧校準參數/垂直平移誤差
f‧‧‧焦距
H‧‧‧物件高度
h1‧‧‧經記錄影像高度
h2‧‧‧經記錄影像高度
Ω‧‧‧校準參數/旋轉誤差
在隨附圖式之各圖中以實例方式而非限制方式圖解說明本發明之實施例，其中相似元件符號指示類似元件。
圖1圖解說明一物件之一模型。
圖2圖解說明一物件之一紋理。
圖3圖解說明物件之壓縮比與深度之間的關係。
圖4展示在一物件接近於一顯示螢幕之情況下之壓縮比。
圖5展示當一物件移動為距顯示螢幕較遠時壓縮比之改良。
圖6圖解說明一其他物件之一模型。
圖7圖解說明當紋理施加至其他物件時其他物件之壓縮比與深度之間的關係。
圖8圖解說明當另一紋理施加至其他物件時其他物件之壓縮比與深度之間的關係。
圖9展示一物件之另一紋理。
圖10圖解說明根據本發明之一項實施例之一光場成像系統。
圖11展示一光場顯示器(LFD)中之一量子光子成像器(QPI®)成像器之一位置。
圖12展示當施加一紋理時由一LFD顯示之一影像。
圖13係圖解說明根據本發明之一項實施例之用於再現一光場影像之一方法之一流程圖。
圖14圖解說明根據本發明之一項實施例之具有一經旋轉且經平移透鏡陣列之一QPI成像器。
圖15圖解說明在一未變形全像元素(「全像元素(hogel)」)之頂部上之一變形全像元素。
圖16係圖解說明一傾斜程度與一最大移位之間的關係之一圖表。
圖17展示MR-DIBR校準資料之一輸出。
圖18展示一原始影像與一經合成影像之間的差異。
圖19展示一物件及一相機。
圖20展示由一相機截頭錐覆蓋之一物件區。
圖21展示相機之兩個方向之一遮擋區。
圖22展示由相機之三個視圖覆蓋之一區。
圖23展示相機之一中心觀看角度。
圖24展示遮擋區之一側視圖。
圖25係一輸入正射光場影像之一顯示器。
圖26係輸入正射光場影像之一放大視圖。
圖27展示四角視圖之一參考視圖網格。
圖28展示一立方體(或立方塊)之四個角之四個參考影像。
圖29係圖解說明根據本發明之一項實施例之用於再現一光場影像之另一方法之一流程圖。
圖30展示在利用四角視圖之情況下之一經合成影像。
圖31展示在與一深度臨限值一起使用四角視圖之情況下之一經合成影像。
圖32展示使用四角視圖及一中心視圖之一經合成影像。
圖33展示用於比較透視及正射MR-DIBR方法之輸出之一透視參考視圖網格。
圖34展示用以比較透視及正射MR-DIBR方法之輸出之一正射參考網格。
圖35展示藉由透視MR-DIBR方法合成之透視圖。
圖36展示藉由正射MR-DIBR方法合成之透視圖。
圖37展示藉由透視MR-DIBR方法合成之正射視圖。
圖38展示藉由正射MR-DIBR方法合成之正射視圖。
圖39係圖解說明一影像內之多個匹配區塊之一實例。
圖40係圖解說明根據本發明之一項實施例之用於深度估計之一方法之一流程圖。
圖41圖解說明一元素影像之一水平像差圖及一像差圖至一深度圖之一轉換。
圖42係圖解說明根據本發明之一項實施例之用於一或多個光場影像之深度估計之一方法之一流程圖。
圖43係圖解說明一雙向搜尋技術之一實例。
圖44係與一單像素移位一起圖解說明一2的冪搜尋技術之一實例。
圖45圖解說明對一測試影像應用雙向搜尋技術。
圖46展示具有一3×3區塊之一經估計深度圖。
圖47展示參考深度圖之差異及一3×3區塊估計。
圖48展示具有一5×5區塊之一經估計深度圖。
圖49展示參考深度圖之差異及一5×5區塊估計。
圖50展示使用一習用深度估計方法之一經估計深度圖。
圖51展示使用習用深度估計方法之參考深度圖之差異。
圖52係在一54×64全像元素輸入影像之中心處之20×20個全像元素之一像差圖。
圖53展示由一背景導致之一物件邊界誤差。
圖54展示一單個立方塊模型之一輸入光場深度圖。
圖55展示來自單個立方塊模型之深度圖之全像元素之中心像素。
圖56係圖解說明根據本發明之一項實施例之用於定界框估計之一方法之一流程圖。
圖57係圖解說明根據本發明之一項實施例之用於定界框估計之另一方法之一流程圖。
圖58係圖解說明根據本發明之一項實施例之用於定界框估計之另一方法之一流程圖。
圖59展示一個三立方塊模型之一深度圖直方圖。
圖60展示一場景之一第一子空間。
圖61展示場景之一第二子空間。
圖62展示場景之一第三子空間。
圖63展示藉由對深度圖之一梯度操作所偵測到之邊界。
圖64展示場景之一其他第一子空間。
圖65展示場景之一其他第二子空間。
圖66展示場景之一其他第三子空間。
圖67展示場景內之每一物件之一第二索引。
圖68展示定界像素上之誤差。
圖69展示每一全像元素上之中心像素。
圖70展示來自一中心視圖之定界框。
圖71展示來自一俯視圖之定界框。
圖72展示來自一仰視圖之定界框。
圖73展示來自一左視圖之定界框。
圖74展示來自一右視圖之定界框。
圖75展示由QPI成像器覆蓋之一區。
圖76展示一XY平面上之經覆蓋區。
圖77圖解說明來自不同全像元素之多個視圖。
圖78圖解說明具有40×40之一全像元素大小之一立方塊之一輸出影像。
圖79圖解說明具有80×80之一全像元素大小之一立方塊之一輸出影像。
圖80展示兩個相機之一射線變換投影。
圖81展示定位為距一場景較遠之可覆蓋四個相機之視場(FOV)之一參考相機。
圖82係一參考影像之一實例。
圖83係一經再現影像之一實例。
圖84係另一經再現影像之一實例。
圖85係一其他經再現影像之一實例。
圖86展示一遮擋區之一實例。
圖87係圖解說明一深度精確度與距一相機之一距離之間的一關係之一曲線圖。
圖88係根據本發明之一項實施例之用於合成一光場影像之一方法之一流程圖。
圖89係一經合成光場影像之一實例。
圖90係另一經合成光場影像之一實例。
圖91係可與本發明之一項實施例一起使用之一資料處理系統之一方塊圖。

Claims (82)

  1. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 接收一場景之一光場影像之影像資料，其中該光場影像包括一或多個子影像； 基於該所接收影像資料而在一顯示裝置之一顯示表面上產生該光場影像； 基於顯示校準參數而校準該顯示表面；及 基於用於該等子影像中之每一者之一再現區而在該經校準顯示表面上產生一新光場影像。
  2. 如請求項1之方法，其中校準該顯示表面包括使該顯示表面旋轉一傾斜角度，且使該顯示表面移位該顯示表面之一分率。
  3. 如請求項2之方法，其進一步包括藉由判定該等子影像中之每一者之一新顯示中心而判定用於該等子影像中之每一者之該再現區。
  4. 如請求項1之方法，其中該等顯示校準參數包含一水平位移、一垂直位移及圍繞一z軸之一傾斜角度。
  5. 如請求項1之方法，其中該等子影像係元素影像或全像元素影像。
  6. 如請求項1之方法，其中使用多參考基於深度影像之再現(MR-DIBR)來執行在該經校準顯示表面上產生該新光場影像。
  7. 如請求項3之方法，其中基於該等顯示校準參數而判定該等子影像中之每一者之該新顯示中心。
  8. 如請求項3之方法，其中該等子影像中之每一者之該新顯示中心係一全像元素陣列之一全像元素之一中心。
  9. 如請求項1之方法，其中該顯示表面包含一微透鏡陣列。
  10. 如請求項1之方法，其中該光場影像係一參考光場影像。
  11. 如請求項2之方法，其中該傾斜角度係至多1°。
  12. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 自複數個正射光場影像產生一經合併正射光場影像； 針對該等正射光場影像中之每一者，判定該正射光場影像與一其他正射光場影像之間的一距離，藉此產生複數個距離；及 基於該等所判定距離而配置該等正射光場影像。
  13. 如請求項12之方法，其中配置該等正射光場影像包括：針對該等正射光場影像中之每一者，以一最短距離開始向一最遠距離而進行，若一候選深度與一當前深度之間的一差至少係一預定深度臨限值，則將該正射光場影像切換成一下一正射光場影像以便替換該當前深度及該經合併正射光場影像之一色彩圖，且填充該經合併正射光場影像內之複數個裂紋。
  14. 如請求項12之方法，其中該等正射光場影像包含一中心視圖影像及若干末端視圖影像。
  15. 如請求項12之方法，其進一步包括判定產生該經合併正射光場影像所需要之該等正射光場影像之一數目。
  16. 如請求項15之方法，其進一步包括：基於該等正射光場影像中之一對正射光場影像之間的一距離而判定是否產生一額外正射光場影像；及若該距離大於一中心光場相機之一中心視圖之一寬度，則產生該額外正射光場影像。
  17. 如請求項15之方法，其中基於一顯示螢幕之一寬度、該場景中之一物件之一深度及一光場相機之一視場(FOV)而判定該等正射光場影像之該數目。
  18. 如請求項14之方法，其中該等正射光場影像進一步包含四角視圖影像以最小化該場景內之一物件之一遮擋區。
  19. 如請求項16之方法，其中基於該等正射光場影像之該數目及一全像元素陣列中之全像元素之一數目而計算該距離。
  20. 如請求項12之方法，其中配置該等正射光場影像包含自距一目標位置之一最短距離至距該目標位置之一最遠距離來配置該等正射光場影像。
  21. 如請求項16之方法，其中基於一物件與用於產生該額外正射光場影像之一光場相機之間的一距離及該物件之一遮擋區之大小而判定該光場相機之一觀看角度。
  22. 如請求項13之方法，其中使用一修補演算法來執行填充該經合併正射光場影像內之該複數個裂紋。
  23. 如請求項12之方法，其中該複數個正射光場影像係參考光場影像。
  24. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 接收包含複數個子影像之一光場影像之影像資料； 藉由將一立體匹配演算法應用於該複數個子影像中之一對子影像而基於該影像資料來產生該光場影像之一像差圖； 使用來自該複數個子影像之其他子影像來驗證該像差圖；及 將該像差圖轉換為該光場影像之一深度圖。
  25. 如請求項24之方法，其中驗證該像差圖包括執行一搜尋演算法以獲得該對子影像之間的匹配區塊。
  26. 如請求項25之方法，其中該搜尋演算法係一2的冪雙向搜尋演算法。
  27. 如請求項24之方法，其中該對子影像係毗鄰子影像。
  28. 如請求項25之方法，其中該像差圖包含複數個像差值，基於一右像差值及一左像差值而計算該等像差值中之每一者。
  29. 如請求項28之方法，其中基於一右元素影像距離及一左元素影像距離而進一步計算該等像差值中之每一者。
  30. 如請求項24之方法，其中該對子影像在該光場影像內之一相同列上。
  31. 如請求項24之方法，其中該對子影像在該光場影像內之一相同行上。
  32. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件； 基於一深度分佈而將該場景劃分成一或多個子空間；及 針對該等子空間中之每一者，計算一或多個定界框，其中該等定界框中之每一者環繞該子空間內之一物件。
  33. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件；及 針對該等物件中之每一者， 計算該場景中之該物件之一邊界，且基於該經計算邊界而計算該物件之一定界框。
  34. 如請求項33之方法，其中使用一梯度圖執行計算該物件之該邊界。
  35. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件；及 針對該等物件中之每一者， 搜尋一相鄰像素以判定該物件之一邊界，且基於該所判定邊界而計算該物件之一定界框。
  36. 如請求項35之方法，其中每一物件之該定界框包含該物件之一視圖。
  37. 如請求項36之方法，其進一步包括組合該等物件之該等定界框以減少遮擋。
  38. 如請求項36之方法，其中該視圖係該物件之一右視圖、一左視圖、一俯視圖或一仰視圖。
  39. 一種再現用於一光場成像系統之一影像之電腦實施之方法，該方法包括： 產生包含複數個間隙之一經合成光場影像； 使該經合成光場影像之一參考深度向前扭曲以產生一合成深度圖； 對該合成深度圖施加一間隙填充濾波器；及 基於一參考紋理而使該合成深度圖向後扭曲以產生該經合成光場影像之一經再現紋理。
  40. 如請求項39之方法，其中自該經合成光場影像之該經再現紋理消除該等間隙。
  41. 如請求項39之方法，其中使用基於射線變換之再現來產生該經合成光場影像。
  42. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 接收一場景之一光場影像之影像資料，其中該光場影像包括一或多個子影像；基於該所接收影像資料而在一顯示裝置之一顯示表面上產生該光場影像；基於顯示校準參數而校準該顯示表面；及基於用於該等子影像中之每一者之一再現區而在該經校準顯示表面上產生一新光場影像。
  43. 如請求項42之光場成像系統，其中校準該顯示表面包括使該顯示表面旋轉一傾斜角度，且使該顯示表面移位該顯示表面之一分率。
  44. 如請求項43之光場成像系統，其中該等操作進一步包括藉由判定該等子影像中之每一者之一新顯示中心而判定用於該等子影像中之每一者之該再現區。
  45. 如請求項42之光場成像系統，其中該等顯示校準參數包含一水平位移、一垂直位移及圍繞一z軸之一傾斜角度。
  46. 如請求項42之光場成像系統，其中該等子影像係元素影像或全像元素影像。
  47. 如請求項42之光場成像系統，其中使用多參考基於深度影像之再現(MR-DIBR)來執行在該經校準顯示表面上產生該新光場影像。
  48. 如請求項44之光場成像系統，其中基於該等顯示校準參數而判定該等子影像中之每一者之該新顯示中心。
  49. 如請求項44之光場成像系統，其中該等子影像中之每一者之該新顯示中心係一全像元素陣列之一全像元素之一中心。
  50. 如請求項42之光場成像系統，其中該顯示表面包含一微透鏡陣列。
  51. 如請求項42之光場成像系統，其中該光場影像係一參考光場影像。
  52. 如請求項43之光場成像系統，其中該傾斜角度係至多1°。
  53. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 自複數個正射光場影像產生一經合併正射光場影像；針對該等正射光場影像中之每一者，判定該正射光場影像與一其他正射光場影像之間的一距離，藉此產生複數個距離；及基於該等所判定距離而配置該等正射光場影像。
  54. 如請求項53之光場成像系統，其中配置該等射光場影像包括：針對該等正射光場影像中之每一者，以一最短距離開始向一最遠距離而進行，若一候選深度與一當前深度之間的一差至少係一預定深度臨限值，則將該正射光場影像切換成一下一正射光場影像以便替換該當前深度及該經合併正射光場影像之一色彩圖，且填充該經合併正射光場影像內之複數個裂紋。
  55. 如請求項53之光場成像系統，其中該等正射光場影像包含一中心視圖影像及若干末端視圖影像。
  56. 如請求項53之光場成像系統，其中該等操作進一步包括判定產生該經合併正射光場影像所需要之該等正射光場影像之一數目。
  57. 如請求項56之光場成像系統，其中該等操作進一步包括：基於該等正射光場影像中之一對正射光場影像之間的一距離而判定是否產生一額外正射光場影像；及若該距離大於一中心光場相機之一中心視圖之一寬度，則產生該額外正射光場影像。
  58. 如請求項56之光場成像系統，其中基於一顯示螢幕之一寬度、該場景中之一物件之一深度及一光場相機之一視場(FOV)而判定該等正射光場影像之該數目。
  59. 如請求項55之光場成像系統，其中該等正射光場影像進一步包含四角視圖影像以最小化該場景內之一物件之一遮擋區。
  60. 如請求項57之光場成像系統，其中基於該等正射光場影像之該數目及一全像元素陣列中之全像元素之一數目而計算該距離。
  61. 如請求項53之光場成像系統，其中配置該等正射光場影像包含自距一目標位置之一最短距離至距該目標位置之一最遠距離來配置該等正射光場影像。
  62. 如請求項57之光場成像系統，其中基於一物件與用於產生該額外正射光場影像之一光場相機之間的一距離及該物件之一遮擋區之大小而判定該光場相機之一觀看角度。
  63. 如請求項54之光場成像系統，其中使用一修補演算法來執行填充該經合併正射光場影像內之該複數個裂紋。
  64. 如請求項53之光場成像系統，其中該複數個正射光場影像係參考影像。
  65. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 接收包含複數個子影像之一光場影像之影像資料；藉由將一立體匹配演算法應用於該複數個子影像中之一對子影像而基於該影像資料來產生該光場影像之一像差圖；使用來自該複數個子影像之其他子影像來驗證該像差圖；及將該像差圖轉換為該光場影像之一深度圖。
  66. 如請求項65之光場成像系統，其中驗證該像差圖包括執行一搜尋演算法以獲得該對子影像之間的匹配區塊。
  67. 如請求項66之光場成像系統，其中該搜尋演算法係一2的冪雙向搜尋演算法。
  68. 如請求項65之光場成像系統，其中該對子影像係毗鄰子影像。
  69. 如請求項66之光場成像系統，其中該像差圖包含複數個像差值，基於一右像差值及一左像差值而計算該等像差值中之每一者。
  70. 如請求項69之光場成像系統，其中基於一右元素影像距離及一左元素影像距離而進一步計算該等像差值中之每一者。
  71. 如請求項65之光場成像系統，其中該對子影像在該光場影像之一相同列上。
  72. 如請求項65之光場成像系統，其中該對子影像在該光場影像之一相同行上。
  73. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件；基於一深度分佈而將該場景劃分成一或多個子空間；及針對該等子空間中之每一者，計算一或多個定界框，其中該等定界框中之每一者環繞該子空間內之一物件。
  74. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件；及針對該等物件中之每一者，計算該場景中之該物件之一邊界，且基於該經計算邊界而計算該物件之一定界框。
  75. 如請求項74之光場成像系統，其中使用一梯度圖執行計算該物件之該邊界。
  76. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 接收一場景之一光場影像之影像資料，其中該場景包含一或多個物件；及針對該等物件中之每一者，搜尋一相鄰像素以判定該物件之一邊界，且基於該所判定邊界而計算該物件之一定界框。
  77. 如請求項76之光場成像系統，其中每一物件之該定界框包含該物件之一視圖。
  78. 如請求項77之光場成像系統，其中該等操作進一步包括組合該等物件之該等定界框以減少遮擋。
  79. 如請求項77之光場成像系統，其中該視圖係該物件之一右視圖、一左視圖、一俯視圖或一仰視圖。
  80. 一種光場成像系統，其包括： 一處理器；及 一記憶體，其耦合至該處理器以儲存指令，該等指令在由該處理器執行時致使該處理器執行操作，該等操作包括： 產生包含複數個間隙之一經合成光場影像；使該經合成光場影像之一參考深度向前扭曲以產生一合成深度圖；對該合成深度圖施加一間隙填充濾波器；及基於一參考紋理而使該合成深度圖向後扭曲以產生該經合成光場影像之一經再現紋理。
  81. 如請求項80之光場成像系統，其中自該經合成光場影像之該經再現紋理消除該等間隙。
  82. 如請求項80之光場成像系統，其中使用基於射線變換之再現來產生該經合成光場影像。
TW107119069A 2017-06-02 2018-06-01 使用多參考基於深度影像之再現之光場壓縮之方法及系統 TW201904280A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762514294P 2017-06-02 2017-06-02
US62/514,294 2017-06-02
US15/993,268 2018-05-30
US15/993,268 US20180352209A1 (en) 2017-06-02 2018-05-30 Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering

Publications (1)

Publication Number Publication Date
TW201904280A true TW201904280A (zh) 2019-01-16

Family

ID=62779014

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107119069A TW201904280A (zh) 2017-06-02 2018-06-01 使用多參考基於深度影像之再現之光場壓縮之方法及系統

Country Status (3)

Country Link
US (1) US20180352209A1 (zh)
TW (1) TW201904280A (zh)
WO (1) WO2018223084A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678056B2 (en) * 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
WO2019173452A1 (en) 2018-03-07 2019-09-12 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction
US10931956B2 (en) 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
CN111489384B (zh) * 2019-01-25 2023-05-16 曜科智能科技（上海）有限公司 基于互视角的遮挡评估方法及装置、设备、系统和介质
US11670039B2 (en) 2019-03-04 2023-06-06 Dolby Laboratories Licensing Corporation Temporal hole filling for depth image based video rendering
US11941752B2 (en) * 2020-07-21 2024-03-26 Nvidia Corporation Streaming a compressed light field
CN112184842B (zh) * 2020-10-07 2024-01-05 北京工业大学 一种光场图像压缩方法
JP7612864B2 (ja) 2020-12-04 2025-01-14 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張次元ライトフィールド画像の処理
CN114596421B (zh) * 2020-12-07 2025-03-18 中国移动通信有限公司研究院 一种参数检测方法、装置及设备
CN112418715B (zh) * 2020-12-11 2022-09-16 广西电网有限责任公司 风电功率序列场景集的生成方法、装置以及存储介质
KR20220121533A (ko) 2021-02-25 2022-09-01 삼성전자주식회사 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
CN113052920B (zh) * 2021-04-26 2022-11-22 歌尔光学科技有限公司 摄像头标定方法、装置及计算机可读存储介质
US20230010620A1 (en) * 2021-07-06 2023-01-12 3D Patents, Llc Bowtie processing for radiance image rendering
CN115202174B (zh) * 2022-07-14 2023-11-10 浙江理工大学 基于光场图像的全息体视图获取方法、系统和应用
US20240394828A1 (en) * 2023-05-25 2024-11-28 Texas Instruments Incorporated Stereo vision system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
US8284237B2 (en) 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
EP3170047A4 (en) 2014-07-15 2018-05-30 Ostendo Technologies, Inc. Preprocessor for full parallax light field compression
EP3286737A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information

Also Published As

Publication number Publication date
WO2018223084A1 (en) 2018-12-06
US20180352209A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
US20180352209A1 (en) Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering
TWI748949B (zh) 用於使用深度資訊之全視差壓縮光場合成之方法
US20200020151A1 (en) Parameterizing 3d scenes for volumetric viewing
US10931956B2 (en) Methods for MR-DIBR disparity map merging and disparity threshold determination
US20140198182A1 (en) Representation and Coding of Multi-View Images Using Tapestry Encoding
US20120275689A1 (en) Systems and methods 2-d to 3-d conversion using depth access segiments to define an object
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080225042A1 (en) Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
US20080225045A1 (en) Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
WO2008112781A2 (en) Systems and methods for treating occlusions in 2-d to 3-d image conversion
Li et al. A real-time high-quality complete system for depth image-based rendering on FPGA
Min et al. 2D/3D freeview video generation for 3DTV system
Jantet Layered depth images for multi-view coding
Devernay et al. Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis
Salvador et al. Multi-view video representation based on fast Monte Carlo surface reconstruction
Zhang On sampling of image-based rendering data
Koch et al. View synthesis and rendering methods
Aung et al. Multi-view Stereo Dense Reconstruction using SfM-based PMVS for Image-based Modeling (IBM)
Gan et al. On the rendering and post-processing of simplified dynamic light fields with depth information
Shah et al. Novel view synthesis using locally adaptive depth regularization
Li A real-time high-quality system for depth image-based rendering
Zhu et al. Image-based rendering of ancient Chinese artifacts for multi-view displays—a multi-camera approach
Sawhney et al. Hybrid stereo camera
Evers-Senne Plenoptic modelling and rendering of complex rigid scenes
Tsai et al. Two view to N-view conversion without depth