TW201837863A - 聯合雙邊濾波器的有效實施 - Google Patents

聯合雙邊濾波器的有效實施 Download PDF

Info

Publication number
TW201837863A
TW201837863A TW107112754A TW107112754A TW201837863A TW 201837863 A TW201837863 A TW 201837863A TW 107112754 A TW107112754 A TW 107112754A TW 107112754 A TW107112754 A TW 107112754A TW 201837863 A TW201837863 A TW 201837863A
Authority
TW
Taiwan
Prior art keywords
image
depth
splash
interpolation
volume
Prior art date
Application number
TW107112754A
Other languages
English (en)
Other versions
TWI762617B (zh
Inventor
亞伯拉罕 卡洛 瑞蒙斯
巴特 格瑞德 伯納德 巴倫布格
Original Assignee
荷蘭商奧崔 - 迪合作公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商奧崔 - 迪合作公司 filed Critical 荷蘭商奧崔 - 迪合作公司
Publication of TW201837863A publication Critical patent/TW201837863A/zh
Application granted granted Critical
Publication of TWI762617B publication Critical patent/TWI762617B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種積體電路及電腦實施方法，其用於使用一聯合雙邊濾波器依降低之計算複雜性自一影像估計一深度圖。為該目的，存取一影像之一影像資料以及一模板深度圖之深度資料。接著，使用該影像資料作為一聯合雙邊濾波器中之一範圍項將該聯合雙邊濾波器應用於該模板深度圖，藉此獲得一影像調適深度圖作為輸出。該聯合雙邊濾波器之應用包括：初始化一加權深度之總和體積及一權重之總和體積作為一記憶體中之各自空資料結構；執行一潑濺操作以填充該等體積；執行一切片操作以獲得一影像調適深度體積；及執行一內插操作以獲得該影像中之各像素之該影像調適深度圖之一影像調適深度值。相較於用於使用一聯合雙邊濾波器自一影像估計一深度圖之已知方法，可獲得一降低計算複雜性。

Description

聯合雙邊濾波器的有效實施
本發明係關於一種經組態以使用一聯合雙邊濾波器自一影像估計一深度圖之積體電路。本發明係進一步關於一種用於使用一聯合雙邊濾波器自一影像估計一深度圖之方法，及一種電腦可讀媒體，其包括表示經配置以引起一處理器系統執行該方法之指令之暫時或非暫時資料。
諸如電視機、平板電腦及智慧型電話之顯示裝置可包括一3D顯示器以當查看此一裝置上之內容時提供一使用者深度之一感覺。為該目的，此等3D顯示器可藉由自身或與由使用者佩戴之眼鏡一起提供使用者各眼中之不同影像以提供使用者基於立體觀察之深度之一感覺。 3D顯示器通常需要含有深度資訊之內容。深度資訊可隱含地提供於3D內容中。例如，在立體內容(亦簡稱為「立體(stereo)」內容)之情況中，深度資訊由一左影像與一右影像之間的差異提供。深度資訊亦可明確地提供於3D內容中。例如，在以所謂之影像+深度格式編碼之3D內容中，深度資訊由可包括深度值、像差(disparity)值及/或視差移位值之一深度圖提供，其中該等值之各者指示影像中之物件已朝向攝影機之距離。 當前可用之大量內容(例如電影、電視節目、影像等等)係2D內容。此內容需要轉換為3D以達成其3D顯現在一3D顯示器上。轉換為3D可包括產生一2D影像之一深度圖(例如一2D視訊之各2D影像)。一般而言，此程序指稱「2D至3D轉換」，且可涉及手動產生深度圖。例如，運行於一工作站上之一軟體工具可藉由使用一數位筆繪製深度圖而提供一專業使用者添加深度至2D影像之可能性。深度圖亦可自動產生。例如，一裝置可估計2D影像內之物件已朝向攝影機之距離且基於該距離而產生2D影像之一深度圖。 自US 8,447,141知道一深度圖之自動產生之一實例，其描述使用單目資訊產生一影像之一深度圖之一方法。該方法包括產生提供一全域深度輪廓之影像之一第一深度圖，且其可為諸如一斜面之一簡單一般模板。再者，產生基於該第一深度圖之深度值及影像之色彩及/或照度值之一第二深度圖。該第二深度圖之產生可涉及使用來自影像之範圍資訊將一聯合雙邊濾波器應用於該第一深度圖。據說因此物件將更遠離該全域深度輪廓。 US 8,447,141有效地使用聯合雙邊濾波器使由深度圖提供之一般模板適應於影像之實際內容。 然而，一聯合雙邊濾波器之實施係計算複雜。由Paris等人之出版物「A fast approximation of the bilateral filter using a signal processing approach」，International Journal of Computer Vision 81.1, 2009, 第24-52頁描述據說計算不太複雜之聯合雙邊濾波器之一近似法。不利地，所描述之雙邊濾波器之近似法仍相對計算複雜，且因此不太適合於消費者裝置(例如一積體電路)之成本有效實施。
本發明之目的之一者係獲得一種經組態以使用一聯合雙邊濾波器自一影像估計一深度圖之積體電路，其不如由Paris等人描述之近似法計算複雜。 本發明之一第一態樣提供一種經組態以自一影像估計一深度圖之積體電路，該積體電路包括或連接至一記憶體，該積體電路包括： -一影像資料介面，其經組態以存取該影像之影像資料； -一深度資料介面，其經組態以存取一模板深度圖之深度資料，該模板深度圖表示適應於該影像資料之一模板； -一處理子系統，其經組態以使用該影像資料作為一聯合雙邊濾波器中之一範圍項將該聯合雙邊濾波器應用於該模板深度圖，藉此獲得一影像調適深度圖作為輸出； 其中該處理子系統經組態以藉由如下實施該聯合雙邊濾波器： -初始化一加權深度之總和體積及一權重之總和體積作為該記憶體中之各自空資料結構，該等體積之各者包括： -兩個空間維度，其等表示該影像資料之該兩個空間維度之一縮減取樣(down-sampled)版本，及 -至少一範圍維度，其表示該影像資料之該範圍維度之一縮減取樣版本； 其中該等體積之單元界定相對於該影像之該兩個空間維度及該影像資料之該範圍維度界定之該影像之一座標系統中之儲格； -執行一潑濺操作以填充該等體積，其中就該影像中之各像素而言，該潑濺操作包括： -基於該影像之該座標系統中之該像素之一座標，該座標指示該像素相對於該等體積之各者之儲格之一相對位置， -基於在該潑濺操作中具有一佔據面積之該像素而識別該像素在該潑濺操作中促成之該加權深度之總和體積中之相鄰儲格，該佔據面積映射至該等相鄰儲格上； 其中該潑濺操作中之該促成包括： -自該模板深度圖獲得該像素之一深度值； -就該等相鄰儲格之各者而言： -獲得用於加權該深度值之一潑濺權重，其中基於該像素相對於該各自儲格之該相對位置而判定該潑濺權重， -利用該潑濺權重加權該深度值， -累積該加權深度之總和體積之該各自儲格中之該加權深度值，及累積該權重之總和體積之一對應儲格中之該潑濺權重； -執行一切片操作以由該加權深度之總和體積之各儲格及該權重之總和體積之對應儲格獲得一影像調適深度體積，將該等累積加權深度值除以該等累積權重； - 執行一內插操作以獲得該影像中之各像素之該影像調適深度圖之一影像調適深度值，其中該內插操作包括： -基於該影像之該座標系統中之該像素之該座標，基於在該潑濺操作期間促成該加權深度之總和體積中之對應儲格之該像素而識別該影像調適深度體積中之相鄰儲格； -將一內插濾波器應用於該影像調適深度體積之該等相鄰儲格，其中就該等相鄰儲格之各者而言，該內插濾波器包括基於該像素相對於該各自儲格之該相對位置而判定之一內插權重。 該積體電路依一較粗解析度但依不同於Paris等人之一方式實施該聯合雙邊濾波器。有利差異之一者係Paris等人首先執行一內插操作且接著執行一切片操作，其中後者涉及分割。因此，對已內插回全解析度之資料執行Paris等人之分割。所主張之該積體電路對該等縮減取樣體積執行一切片操作，因此依一大幅降低解析度。例如，若使用(例如) 18×12×18 (高×寬×範圍)之體積，則僅需要3,888個分割操作，其遠少於對(例如)一480×270影像執行一分割所需之分割操作(129.600個分割操作)。已發現對該等縮減取樣體積執行該切片操作之品質降低係非常有限。然而，由於分割操作實施起來計算複雜，因此大幅減少執行該聯合雙邊濾波器之計算負荷。此允許在軟體中執行該切片操作，其進一步產生相對於該切片操作之實施之撓性。 應注意用作為輸入之該深度圖可為一模板深度圖，且藉此對應於諸如一斜面之一預定一般深度輪廓，或選自最佳匹配該影像之內容之一列不同一般深度輪廓之一個一般深度輪廓。然而，一般而言，該深度圖可為受益於進一步適應於該影像之任何深度圖。 應進一步注意該等體積可為(例如)由該影像之該兩個空間維度之縮減取樣版本及該影像之分量之一者(例如照度分量)之該範圍維度之一縮減取樣版本構成之三維體積。替代地，該等體積可包括兩個或兩個以上範圍維度，其等可對應於該影像之分量之兩者或兩者以上(例如一YUV影像之照度分量及一或多個色訊分量或一RGB影像之個別色訊分量等等)。 該處理子系統視情況包括一應用特定硬體電路及可由軟體組態之一微處理器，其中： -該應用特定硬體電路經組態以執行該潑濺操作及該內插操作；且 -該微處理器由該軟體組態以在該積體電路之操作期間執行該切片操作。 本發明之此態樣係基於以下洞察：儘管該潑濺操作及該內插操作均仍相對計算複雜，但相較於Paris等人，該切片操作之複雜性已藉由僅在該等縮減取樣體積上操作而顯著降低。因此，該切片操作可在軟體中執行以產生撓性，而鑑於一硬體實施方案相對軟體之大體上較高效率，該潑濺操作及該內插操作可在硬體中執行。 該應用特定硬體電路視情況包括用於儲存用於該潑濺操作中之潑濺權重及/或用於該內插操作中之內插權重之一濾波器表格。若該潑濺操作及該內插操作係硬體操作，則該等權重可儲存於該硬體電路之一濾波器表格中，該硬體電路可為一唯讀記憶體或一隨機存取記憶體。此使得該等權重能夠由各自操作之該硬體容易地存取。 該濾波器表格視情況在執行各自操作之前載入用於該潑濺操作中之潑濺權重及用於該內插操作中之內插權重。若不同權重用於該潑濺操作而非該內插操作，則此等權重可在(例如)由該微處理器執行各自操作之前載入該濾波器表格。依此方式，重新使用該濾波器表格之該硬體且該硬體不針對該潑濺操作之該硬體及該內插操作之該硬體兩者單獨實施。應注意除重新使用該潑濺操作與該內插操作之間的該濾波器表格之該硬體之外或替代地，一般而言亦可重新使用用於判定該潑濺操作與該內插操作之間的一儲格內之一樣本之該相對位置之硬體。 用於該潑濺操作中之潑濺權重及用於該內插操作中之內插權重視情況相同。本發明之此態樣基於如下洞察：相同於執行該內插操作之權重可用於執行該潑濺操作，因為該內插操作及該潑濺操作兩者係基本上類似操作，其等在本情境中亦在(一方面)該影像上及(另一方面)具有相對於該兩個空間維度及該影像之該範圍維度之縮減取樣維度之一多維度體積上操作。藉由使用相同權重，兩個操作之實施相當更有效。 用於該潑濺操作中之潑濺權重及用於該內插操作中之內插權重視情況表示相對於該影像之該座標系統之一線性內插。因此，選擇該等權重使得一線性內插沿該等體積之該等維度之各者施加於該潑濺操作及該內插操作之各自體積中之資料。例如，基於一三維體積而言，可使用一三線性內插，而就一四維體積(例如具有兩個範圍維度)而言，可使用一四線性內插。已發現線性內插非常適合於該潑濺操作及該內插操作。替代地，一較高階內插可用於各維度中，包含(但不限於)一三次內插。 該微處理器視情況由該軟體組態以在該積體電路之操作期間，在執行該切片操作之前將一時間濾波施加於該加權深度之總和體積及該權重之總和體積。時間濾波通常施加於深度圖以確保時間穩定性。替代地或除將此時間濾波施加於該深度圖之外，用於產生該深度圖自身之體積可經時間濾波。已發現此產生一時間上更穩定深度圖，同時計算有效地實施相較於一影像之相對小尺寸之體積。例如，18×12×18之一典型體積含有待濾波之3,888個資料值，而480×270之一影像含有待濾波之129,600個資料值。歸因於特定施加於該(等)體積之濾波，一軟體實施方案係可行的。有利地，在所謂之鏡頭切換之情況中，已發現將一無限脈衝響應(IIR)濾波器應用於該加權深度之權重體積在無需專用鏡頭切換處理(例如涉及專用鏡頭切換偵測器)之情況下改良所得深度圖之時間穩定性。該時間濾波可為(例如)一個一階或較高階無限脈衝響應濾波器，且可實施為該體積資料上之其他(非線性)操作之部分。 該微處理器視情況由該軟體組態以在該積體電路之操作期間，將一時間濾波施加於該影像調適深度體積。此時間濾波提供相較於一實際影像之濾波之計算複雜性中之相當解析度，如相對於該加權深度之總和體積或該權重之總和體積之濾波所描述。該時間濾波可具有相同於相對於該加權深度之總和體積或該權重之總和體積之濾波之所描述之類型之一類型。 該處理子系統視情況經組態以在執行該潑濺操作之後，使用一高斯(Gaussian)核卷積該加權深度之總和體積。已發現此一卷積改良該深度圖之品質。 該模板深度圖視情況具有相對於該影像之一降低空間解析度(例如具有對應於該加權深度之總和體積及該權重之總和體積之該兩個空間維度之兩個空間維度)。接著，該模板深度圖可使用相同於用於該潑濺操作中之權重內插。 該聯合雙邊濾波器視情況僅應用於該影像之照度資料。該聯合雙邊濾波器視情況應用於該影像之該照度資料及該色訊資料。在後一情況中，該等體積可為具有三個範圍維度(例如一Y、U及V維度)之五維體積。 該積體電路視情況為一場可程式閘陣列或一系統單晶片或一場可程式閘陣列或一系統單晶片之部分。該積體電路可為諸如一顯示裝置或機上盒之一裝置，但亦可為該積體電路可用於藉其而估計該深度圖將2D視訊轉換為3D視訊之其他裝置。 本發明之一進一步態樣提供一種用於自一影像估計一深度圖之電腦實施之方法，該方法包括： -存取該影像之影像資料； -存取一模板深度圖之深度資料，該模板深度圖表示將適應於該影像資料之一模板； -使用該影像資料作為一聯合雙邊濾波器中之一範圍項將該聯合雙邊濾波器應用於該模板深度圖，藉此獲得一影像調適深度圖作為輸出，其中應用該聯合雙邊濾波器包括： -初始化一加權深度之總和體積及一權重之總和體積作為一記憶體中之各自空資料結構，該等體積之各者包括： -兩個空間維度，其等表示該影像資料之該兩個空間維度之一縮減取樣版本，及 -至少一範圍維度，其表示該影像資料之該範圍維度之一縮減取樣版本； 其中該等體積之單元界定相對於該影像之該兩個空間維度及該影像資料之該範圍維度界定之該影像之一座標系統中之儲格； -執行一潑濺操作以填充該等體積，其中就該影像中之各像素而言，該潑濺操作包括： -基於該影像之該座標系統中之該像素之一座標，該座標指示該像素相對於該等體積之各者之儲格之一相對位置， -基於在該潑濺操作中具有一佔據面積之該像素而識別該像素在該潑濺操作中促成之該加權深度之總和體積中之相鄰儲格，該佔據面積映射至該等相鄰儲格上； 其中該潑濺操作中之該促成包括： -自該模板深度圖獲得該像素之一深度值； -就該等相鄰儲格之各者而言： -獲得用於加權該深度值之一潑濺權重，其中基於該像素相對於該各自儲格之該相對位置而判定該潑濺權重， -利用該潑濺權重加權該深度值， -累積該加權深度之總和體積之該各自儲格中之該加權深度值，及累積該權重之總和體積之一對應儲格中之該潑濺權重； -執行一切片操作以由該加權深度之總和體積之各儲格及該權重之總和體積之對應儲格獲得一影像調適深度體積，將該等累積加權深度值除以該等累積權重； - 執行一內插操作以獲得該影像中之各像素之該影像調適深度圖之一影像調適深度值，其中該內插操作包括： -基於該影像之該座標系統中之該像素之該座標，基於在該潑濺操作期間促成該加權深度之總和體積中之對應儲格之該像素而識別該影像調適深度體積中之相鄰儲格； -將一內插濾波器應用於該影像調適深度體積之該等相鄰儲格，其中就該等相鄰儲格之各者而言，該內插濾波器包括基於該像素相對於該各自儲格之該相對位置而判定之一內插權重。 本發明之一進一步態樣提供包括表示經配置以引起一處理器系統執行該方法之指令之暫時或非暫時資料之一電腦可讀媒體。 熟習技術者應瞭解上文所提及之本發明之實施例、實施方案及/或態樣之兩者或兩者以上可以認為有用之任何方式組合。 對應於所描述之積體電路之修改及變動之方法之修改及變動可由熟習技術者基於本發明而實施。
圖1示意性地展示經組態以依一計算有效方式自一影像估計一深度圖之一積體電路之一處理子系統100。處理子系統100展示為一功能區塊圖，且可由諸如一微處理器、一應用特定硬體電路及一或多個局部記憶體之組件體現。該積體電路可包括未在圖1中展示之其他組件，包含(但不限於)其他微處理器、一匯流排系統、其他記憶體等等。一般而言，積體電路可實施為一場可程式化閘陣列(FPGA)或一系統單晶片(SoC)或一場可程式化閘陣列(FPGA)或一系統單晶片(SoC)之部分或依任何其他適合方式。 處理子系統100經展示包括影像資料010可經由其(例如經由直接記憶體存取(DMA)通信)自一記憶體讀取之一影像資料輸入介面110。例如，影像資料可為照度輸入資料Yin 。在此方面，應注意影像資料輸入介面110及處理子系統100之其他介面可包括或連接至充當緩衝器(在圖1中標記為「Buf」)之一局部記憶體。 處理子系統100經進一步展示以包括深度體積輸入資料020可經由其自記憶體讀取之一深度體積資料輸入介面120，及深度資料022可經由其擷取記憶體中之一深度資料輸出介面122。處理子系統100經進一步展示以包括用於將權重之總和體積資料030及加權深度之總和體積資料032寫入記憶體之各自體積資料輸出介面130、132。 處理子系統100之其他功能區塊包含與體積資料輸出介面130；132通信之一潑濺區塊140；與深度資料介面120、122通信之一內插區塊160；與影像資料輸入介面110通信及提供加權及體積索引資料052至潑濺區塊140及內插區塊160之一加權區塊150；自控制邏輯180接收模板深度資料024；及自加權區塊150接收加權資料054及提供內插模板深度資料026至潑濺區塊140之一2D內插區塊170。 在一實施例中，如圖1中所展示之處理子系統100可實施為一應用特定硬體電路。另外，一單獨微處理器(圖1中未展示)可提供於積體電路中，其經組態以執行一切片操作，亦如前文所討論。為該目的，微處理器可(例如)經由DMA存取記憶體。替代地，切片操作亦可由應用特定硬體電路實施。 將參考圖2至圖7進一步闡釋處理子系統100之操作及其功能區塊。在此方面，應注意在圖1中，「*」指示與一體積多維資料表示相關聯之一局部緩衝器或一介面，如參考圖2所闡釋。 圖2繪示一影像200與一體積300之間的關係，其中此類型之體積用於在一潑濺操作期間累積權重及加權深度值及針對一內插操作保持影像200之像素之深度值。體積300經展示具有三個維度。X維度310可對應於影像200之水平軸線210。Y維度320可對應於影像200之垂直軸線220。I維度330可對應於影像之範圍維度(諸如(但不限於)一照度分量之影像200之一影像分量)。體積300可具有相對於影像200之空間維度及範圍維度子取樣之一大小。例如，儘管影像200可具有480個像素乘以270行(X、Y)之空間維度及界定256個值之一範圍之一8位元範圍維度(I)，但體積300可具有18×12×18 (X、Y、I)之維度，即對於空間維度310、320係18×12 (X、Y)而對於範圍維度330係18 (I)。 體積300之單元可表示儲格。在一潑濺操作期間，此等儲格可界定用於影像200之深度資訊之累積之累積間隔。此處，用於一權重或與一特定像素相關聯之加權深度值之累積中之儲格選作為像素及其範圍值之空間座標之一函數。例如，影像200之照度值可判定沿體積300之I維度330之儲格之座標，因為暗影像內容之深度資訊可在體積300之「較低」儲格中累積，如由箭頭260所繪示；而亮影像內容之深度資訊可在體積300之「較高」儲格中累積，如由箭頭250所繪示。另外，影像內容之空間位置可界定儲格沿空間維度310、320之位置。因此，影像200之一像素之空間座標(即(至少)影像之3D座標系統中之像素之座標)及範圍值之組合可判定在一潑濺操作期間，在體積300之哪個(些)儲格中累積一權重或一加權深度值，或哪個(些)儲格保持一像素之深度值以由一內插操作內插。 儲格之此判定可基本山涉及將像素之空間座標及範圍值映射至體積之座標空間中之一座標且基於其在體積中之相對位置而識別待在潑濺及內插期間使用之儲格。有效地，在潑濺期間，相鄰儲格可經識別以判定像素在其潑濺佔據面積之基礎上促成哪些儲格(其中「促成」係權重或加權深度值之累積)，而在內插期間，相鄰儲格可經識別以判定在哪些儲格之間基於像素在一體積內之相對位置而執行內插。為該目的，可使用將像素之空間座標及範圍值映射至體積之座標空間中之一座標之一映射函數，其中後一座標接著直接指示相鄰儲格。 歸因於子取樣，影像200之多個像素可促成體積300之一單一儲格，因為像素之深度值可至少部分地累積於該單一儲格中。相反，由於一單一像素在體積之座標系統中之座標可位於體積300之若干單元之間，因此該單一像素可促成體積300之若干儲格。因此，當累積體積300中之像素之深度值時，深度值可經加權以引起促成體積300之若干單元。此亦指稱「潑濺(splatting)」。 圖3A展示沿一單一維度K 400之此一潑濺操作。此維度K可為水平(X)、垂直(Y)或照度(I)維度。為此闡釋，維度K 400被視為表示照度維度I。首先，此維度分成若干儲格440 (例如藉由(例如)自256個值(8位元、0至255)下至16個儲格之寬度16之照度維度I之子取樣)。如本身已知，各儲格係可保持一特定值或累積值之一總和之一儲存元件。應注意為了繪示，且特定言之為了改良圖之可見性，在圖3A及下文中，展示僅涉及總計12個儲格之一併像：10個「正常」儲格[1]至[10]及兩個所謂之「邊緣儲格」[0]及[11]。應注意將參考圖3B進一步闡釋「邊緣儲格」[0]及[11]之不同大小及目的。 下文繪示參考一分佈圖操作之潑濺操作。可獲得一習知分佈圖如下：就一影像之各像素而言，可判定在哪個單一儲格內其照度值下降。接著，該儲格之值可增量(例如)達1。因此，照度值相對於與儲格相關聯之照度間隔之相對位置可無關。例如，若一儲格界定用於累積之[0…7]之一照度間隔，則落入此儲格內之所有照度值可引起一相同增量(即達1)，不考慮照度值落入儲格之一中心內(例如照度值3及4)或儲格之一邊緣處(例如照度值0及7)。 潑濺技術可用於獲得一更佳(例如更準確)分佈圖表示。即，可藉由加權而考量一儲格內之一照度值之相對位置。在此等潑濺技術中，「傾斜」之像素之比重可藉由將一佔據面積沿照度維度分配至像素之座標(例如分配至照度值)而明確或隱含地判定。藉由潑濺之一累積可執行如下：就一像素之一照度值而言，判定像素促成哪些相鄰儲格，其中「比重」係指至少部分地落入像素之佔據面積內之一儲格。接著，相鄰儲格中之值可由取決於照度值相對於兩個儲格之相對位置之各自權重增量。例如，當照度值集中落入一「現在」儲格內時，至該儲格之比重可「高」而至「先前」(較低)儲格及至「下一」(較高)儲格之比重可低。類似地，當一照度值在兩個儲格之間下降時，至各儲格之比重可為「高」值之一半。 前述位置相依加權可體現至儲格之此一基於佔據面積之比重。應注意由於加權僅界定之一特定間隔內之一儲格之一比重，因此此間隔亦可被視為表示該特定儲格之「累積間隔」。例如，「現在」(或「當前」)儲格可被視為包含現在儲格同時亦半途延伸至先前儲格及下一儲格中。因此，在先前儲格中半途開始，至現在儲格之比重可在現在儲格內集中自零緩慢增加至一最大值且接著在下一儲格中半途緩慢減小至零。 由於使用潑濺操作，因此儲格中之累積值可表示一分佈圖之一更準確表示。 在潑濺操作之一特定及有效實施方案中，佔據面積被視為(例如)藉由具有對應於一儲格之大小或較小之一大小而至多促成兩個相鄰儲格。在此情況中，一像素至多促成一儲格[n]及一儲格[n+1]，其中n係體積之座標系統中之一儲格索引或座標。在下文中，第一儲格可指稱「現在」儲格而第二儲格可指稱「下一」儲格。 一特別具體及有效實施方案界定儲格之累積間隔使得現在儲格內之一像素僅促成現在儲格及下一儲格。然而，此實施方案可被視為具有吾人將直觀地理解一像素促成之一儲格之一半之一「偏移」。即，在此特定實施方案中，至一儲格之一最大比重不在該儲格之中間而在其最低邊界處獲得。依此方式界定儲格之一原因係允許更多硬體在潑濺操作與內插操作之間重新使用(例如當考量權重之計算及儲存及/或相對於一儲格之相對位置之計算時)。 作為一實例，在圖3A中考量一照度值p0之情況，其係儲格[5]之左側之一照度值。此相對位置可根據權函數430 (點線在最大值處/附近)將一「高」權重貢獻至儲格[5]而將一「低」權重貢獻至儲格[6](虛線在零處/附近)。接著，考量一照度值p1之情況，其位於儲格[5]之中間。此相對位置將一相等權重(「高」權重之一半)貢獻至儲格[5]及[6]。最後，考量位於儲格[5]之右側之一照度值p2之情況。此相對位置可將一「低」權重貢獻至儲格[5]而將一「高」權重貢獻至儲格[6]。因此，照度值之相對位置可判定照度值藉此在現在及下一儲格中累積之權重。圖3A之實例藉此依據照度值而繪示自至儲格[5]之一最大比重至至儲格[6]之一最大比重之一線性「慢轉換(fade-over)」。 應瞭解在現在儲格內具有一照度值之一像素僅促成現在儲格及下一儲格之此特定及有效實施方案中，與儲格[5]相關聯之累積間隔可為間隔跨越儲格[5]及其先前儲格(例如對應於覆蓋圖3A中之儲格[4]及[5]之點線之間隔)。同樣地，與儲格[6]相關聯之累積間隔可為間隔跨越儲格[6]及其先前儲格(例如對應於覆蓋圖3A中之儲格[5]及[6]之虛線之間隔)。 圖3B展示一類似實施例之更多細節，但應用於加權深度值及各自體積中之權重之累積，即前述加權深度之總和體積及權重之總和體積。 在此實例中，兩個體積具有18×12×18個儲格(X、Y、I)之一固定最大大小而不考慮影像之大小，儘管儲格之實際數目可改變。即，一「sizeBinK」參數可用於潑濺操作中以界定一非邊緣儲格444之大小且因此判定使用多少個儲格。可為2之一冪之一此大小用於降低實施方案之複雜性。一維度「edgeBinK」之邊緣處之兩個儲格之大小可變動亦允許維度大小之任何值。圖3B展示一下邊緣儲格442。例如，若影像寬度係480且sizeBinX選定為32，則可存在14個非邊緣儲格及2個邊緣儲格，各具有(480 - 14*32)/2 = 16之一寬度。在另一實例中，若影像高度係270且sizeBinX係32，則邊緣儲格之各者之寬度可為(270 - 8*32)/2 = 7。因此，邊緣儲格之使用允許非邊緣儲格具有等於2之一冪之一大小，藉此簡化實施複雜性。即，固定點運算中之正常化可由一簡單移位操作執行。另外，使用兩個邊緣儲格(在上端及下端處)已展示為當邊緣儲格與影像之邊緣一致時產生更佳濾波器結果。因此，可期望有意使各儲格具有一特定大小。例如，已發現具有一規則非邊緣儲格之一半大小之邊緣儲格可係較佳的，同時具有最小¼之規則儲格大小及最大¾之規則儲格大小。 圖3B進一步展示儲格定址及潑濺及深度內插兩者之相關聯之權重之一實例。為了易於理解，圖3B僅展示一單一維度。此維度可為影像位置之X、Y或範圍維度。具體而言，圖3B展示所指示之索引位置[0] … [12]處之深度樣本之位置410 (例如對應於樣本沿輸入深度圖(例如自圖1之模板深度資料024所獲得)之一行之位置)。就各索引位置而言，展示一對應潑濺累積間隔420、由用於潑濺及深度輪廓內插(由圖1中之元件符號170指示)一權函數430判定之一權重及一儲格間隔440。圖3B被解譯如下。就一給定索引位置(例如索引位置[7])而言，界定由相同數字[7]指示之一累積間隔以及一對應權函數430，其在相同於累積間隔[7]之線型中展示。權函數430表示自來自累積間隔[7]之邊緣之0線性轉變為累積間隔[7]之中心處之1之一權重「f」。在相同累積間隔[7]內，亦展示一權重「1-f」，其在累積間隔[7]之左半部中表示其半途重疊累積間隔[6]中之深度樣本[6]之一權重，且其在累積間隔[7]之右半部上表示其半途重疊累積間隔[8]中之深度樣本[8]之一權重。 可看到選擇累積間隔及權重使得就沿所展示之維度之一給定位置p而言，可根據SW[x] += f and SW[x+1] += (1-f)累積權重之總和體積之儲格而可根據SWD[x] += f*dp 及SWD[x+1] += (1-f)*dp 累積加權深度之總和體積之儲格。此處，位置p判定儲格x (在此實例中係[6])，且深度值dp 由深度輪廓內插(圖1中之「170」)根據dp = (1-f) * D[x] + f * D[x+1]自深度圖D獲得。應注意此僅針對一單一維度；通常，儲格之定址基於影像之空間維度X、Y及一或多個範圍維度I，且藉此通常亦取決於影像資料自身。 應注意權重「f」及「(1-f)」可使用正規化表達式計算為固定點值。例如，在二進位點之後之3個位元之情況中，值8表示「1」及因此「f」在[0..8]之範圍內。在一特定實例中，若吾人假定計算dp = (f-1) * D[x] + f * D[x+1](其中D[x]係24，D[x+1]係8且f係6)，則「dp 」可計算為((8-6)*24 + 6*8) / 8 = 96 / 8 = 12。除以8係一正規化步驟。此實例亦展示在Y位置10上之圖5之表格中。在此及其他圖及整個文字中，「wny」及「wpy」在此正規化之前表示「f」及「(1-f)」之固定點值。 在一特定及有效實施例中，最大權重可對應於儲格之大小(例如對於8之一儲格大小係8)。因此，照度值中之各步驟導致兩個相鄰儲格之各者之權重中之一步驟。類似地，(x或y)位置中之各步驟導致兩個各自相鄰儲格之各者之權重中之一步驟。 圖4繪示沿一單一維度填充加權深度之總和(SWD)及權重之總和(SW)之潑濺操作。在此實例中，選擇垂直Y軸線(其中儲格之大小係8 (「sizeBinY」))及具有4之一大小之第一儲格(「edgeBinY」)。「Yposition」僅為行數。圖4中之表格展示相對於具有索引1之binY中之行之內插。「factorY」係一儲格內之一行之相對位置。基於「factorY」值，導出兩個權重「wpy」及「wny」，其等與如針對圖3B所描述之互補權重「f」及「1-f」有關但現表達為「下一」儲格之一權重「wny」及「現在」儲格之一權重「wpy」，其中「下一」及「現在」係指兩個連續及空間相鄰儲格。潑濺基本上係一高解析度輸入藉此轉換成一低解析度輸出之一縮減取樣函數。在此實例中，binY數目1內之所有線具有一輸入深度值「20」。取決於線位置，權重自儲格1逐漸移位至儲格2。因此，一行數4 (其係儲格1中之第一行)，完全值累積至儲格1及無值添加至儲格2，其在圖4中由兩個箭頭繪示。一行數8 (儲格之半途)，50%之值添加至儲格1而50%添加至儲格2。依此方式，達成儲格之間之一線性慢轉換。使用權重，SW (權重之總和)體積之單元僅累積所施加之權重，而SWD (加權深度之總和)體積之單元累積深度值乘以權重(「加權深度」)。 總體而言，就影像中之各像素而言，潑濺操作可涉及判定影像之座標系統中之像素之一座標(例如呈一(X、Y、I)座標、一(X、Y、R、G、B)座標或一(X、Y、I、U、V)座標之形式)。在後者中，(I, U, V)係指一YUV信號之分量，其中Y (照度)分量指稱I (強度)以區分Y空間維度。接著，可判定權重之總和體積中之相鄰單元表示與像素相關聯之累積間隔。若深度圖具有比影像低之一空間解析度，則像素之一深度值可自深度圖獲得(可能使用內插)。就相鄰儲格之各者而言，可獲得用於加權深度值之一權重。可基於像素相對於由座標指示之一各自單元之累積間隔之一相對位置而(預)計算權重。接著，深度值可由權重加權在在加權深度之總和體積之各自單元中累積，其中權重自身在權重之總和體積之一對應單元中累積。 應注意就一單一維度而言，一線性內插需要2個值。類似地，就兩個維度而言，一雙線性內插需要4個值。就3個維度之體積而言，一三線性內插使用8個值。權重可為作為一儲格內之一樣本之相對位置之一函數之預計算值。若深度圖具有相對於影像之一降低空間解析度，且特定言之相同於加權深度之總和體積及權重之總和體積之降低空間解析度，則可在潑濺操作之前使用相同於有關於潑濺操作中之權重將深度圖內插至影像解析度。此由將加權資料054提供至將深度模板內插至影像解析度之2D內插區塊170之加權區塊150繪示於圖1中。 已執行潑濺操作，可執行一切片操作以獲得一影像調適深度體積。此切片操作可由由軟體組態之一微處理器執行，其未在圖1中明確地展示但可存取記憶體(例如經由DMA通信)。就加權深度之總和體積之各單元及權重之總和體積之對應單元而言，切片操作可包括將累積加權深度值除以累積權重。由於此除法，各儲格現含有一影像調適深度值，其中總體積因此表示一影像調適深度體積。 已執行切片操作，可執行一內插操作以獲得影像中之各像素之影像調適深度圖之一影像調適深度值。此內插操作可包括：在像素之座標之基礎上，在表示基於像素之座標之加權深度之總和體積中的像素之累積間隔之該等單元之基礎上識別影像調適深度體積之相鄰單元；及將一內插濾波器應用於影像調適深度體積之相鄰儲格，其中就單眼之各者而言，內插濾波器包括基於像素相對於由座標所指示之一各自單元之累積間隔之相對位置而判定之一權重。換言之，一像素之位置(如由其空間座標及其(若干)範圍值判定)可判定待用於內插中之儲格，而一儲格中之一像素之相對位置可判定內插權重。可預計算權重。特定言之，權重可為相同於依用於潑濺操作中之權重及/或一相同硬體電路可用於儲存或計算權重。 圖5繪示依類似於圖4針對潑濺操作採用之一方式之內插操作。此處，權重用於自影像調適深度體積內插一輸出深度值。如當比較圖5及圖4時可見，相同權重用於一儲格內之一特定相對位置。此由將相同於提供至潑濺區塊140之加權及體積索引資料052提供至內插區塊160之加權區塊150繪示於圖1中。表格之右手部分展示權重如何施加於輸入深度值24及8。例如，Y位置7上之內插產生((5×24+3×8))/8=18。 圖6以圖形展示用於圖4及圖5中之兩個權重，即垂直軸線上之「wpy」及「wpy」之值作為水平軸線上之行數Y之一函數。權重「wpy」施加於「現在」值，而權重「wny」施加於「下一」值。圖7對應於圖6但額外展示如圖5中所展示之輸入深度值24與8之間所獲得之內插輸出–可看見計算權重以在輸入深度值之間提供一線性衰退。除線性衰退之外，亦可使用較高階內插函數(例如三次內插或樣條內插)。 一般而言，應注意所描述之體積之X或Y維度中之儲格之大小可總是為2之一冪，此係由於在此情況中係(例如)一固定點三線性內插之內插可使用用於正規化之一移位操作，其導致硬體成本大幅度減少。此可導致取決於影像大小而需要之儲格之一可變數目。就改變儲格大小而言，可影響濾波器效能。然而，實驗展示此不顯著影響視覺效能。再者，使用一可變數目個儲格替代一固定數目個儲格不顯著影響硬體設計。X或Y維度上之一儲格之大小可由一硬體參數指定，而選擇哪個值之分析可留給(例如)一微處理器之軟體。 應瞭解，一般而言，處理子系統可由所描述之積體電路(例如在另一類型之SoC中)單獨提供。 資料可提供於界定呈網路連線表及/或可合成RTL之形式之處理子系統之一電腦可讀媒體上。電腦可讀媒體及藉此儲存於電腦可讀媒體上之資料可暫時或非暫時的。例如，處理子系統可提供為(例如)諸如Verilog或VHDL之一硬體描述語言中之一可合成核心或提供為提供實施為一般閘極或程序特定標準單元之RTC IP區塊之邏輯函數之一布林代數表示之一般閘級網路連線表。 術語「圖」係指配置於列及行中之資料。再者，形容詞「深度」理解為指示至攝影機之一影像之部分之深度。因此，深度圖可由深度值但亦由(例如)像差值或視差移位值構成。因此，深度圖基本上可構成一像差圖或一視差移位圖。此處，術語像差係值當自使用者之一左眼或一右眼察覺時一物件之位置中之一差異。術語視差移位係指物件在兩個視野之間之一位移以提供該像差至使用者。像差及視差移位大體上與距離或深度負相關。展示用於在所有以上類型之圖及/或值之間之轉換之裝置及方法。 圖8展示用於自一影像估計一深度圖之一電腦實施之方法500。方法500經展示以包括：在名稱為「存取影像資料」之一操作中，存取510影像之影像資料；在名稱「存取深度資料」之一操作中，存取520一模板深度圖之深度資料；在名稱為「應用聯合雙邊濾波器」之一操作中，使用影像資料作為一聯合雙邊濾波器中之一範圍項將該聯合雙邊濾波器應用530於模板深度圖，藉此獲得一影像調適深度圖作為輸出，其中應用聯合雙邊濾波器包括：在名稱為「初始化體積」之一操作中，初始化540一加權深度之總和體積及一權重之總和體積作為一記憶體中之各自資料空結構；在名稱為「潑濺操作」之一操作中，執行550一潑濺操作以填充該等值；在名稱為「切片操作」之一操作中，執行560一切片操作以獲得一影像調適深度體積；在名稱為「內插操作」之一操作中，執行570一內插操作以獲得影像中之各像素之影像調適深度圖之一影像調適深度值。應瞭解上述操作可以任何適合順序執行(例如連續、同時或連續及同時之一組合)，藉由(例如)輸入/輸出關係而經受(在可應用之情況中)必需之一特定順序。例如，操作510及520可並行或依序執行。 方法500可對一處理器系統(例如一電腦)實施作為一電腦實施之方法、作為專用硬體或作為電腦實施之方法及專用硬體兩者之一組合。亦如圖9中所繪示，電腦之指令(例如可執行碼)可儲存於一電腦可讀媒體600上(例如以一系列610機器可讀物理標記及/或作為具有不同電氣(例如磁性或光學)性質或值之一系列元素。可執行碼可依一暫時或非暫時方式儲存。電腦可讀媒體之實例包含記憶體裝置、光學儲存裝置、積體電路、伺服器、線上軟體等。圖9展示一光碟600。 應注意上文所提及之實施例繪示而非限制本發明，且熟習技術者將能夠設計許多替代實施例。 在請求項中，放置於括號之間的任何參考記號不應被解釋為限制請求項。使用動詞「包括(comprise)」及其詞性變化不排除存在除一請求項中所陳述之元件或步驟之外之元件或步驟。一元件之前之冠詞「一」不排除存在複數個此等元件。本發明可藉由包括若干不同元件之硬體及藉由一經適當程式化之電腦實施。在枚舉若干構件之裝置請求項中，若干此等構件可由硬體之一者及相同項目體現。在互相不同獨立請求項中列舉特定措施之純事實並不代表此等措施之一組合不能優化使用。 為了促進圖式之解譯而提供以下參考及縮寫之列表且不應被解釋為限制申請專利範圍。
010‧‧‧影像資料
020‧‧‧深度體積輸入資料
022‧‧‧深度輸出資料
024‧‧‧模板深度資料
026‧‧‧內插模板深度資料
030‧‧‧權重之總和體積資料
032‧‧‧加權深度之總和體積資料
052‧‧‧加權及體積索引資料
054‧‧‧加權資料
100‧‧‧處理子系統
110‧‧‧影像資料輸入介面
120‧‧‧深度體積資料輸入介面
122‧‧‧深度資料輸出介面
130至132‧‧‧體積資料輸出介面
140‧‧‧潑濺區塊
150‧‧‧加權區塊
160‧‧‧內插區塊
170‧‧‧2D內插區塊
180‧‧‧控制邏輯
200‧‧‧影像
210‧‧‧水平維度/水平軸線
220‧‧‧垂直維度/垂直軸線
250‧‧‧亮影像斑塊之映射/箭頭
260‧‧‧暗影像背景之映射/箭頭
300‧‧‧影像之體積表示
310‧‧‧水平維度/X維度/空間維度
320‧‧‧垂直維度/Y維度/空間維度
330‧‧‧範圍維度/I維度
400‧‧‧維度
410‧‧‧深度樣本系列
420‧‧‧潑濺累積間隔
430‧‧‧權函數
440‧‧‧儲格間隔
442‧‧‧下邊緣儲格
444‧‧‧非邊緣儲格
500‧‧‧方法
510‧‧‧存取影像資料
520‧‧‧存取深度資料
530‧‧‧應用聯合雙邊濾波器
540‧‧‧初始化值
550‧‧‧潑濺操作
560‧‧‧切片操作
570‧‧‧內插操作
600‧‧‧電腦可讀媒體/光碟
610‧‧‧表示指令之非暫時資料/系列
p0‧‧‧照度值
p1‧‧‧照度值
p2‧‧‧照度值
自下文所描述之實施例明白及將參考下文所描述之實施例闡明本發明之此等及其他態樣。在圖式中， 圖1示意性地展示經組態以依一計算有效方式自一影像估計一深度圖之一積體電路； 圖2繪示一影像與可用於在一潑濺操作期間累積權重及加權深度值及可針對一內插操作保持深度值之一體積之間的關係； 圖3A展示一潑濺操作之一簡化實例； 圖3B展示繪示儲格定址及潑濺操作及內插操作兩者之相關聯之權重之一詳細實例； 圖4繪示潑濺操作之各種態樣； 圖5至圖7繪示內插操作之各種態樣； 圖8展示用於自一影像估計一深度圖之一方法；及 圖9展示包括用於引起一處理器系統執行方法之指令之一電腦可讀媒體。 應注意在不同圖中具有元件符號之項目具有相同結構特徵及相同功能或係相同信號。在已闡釋此一項目之功能及/或結構之情況中，不必要在[實施方式]中重複闡釋該項目之功能及/或結構。

Claims (15)

  1. 一種經組態以自一影像估計一深度圖之積體電路，該積體電路包括或連接至一記憶體，該積體電路包括： 一影像資料介面，其經組態以存取該影像之影像資料； 一深度資料介面，其經組態以存取一模板深度圖之深度資料，該模板深度圖表示將適應於該影像資料之一模板； 一處理子系統，其經組態以使用該影像資料作為一聯合雙邊濾波器中之一範圍項將該聯合雙邊濾波器應用於該模板深度圖，藉此獲得一影像調適深度圖作為輸出； 其中該處理子系統經組態以藉由如下實施該聯合雙邊濾波器： 初始化一加權深度之總和體積及一權重之總和體積作為該記憶體中之各自空資料結構，該等體積之各者包括： 兩個空間維度，其等表示該影像資料之該兩個空間維度之一縮減取樣版本，及 至少一範圍維度，其表示該影像資料之該範圍維度之一縮減取樣版本； 其中該等體積之單元界定相對於該影像之該兩個空間維度及該影像資料之該範圍維度界定之該影像之一座標系統中之儲格； 執行一潑濺操作以填充該等體積，其中就該影像中之各像素而言，該潑濺操作包括： 基於該影像之該座標系統中之該像素之一座標，該座標指示該像素相對於該等體積之各者之該等儲格之一相對位置， 基於在該潑濺操作中具有一佔據面積之該像素而識別該像素在該潑濺操作中促成之該加權深度之總和體積中之相鄰儲格，該佔據面積映射至該等相鄰儲格上； 其中該潑濺操作中之該促成包括： 自該模板深度圖獲得該像素之一深度值； 就該等相鄰儲格之各者而言： 獲得用於加權該深度值之一潑濺權重，其中基於該像素相對於該各自儲格之該相對位置而判定該潑濺權重， 利用該潑濺權重加權該深度值， 累積該加權深度之總和體積之該各自儲格中之該加權深度值，及累積該權重之總和體積之一對應儲格中之該潑濺權重； 執行一切片操作以由該加權深度之總和體積之各儲格及該權重之總和體積之對應儲格獲得一影像調適深度體積，將該等累積加權深度值除以該等累積權重； 執行一內插操作以獲得該影像中之各像素之該影像調適深度圖之一影像調適深度值，其中該內插操作包括： 基於該影像之該座標系統中之該像素之該座標，基於在該潑濺操作期間促成該加權深度之總和體積中之對應儲格之該像素而識別該影像調適深度體積中之相鄰儲格； 將一內插濾波器應用於該影像調適深度體積之該等相鄰儲格，其中就該等相鄰儲格之各者而言，該內插濾波器包括基於該像素相對於該各自儲格之該相對位置而判定之一內插權重。
  2. 如請求項1之積體電路，其中該處理子系統包括一應用特定硬體電路及可由軟體組態之一微處理器，其中： 該應用特定硬體電路經組態以執行該潑濺操作及該內插操作；且 該微處理器由該軟體組態以在該積體電路之操作期間執行該切片操作。
  3. 如請求項2之積體電路，其中該應用特定硬體電路包括用於儲存用於該潑濺操作中之該等潑濺權重及/或用於該內插操作中之該等內插權重之一濾波器表格。
  4. 如請求項3之積體電路，其中該濾波器表格在執行各自操作之前載入用於該潑濺操作中之該等潑濺權重及用於該內插操作中之該等內插權重。
  5. 如請求項1至3中任一項之積體電路，其中用於該潑濺操作中之該等潑濺權重及用於該內插操作中之該等內插權重相同。
  6. 如請求項1至4中任一項之積體電路，其中用於該潑濺操作中之該等潑濺權重及用於該內插操作中之該等內插權重表示相對於該影像之該座標系統之一線性內插。
  7. 如依據請求項2之請求項2至4中任一項之積體電路，其中該微處理器由該軟體組態以在該積體電路之操作期間，在執行該切片操作之前將一時間濾波施加於該加權深度之總和體積及該權重之總和體積。
  8. 如請求項7之積體電路，其中該時間濾波係一個一階或較高階無限脈衝響應濾波器。
  9. 如請求項1至4中任一項之積體電路，其中該處理子系統經組態以在執行該潑濺操作之後，使用一高斯核卷積該加權深度之總和體積。
  10. 如請求項1至4中任一項之積體電路，其中該積體電路係一場可程式閘陣列或一場可程式閘陣列之部分。
  11. 如請求項1至4中任一項之積體電路，其中該積體電路係一系統單晶片或一系統單晶片之部分。
  12. 一種裝置，其包括如請求項1至11中任一項之積體電路。
  13. 如請求項12之裝置，其係一顯示裝置或機上盒。
  14. 一種用於自一影像估計一深度圖之電腦實施之方法，該方法包括： 存取該影像之影像資料； 存取一模板深度圖之深度資料，該模板深度圖表示將適應於該影像資料之一模板； 使用該影像資料作為一聯合雙邊濾波器中之一範圍項將該聯合雙邊濾波器應用於該模板深度圖，藉此獲得一影像調適深度圖作為輸出，其中應用該聯合雙邊濾波器包括： 初始化一加權深度之總和體積及一權重之總和體積作為一記憶體中之各自空資料結構，該等體積之各者包括： 兩個空間維度，其等表示該影像資料之該兩個空間維度之一縮減取樣版本，及 至少一範圍維度，其表示該影像資料之該範圍維度之一縮減取樣版本； 其中該等體積之單元界定相對於該影像之該兩個空間維度及該影像資料之該範圍維度界定之該影像之一座標系統中之儲格； 執行一潑濺操作以填充該等體積，其中就該影像中之各像素而言，該潑濺操作包括： 基於該影像之該座標系統中之該像素之一座標，該座標指示該像素相對於該等體積之各者之該等儲格之一相對位置， 基於在該潑濺操作中具有一佔據面積之該像素而識別該像素在該潑濺操作中促成之該加權深度之總和體積中之相鄰儲格，該佔據面積映射至該等相鄰儲格上； 其中該潑濺操作中之該促成包括： 自該模板深度圖獲得該像素之一深度值； 就該等相鄰儲格之各者而言： 獲得用於加權該深度值之一潑濺權重，其中基於該像素相對於該各自儲格之該相對位置而判定該潑濺權重， 利用該潑濺權重加權該深度值， 累積該加權深度之總和體積之該各自儲格中之該加權深度值，及累積該權重之總和體積之一對應儲格中之該潑濺權重； 執行一切片操作以由該加權深度之總和體積之各儲格及該權重之總和體積之對應儲格獲得一影像調適深度體積，將該等累積加權深度值除以該等累積權重； 執行一內插操作以獲得該影像中之各像素之該影像調適深度圖之一影像調適深度值，其中該內插操作包括： 基於該影像之該座標系統中之該像素之該座標，基於在該潑濺操作期間促成該加權深度之總和體積中之對應儲格之該像素而識別該影像調適深度體積中之相鄰儲格； 將一內插濾波器應用於該影像調適深度體積之該等相鄰儲格，其中就該等相鄰儲格之各者而言，該內插濾波器包括基於該像素相對於該各自儲格之該相對位置而判定之一內插權重。
  15. 一種電腦可讀媒體，其包括表示經配置以引起一處理器系統執行如請求項14之方法之指令之暫時或非暫時資料。
TW107112754A 2017-04-13 2018-04-13 用於自一影像估計一深度圖之積體電路、電腦實施之方法及電腦可讀媒體及相關之顯示裝置及機上盒 TWI762617B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17166455.0A EP3389265A1 (en) 2017-04-13 2017-04-13 Efficient implementation of joint bilateral filter
??17166455.0 2017-04-13
EP17166455.0 2017-04-13

Publications (2)

Publication Number Publication Date
TW201837863A true TW201837863A (zh) 2018-10-16
TWI762617B TWI762617B (zh) 2022-05-01

Family

ID=58632767

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112754A TWI762617B (zh) 2017-04-13 2018-04-13 用於自一影像估計一深度圖之積體電路、電腦實施之方法及電腦可讀媒體及相關之顯示裝置及機上盒

Country Status (12)

Country Link
US (1) US11216962B2 (zh)
EP (2) EP3389265A1 (zh)
JP (1) JP7094299B2 (zh)
KR (1) KR102464876B1 (zh)
CN (1) CN110506418B (zh)
BR (1) BR112019019379A2 (zh)
CA (1) CA3056371C (zh)
ES (1) ES2928563T3 (zh)
IL (1) IL269868B (zh)
RU (1) RU2767512C2 (zh)
TW (1) TWI762617B (zh)
WO (1) WO2018189010A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI877425B (zh) * 2020-11-18 2025-03-21 美商雷亞有限公司 採用傾斜多視像影像匯聚平面的多視像顯示系統、方法和媒體

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501413B2 (en) * 2020-11-17 2022-11-15 Adobe Inc. Kernel reshaping-powered splatting-based efficient image space lens blur
CN115965551A (zh) * 2022-12-30 2023-04-14 上海联影医疗科技股份有限公司 医学影像处理方法、系统及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2317336A1 (en) * 2000-09-06 2002-03-06 David Cowperthwaite Occlusion resolution operators for three-dimensional detail-in-context
RU2215326C2 (ru) * 2001-06-29 2003-10-27 Самсунг Электроникс Ко., Лтд. Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
KR100574974B1 (ko) * 2004-02-26 2006-05-02 삼성전자주식회사 암호화된 방송 데이터를 위한 제한수신기능과복제방지기능을 구비하는 장치 및 방법
KR20080114324A (ko) * 2007-06-27 2008-12-31 엘지이노텍 주식회사 카메라 모듈, 이의 검사 장치 및 검사 방법
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
WO2010084460A1 (en) * 2009-01-20 2010-07-29 Nxp B.V. Image processing using a bilateral grid
WO2010134890A1 (en) 2009-05-21 2010-11-25 Esa Group Pte Ltd System and method for testing and managing camera modules
US8988461B1 (en) * 2011-01-18 2015-03-24 Disney Enterprises, Inc. 3D drawing and painting system with a 3D scalar field
CN102055996B (zh) * 2011-02-23 2013-01-23 南京航空航天大学 基于空间逐层扫描的真三维立体显示系统及其显示方法
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
TW201432622A (zh) 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
CN103927717B (zh) * 2014-03-28 2017-03-15 上海交通大学 基于改进型双边滤波的深度图像恢复方法
US8988317B1 (en) * 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
US9838679B2 (en) 2015-07-28 2017-12-05 Viavi Solutions Inc. Distance to fault measurements in cable TV networks
CN106210713A (zh) 2016-08-30 2016-12-07 昆山软龙格自动化技术有限公司 一种手机摄像头模组多模组同时测试装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI877425B (zh) * 2020-11-18 2025-03-21 美商雷亞有限公司 採用傾斜多視像影像匯聚平面的多視像顯示系統、方法和媒體

Also Published As

Publication number Publication date
CN110506418A (zh) 2019-11-26
JP2020518892A (ja) 2020-06-25
EP3610645B1 (en) 2022-07-13
US11216962B2 (en) 2022-01-04
US20210192760A1 (en) 2021-06-24
CA3056371C (en) 2024-04-02
CN110506418B (zh) 2021-05-25
WO2018189010A1 (en) 2018-10-18
ES2928563T3 (es) 2022-11-21
EP3610645A1 (en) 2020-02-19
BR112019019379A2 (pt) 2020-05-05
CA3056371A1 (en) 2018-10-18
RU2767512C2 (ru) 2022-03-17
KR102464876B1 (ko) 2022-11-07
IL269868B (en) 2022-03-01
EP3389265A1 (en) 2018-10-17
TWI762617B (zh) 2022-05-01
JP7094299B2 (ja) 2022-07-01
RU2019136258A (ru) 2021-05-13
RU2019136258A3 (zh) 2021-05-13
KR20190135527A (ko) 2019-12-06

Similar Documents

Publication Publication Date Title
US9589367B2 (en) Reconstruction of missing data point from sparse samples during graphics processing using cubic spline polynomials
EP2774124B1 (en) Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
JP7820969B2 (ja) インテリジェントノイズ除去
US11062499B2 (en) Distance-field texture interpolation optimizations
TW201837863A (zh) 聯合雙邊濾波器的有效實施
US11195319B1 (en) Computing ray trajectories for pixels and color sampling using interpolation
KR20140058553A (ko) 뷰잉-포커스 지향식 이미지 프로세싱
Werner et al. Hardware implementation of a full HD real-time disparity estimation algorithm
CN116843736B (zh) 场景渲染方法及装置、计算设备、存储介质和程序产品
WO2012040162A1 (en) Color correction for digital images
CN108492326B (zh) 分辨率从低到高的逐渐精细化的立体匹配方法及系统
CN1858802B (zh) 平滑化处理计算机图形纹理数据的方法、处理装置及系统
CN109076205B (zh) 双模深度估计器
EP4162441B1 (en) Multi-channel extended depth-of-field method for automated digital cytology
US20100103164A1 (en) Apparatus and method of processing three dimensional graphic data using texture factor
GB2644366A (en) Upsampling
EP2677496A1 (en) Method and device for determining a depth image
Joshi et al. Fast edge-filtered image upsampling
Summers-Stay Graphcut Texture Synthesis for Single-Image Superresolution