TW201622421A - 用於圖像及視訊之動態範圍恢復之系統及方法 - Google Patents

Abstract

一處理裝置自一上游裝置接收一D維向量資料集之媒體內容，其中D大於或等於1。該處理裝置將一低頻通方法應用於該所接收D維媒體內容，以產生一低頻D維向量資料集之媒體內容。該處理裝置獲得包括對應於該所接收D維媒體內容之每一向量之一組D維結構張量的一結構張量域。該處理裝置執行針對該結構張量域中之每一結構張量之一特徵系統分析，以產生包括該所接收D維媒體內容之每一向量之D特徵值的複數個D特徵值域。該處理裝置鑑於該複數個D特徵值域之每一向量的該等D特徵值中之一或多者，在該所接收D維媒體內容之每一向量與來自該低頻D維媒體內容之一對應向量之間進行插補，以產生一經恢復動態範圍D維向量資料集之媒體內容。

Description

用於圖像及視訊之動態範圍恢復之系統及方法

本發明之實施例係關於圖像處理，且更特定而言，係關於在不直接耦合至一上游編碼或解碼程序之情況下視訊或圖像內動態範圍恢復之領域。

通常存在於統計性、預測性及感知性圖像壓縮系統中之一常見假影係顏色或亮度動態範圍之減少。此在大多數情形中係故意為之，此乃因經應用以減少動態範圍之量化並非意在可由大多數人在正常觀察條件下察覺。然而，隨著通道傳輸頻寬變得越來越受到限制，且越來越需要對圖像及視訊之壓縮，典型編碼器以及因此與其匹配之解碼器在此等受限條件下在最終觀看時引入數個令人不悅之假影。

除了上一代編碼標準(諸如，MPEG2)最為常見之塊效應假影，由同時期壓縮技術(諸如，H.264或MPEG-4第10部分、進階視訊編碼(MPEG-4 AVC)以及高效率視訊編碼(HEVC))引入之假影在未提供充分傳輸容量之情況下使塊效應假影轉換為其他假影，諸如模糊化及色帶效應。色帶效應由於已經出現在靜態圖像中且在帶效應或輪廓邊緣在一圖像序列內移動時更加明顯之空間高頻顏色輪廓而在此等假影中最應被關注。另外，通常展現色帶效應之編碼標準(諸如JPEG)由於其早期成功而可能繼續盛行普遍存在。此等假影具有此項技術中熟知之 數個名稱；較不正式地，被稱為「帶效應」，或「顏色輪廓化效應」。此等假影更廣泛地被熟知為動態範圍減少，此乃因其係在分析下對一信號之數位量化之結果。

減輕此等假影具有諸多可能的解決方案，諸如增加傳輸頻寬或增加顏色空間子取樣(自YUV420子取樣增加為諸如YUV444之子取樣)，但其皆以高成本為代價。一個解決方案係在呈現給一顯示裝置之前依據一後置解碼器後處理解決方案處理色帶效應假影。

已嘗試解決自低動態範圍圖像產生高動態範圍圖像之一般性問題，但該等嘗試皆遭遇某些嚴重缺陷。

美國專利申請公開案第2014/0079335號揭示藉由使用運動分析來分析相對曝光級之一高動態範圍成像系統。然而，此方法僅對視訊及移動成像法起作用，且其不適用於單個圖像。

美國專利申請公開案第2013/0107956號(在下文中稱為「‘956公開案」)揭示自低動態範圍圖像產生高動態範圍圖像之一方法。然而，在‘956公開案中揭示之方法採用緊密耦合至圖像編碼器及解碼器之一預測性映射，此需要對一終端使用者裝置解碼器之改變。此使‘956公開案中揭示之方法對於大多數行動應用而言並不可行。另外，‘956公開案中揭示之方法需要高動態範圍參考成像法，諸如YUV444，此通常係不可得的。

美國專利申請公開案第2014/0177706號(在下文中稱為「‘706公開案」)揭示提供經量化圖像及視訊之超解析度之一方法及系統。儘管‘706公開案中揭示之方法可經變更以恢復動態範圍而非空間解析度，但‘706公開案中揭示之方法類似地緊密耦合至編碼器及解碼器程序，從而使‘706公開案中揭示之方法對於行動應用而言不可行。

其他相關技術方法具體而言嘗試藉助於一解耦合後處理方法或系統解決諸如與經主動壓縮圖像或視訊一起發現之經量化圖像之帶效 應及輪廓化效應問題。通常，此等方法藉由選擇性地模糊化一給定低動態範圍圖像之部分而操作，且主要地藉由遮蔽之方法使空間上模糊化之區域與空間上不模糊化之區域不同。此過濾係一般性動態範圍恢復問題之一子集。

美國專利第8,582,913號(在下文中稱為「‘913專利」)揭示自低動態範圍圖像產生高動態範圍圖像之一後處理控制器。儘管所揭示之控制器服從即時操作，但其使用依賴由一圖像中之特徵表示之有角度空間頻率之一亮度增強功能，此需要所揭示之程序具有有關顯示器寬度及高度以及觀看者距顯示器之預期距離之資訊，從而將其應用限制於專業應用且使‘913專利中揭示之方法不適用於一般性消費者應用。此外，‘913專利中揭示之方法在其遮蔽操作中使用簡單臨限值，此意味其易受誤肯定，諸如平滑化無帶效應(而是合理圖像細節)之區，以及誤否定，諸如不消除應被處理之輪廓化效應假影。

國際PCT公開案第WO/2005/101309號(在下文中稱為「‘309公開案」)亦揭示將圖像自低動態範圍轉換為高動態範圍之方法及系統。然而，類似於數個其他方法，‘309公開案中揭示之方法在其遮蔽操作中使用簡單臨限值，此意味其並非強固的，且易受誤肯定，諸如平滑化無帶效應(而是合理圖像細節)之區，以及誤否定，諸如不消除應被處理之輪廓化效應假影。

可在頻率域中藉由選擇性迴旋來處理此等帶效應及輪廓化效應假影，然而，至及自頻率域之轉換程序使選擇性迴旋對處理同時期行動消費者裝置上之全解析度成像法無效。

另外，上述方法通常由於數位感測器或壓縮相關量化之有限動態範圍而應用於一單個目的，亦即圖像帶效應及輪廓化效應假影之減少。上述方法不具有對此項技術中其他相關問題(諸如，3D模型之頂點位置之量化誤差，以及其他D維資料集之動態範圍之恢復)之一般適 用性。

藉由提供用於在無需耦合至一上游編碼、解碼或量化程序之情況下圖像、視訊或其他D維資料集之動態範圍恢復之一系統及方法，補救上述問題且達成此項技術中之一技術解決方案。在一項實例中，一處理裝置之一媒體內容處理器可自輸入圖像資料或視訊資料產生一高斯金字塔。該媒體內容處理器可產生包括針對該輸入圖像資料或視訊資料之每一像素之一組結構張量的一結構張量域。該媒體內容處理器可計算針對該輸入圖像資料或視訊資料之每一像素之該等結構張量中之每一者之一特徵系統分析，從而產生複數個特徵值域。該媒體內容處理器可自該複數個特徵值域中之每一者產生一高斯金字塔。

該顏色通道處理器可自該等特徵值域中之每一者選擇該最低解析度級之經計算高斯金字塔之每一元素之該等特徵值中之一或多者，以將一線性權重指派給自該等特徵值域中之每一者計算之最低解析度高斯金字塔之每一像素。該顏色通道處理器可使用一對應線性權重在(1)自該輸入圖像資料或視訊資料計算之高斯金字塔之最低解析度金字塔之每一像素，與(2)該輸入圖像資料或視訊資料之複數個像素之一對應像素之間使用一對應經計算權重進行插補，以產生一經恢復動態範圍圖像或視訊。

該顏色通道處理器可在一顯示器上顯示經恢復動態範圍圖像資料或視訊資料，或將經恢復動態範圍圖像或視訊傳輸至一或多個下游裝置。在一實例中，可根據用於該結構張量分析之一支援區域按比例調整該線性加權。在一實例中，該結構張量分析可針對僅一個通道(諸如，一輸入圖像之每一像素之照度)執行，而該加權插補可對一多通道圖像之所有通道(諸如，一YCbCr圖像之所有3個通道(照度及Cb、Cr))聯合地執行。在一實例中，可並行地計算該輸入圖像高斯金 字塔及該特徵值域高斯金字塔。

藉由提供用於在無需耦合至一上游編碼、解碼或量化程序之情況下圖像、視訊或其他D維資料集之動態範圍恢復之一系統及方法，補救上述問題且達成此項技術中之一技術解決方案。在一項實例中，一處理裝置之一媒體內容處理器可自一上游裝置接收一D維向量資料集之媒體內容，其中D大於或等於1。該媒體內容處理器可將一低頻通方法應用於該所接收D維向量資料集之媒體內容，以產生一低頻D維向量資料集之媒體內容。該媒體內容處理器可獲得包括對應於該所接收D維向量資料集之媒體內容之每一向量之一組D維結構張量的一結構張量域。該媒體內容處理器可執行針對結構張量域中之每一結構張量之一特徵系統分析，以產生包括該所接收D維向量資料集之媒體內容之每一向量之D特徵值之複數個D特徵值域。該媒體內容處理器可鑑於該複數個D特徵值域之每一向量的該等D特徵值中之一或多者，在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體內容之一對應向量之間進行插補，以產生一經恢復動態範圍D維向量資料集之媒體內容。該媒體內容處理器可將該經恢復動態範圍D維向量資料集之媒體內容輸出至一顯示器或下游裝置。

在一實例中，該媒體內容可包括以下各項中之至少一者：音訊、一或多個二維靜態圖像、一或多個三維靜態圖像、二維視訊、三維視訊、磁共振成像(MRI)資料、電腦斷層(CT)掃描資料、幾何資料、震測資料、全像資料或氣象資料。

在一實例中，該低頻通方法可包括：該媒體內容處理器自該所接收D維向量資料集之媒體內容產生一D維高斯金字塔，以及自該D維高斯金字塔之最低維度金字塔級選擇D維向量資料，以產生該低頻D維向量資料集之媒體內容。

在一實例中，該媒體內容處理器獲得一組D維結構張量可包括：該媒體內容處理器計算針對該所接收D維向量資料集之媒體內容之每一向量之一組D維方向梯度。在一實例中，該媒體內容處理器獲得一組D維結構張量可包括：該媒體內容處理器執行針對該所接收D維向量資料集之媒體內容之每一向量之一個元素的一結構張量分析。

在一實例中，插補可包括：該媒體內容處理器在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體內容之該對應向量之間進行線性插補。在一實例中，插補可包括：該媒體內容處理器自該複數個D特徵值域中之每一者產生一高斯金字塔。該媒體內容處理器可進一步採用該等D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量。該媒體內容處理器可進一步採用該等線性權重以在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體之該對應向量之間進行插補，以產生該經恢復動態範圍D維向量資料集之媒體內容。在一實例中，可鑑於用於獲得該結構張量域之一支援區域而指派該等線性權重。

在一實例中，該媒體內容處理器採用該等D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量可包括：該媒體內容處理器選擇指示圍繞該所接收D維向量資料之一向量之一均質支援區域的該等D特徵值之一特徵值作為用於指派該等線性權重之下限。該媒體內容處理器可進一步選擇指示圍繞該所接收D維向量資料之一向量之一邊緣或高度紋理化支援區域的該等D特徵值之剩餘特徵值中之一者作為用於指派該等線性權重之上限。

在一實例中，插補可包括：該媒體內容處理器在該所接收D維向量資料集之媒體內容之每一向量之所有元素與來自該低頻D維向量資料集之媒體內容之每一向量之對應元素之間聯合地執行一插補。

在一實例中，可並行地執行該插補及該應用一低頻通方法。

在一實例中，該所接收D維向量資料之媒體內容、該低頻D維向量資料集之媒體內容及該經恢復動態範圍D維向量資料之媒體內容之每一向量可各自包括N維純量值，其中N等於或大於1。在一實例中，該所接收D維向量資料集之媒體內容、該低頻D維向量資料集之媒體內容及該經恢復動態範圍D維向量資料集之媒體內容可各自包括D維像素值。在一實例中，該等像素值可包括顏色值或照度值，或顏色值及照度值兩者。

100‧‧‧電腦系統/計算系統

105‧‧‧資料源

110‧‧‧網路

115‧‧‧計算平台

120‧‧‧主機系統

125‧‧‧處理裝置/解碼處理裝置/編碼處理裝置

137‧‧‧圖形處理單元記憶體

145‧‧‧顏色通道處理器

150‧‧‧圖像資料緩衝區

155‧‧‧圖像資料緩衝區

160‧‧‧接收器

165‧‧‧解碼器

170‧‧‧顯示器

175‧‧‧下游裝置

300‧‧‧計算系統/電腦系統

305‧‧‧資料源

310‧‧‧網路

315‧‧‧計算平台

320‧‧‧主機系統

325‧‧‧處理裝置

330a至330n‧‧‧中央處理單元

335‧‧‧主機記憶體

337‧‧‧圖形處理單元記憶體

340‧‧‧圖形處理單元

345‧‧‧媒體內容處理器

350‧‧‧媒體內容緩衝區

355‧‧‧媒體內容緩衝區

360‧‧‧接收器

365‧‧‧解碼器

370‧‧‧顯示器

375‧‧‧下游裝置

1500‧‧‧電腦系統

1502‧‧‧處理器

1504‧‧‧主記憶體

1506‧‧‧靜態記憶體

1508‧‧‧匯流排

1510‧‧‧視訊顯示單元

1512‧‧‧文數輸入裝置

1514‧‧‧游標控制裝置

1516‧‧‧資料儲存裝置

1520‧‧‧信號產生裝置

1522‧‧‧網路介面裝置

1524‧‧‧電腦可讀媒體

本發明可自下文結合隨附圖式考量之實例之詳細說明而變得更易於理解，且在隨附圖式中類似元件符號指示類似元件。

圖1係在無需緊密耦合至本發明之實例可在其中操作之一上游編碼或解碼程序之情況下接收及恢復圖像及視訊之動態範圍之一實例性計算系統之一方塊圖。

圖2係用於在無需緊密耦合至使用圖1之系統之一上游編碼、解碼或量化程序之情況下圖像或視訊之動態範圍恢復之一方法之一實例的一流程圖。

圖3係在無需緊密耦合至本發明之實例可在其中操作之一上游編碼或解碼程序之情況下接收並恢復D維向量資料集之媒體內容之動態範圍之另一實例性計算系統之一方塊圖，其中D大於或等於1。

圖4係圖解說明用於在無需緊密耦合至使用圖3之系統之一上游編碼、解碼或量化程序之情況下D維媒體內容之動態範圍恢復之一方法之一項實例的一流程圖。

圖5展示一實例性輸入圖像。

圖6展示一經建構高斯金字塔之一示意圖。

圖7展示自圖6之實例性輸入圖像計算之一實例性高斯金字塔。

圖8展示來自圖6之實例性輸入圖像之一經計算梯度域(dX，dY)。

圖9展示對諸如一圖像之一D維資料集(其中D=2)之一結構張量之特徵值λ₁及λ₂的解釋。

圖10展示自圖6之實例性輸入圖像之結構張量計算之兩個特徵值域(λ₁及λ₂)，其經正規化以在該圖中可視化。

圖11展示圖6之實例性輸入圖像之部分之一放大，其中動態範圍嚴重降級，肩部及臂部之帶效應顯著。

圖12展示自圖11之λ₁特徵值域建構之一高斯金字塔。

圖13展示圖12中之圖像之動態範圍之一相關技術嘗試重建，注意頭髮及面部區域中之細節損失，且嚴重輪廓化效應未經消除。

圖14展示使用本發明之實例的圖12之圖像之動態範圍之重建。

圖15圖解說明呈一電腦系統之實例性形式之一機器之一圖解性表示，可在該電腦系統內執行用於致使該機器執行本文中所論述之方法中之任何一或多者之一組指令。

應理解，隨附圖式出於圖解說明本發明之概念的目的且可不按比例。

藉由提供用於在無需緊密耦合至一上游編碼、解碼或量化程序之情況下圖像、視訊或其他D維資料集之動態範圍恢復之一系統及方法，補救上述問題且達成此項技術中之一技術解決方案。本發明之實例准許圖像及視訊之經減少傳輸頻寬，無需對圖像或視訊編碼器、解碼器或其標準之改變，且不會引入可見假影。本發明之實例係關於恢復視訊或圖像之類別內之照度、顏色或兩者之動態範圍。熟習此項技術者將瞭解本發明之實例在其他領域(諸如，醫學成像、圖像分析及分類，以及針對諸如(藉由非限制性實例方式)音訊、3D資料集、全像 資料集以及受動態範圍限制之其他媒體及資料類型之此等信號類型之通用信號動態範圍恢復)中之應用。儘管可自圖像及視訊角度闡述本發明之實例，但用於諸如3D掃描、氣象及震測資料之其他D維資料集(其中D大於1，如在圖像及視訊中)之動態範圍恢復可採用本文中所揭示之概念來改良關於動態範圍之獲取系統限制。

本發明之實例可經組態以在不緊密耦合至一上游編碼，解碼或其他量化程序之情況下恢復圖像、視訊及其他D維資料集之動態範圍。本發明之實例對於終端使用者裝置(諸如，行動電話及機上盒)上之HD型視訊而言其有效性足以即時運行，而堅定地無需使圖像細節及高頻空間資訊(諸如，細小紋理、細節及邊緣資訊)降級。

針對諸如主要組分分析、流體動力學計算及材料應力計算之此等任務之特徵系統分析在此項技術中係已知的。特徵系統分析可為一後處理方法提供一非常穩健之D維遮蔽功能以恢復圖像及其他D維資料集之動態範圍。美國專利第8,355,534號(在下文中稱為「‘534專利」)揭示輸入圖像之時空結構張量之特徵系統分析，但主要地採用特徵系統分析來以一非常準確方式判定邊緣特徵之定向以便避免運動估計中眾所周知之孔徑問題。

特徵系統分析之另一用途包含對一圖像中之一顏色分佈之主要組分之計算，諸如在美國專利申請公開案第2014/0098263號(在下文中稱為「‘263公開案」)中所教示。然而，‘534專利及‘263不受益於一結構張量之特徵值域用作一平滑遮蔽功能以用於動態範圍增強。

在以下說明中，闡述眾多細節。然而，熟習此項技術者將瞭解，本發明可不藉助此等特定細節來實踐。在某些例項中，以方塊圖形式而非詳細地展示眾所周知之結構及裝置，以避免使本發明之實例模糊。

圖1係在無需緊密耦合至本發明之實例可在其中操作之一上游編 碼或解碼程序之情況下接收及恢復圖像及視訊之動態範圍之一實例性計算系統100之一方塊圖。藉由非限制性實例之方式，計算系統100可經組態以自一或多個資料源105接收經編碼圖像資料或視訊資料。計算系統100亦可包含一計算平台115。計算平台115可包括一主機系統120，主機系統120可包括例如一處理裝置125，諸如一或多個中央處理單元130a至130n。處理裝置125可耦合至一主機記憶體135。主機記憶體135可將自一或多個資料源105接收之經編碼圖像資料或視訊資料儲存於一圖像資料緩衝區150中。經編碼圖像資料或視訊資料可由一接收器160接收，由一解碼器365解碼，且傳送至一圖像資料緩衝區150。接收器160可接收自一或多個資料源105或經由一網路110引導之經編碼圖像資料或視訊資料。在一項實例中，接收器360或解碼器365中之一者或兩者可在處理裝置325或計算平台115外部。在另一實例中，接收器160或解碼器165中之一者或兩者可與處理裝置125或計算平台115整合。

處理裝置125可進一步實施一圖形處理單元140(GPU)。熟習此項技術者將瞭解，除了GPU之外，亦可利用其他協同處理器架構，諸如但不限於DSP、FPGA或ASIC，或者處理裝置125本身之附屬固定功能特徵。熟習此項技術者將進一步瞭解，GPU 140可共置於與中央處理單元130a至130n相同之實體晶片或邏輯裝置(其亦已知為一「APU」，諸如在行動電話及平板電腦上所發現)上。單獨GPU及CPU功能可在其中GPU係一實體擴展卡之電腦伺服器系統以及個人電腦系統及膝上型電腦上發現。GPU 140可包括一GPU記憶體137。熟習此項技術者將瞭解，主機記憶體135及GPU記憶體137亦可共置於相同實體晶片或邏輯裝置上，諸如共置於一APU上。熟習此項技術者將進一步瞭解，解碼處理裝置125可部分地或整體地與編碼處理裝置125一起整合至圖1之計算系統100中以提供編碼及解碼功能性兩者。

處理裝置125可經組態以透過接收器160自資料源105接收經編碼圖像資料或視訊資料。處理裝置125可經組態以基於所接收之經編碼圖像資料或視訊資料形成圖像資料緩衝區150，其連接至一解碼器165以將圖像緩衝區150解碼。解碼器165可經組態以將儲存於圖像緩衝區150中之圖像資料或視訊資料作為儲存於圖像緩衝區155中之圖像資料或視訊資料傳送至GPU記憶體137。

處理裝置125可經組態以實施一顏色通道處理器145以接收儲存於圖像緩衝區155中且自解碼器165、一解多工器(未展示)或一去包裝器(未展示)接收之圖像資料或視訊資料。在一項實例中，處理裝置125可將顏色通道處理器145作為GPU 140之一組件而實施。

在一項實例中，顏色通道處理器145可經組態以自儲存於圖像緩衝區155中之圖像資料或視訊資料計算一高斯金字塔。顏色通道處理器145可經組態以形成針對儲存於圖像緩衝區155中之圖像資料或視訊資料之複數個像素中之每一者的結構張量。顏色通道處理器145可經組態以計算對應儲存於圖像緩衝區155中之圖像資料或視訊資料之複數個像素中之每一者的結構張量之一特徵系統分析，以自結構張量產生特徵值域。顏色通道處理器145可經組態以自特徵值域中之每一者計算高斯金字塔。

顏色通道處理器145可經組態以選擇自特徵值域中之每一者計算之最低解析度級之高斯金字塔之每一元素之特徵值中之一或多者，以將一線性權重指派給自特徵值域中之每一者計算之最低解析度高斯金字塔之每一像素。顏色通道處理器可經組態以使用一對應線性權重，在(1)自儲存於圖像緩衝區155中之圖像資料或視訊資料計算之高斯金字塔之最低解析度金字塔之每一像素，與(2)儲存於圖像緩衝區155中之輸入圖像資料或視訊資料之複數個像素之一對應像素之間使用一對應經計算權重進行插補，以產生一經恢復動態範圍圖像或視訊。顏色 通道處理器145可經組態以將經恢復動態範圍圖像或視訊傳達至圖像緩衝區155中，該等經恢復動態範圍圖像或視訊適用於一顯示器170上之顯示輸出或適於傳輸至一或多個下游裝置175。

圖2圖解說明用於在無需緊密耦合至一上游編碼、解碼或量化程序之情況下圖像或視訊之動態範圍恢復之一方法200之一實例的一流程圖。方法200可由圖1之一電腦系統100執行且可包括硬體(例如，電路、專用邏輯、可程式化邏輯、微碼等)、軟體(例如，在一處理裝置上執行之指令)，或其一組合。在一項實例中，方法100可主要由圖1之計算系統100之顏色通道處理器145執行。

如在圖2中所展示，為准許計算系統100將圖像資料或視訊資料解碼，在方塊205處，接收器160可自資料源105接收經編碼圖像資料或視訊資料。在方塊210處，解碼器165可將經編碼圖像資料或視訊資料解碼，且可將經經解碼圖像資料或視訊資料放置於處理裝置125之一圖像資料緩衝區150中。處理裝置125可將圖像資料緩衝區150中之經解碼圖像資料或視訊資料傳送至GPU記憶體137之GPU圖像緩衝區155。顏色通道處理器145可自GPU記憶體137接收圖像資料緩衝區155中之經解碼圖像資料或視訊資料。

圖像資料緩衝區155中之經解碼圖像資料或視訊資料可包括一複數個像素，其中每一像素包括一或多個顏色通道。

在方塊215處，顏色通道處理器145可自圖像資料緩衝區155中之經解碼圖像資料或視訊資料計算一高斯金字塔。在方塊220處，顏色通道處理器145可形成針對輸入圖像緩衝區155中之複數個像素中之每一者的結構張量。在方塊225處，顏色通道處理器145可計算結構張量之一特徵系統分析，以自結構張量產生特徵值域。在方塊220處，顏色通道處理器145可自特徵值域中之每一者計算高斯金字塔。在方塊235處，顏色通道處理器145可選擇自特徵值域中之每一者計算之最低 解析度級之高斯金字塔之每一元素之特徵值中之一或多者，以將一線性權重指派給自特徵值域中之每一者計算之最低解析度高斯金字塔之每一像素。在方塊240處，顏色通道處理器使用一對應線性權重，在(1)自儲存於圖像緩衝區155中之圖像資料或視訊資料計算之高斯金字塔之最低解析度金字塔之每一像素，與(2)儲存於圖像緩衝區155中之輸入圖像資料或視訊資料之複數個像素之一對應像素之間使用一對應經計算權重進行插補，以產生一經恢復動態範圍圖像或視訊。

顏色通道處理器145可將經恢復動態範圍圖像或視訊傳達至圖像緩衝區155中，在方塊245處，適於顏色通道處理器145將該等經恢復動態範圍圖像或視訊作為輸出在一顯示器170上顯示或傳輸至一或多個下游裝置175。

圖3係在無需緊密耦合至本發明之實例可在其中操作之一上游編碼或解碼程序之情況下接收並恢復D維向量資料集之媒體內容(統稱為「D維媒體內容」)之動態範圍之另一實例性計算系統300之一方塊圖，其中D大於或等於1。

在一實例中，D維媒體內容可包括以下各項中之至少一者：音訊、一或多個二維靜態圖像、一或多個三維靜態圖像、二維視訊、三維視訊、磁共振成像(MRI)資料、電腦斷層(CT)掃描資料、幾何資料、震測資料、全像資料或氣象資料。

藉由非限制性實例之方式，計算系統300可經組態以自一或多個媒體內容源305接收經編碼D維媒體內容。計算系統300亦可包含一計算平台315。計算平台315可包括一主機系統320。主機系統320可包括例如一處理裝置325，諸如一或多個中央處理單元330a至330n。處理裝置325可耦合至主機記憶體335。主機記憶體335可將自一或多個媒體內容源305接收之經編碼D維媒體內容儲存於一媒體內容緩衝區350中。經編碼D維媒體內容可由一接收器360接收，由一解碼器365解 碼，且傳送至媒體內容緩衝區350。接收器360可直接自一或多個媒體內容源305或經由一網路310接收經編碼D維媒體內容。在一項實例中，接收器360或解碼器365中之一者或兩者可在處理裝置325或計算平台315外部。在另一實例中，接收器360或解碼器365中之一者或兩者可與處理裝置325或計算平台315整合。

處理裝置325可進一步實施一圖形處理單元340(GPU)。熟習此項技術者將瞭解，除了GPU之外，亦可利用其他協同處理器架構，諸如但不限於DSP、FPGA或ASIC，或者處理裝置325本身之附屬固定功能特徵。熟習此項技術者將進一步瞭解，GPU 140可共置於與中央處理單元330a至330n相同之實體晶片或邏輯裝置(其亦已知為一「APU」，諸如在行動電話及平板電腦上所發現)上。單獨GPU及CPU功能可在其中GPU 340可係一實體擴展卡之電腦伺服器系統以及個人電腦系統及膝上型電腦上發現。GPU 340可包括一GPU記憶體337。熟習此項技術者將瞭解，主機記憶體335及GPU記憶體337亦可共置於相同實體晶片或邏輯裝置上，諸如共置於一APU上。熟習此項技術者將進一步瞭解，解碼處理裝置325可部分地或整體地與編碼處理裝置325一起整合至圖3之計算系統300中以提供編碼及解碼功能性兩者。

處理裝置325可經組態以透過接收器360自媒體內容源305接收經編碼D維媒體內容。處理裝置325可經組態以自經編碼D維媒體內容形成媒體內容緩衝區350，且將經編碼D維媒體內容傳輸至一解碼器365以將儲存於媒體內容緩衝區350中之D維媒體內容解碼。解碼器365可經組態以將儲存於媒體內容緩衝區350中之D維媒體內容作為儲存於媒體內容緩衝區355中之輸入D維媒體內容傳送至GPU記憶體337。

處理裝置325可經組態以實施一媒體內容處理器345以自解碼器365、解多工器(未展示)或一去包裝器(未展示)儲存於媒體內容緩衝區355中之輸入D維媒體內容。在一項實例中，處理裝置325可將媒體內 容處理器345作為GPU 340之一組件而實施。

在一項實例中，媒體內容處理器345可經組態以將一低頻通方法應用於儲存於媒體內容緩衝區155中之D維媒體內容，以產生一低頻D維向量資料集之媒體內容(在下文中稱為「低頻D維媒體內容」)。在一實例中，低頻通方法可包括：媒體內容處理器345自儲存於媒體內容緩衝區355中之所接收D維媒體內容產生一D維高斯金字塔，並自D維高斯金字塔之最低維度金字塔級選擇一D維向量資料以產生低頻D維媒體內容。

在一項實例中，媒體內容處理器345可經組態以獲得包括對應於儲存於媒體內容緩衝區355中之輸入D維媒體內容之每一向量的一組D維結構張量的一結構張量域。在一實例中，媒體內容處理器345獲得一組D維結構張量可包括：媒體內容處理器345計算針對所接收D維媒體內容之每一向量之一組D維方向梯度。在一實例中，媒體內容處理器345獲得一組D維結構張量可包括：媒體內容處理器345執行針對所接收D維媒體內容之每一向量之一個元素的一結構張量分析。

媒體內容處理器345可經組態以執行針對結構張量域中之每一結構張量之一特徵系統分析，以產生包括所接收D維媒體內容之每一向量之D特徵值之複數個D特徵值域。

媒體內容處理器345可經組態以鑑於複數個D特徵值域之每一向量的D特徵值中之一或多者，在儲存於媒體內容緩衝區355中之所接收D維媒體內容之每一向量與來自低頻D維媒體內容之一對應向量之間進行插補，以產生一經恢復動態範圍D維向量資料集之媒體內容(在下文中稱為「經恢復動態範圍D維媒體內容」)。

在一實例中，插補可包括：媒體內容處理器345在所接收D維媒體內容之每一向量與來自低頻D維媒體內容之對應向量之間進行線性插補。在一實例中，插補可包括：媒體內容處理器345自複數個D特 徵值域中之每一者產生一高斯金字塔。媒體內容處理器345可進一步採用D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量。媒體內容處理器345可進一步採用線性權重以在所接收D維媒體內容之每一向量與來自低頻D維媒體內容之對應向量之間進行插補，以產生經恢復動態範圍D維媒體內容。在一實例中，可鑑於用於獲得結構張量域之一支援區域而指派線性權重。

在一實例中，媒體內容處理器345採用D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量可包括：媒體內容處理器選擇指示圍繞所接收D維媒體內容之一向量之一均質支援區域的D特徵值之一特徵值作為用於指派線性權重之下限。媒體內容處理器可進一步選擇指示圍繞所接收D維媒體內容之一向量之一邊緣或高度紋理化支援區域的D特徵值之剩餘特徵值中之一者作為用於指派線性權重之上限。

在一實例中，插補可包括：媒體內容處理器345在所接收D維媒體內容之每一向量之所有元素與來自低頻D維媒體內容之每一向量之對應元素之間聯合地執行一插補。

媒體內容處理器345可經組態以將經恢復動態範圍D維媒體內容傳達至媒體內容緩衝區355中，該等經恢復動態範圍D維媒體內容適用於一顯示器370上之顯示輸出或適於傳輸至一或多個下游裝置375。

在一實例中，所接收D維向量資料集之媒體內容、低頻D維向量資料集之媒體內容以及經恢復動態範圍D維向量資料集之媒體內容之每一向量可各自包括N維純量值，其中N等於或大於1。在一實例中，所接收D維向量資料集之媒體內容、低頻D維向量資料集之媒體內容以及經恢復動態範圍D維向量資料之媒體內容可各自包括D維像素值。在一實例中，像素值可包括顏色值或照度值，或顏色值及照度值兩者。

圖4係圖解說明用於在無需緊密耦合至一上游編碼、解碼或量化程序之情況下D維媒體內容之動態範圍恢復之一方法400之一項實例的一流程圖。方法400可由圖3之一電腦系統300執行且可包括硬體(例如，電路、專用邏輯、可程式化邏輯、微碼等)、軟體(例如，在一處理裝置上執行之指令)，或其一組合。在一項實例中，方法400可主要由圖3之計算系統300之媒體內容處理器345執行。

如在圖4中所展示，為准許計算系統300將D維媒體內容解碼，在方塊405處，接收器360可自資料源305接收經編碼D維媒體內容。在一實例中，D維媒體內容可包括以下各項中之至少一者：音訊、一或多個二維靜態圖像、一或多個三維靜態圖像、二維視訊、三維視訊、磁共振成像(MRI)資料、電腦斷層(CT)掃描資料、幾何資料、震測資料、全像資料或氣象資料。

在方塊410處，解碼器365可將經編碼D維媒體內容解碼，且可將經解碼D維媒體內容放置於處理裝置325之媒體內容緩衝區350中。處理裝置325可將媒體內容緩衝區350中之經解碼D維媒體內容傳送至GPU記憶體337之GPU媒體內容緩衝區355。媒體內容處理器345可自GPU記憶體337接收媒體內容緩衝區355中之經解碼D維媒體內容。

在方塊415處，媒體內容處理器345可將一低頻通方法應用於儲存於媒體內容緩衝區355中之D維媒體內容，以產生低頻D維媒體內容。在一實例中，低頻通方法可包括：媒體內容處理器345自儲存於媒體內容緩衝區355中之所接收D維媒體內容產生一D維高斯金字塔，並自D維高斯金字塔之最低維度金字塔級選擇一D維向量資料以產生低頻D維媒體內容。

在方塊420處，媒體內容處理器345可獲得包括對應於儲存於媒體內容緩衝區355中之經解碼D維媒體內容之每一向量的一組D維結構張量的一結構張量域。在一實例中，媒體內容處理器345獲得一組D 維結構張量可包括：媒體內容處理器345計算針對所接收D維媒體內容之每一向量之一組D維方向梯度。在一實例中，媒體內容處理器345獲得一組D維結構張量可包括：媒體內容處理器345執行針對所接收D維媒體內容之每一向量之一個元素的一結構張量分析。

在方塊425處，媒體內容處理器345可執行針對結構張量域中之每一結構張量之一特徵系統分析，以產生包括經解碼D維媒體內容之每一向量之D特徵值的複數個D特徵值域。

在方塊430處，媒體內容處理器345可鑑於複數個D特徵值域之每一向量的D特徵值中之一或多者，在儲存於媒體內容緩衝區355中之所接收D維媒體內容之每一向量與來自低頻D維媒體內容之一對應向量之間進行插補，以產生經恢復動態範圍D維向量媒體內容。

在一實例中，插補可包括：媒體內容處理器345在所接收D維媒體內容之每一向量與來自低頻D維媒體內容之對應向量之間進行線性插補。在一實例中，插補可包括：媒體內容處理器345自複數個D特徵值域中之每一者產生一高斯金字塔。媒體內容處理器345可進一步採用D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量。媒體內容處理器345可進一步採用線性權重以在所接收D維媒體內容之每一向量與來自低頻D維媒體內容之對應向量之間進行插補，以產生經恢復動態範圍D維媒體內容。在一實例中，可鑑於用於獲得結構張量域之一支援區域而指派線性權重。

在一實例中，採用D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量的媒體內容處理器345可包括：媒體內容處理器，其選擇指示圍繞所接收D維媒體內容之一向量之一均質支援區域的D特徵值之一特徵值作為用於指派線性權重之下限。媒體內容處理器可進一步選擇指示圍繞所接收D維媒體內容之一向量之一邊緣或高度紋理化支援區域的D特徵值之剩餘特徵值中之一 者作為用於指派線性權重之上限。

在一實例中，插補可包括：媒體內容處理器345在所接收D維媒體內容之每一向量之所有元素與來自低頻D維媒體內容之每一向量之對應元素之間聯合地執行一插補。

媒體內容處理器345可將經恢復動態範圍D維媒體內容傳達至媒體內容緩衝區355中，在方塊435處，適於媒體內容處理器345將輸出顯示在一顯示器370上或傳輸至一或多個下游裝置375。

在一實例中，可並行地執行插補及應用一低頻通方法。

在一實例中，所接收D維向量資料集之媒體內容、低頻D維向量資料集之媒體內容以及經恢復動態範圍D維向量資料集之媒體內容之每一向量可各自包括N維純量值，其中N等於或大於1。在一實例中，所接收D維向量資料集之媒體內容、低頻D維向量資料集之媒體內容以及經恢復動態範圍D維向量資料之媒體內容可各自包括D維像素值。在一實例中，像素值可包括顏色值或照度值，或顏色值及照度值兩者。

圖5展示輸入D維媒體內容(例如，一圖像)之一實例。

圖6展示一經建構高斯金字塔之一示意圖。如在此項技術中眾所周知，一輸入圖像可經歷高斯濾波，且隨後接著逐倍頻程抽取。高斯金字塔之每一接續級係具有逐級變小之圖像大小之原始圖像之一低通解析度抽取版本。此方法之優點在於其在無需使用藉助一特大支援區域大小的一高斯濾波器之一單通之情況下產生一昂貴的經低通濾波圖像之一近似。另外，高斯金字塔在像素域中操作，此准許極低頻低通濾波操作，而無需訴諸於頻率域迴旋(其係一昂貴程序)。

圖7展示根據本發明之實例之自圖5之實例性輸入圖像計算之一實例性高斯金字塔。

圖8展示來自圖5之實例性輸入圖像之一經計算梯度域。本發明 之實例意欲增加圖像或資料集之動態範圍。實現此之一最簡單方式係藉由空間插補，諸如藉由使圖像模糊化。此增加取樣動態範圍，但以諸如紋理及邊緣之高頻細節為代價。在諸多情形中，所減少動態範圍係不可見的或對於高頻而言在數學上係重要的；然而，其在跨大的近乎均質區域之平滑梯度中係最顯著的。區分在一圖像之一給定部分內存在什麼類型之區域係一難題。

某些相關技術方法可採用邊緣定向平滑化，其在無強邊緣之細小紋理區域中可係不強固的。其他方法可採用雙邊濾波或西格瑪濾波，此係一改良，但需要一任意臨限值，將臨限值設定為過低導致紋理化區域中之過度平滑化，且將臨限值設定為過高導致需要其的一圖像之區中之動態範圍不增加。本發明之實例採用結構張量之性質，以便區分紋理化、邊緣、細節及均質區域，其意圖在於將僅處理均質區域，而使其他區域留在其原始狀態中。第一步驟係計算沿著資料集之每一維度之梯度。在圖像情形中，用梯度函數之一離散近似計算梯度dX及dY。

梯度之諸多可能離散近似中之一者在方程式1中展示：

熟習此項技術者將瞭解，方程式1中給出之實例係每一像素之梯度之諸多適當離散近似中之一者。在方程式2中展示使用梯度形成之每一像素之2維結構張量：

其中一3×3支援區域之σ _xx 、σ _xy 及σ _yy 係由方程式3定義：

其中一3×3支援區域之一可能加權函數weight(n,m)係由方程式4給出：weight(n,m)={0.125,0.75,0.125}×{0.125,0.75,0.125} ^T

熟習此項技術者將瞭解，其他加權函數及支援區域係可能的。

可計算每一像素之每一梯度之每一張量的特徵值域(其在諸如一圖像之一2D資料集之情形中係兩個)，如在方程式5中：

圖9展示對諸如一圖像之一D維資料集(其中D=2)之一結構張量之特徵值λ₁及λ₂的解釋。對於每一張量且因而每一像素，兩個特徵值給出關於圍繞相關聯像素之支援區域之結構資訊。在如適用於圖像結構之D=2情形中，兩個極低特徵值指示極小結構，或一均質區域。一個高特徵值及一個低特徵值指示趨向於一強邊緣。兩個高或中等特徵值分別暗示高度或中度紋理化區域。

圖10展示自圖5中之實例性輸入圖像之結構張量計算之兩個特徵值域(λ₁及λ₂)，其經正規化以在該圖中可視化。然而，同結構張量之特徵系統分析一樣敏感，且其與簡單邊緣偵測及定限技術相比可同樣優越，受限支援區域意味利用此分析之任何動態範圍擴展將限於覆蓋一極小區之動態範圍之損失。

圖11展示圖5之原始圖像之部分之一放大，其中動態範圍嚴重降級。注意肩部及臂部之帶效應。此情形中之帶效應涉及兩個不同經量 化值之點之一隨機分佈。過渡區域跨越遠大於一3×3區域。為准許分析對遠大於一3×3區域之紋理及邊緣特徵敏感，建構特徵值域之一高斯金字塔。

圖12展示自圖11之λ₁特徵值域建構之高斯金字塔。藉助於所有D特徵值域之高斯金字塔，以及給定浮點精確度，具有對圍繞一給定對應像素或資料元素之圖像或資料集之區域之總體結構之一粗略但在其他方面係準確的近似。在一實例中，兩個特徵值域之第四金字塔級給出對不僅圍繞輸入圖像之一給定像素之3×3而且周圍16×16區域之總體結構之一指示。

本發明之實例之後的總體策略係針對輸入圖像或資料集之媒體內容之複數個像素中之每一者，在兩個可能像素或資料集值之間做出選擇。第一選擇係一經非常準確地模糊化或多倍頻程低通圖像，其有效地增加由方塊215藉由圖像高斯金字塔之方式提供之經量化圖像之動態範圍。對於針對圖像及視訊之大多數動態範圍重建任務，由方塊215產生之第四金字塔級滿足一極低通濾波器之一充分近似之需要。儘管此低通圖像具有經增加動態範圍，但其係以諸如邊緣及紋理之其他高頻細節為代價而提供。另一選擇係自原始圖像或資料集選擇，該原始圖像或資料集具有其他高頻資訊，但在一較低動態範圍(包含歸因於量化之低能量邊緣)下。

可期望選擇其中在以一大尺度進行估計時帶效應係明顯的(亦即，均質區域)之圖像或資料集區域中之低通圖像像素值。在具有明顯結構之一圖像之區中，自方塊210選擇原始圖像像素值係所要的。來自方塊225之先前特徵系統分析執行結構分析，而來自方塊230之後續高斯金字塔計算確保資訊跨一足夠大D維尺度整合以防止具有真實圖像細節的圖像之區中並非由於量化引起之假影及過度平滑。

為防止經恢復動態範圍圖像或資料集中之明顯及可見區域邊 界，對於來自方塊210之輸入圖像與來自方塊215之低通金字塔圖像之間的複數個像素中之每一者之選擇不應係一個二進位者。為確保此等區域之間的平滑過渡，使用一線性加權因數。

線性加權因數用以在其中結構自均質過渡至經結構化的圖像或資料集之區域中之輸入選擇與低通選擇之間進行平滑地插補。

在方程式6中給出一實例性加權函數：LinearWeight(n,m)=min(Iinput(n,m),Ilowpass(n,m))*(1.0-max(min(lambda ₁(n,m),1.0),min(lambda ₂(n,m)*5.0,1.0)))

每一輸出像素值具有用以在輸入圖像與低通圖像之間進行線性地插補之一對應權重。

圖13展示圖12中之圖像之動態範圍之相關技術中之一嘗試重建，注意頭髮及面部區域中之細節損失，且嚴重輪廓化效應未經消除。邊緣定向、雙邊及頻率域動態範圍重建技術易受誤肯定，諸如平滑化不應經平滑化之區，以及誤否定，諸如一起將帶效應及動態範圍量化假影錯失。

圖14展示使用本發明之實例的圖12之圖像之動態範圍之重建。

本發明之實例之動態範圍恢復程序係足夠有效的以對於同時期商業性大量銷售之電腦硬體上之4K視訊解析度視訊以30fps更加即時地執行，且對於各個解析度下之多個圖像及視訊即時及接近即時地執行。另外，本發明之實施例之動態範圍恢復程序係足夠有效的以在具有一GPU、CPU或APU之任何終端使用者裝置(諸如，特徵電話、智慧型電話、平板電腦、膝上型電腦、PC、機上盒及電視)上對於視訊及圖像之單個例項以全HD解析度執行。

在解碼器附近採用本發明之實例之效率之此組合開拓新應用。此等應用包含但不限於頂部上(over-the-top)視訊遞送之即時經改良視 訊編碼器效率、在自行動裝置下載及上載視訊及圖像資料時公開無線接入網路擁塞之具成本效率之即時減少、經增加即時通帶電視遞送容量、衛星轉頻器容量增加、內容管理系統及網路DVR架構之儲存成本減少，以及分佈式網路核心處之圖像及視訊之高通量處理，此等全部皆藉助於准許現有編碼程序以小於先前可能之動態範圍傳輸及儲存圖像、視訊及其他資料集。

圖15圖解說明呈一電腦系統1500之實例性形式之一機器之一圖解性表示，可在電腦系統1500內執行用於致使該機器執行本文中所論述之方法中之任何一或多者之一組指令。在某些實例中，該機器可連接(例如，網路連接)至一LAN、一內部網路、一外部網路或網際網路中之其他機器。該機器可以客戶端伺服器網路環境中之一伺服器機器之能力操作。該機器可係一個人電腦(PC)、一機上盒(STB)、一伺服器、一網路路由器、交換機或橋接器或者能夠(順序地或以其他形式)執行指定將由該機器採取之行動之一組指令之任何機器。此外，儘管僅圖解說明一單個機器，但應將術語「機器」視為包含個別地或聯合地執行一組(或多組)指令以執行本文中所論述之方法中之任何一或多者之任何機器集合。

實例性電腦系統1500包含一處理裝置(處理器)1502、一主記憶體1504(例如，唯讀記憶體(ROM)、快閃記憶體、例如同步DRAM(SDRAM)之動態隨機存取記憶體(DRAM))、一靜態記憶體1506(例如，快閃記憶體、靜態隨機存取記憶體(SRAM))及一資料儲存裝置1516，該等器件經由一匯流排1508彼此通信。

處理器1502表示一或多個通用處理裝置，諸如一微處理器、中央處理單元或諸如類似者。更特定而言，處理器1502可係一複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、超長指令字(VLIW)微處理器或實施其他指令集之一處理器或實施一指令集組 合之處理器。處理器1502亦可係一或多個專用處理裝置，諸如一特殊應用積體電路(ASIC)、一現場可程式化閘陣列(FPGA)、一數位信號處理器(DSP)、網路處理器或諸如類似者。分別在圖1及圖3中展示之顏色通道處理器145及媒體內容處理器345可由經組態以執行本文中論述之操作及步驟之處理器1502執行。

電腦系統1500可進一步包含一網路介面裝置1522。電腦系統1500亦可包含一視訊顯示單元1510(例如，一液晶顯示器(LCD)或一陰極射線管(CRT))、一文數輸入裝置1512(例如，鍵盤)、一游標控制裝置1514(例如，滑鼠)及一信號產生裝置1520(例如，一揚聲器)。

一驅動單元1516可包含其上儲存有體現本文中闡述之方法或功能中之一或多者之一或多組指令(例如，顏色通道處理器145及媒體內容處理器345之指令)之一電腦可讀媒體1524。顏色通道處理器145之指令在其由電腦系統1500執行期間亦可完全地或至少部分地駐存於主記憶體1504及/或處理器1502內，主記憶體1504及處理器1502亦構成機器可讀媒體。顏色通道處理器145及媒體內容處理器345之指令可進一步經由網路介面裝置1522跨一網路傳輸或接收。

儘管在一實例中將電腦可讀儲存媒體1524展示為一單個媒體，但術語「電腦可讀儲存媒體」應視為包含儲存一或多組指令之一單個非暫時性媒體或多個非暫時性媒體(例如，一集中式或分佈式資料庫及/或相關聯快取記憶體及服務器)。術語「電腦可讀儲存媒體」亦應視為包含能夠儲存、編碼或攜載供由機器執行之一組指令且致使機器執行本發明之方法中任一或多者之任何媒體。因此，術語「電腦可讀儲存媒體」應視為包含(但不限於)固態記憶體、光學媒體及磁性媒體。

在以上說明中，闡述了眾多細節。然而，受益於本發明之熟習此項技術者將明瞭，可在無此等特定細節之情況下實踐本發明之實施 例。在某些例項中，以方塊圖形式(而非詳細地)展示眾所周知之結構及裝置，以避免模糊本說明。

詳細說明之某些部分係自演算法及對一電腦記憶體內之資料位元之操作之符號表示方面呈現。此等演算法說明及表示係由熟習資料處理技術者用以最有效地將其工作之實質傳達至其他熟習此項技術者之方法。一演算法在此處且大體地設想為達到一所要結果之一自洽步驟序列。該等步驟係需要對物理量進行物理操縱之步驟。通常(但並非必須)，此等量採取能夠被儲存、傳送、組合、比較及以其他方式加以操縱之電信號或磁信號之形式。已證實，主要出於常用之原因，將此等信號稱為位元、值、元素、符號、字符、項、數字或諸如此類有時比較方便。

然而，應記住，所有此等術語及類似術語均與適當之實體量相關聯，且僅作為應用於此等量之方便標籤。除非如自以上論述顯而易見另有具體陳述，否則應瞭解，在本說明通篇中，利用諸如「接收」、「寫入」、「維護」或諸如此類之術語之論述係指一電腦系統或類似電子計算裝置之動作及程序，其對表示為電腦系統之暫存器及記憶體內之物理(例如，電子)量之資料進行操縱並將其變換成在一新座標系統中類似地表示為電腦系統記憶體或暫存器或其他此等資訊儲存、傳輸或顯示裝置內之物理量之其他資料。

本發明之實例亦係關於一種用於執行本文中之操作之設備。此設備可具體針對所需目的來構造，或其可包括一通用電腦，由儲存於該電腦中之一電腦程式來有選擇地啟動或重組態該電腦。如本文中論述和用於在無需緊密耦合至一上游編碼、解碼或其他量化程序之情況下之圖像、視訊及其他D維資料集之動態範圍恢復之系統及方法改良感知品質，且/或現有圖像及視訊壓縮或傳輸系統及方法之傳輸或儲存效率解決諸如(僅作為數個實例)以下之諸多領域中之問題：over- the-top視訊遞送之即時效率、在自行動裝置下載及上載視訊及圖像資料時公開無線接入網路擁塞之具成本效率之即時減少、經增加即時通帶電視遞送容量、衛星轉頻器容量之增加、內容管理系統及網路DVR架構之儲存成本之減少，以及分佈式網路核心處之圖像及視訊之高通量處理。

此一電腦程序可儲存於一電腦可讀儲存媒體中，例如但不限於任何類型之磁碟(包含軟碟、光碟、CD-ROM及磁光碟)、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、EPROM、EEPROM、磁卡或光卡或適合於儲存電子指令之任何類型之媒體。

本文中所呈現之演算法及顯示並不與任何特定電腦或其他設備內在地相關。各種通用系統可與根據本文中之教示之程式一起使用，或可構造用以執行所需要方法步驟之一更專門化設備可證明為方便的。各種此等系統之實例性結構將根據本文中之說明顯而易見。另外，本發明並非參考任何特定程式設計語言而闡述。將瞭解，各種程式設計語言可用以實施如本文中所闡述之本發明之教示。

應理解，以上說明意欲為說明性而非限制性的。在閱讀且理解以上說明後，熟習此項技術者將顯而易見諸多其他實例。因此，本發明之範疇應參考所附申請專利範圍連同此申請專利範圍所授權之等效物之完全範疇來判定。

Claims (24)

1. 一種方法，其包括：由一處理器自一上游裝置接收一D維向量資料集之媒體內容，其中D大於或等於1；由一處理器將一低頻通方法應用於該所接收D維向量資料集之媒體內容，以產生一低頻D維向量資料集之媒體內容；由該處理器獲得包括對應於該所接收D維向量資料集之媒體內容之每一向量之一組D維結構張量的一結構張量域；由該處理器執行針對該結構張量域中之每一結構張量之一特徵系統分析，以產生包括該所接收D維向量資料集之媒體內容之每一向量之D特徵值的複數個D特徵值域；由該處理器鑑於該複數個D特徵值域之每一向量的該等D特徵值中之一或多者，在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體內容之一對應向量之間進行插補，以產生一經恢復動態範圍D維向量資料集之媒體內容；及由該處理器將該經恢復動態範圍D維向量資料集之媒體內容輸出至一顯示器或下游裝置。
2. 如請求項1之方法，其中將一低頻通方法應用於該所接收D維向量資料集之媒體內容包括：自該所接收D維向量資料集之媒體內容產生一D維高斯金字塔；及自該D維高斯金字塔之最低維度金字塔級選擇D維向量資料，以產生該低頻D維向量資料集之媒體內容。
3. 如請求項1之方法，其中獲得一組D維結構張量包括：計算針對 該所接收D維向量資料集之媒體內容之每一向量之一組D維方向梯度。
4. 如請求項1之方法，其中獲得一組D維結構張量包括：執行針對該所接收D維向量資料集之媒體內容之每一向量之一個元素的一結構張量分析。
5. 如請求項1之方法，其中插補包括：在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體內容之該對應向量之間進行線性插補。
6. 如請求項1之方法，其中插補包括：自該複數個D特徵值域中之每一者產生一高斯金字塔；採用該等D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量；及採用該等線性權重以在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體之該對應向量之間進行插補，以產生該經恢復動態範圍D維向量資料集之媒體內容。
7. 如請求項6之方法，其中鑑於用於獲得該結構張量域之一支援區域而指派該等線性權重。
8. 如請求項6之方法，其中採用該等D特徵值中之一或多者以將線性權重指派給該最低解析度之複數個D特徵值域之每一向量包括：選擇指示圍繞該所接收D維向量資料之一向量之一均質支援區域的該等D特徵值中之一特徵值作為用於指派該等線性權重之下限；及選擇指示圍繞該所接收D維向量資料之一向量之一邊緣或高度紋理化支援區域的該等D特徵值之剩餘特徵值中之一者作為用於 指派該等線性權重之上限。
9. 如請求項1之方法，其中插補包括：在該所接收D維向量資料集之每一向量之所有元素與來自該低頻D維向量資料集之每一向量之對應元素之間聯合地執行一插補。
10. 如請求項1之方法，其中並行地執行該應用一低頻通方法及該插補。
11. 如請求項1之方法，其中該媒體內容包括以下各項中之至少一者：音訊、一或多個二維靜態圖像、一或多個三維靜態圖像、二維視訊、三維視訊、磁共振成像(MRI)資料、電腦斷層(CT)掃描資料、幾何資料、震測資料、全像資料或氣象資料。
12. 如請求項1之方法，其中該所接收D維向量資料集之媒體內容、該低頻D維向量資料集之媒體內容及該經恢復動態範圍D維向量資料集之媒體內容之每一向量包括N維純量值，其中N等於或大於1。
13. 如請求項1之方法，其中該所接收D維向量資料集之媒體內容、該低頻D維向量資料集之媒體內容及該經恢復動態範圍D維向量資料集之媒體內容各自包括D維像素值。
14. 如請求項13之方法，其中該等像素值包括顏色值或照度值，或顏色值及照度值兩者。
15. 一種系統，其包括：一記憶體；一處理裝置，其耦合至該記憶體且使用該記憶體，該處理裝置用以進行以下操作：自一上游裝置接收一D維向量資料集之媒體內容，其中D大於或等於1；將一低頻通方法應用於該所接收D維向量資料集之媒體內容， 以產生一低頻D維向量資料集之媒體內容；獲得包括對應於該所接收D維向量資料集之媒體內容之每一向量之一組D維結構張量的一結構張量域；執行針對該結構張量域中之每一結構張量之一特徵系統分析，以產生包括該所接收D維向量資料集之媒體內容之每一向量之D特徵值的複數個D特徵值域；鑑於該複數個D特徵值域之每一向量的該等D特徵值中之一或多者，在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體內容之一對應向量之間進行插補，以產生一經恢復動態範圍D維向量資料集之媒體內容；及將該經恢復動態範圍D維向量資料集之媒體內容輸出至一顯示器或下游裝置。
16. 如請求項15之系統，其中將一低頻通方法應用於該所接收D維向量資料集之媒體內容包括：自該所接收D維向量資料集之媒體內容產生一D維高斯金字塔；及自該D維高斯金字塔之最低維度金字塔級選擇D維向量資料，以產生該低頻D維向量資料集之媒體內容。
17. 如請求項15之系統，其中獲得一組D維結構張量包括：計算針對該所接收D維向量資料集之媒體內容之每一向量之一組D維方向梯度。
18. 如請求項15之系統，其中獲得一組D維結構張量包括：執行針對該所接收D維向量資料集之媒體內容之每一向量之一個元素的一結構張量分析。
19. 如請求項15之系統，其中插補包括：自該複數個D特徵值域中之每一者產生一高斯金字塔； 採用該等D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量；及採用該等線性權重以在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體之該對應向量之間進行插補，以產生該經恢復動態範圍D維向量資料集之媒體內容。
20. 一種包含在由一處理裝置存取時致使該處理裝置執行包括以下步驟之操作之指令的非暫時性電腦可讀儲存媒體：由該處理裝置自一上游裝置接收一D維向量資料集之媒體內容，其中D大於或等於1；由該處理裝置將一低頻通方法應用於該所接收D維向量資料集之媒體內容，以產生一低頻D維向量資料集之媒體內容；由該處理裝置獲得包括對應於該所接收D維向量資料集之媒體內容之每一向量之一組D維結構張量的一結構張量域；由該處理裝置執行針對該結構張量域中之每一結構張量之一特徵系統分析，以產生包括該所接收D維向量資料集之媒體內容之每一向量之D特徵值的複數個D特徵值域；由該處理裝置鑑於該複數個D特徵值域之每一向量的該等D特徵值中之一或多者，在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體內容之一對應向量之間進行插補，以產生一經恢復動態範圍D維向量資料集之媒體內容；及由該處理裝置將該經恢復動態範圍D維向量資料集之媒體內容輸出至一顯示器或下游裝置。
21. 如請求項20之非暫時性電腦可讀儲存媒體，其中將一低頻通方法應用於該所接收D維向量資料集之媒體內容包括： 自該所接收D維向量資料集之媒體內容產生一D維高斯金字塔；及自該D維高斯金字塔之最低維度金字塔級選擇D維向量資料，以產生該低頻D維向量資料集之媒體內容。
22. 如請求項20之非暫時性電腦可讀儲存媒體，其中獲得一組D維結構張量包括：計算針對該所接收D維向量資料集之媒體內容之每一向量之一組D維方向梯度。
23. 如請求項20之非暫時性電腦可讀儲存媒體，其中獲得一組D維結構張量包括：執行針對該所接收D維向量資料集之媒體內容之每一向量之一個元素的一結構張量分析。
24. 如請求項20之非暫時性電腦可讀儲存媒體，其中插補包括：自該複數個D特徵值域中之每一者產生一高斯金字塔；採用該等D特徵值中之一或多者以將線性權重指派給最低解析度之複數個D特徵值域之每一向量；及採用該等線性權重以在該所接收D維向量資料集之媒體內容之每一向量與來自該低頻D維向量資料集之媒體之該對應向量之間進行插補，以產生該經恢復動態範圍D維向量資料集之媒體內容。