TW201214331A - Hardware and software partitioned image processing pipeline - Google Patents
Hardware and software partitioned image processing pipeline Download PDFInfo
- Publication number
- TW201214331A TW201214331A TW100121798A TW100121798A TW201214331A TW 201214331 A TW201214331 A TW 201214331A TW 100121798 A TW100121798 A TW 100121798A TW 100121798 A TW100121798 A TW 100121798A TW 201214331 A TW201214331 A TW 201214331A
- Authority
- TW
- Taiwan
- Prior art keywords
- green
- values
- column
- original image
- image data
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Description
201214331 六、發明說明: 【明戶斤屬考軒々貝3 發明領域 本發明係有關影像處理’更特別係有關硬體與軟體分 劃的影像處理管線。 t前扫L系好J 發明背景 數位相機包括有重新取樣並對原始影像資料作空間性 濾波(例如,内插)的影像處理管線。例如,像是解馬赛 克、下取樣、光學失真校正及色差校正部件等等的相機管 線部件可全都在單一個影像上施用内插技術。傳統的影像 處理管線可連續地全在硬體中實施這些功能。由於係接續 地實施數個低通型的濾波器,所以這樣的連續處理程序可 能會降低影像品質。完全在硬射執行⑽行為也可能會 有效率上的缺點。在像是預覽和影像紀錄等等的高資料率 操作模式中,這些擔憂m能會特別具有相關性。 【發明内容】 發明概要 依據本發明之一實施例,係特地提出— 人 檀系統’其包 S :—個處理器;一個影像感測器,用 .. 巧从產生一個原始影 像’一個硬體模組,用以就水平方向對 ^ 亥原始影像作空間 性遽波來獲得中間影像資料;以及一個 ^ 1固電腦可讀儲存媒 體’其包括有一組經儲存指令’該組經儲存护八 理器執行時會致使該系統以垂直方向對該。 201214331 空間性濾波。 依據本發明之另一實施例,係特地提出一種設備,其包 含:一個硬體模組,用以就水平方向對一個原始影像作空 間性濾波來獲得中間影像資料;以及一個電腦可讀儲存媒 體,其包括有一組經儲存指令,該組經儲存指令在由一個 處理器執行時會致使該設備以垂直方向對該中間影像資料 作空間性濾波。 依據本發明之又一實施例,係特地提出一種方法,其包 含下列步驟:利用一個硬體模組來以水平方向對一個原始 影像作空間性濾波以獲得中間影像資料;以及利用軟體來 以垂直方向對該中間影像資料作空間性濾波。 圖式簡單說明 藉由閱讀下文中之詳細說明及隨附申請專利範圍,及 藉由參考下列圖式,熟於此技者會可明顯看出本發明之數 個實施例的多種益處,於下列圖示中: 第1圖為依據一個實施例的一個影像處理管線之範例 的方塊圖; 第2圖為依據一個實施例的一個水平内插硬體模組之 範例的方塊圖; 第3圖為依據一個實施例的一個執行垂直内插之方法 的範例之流程圖; 第4圖為依據一個實施例的一個以一種逐行基礎判定 綠色值之處理程序的範例之流程圖; 第5圖為依據一個實施例的一個平台之範例的方塊圖; 201214331 第6 A〜6 C圖為依據一個實施例的影像資料之範例的 例示圖。 I:實施方式3 較佳實施例之詳細說明 數個實施例可供用於一種方法,於此方法中,係利用 一個硬體模組來以水平方向對一個原始影像作空間性濾 波,以獲得中間影像資料。此方法可亦涉及對於軟體之利 用,來以垂直方向對此中間影像資料作空間性濾波。 數個實施例可亦包括一種設備,其具有一個硬體模 組,用以就水平方向對一個原始影像作空間性濾波,來獲 得中間影像資料。此外,此設備可亦包括含有一組經儲存 指令的一個電腦可讀儲存媒體,其中此組經儲存指令在由 一個處理器執行時,會致使此設備以垂直方向對此中間影 像資料作空間性濾波。 其他的數個實施例可包括一種系統,其具有一個處理 器、用以產生一個原始影像的一個影像感測器、以及用以 就水平方向對原始影像作空間性濾波來獲得中間影像資料 的一個硬體模組。此系統可亦包括含有一組經儲存指令的 一個電腦可讀儲存媒體,其中此組經儲存指令在由此處理 器執行時,會致使此系統以垂直方向對此中間影像資料作 空間性濾波。 現在請轉看第1圖,其示出一個影像處理管線10。於所 例示的範例中,管線10包括有一個内插區16,其可一般性 地被用來對來自於其他硬體處理模組22 (例如,壞像素校 201214331 正)的原始影像24作空間性濾波,以使此空間性濾波行為 可依需供用於對原始影像24的解馬賽克、下取樣、光學失 真校正及色差校正。内插區16可係一部份在管線10的—個 硬體(HW)部份12中實施且一部份在管線1〇的一個軟體 (SW)部份14中實施。特別是,所例示的内插區16包括有 一個水平内插硬體模組18和一個垂直内插軟體模組2〇,直 中水平内插硬體模組18係以一種逐列基礎來處理原始影像 24,且垂直内插軟體模組20係以一種逐行基礎來處理中間 影像資料26 ( 26a〜26b)。在一個範例中,原始影像24可包 括有當中各列皆包含有全解析度的紅色-綠色(R/G)資料 或者是藍色-綠色(B/G )資料的拜耳圖樣影像(Bayer pattern images ) 〇 大體而言,所例示之硬體模組18以水平方向對原始影 像24作空間性渡波,以獲得經幾何校正和垂直下取樣的中 間影像資料26a,其可如同硬體模組18處理列那樣地(例 如,以一種逐列基礎)被儲存到一個緩衝器/記憶體28中。 如下文中將更詳細說明地,中間影像資料2 6 a之一列中的各 個像素可包括有紅色和綠色(R+G)值或藍色和綠色(B+G) 值,其中,延些值可係以任何適當的標度(例如,〇〜256、 0〜4096等等)來表示。當硬體模組18已處理足以使垂直内 插軟體模組2G開始處理行的足陳量的列(例如,所論之 -列前面五列+後面五列=十一列)時’中間影像 資料26b 可從記憶體2 8中以—種逐行基礎被獅^巾間影像資料2 6 b 之一列中的各個像素可能會包财R+G值或B+G值。 201214331 所例示的軟體模組2〇可被實施為在由一個處理器執行 時會致使軟體模組20以垂直方向對中間影像資料26b作空 間性渡波’以獲得經幾何校正和垂直下取樣的最終影像資 组指令,其中最終影像資料3〇可被其他軟體模組 32作更進—步的處理。在一個範例中最終影像資料儿之 各個像素可包括有紅色、綠色和藍色(R+G+B,RGB)值。 第固示出一個水平内插硬體模組3 4的一個範例。可便 利地替代已有所論述之硬體模組18 (第1圖)的硬體模組34 可利用電路技術’像是特定用途積體電路(ASIC)、互補式 金氧半導體(CMOS)或電晶體電晶體邏輯系統(TTL)技 術或田中之任何組合,而被實施為固定功能的硬體中之内 嵌式邏輯系統。 於所例不之範例中,硬體模組34處理具有交替的R/G 或B/G線的—個列像素串流38,並利用-個低通(LP) R/B m 3 6來以—種逐列基礎判定原始影像中之像素的R/B =句值40 (例如,R/B—AV)。因此,基於針對㈣渡波 器36所建立㈣波係數而定,從Lp…减波㈣所輸出的 各個列之像素可係具有—個紅色值或者是—個藍色值。這 些係數可縣於從—個像料㈣輸人朗獲得的 一個像 素位置’而經由來自於—個輸出像素請求器54的—個係數 線50來設定。例如’由輸出像素請求器顺建立的係數可 係取決於對比於輸人原始資料格㈣際取動卜所例示之 輸出像素請求器54可亦為於下文中更詳細論述的一個綠色 模組42選擇雜係數。此外,輸出像素請求㈣還可基於 201214331 獲得自一個控制信號58的—個下取樣率(例如,i 875)而 產生一個有效輸出旗標56。 硬體模組34可亦包括有-個綠色模組42,以就一種逐 列基礎來判定原始影像中之像素的綠色值44 (例如, G—OUT)。可利用一個乘法模组48 (例如,具有相乘值「κ」 的乘法模組)和-個加法馳46,來基於綠色值44而校正 R/B平均值4〇 ’其中LP R/B據波器%可亦包括有一個高通 (HP)綠色⑻濾波部件,以獲取各射之綠色像素的 衍生(derivative>HP G缝部件可係與乘法模組48之值 (即’「K」)相關聯。因此,經校正的咖值47可從加法模 組46被輸出’其中’―個列中的各個像素可具有一個綠色 值44和-個經校正的值47 (即,R+(}或者是㈣ 、、、〜匕枯頁一個LP G濾波 器60’以就-種逐列基·針對原㈣彡像中之像素判定— 個綠色平均值62 (例如,G-AV)。因此,各個綠色平均值
62可係代表—财之某個數量的像素之平均綠色值。LP G 遽波器6〇可亦具有-個HP R/B據波部件,以獲取各列中之 R/B像素之衍生。此外,可利用-個綠色最近旁«波器Μ 來就-種逐列基礎,針對原始影像中之像素而計算一個綠 色最近旁鄰值66 (例如,G-_)。因而,各個綠色最近旁 鄰值66可係指出此列中之最近像素(例如,於所論之像素 的其中一側之像素)的綠色佶。技A ^ 和LP R/B遽波器36可包括旨在:、組42之此等遽波器 ㈣波器。 括曰在支私大範圍之取樣比例的多 201214331 一所例不之綠色模組42亦包括有_個差計算器仙,以就 種逐列基礎’針制料彡像巾之像素喊於—種差計算 法來冲算綠色平均值62與綠色最近旁鄰值%的相對權重。 可將此等㈣權重表達在單—個參數信號7G(例如,邱⑷ 中,其中可係利用混合模組72來基於綠色平均值62、綠色 最近旁鄰值66和在信號70中所反應出的相對權重來計算綠 色值44。例如,混合模組72可利用下面的表達式來計算各 個綠色值, blend _ out = alpha *G_NN+ (1- alpha) *G_AV (1) 因此,當所計算出來的以列為基礎之像素差(alpha) 增加時’一個邊沿/邊緣較有可能係出現在此影像之此列 中’並且綠色值44可朝向綠色最近旁鄰值66被彳乍更重的加 權,以較佳地捕捉到此邊沿/邊緣。或者是,當所計算出來 的以列為基礎之像素差減少時,此影像之此列有可能在紋 理上是平滑的,且此等綠色值可朝向綠色平均值62被作更 重的加權。簡單來說,在某個方向中之變異性越大,在那 個方向中的内插就越窄。 現在請轉看第3圖,其示出以垂直方向對中間影像資料 作空間性濾波的一種方法74 ^所例示之方法74大體上為利 用與已論述之於硬體模組34 (第2圖)中所使用的途徑類似 的一種途徑的實施於影像之行上的一個軟體實作。方法74 可被實施為儲存在一個機器可讀或電腦可讀儲存媒體,像 是隨機存取記憶體(RAM)、唯讀記憶體(R0M)、可編程 ROM (PROM)、快閃記憶體等等,中的一組可執行指令。 201214331 例如,絲實行㈣方法74巾之操作的電腦程式碼可係以 -或多個程式語言的任何組合寫成,包括像是c++等的物 件導向程式語言或是傳統的程序式程式語言,像是「c」程 式語言或類似程式語言等。 處理轾序方塊76供用於以一種逐行基礎而對在中間影 像資料巾之料的R/B平均值作狀,而處理程序方塊Μ 供用於以-種逐行基礎而對在中f„彡像倾中之像素的綠 色值作判定。❹卜,此料/B平均值可於方塊轉於綠色值 而被校正。 第4圖在方法82中示出用以判定中間影像資料中之像 素的綠色值的一種途徑。因此,方法82可便利地替代已有 所論述的處理程序方塊78 (第3圖)tj特別是,所例示之方 塊84供用於以__種逐行基礎而對在中間影像資料中之像素 的一個綠色平均值作計算,而方塊86供用於以一種逐行基 礎而對在中間影像資料中之像素的一個綠色最近旁鄰值作 。十算。可於方塊88以一種逐行基礎,基於對在中間影像資 料中之像素的-種差計算,來計算綠色平均值與綠色最近 旁鄰值的相對權重。所例示之方塊9〇供用於基於此等綠色 平均值、綠色最近旁鄰值和相對權重而計算綠色值。 現在晴轉看第5圖,具有一個運算系統94的一個平台 92,其中運算系統94具有一個處理器、系統記憶體、一個 網路控制器、可被實施為多個NAND記憶體裝置或其他 NVM (非依電性記憶體)的則〇8 (基本輸入/輸出系統) §己憶體、一個HDD (硬碟驅動器)以及用以容許使用者與 201214331 平台92互動及感知來自平台92之資訊的數個u〗(使用者介 面)裝置’像是顯示器、鍵盤、滑鼠等等。平台92可為一 個行動平台,像是膝上型電腦、行動網際網路裝置(MID)、 個人數位助理(PDA)'無線智慧型電話、媒體播放器、成 像裝置等等,或其中之任何組合,的一部分。平台92可亦 為一個固定平台’像是個人電腦(PC)、伺服器、工作站等 等’的一部份。因此,運算系統94之處理器可包括有一或 多個處理器核心和、纟且配來與系統記憶體通訊的一個積體記 憶體控制器(IMC,未示於圖中系統記憶體可包括有被 組配成一個記憶體模組,像是雙直列記憶體模組(DIMm )、 小型雙直列記憶體模組(s〇DImM)等等,的動態隨機存 取記憶體(DRAM)。處理器之核心可執行一種作業系統 (OS) ’ 像疋微軟視窗、Linux或Mac (Macintosh) OS等, 及多種其他軟體應用程式,其中各個核心管線1〇8可配合指 令提取單元、指令解碼器、第一級(u)快取記憶體、執 行單元等’以此類推,而全功能運作。 所例示之網路控制器可針對各式各樣的用途而提供平 台外通訊功能’像是行動電話(例如,W-CDNA ( UNTS )、 CDMA2000 (IS-856/IS-2000)等等)、WiFi (例如,1999 版IEEE 802.11、LAN/MAN無線LANS)、藍牙(例如,IEEE 802.15.1-2005、無線個人區域網路)、wiMax (例如,IEEE 802.16-2004、LAN/MAN寬頻無線LANS )、全球定位系統 (GPS)、展開頻譜(例如,900 MHz)及其他無線電頻率 (RF)電話用途等。 201214331 所例示之平台9 2亦包括有一個數位相機影像感測器 112和一個水平内插硬體模組114,其中,影像感測器112可 係以高位元率產生原始影像(例如,從影像賴及/或視訊 拍攝操作)’並且此硬體模組可係以水平方向對原始影像作 空間性滤波’以獲得中間影像資料^因此,已有所論述的 硬體模組18(第丨圖)及/或硬體模組34 (第2圖)可便利地 替代硬體模組U4。此外,運算系統94的—或多個處理器核 心可執行-組指令’來以垂直方向對中間影像資料作空間 性滤波。因此,已有所論述的垂直内插軟體模組2〇(第項) 可便利地係由運算线94之處理純心執行。絲對中間 影像資料作空間性親的指令可係、儲存在處理器核心之内 部快取記Μ、㈣記㈣、HDD、BIQS記,隨或其他合 適的電腦可讀儲存媒體中。 第6A〜6C圓演示依據於本文中所說明之技術來處理 原始影像m的優點。所例示之原始影像118具有徑向桶形 失真和部份顏色資訊,當中在各個像素上,得自r/g/b的僅 一個顏色值為已知。在以水平方向作空間性驗之後,— 個中間影像120被半解碼賽克、下取樣(例如,在水平方向 中以-個1.875的因數)並作部份失真校正。在以垂直方向 對中間影像丨_空間㈣波之後,亦示出—個完全被解碼 赛克、下取樣與失真校正的最終影像122。 上文中所說明的技術可因而提供一種有效的影像處理 實作,其在資料被以高率拍攝時產生高品質的結果。此外, 將最小化的專用硬體和軟體處理料組合可使得行動電腦 12 201214331 及/或較小的手持裝置能夠處於性能與功率;肖耗的要求範 圍内。 本發明之實施例可應用於配合所有類型的半導體積體 電路(「ic」)晶片之使用。這些1(:晶片的範例包括但不限 於處理器、控制11、晶片組部件、可編程邏鄉列(PLA)、 記憶體晶片、網路晶片及諸如此類者。此外,在_些圖式 中’信號導體線路係以線條表示。有—些可能會粗一點, 以指出較多成份信號路徑,並/或在一或更多端具有箭頭, 以指出主要資訊流向1而,這不應被解讀為—種限制行 為。相反地,這樣的增入細節可配合一或多個示範實施例 使用,以有助於更容易地瞭解—個電路。所表示出來的任 何信號線路,無論是否具有額外資訊1可實際上包含可 於多方向行進的-或多個信號,並可就任何合適的信號架 構類型來實施,例如,以差動對實施的數位或類比線路、 光纖線路及/或單端線路。 本文中可能已給fij*範尺寸/M/數值/制,雖缺本 發明之數個實施職不受限於此等財/模型/數值/範圍。 由於製造技術(例如’光微影術)隨著時間愈趨成熟,可 預期較小尺寸的裝置可被製造。此外,對IC晶片及其他部 件的習知電源/接地連接係可以或可以不被示於圖式中,以 利例不與論述簡明性’並以使本發明之數個實施例的某些 面向不被混淆。更進-步地,可係以方塊圖的形式來示出 數個配置,以避纽清本發明之數個實施例,並且,如此 係有鑑於這樣的事實,,針對此等方塊圖配置之實作的 13 201214331 細節係高度取決於要在當中實施此實施例的平台,亦即’ 此等細節應完全係落於熟於此技者的眼界内。當闡明特定 細節(例如,電路)以說明本發明之數個示範實施例時, 對於熟於此技者而言,應可明顯看出,本發明之數個實施 例可係在無此專特定細節,或變更此等特定細節的情況下 貫踐。此說明因此應被看作是例示性的,而非限制性的。 一些實施例可係,例如’利用儲存有一個指令或一組 指令的一個機器或有形的電腦可讀媒體或物品來實施,其 中此指令或此組指令在由一個機器執行時,可致使此機器 執行依據此等實施例的一種方法及/或操作。這樣的一個機 器可包括,例如,任何合適的處理平台、運算平台、運算 裝置、處理裝置、運算系統、處理系統、電腦、處理器或 其他諸如此類者,並可利用硬體及/或軟體之任何合適的組 合來實施。此電腦可讀雜或物品可包括,例如任何合 適類型的記憶體單元、記憶體裝置、職體物品、冗 媒體、儲存裝置、儲存物品、儲存媒體及/或儲存單元 如,記憶體、可移除式或不可移除式媒體、可抹除式¥ 可抹除式舰、可寫式或可複寫式制、數位或類比: 硬碟、軟碟、光碟唯讀記憶體(CD_R〇M)、光碟可奪 (CD-R)、光碟可複寫(CD_RW)、光碟、磁性媒體、有 媒體、可移除式記憶卡或^、各式各樣的數位多功倉 碟(DVD)、磁帶、卡帶或其他諸如此類者。指令可包未 用任何合咖型的高階的、低_、物件導向的、視^ 經組譯的及以賴料《語麵實_任何合適类 14 201214331 的程式碼,像是原始碼、經編譯碼、經解譯碼、可執行碼、 靜態碼、動態碼、經加密瑪及其他諸如此類者。 除非做出其他特定陳述’否則應可識出’此等詞語, 像是「處理」、「運算」、「計算」、「判定」或其他諸如此類 者’係指—個電腦或運算系統,或操縱及/或轉換以運算系 統之暫存器及/或記憶體内之物理量(例如,電子)表示之 資料成以運算系統之記憶體、暫存器或以其他此種資訊儲 存、傳輪或顯示裝置内之物理量類似地表示的其他資料的 類似的電子運算裝置,之動作及/或處理。此等實施例並不 受限於本文中。 「耦接」此詞於本文中可係用於指涉在所論部件之間 的任何類型的關係,直接或間接’並可適用於電氣的、機 械的、流體的、光學的、電磁的、電機的或其他連接。此 外’除非已指出其他情況’否則「第一」、「第二」等詞語 於本文中僅係用來有助於論述,而不帶任何特定時間性或 時間順序性意義。 從前文中之說明中,熟於此技者會可識出,本發明之 數個實施例的廣義技術可係以多種形式來實施。因此,雖 然已以相關於前文中之特定範例的方式來說明本發明之此 等實施例,本發明之此等實施例的真實範圍亦不應被這樣 限制’因為對於熟鍊的專業人員而言,經參讀圖式、說明 書與後附申請專利範圍後,其他修改體會是很明顯可見的。 C圖式簡單說明3 第1圖為依據一個實施例的一個影像處理管線之範例 15 201214331 的方塊圖, 第2圖為依據一個實施例的一個水平内插硬體模組之 範例的方塊圖; 第3圖為依據一個實施例的一個執行垂直内插之方法 的範例之流程圖; 第4圖為依據一個實施例的一個以一種逐行基礎判定 綠色值之處理程序的範例之流程圖; 第5圖為依據一個實施例的一個平台之範例的方塊圖; 第6 A〜6 C圖為依據一個實施例的影像資料之範例的 例示圖。 【主要元件符號說明】 10...管線 36...低通R/B渡波器 12...硬體部份 38...列像素串流 14...軟體部份 40...R/B平均值 16...内插區 42...綠色模組 18、34、114…硬體模組 44...綠色值 20...軟體模組 46...加法模組 22...其他硬體處理模組 47...R/B 值 24、118...原始影像 48...乘法模組 26 (26a〜26b) ...中間影像資 50...係數線 料 52...像素計數器輸入 28...記憶體 54...輸出像素請求器 30...最終影像資料 56...有效輸出旗標 32...其他軟體模組 58...控制信號 16 201214331 60·.·低通綠色濾波器(LPG 74、82...方法 濾、波器) 76〜80、84〜90...方塊 62...綠色平均值 92...平台 64...綠色最近旁鄰濾波器 94...運算系統 66...綠色最近旁鄰值 108".核心 68...差計算器 112...影像感測器 70…信號 120...中間影像 72…混合模組 122…最終影像 17
Claims (1)
- 201214331 七、申請專利範圍: 1. 一種系統,其包含: 一個處理器; 一個影像感測器,用以產生一個原始影像; 一個硬體模組,用以就水平方向對該原始影像作空 間性濾波來獲得中間影像資料;以及 一個電腦可讀儲存媒體,其包括有一組經儲存指 令,該組經儲存指令在由該處理器執行時會致使該系統 以垂直方向對該中間影像資料作空間性濾波。 2. 如申請專利範圍第1項之系統,其中該硬體模組包括: 一第一濾波器,用以就一種逐列基礎判定該原始影 像中之像素的數個紅色-藍色平均值; 一個綠色模組,用以就一種逐列基礎判定該原始影 像中之像素的數個綠色值;以及 一個加法模組,用以基於該等綠色值而校正該等紅 色-藍色平均值。 3. 如申請專利範圍第2項之系統,其中該綠色模組包括: 一第二濾波器,用以就一種逐列基礎計算該原始影 像中之像素的一個綠色平均值; 一第三濾波器,用以就一種逐列基礎計算該原始影 像中之像素的一個綠色最近旁鄰值; 一個差計算器,用以就一種逐列基礎,針對該原始 影像中之像素而基於一種差計算來計算該等綠色平均 值和該等綠色最近旁鄰值的相對權重; 18 201214331 一個混合模組,用以基於該等綠色平均值、該等綠 色最近旁鄰值、和該等相對權重來計算該等綠色值。 4. 如申請專利範圍第2項之系統,其更包括: 一個輸出像素請求器,用以基於像素位置而為該第 一濾波器和該綠色模組選擇數個係數,及用以基於一個 下取樣率而產生一個有效輸出旗標。 5. 如申請專利範圍第1項之系統,其中該等指令在被執行 時會致使該系統執行下列步驟: 基於一種逐行基礎而判定該中間影像資料中之像 素的數個紅色-藍色平均值, 基於一種逐行基礎而判定該中間影像資料中之像 素的數個綠色值,以及 基於所判定之該等綠色值而校正該等紅色-藍色平 均值。 6. —種設備,其包含: 一個硬體模組,用以就水平方向對一個原始影像作 空間性濾波來獲得中間影像資料;以及 一個電腦可讀儲存媒體,其包括有一組經儲存指 令,該組經儲存指令在由一個處理器執行時會致使該設 備以垂直方向對該中間影像資料作空間性濾波。 7. 如申請專利範圍第6項之設備,其中該硬體模組包括: 一第一濾波器,用以就一種逐列基礎判定該原始影 像中之像素的數個紅色-藍色平均值; 一個綠色模組,用以就一種逐列基礎判定該原始影 19 201214331 像中之像素的數個綠色值;以及 一個加法模組,用以基於該等綠色值而校正該等紅 色-藍色平均值。 8. 如申請專利範圍第7項之設備,其中該綠色模組包括: 一第二濾波器,用以就一種逐列基礎計算該原始影 像中之像素的一個綠色平均值; 一第三濾波器,用以就一種逐列基礎計算該原始影 像中之像素的一個綠色最近旁鄰值; 一個差計算器,用以就一種逐列基礎,針對該原始 影像中之像素而基於一種差計算來計算該等綠色平均 值和該等綠色最近旁鄰值的數個相對權重; 一個混合模組,用以基於該等綠色平均值、該等綠 色最近旁鄰值、和該等相對權重來計算該等綠色值。 9. 如申請專利範圍第8項之設備,其更進一步地包括: 一個乘法模組,其設置於該混合模組與該加法模組 之間,用以調整該等綠色值。 10. 如申請專利範圍第8項之設備,其中該第二濾波器包括 一個高通紅色-藍色濾、波器。 11. 如申請專利範圍第7項之設備,其更進一步地包括: 一個輸出像素請求器,用以基於像素位置而為該第 一濾波器和該綠色模組選擇數個係數。 12. 如申請專利範圍第11項之設備,其中該輸出像素請求器 係用以基於一個下取樣率而產生一個有效輸出旗標。 13. 如申請專利範圍第7項之設備,其中該第一濾波器包括 20 201214331 一個高通綠色渡波器。 14. 如申請專利範圍第6項之設備,其中該等指令在被執行 時會致使該設備執行下列步驟: 基於一種逐行基礎而判定該中間影像資料中之像 素的數個紅色-藍色平均值, 基於一種逐行基礎而判定該中間影像資料中之像 素的數個綠色值,以及 基於該等綠色值而校正該等紅色-藍色平均值。 15. 如申請專利範圍第14項之設備,其中該等指令在被執行 時會致使該設備執行下列步驟: 以一種逐行基礎計算該中間影像資料中之像素的 一個綠色平均值; 以一種逐行基礎計算該中間影像資料中之像素的 一個綠色最近旁鄰值; 以一種逐行基礎,針對該中間影像資料中之像素而 基於一種差計算來計算該等綠色平均值和該等綠色最 近旁鄰值的數個相對權重; 基於該等綠色平均值、該等綠色最近旁鄰值、和該 等相對權重來計算該等綠色值。 16. 如申請專利範圍第6項之設備,其中該原始影像係要包 括由一個影像預覽操作和一個視訊紀錄操作中之至少 一者所致的一個拜耳圖樣影像(Bayer pattern image )。 Π. —種方法,其包含下列步驟: 利用一個硬體模組來以水平方向對一個原始影像 21 201214331 作空間性濾波來獲得中間影像資料;以及 利用軟體來以垂直方向對該中間影像資料作空間 性渡波。 18. 如申請專利範圍第17項之方法,其中利用該硬體模組來 對該原始影像作空間性濾波之步驟包括下列步驟: 對該原始影像施用一第一濾波器,來以一種逐列基 礎判定該原始影像中之像素的數個紅色-藍色平均值; 對該原始影像施用一個綠色模組,來以一種逐列基 礎判定該原始影像中之像素的數個綠色值;以及 利用一個加法模組,來基於該等綠色值而校正該等 紅色-藍色平均值。 19. 如申請專利範圍第17項之方法,其中利用軟體來對該中 間影像資料作空間性濾波之步驟包括下列步驟: 基於一種逐行基礎而判定該中間影像資料中之數 個紅色-藍色平均值, 基於一種逐行基礎而判定該中間影像資料中之像 素的數個綠色值,以及 基於該等綠色值而校正該等紅色-藍色平均值。 20. 如申請專利範圍第17項之方法,其中該原始影像包括由 一個影像預覽操作和一個視訊紀錄操作中之至少一者 所致的一個拜耳圖樣影像(Bayer pattern image )。 22
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/825,010 US8587705B2 (en) | 2010-06-28 | 2010-06-28 | Hardware and software partitioned image processing pipeline |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201214331A true TW201214331A (en) | 2012-04-01 |
| TWI552111B TWI552111B (zh) | 2016-10-01 |
Family
ID=45352205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100121798A TWI552111B (zh) | 2010-06-28 | 2011-06-22 | 硬體與軟體分劃的影像處理管線 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8587705B2 (zh) |
| EP (1) | EP2586009A4 (zh) |
| CN (1) | CN102918561B (zh) |
| TW (1) | TWI552111B (zh) |
| WO (1) | WO2012009077A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8587705B2 (en) | 2010-06-28 | 2013-11-19 | Intel Corporation | Hardware and software partitioned image processing pipeline |
| US8976161B2 (en) | 2012-03-01 | 2015-03-10 | Apple Inc. | Systems and methods for image processing |
| US20130321675A1 (en) | 2012-05-31 | 2013-12-05 | Apple Inc. | Raw scaler with chromatic aberration correction |
| US9239712B2 (en) * | 2013-03-29 | 2016-01-19 | Intel Corporation | Software pipelining at runtime |
| KR102218832B1 (ko) | 2014-12-16 | 2021-02-24 | 삼성전자주식회사 | 컬러 프린지를 제거하기 위한 이미지 처리 장치 |
| KR102255218B1 (ko) * | 2014-12-18 | 2021-05-24 | 삼성전자주식회사 | 컬러 프린지를 제거하기 위한 이미지 처리 장치 |
| US11350063B2 (en) | 2020-04-14 | 2022-05-31 | Apple Inc. | Circuit for correcting lateral chromatic abberation |
| US11763421B2 (en) * | 2021-01-07 | 2023-09-19 | Apple Inc. | Circuit for combined down sampling and correction of image data |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790205A (en) * | 1996-08-23 | 1998-08-04 | Texas Instruments Incorporated | Method of increase sharpness in digital displays |
| US5838010A (en) * | 1997-07-14 | 1998-11-17 | General Electric Company | Spatial resolution improvement for gamma camera |
| US6628330B1 (en) | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| JP3947969B2 (ja) * | 2002-05-15 | 2007-07-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム |
| FR2861207B1 (fr) * | 2003-10-15 | 2006-02-17 | St Microelectronics Sa | Adaptateur d'images a traitement d'image par tuiles, et procede utilisant un tel adaptateur |
| JP4392294B2 (ja) * | 2004-06-15 | 2009-12-24 | 株式会社日立製作所 | 通信統計収集装置 |
| KR100967742B1 (ko) * | 2004-09-07 | 2010-07-06 | 크로스텍 캐피탈, 엘엘씨 | 이미지센서의 색 보간 방법 |
| US7324707B2 (en) * | 2004-10-12 | 2008-01-29 | Altek Corporation | Interpolation method for generating pixel color |
| US7676096B2 (en) * | 2005-07-08 | 2010-03-09 | Qformx | Modular, low cost, memory efficient, input resolution independent, frame-synchronous, video compression system using multi stage wavelet analysis and temporal signature analysis with a highly optimized hardware implementation |
| JP4834446B2 (ja) | 2006-04-11 | 2011-12-14 | 株式会社東芝 | 画像処理装置 |
| KR20070103229A (ko) * | 2006-04-18 | 2007-10-23 | 삼성전자주식회사 | 컬러 보간 방법 및 장치 |
| US8233675B2 (en) * | 2006-06-20 | 2012-07-31 | L-1 Secure Credentialing, Inc. | Image, video or audio filtering before biometric recognition |
| US7609307B2 (en) * | 2006-09-13 | 2009-10-27 | National Chiao Tung University | Heterogeneity-projection hard-decision interpolation method for color reproduction |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US8086034B2 (en) * | 2008-02-05 | 2011-12-27 | Aptina Imaging Corporation | System and method for reducing color artifacts in digital images |
| KR100891825B1 (ko) * | 2007-11-27 | 2009-04-07 | 삼성전기주식회사 | 디지털 영상의 컬러 노이즈 제거 장치 및 방법 |
| US8436909B2 (en) | 2008-10-21 | 2013-05-07 | Stmicroelectronics S.R.L. | Compound camera sensor and related method of processing digital images |
| CN102326380B (zh) * | 2008-12-18 | 2016-01-06 | 豪威科技有限公司 | 有行缓冲区高效透镜畸变校正功能的图像传感器装置和方法 |
| WO2010093709A2 (en) * | 2009-02-10 | 2010-08-19 | Anchor Bay Technologies, Inc. | Block noise detection and filtering |
| US20110148888A1 (en) * | 2009-12-23 | 2011-06-23 | Jacobs Robert A | Method and apparatus for controlling multiple display panels from a single graphics output |
| US8587705B2 (en) | 2010-06-28 | 2013-11-19 | Intel Corporation | Hardware and software partitioned image processing pipeline |
| GB2487242A (en) * | 2011-01-17 | 2012-07-18 | Sony Corp | Interpolation Using Shear Transform |
-
2010
- 2010-06-28 US US12/825,010 patent/US8587705B2/en not_active Expired - Fee Related
-
2011
- 2011-06-13 WO PCT/US2011/040124 patent/WO2012009077A1/en not_active Ceased
- 2011-06-13 CN CN201180026497.9A patent/CN102918561B/zh not_active Expired - Fee Related
- 2011-06-13 EP EP11807223.0A patent/EP2586009A4/en not_active Withdrawn
- 2011-06-22 TW TW100121798A patent/TWI552111B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN102918561B (zh) | 2015-11-25 |
| CN102918561A (zh) | 2013-02-06 |
| TWI552111B (zh) | 2016-10-01 |
| WO2012009077A1 (en) | 2012-01-19 |
| US20110317047A1 (en) | 2011-12-29 |
| US8587705B2 (en) | 2013-11-19 |
| EP2586009A4 (en) | 2016-01-06 |
| EP2586009A1 (en) | 2013-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201214331A (en) | Hardware and software partitioned image processing pipeline | |
| US8340407B2 (en) | System and method for image demosaicing | |
| CN109618090B (zh) | 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统 | |
| JP6431551B2 (ja) | 色収差に対する歪みメッシュ | |
| US9626586B2 (en) | Optimized fast hessian matrix computation architecture | |
| CN110574025A (zh) | 用于合并交错通道数据的卷积引擎 | |
| US8483515B2 (en) | Image processing method, image processor, integrated circuit, and recording medium | |
| US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US20110310302A1 (en) | Image processing apparatus, image processing method, and program | |
| US20120224766A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2009515486A (ja) | グラフィックスプロセッシングユニットの使用方法および装置 | |
| CN104052918A (zh) | 信号处理单元和信号处理方法 | |
| US20110134208A1 (en) | Panoramic image synthesizer, panoramic image synthesis method, and program | |
| CN102611856B (zh) | 图像转换器、图像转换方法和电子装置 | |
| KR101140953B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
| CN118613821A (zh) | 针对原始图像数据的多模式去马赛克 | |
| US11106042B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
| US20120098930A1 (en) | Image processing device, image processing method, and program | |
| Hore et al. | An edge-sensing generic demosaicing algorithm with application to image resampling | |
| JPWO2017203941A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| Lien et al. | Efficient VLSI architecture for edge-oriented demosaicking | |
| JP4803224B2 (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
| US8817191B2 (en) | Image processing apparatus and image processing method | |
| CN104243944B (zh) | 去马赛克方法、储存媒体以及影像信号处理器 | |
| WO2014115522A1 (ja) | フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |