TW413797B - Edge-dependent interpolation method for color reconstruction in image processing devices - Google Patents

Description

413797 A7 B7 五、發明説明（i ) 本發明之.背景 1. 本發明之領域 本發明大槪有關於影像處理，而更明確而言，有關於 一種使用內插法的裝置，其內插法乃是用來改善影像系統 所得到的影像，而其影像系統具有每個影像晝素低的取樣 數目。 2. 相關枝術之說明 在照相的成像系統中，必須同時捕捉色彩資訊的三種 元素。爲了創造一種同時捕捉色彩資訊所有三種元素的模 擬數位成像系統，將需要三個分離的影像檢測器’其在成 本以及包裝複雜度上將會是非常可觀的。爲了保持數位影 片成像系統的尺寸以及其成本爲最小，則所取樣的影像資 料之數目必須保持爲低量的，而其中的影像資料則是從成 像系統轉換到影像處理裝置的°再者，近來電子技術和視 頻成像系統已經使用影像感測器陣列的矽晶片’並且由於 可保持小的晶片尺寸，所以這些成像系統必須轉換每個影 像畫素低的取樣數目。因此，電子成像系統典型地使用單 一個的檢測器，通常覆蓋稱爲色彩濾波器陣列（CFA)的濾 波器馬賽克（filter mosaic)，並且藉由在三種色彩元素中取 樣，用以得到每個畫素只儲存一個色彩元素的陣列來獲取 (請先閱讀背面之注意事項再^r寫本X ) •装. 訂 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS ) Λ4規格（210 X 297公釐） 經濟部智慧財產局員工消费合作社印製 413797 A7 B7 _ . 国 — ~~一- " " _ — _ 五、發明説明（π) 一個景影像。由於對每一個影像點而言，這些成像系統忽 視其他兩種色彩元素，因此這些影像系統使用每個影像畫 素少數的取樣數目。 _ 在進一步地處理以及顯示萁影像之前，由於色彩濾波 器陣列的每一個濾波器覆蓋於單一個的畫素，而在特定的 光譜帶中只通過一種色彩，因此必須重建色衫，以使 得每一個晝素具有所有的三種元素。因此，必須藉由一種 色彩重建技術來估計每一個畫素兩個遺失的色衫兀素。傳 統的色彩重建方法使用傳統的內插技術，用以包含最接近 的相鄰點數値之重疊部份，而其它使用線性或對數的內插 平均技術，則通常內插所遺失色彩鄰近畫素的一個平均輝 度之數値。例如，在具有紅色、綠色和監色畫素的RGB系 統中，對每個綠色畫素而言，必須藉由內插法重建所遺失 的紅色和藍色色彩元素，而其中的內插法則例如使用具有 同色元素的相鄰畫素。 內插問題乃是相當複雜的，而且在選擇內插技術時’ 應該要考慮內插誤差的大小和性質。再者’即時的應用則 需要具有最小計算複雜度的內插演算法。而且’遺失色彩 元素的重建方法應提供高品質、輪廓鮮明而不用色彩加工 的影像。 由於高的空間頻率，其色彩加工同常發生在影像邊緣 的附近。局部化的空間特點，例如影像的邊緣以及相鄰的 畫素色彩急遽改變的區域，會導致藉由傳統內插法所得到 的色彩和亮度之估計相當不正確，而在最後的影像中，可 ___ 4 本紙浪尺度適用中國圏家標準（c>iS ) A4規格（210X297公釐》 1^---_-------裝------訂— ------線 (請先閱讀背面之注.意事項—ίίν寫本頁) 413797 A7 B7 五、發明説明（> ) 能導致明顯的畫素之加工。再者，在具有每個影像畫素低 的取樣數目之成像系統中，當一個的色彩元素遺失以內插 法重建的邊緣所需要之畫素時，則會發生色彩加工的動作 〇 傳統的內插演算法並不提供輪廓鮮明度足夠且不用色 彩加工的的影像，因而顯然是不適用的。再者，由使用傳 統的內插演算法所導致的內插誤差波及影像鏈的其餘部份 。在顯示影像之前，通常應用一種銳化濾波器來改善影像 的品質。然而，在傳統的演算法中，銳化濾波器並不校準 色彩加工，但是當應用銳化濾波器時，則典型地得到進一 步的提升。 因此，需要使用每個影像畫素低的取樣數目之數位影 像系統內插演算法，能夠以高準確度提供遺失的色彩元素 ，並且提供輪廓鮮明的影像，而不用色彩加工。 本發明之槪要與目的 本發明的一個主要目的乃是克服相關於習知技術的上 述缺點，並且提供一種使用每個畫素低的取樣數目之影像 處理裝置，較佳地，每一個畫素只有一種色彩元素，而能 夠產生輪廓鮮明且不加工的色彩影像。 本發明的另一個目的爲提出一種重建的方法，其使用 能夠提供輪廓鮮明且邊緣沒有色彩加工的高品質影像之內 插演算法。 5 (請先閱讀背面之注意事項本頁.〕 -裝. 經濟部智慧財產局員工消費合作社印製 本紙乐尺度適用中國囤家標準（CNS ) A4规格（210X297公釐） 413797 五、發明説明（Φ ) (請先閱讀背面之注意事項再填寫本頁) 本發明再一個的目的爲提出一種具有最低計算複雜度 的內插法’其能夠以電腦程式來實現，並且較佳地埋藏於 電腦的硬體中。 藉由提供一種影像處理裝置來實現本發明這些和額外 的目的以及優點，而對每一個色彩元素而言，爲了提供更 爲均勻的影像取樣動作’其影像處理裝置從一個影像系統 接收具有畫素圖樣的影像，而其中的畫素圖樣在每隔一列 的水平方向上具有半晝素的偏移。 經濟部智慧財產局員工消費合作社印敦 本發明的內插法在每一個畫素上，從相鄰的畫素決定 遺失的色彩元素。得到遺失的色彩元素，用以當作相同色 彩相鄰畫素的色彩加權輝度數値。所使用的相鄰畫素之選 擇乃是基於用於當前畫素的四個邊緣檢測核(edge detection kernels)之數値，以及基於當前畫素的輝度數値^在具有半 畫素偏移的陣列中，四個邊緣核易受水平、垂直+30度和-30度的邊緣所影響。這些相鄰畫素的選擇乃是基於影像中 邊緣的方向，以及當前的畫素屬於影像中之邊緣的一側。 在每一個畫素上，遺失的色彩元素於重建之後，則得到一 個重建的色彩畫素之陣列。此一陣列較佳地具有每隔一列 偏離於相鄰的列半個的畫素。爲了在影像顯示或列印之前 校正此一偏移，則水平地或垂直地內插每隔一列。由於水 平的內插可能在垂直邊緣導致—種鋸齒（saw_t00th)效應.’ 因此藉由在垂直邊緣垂直的內插來校正這種效應。 由於需要加、減、乘和除以兩整數3或5其中一個的 簡單之整數算術運算和二進位移位’因此本發明的方法使 本紙張尺度適用中國國家標準（CNS ) A4规格（210 X 2ί>7公釐.) A7 413797 五、發明説明（4 ) ~~ 用-種計算簡單並且藉由埋入於硬體中的方式而易以硬體 實現的演算法。由於藉由除以整數値3或5來執行所有^ 除法，因此藉由使用查閱表所實現的預測除法結果，則能 夠避免除法的運算。 ^ % 附圖之簡略說明 本發明的目的和特點係明確敘述於所附的申請專利範 圍。至於本發明組織和運作的方法二者與其進一步之目的 與優點皆可藉由參照以下結合附圖的說明而完全了解，宜 中： 〜 圖1爲一個方塊圖，闡述表示本發明的一個成像系統 〇 圖2爲一個槪要圖，根據本發明的—個較佳實施例， 闡述由圖1的成像系統使用一種半畫素偏移影像感測陣列 所配置的畫素色彩之圖樣。 圖3-6爲槪不圖，根據本發明—個較佳的實施例，使 用四個核畫素A、B、C和D，闡述四個的邊緣檢測核。 圖7闡述一個流程圖，表達本發明對每一個畫素實行 的內插法之步驟。 圖8爲一個方塊圖，闡述—個本發明的方法所使用的 主處理器。 圖9爲一個槪示圖，闡述一種具有半畫素偏移的重建 陣列之畫素色彩圖樣配置，其乃是由本發明的方法所產生 ____ 7 本紙張尺度適用中國國家榡华（CNS ) A4規格（210ΧΗ7公釐） (請先閎讀背面之注意事項再彳寫本頁) .裝· I11 經濟部暫慧財產局員工消費合作社印製 A7 413797 五、發明説明（b ) 的。 圖10爲一個槪示圖，根據本發明的一個較佳實施例 ，闡述其水平的內插法。 圖11爲一個槪示圖，根據本發明的一個較佳實施例， 闡述其垂直的內插法。 齩佳實施例之細節說明 提出以下的說明乃是爲了使任何一個技術人員能夠製 作以及使用本發明，並敘述實現其發明的發明者所預期之 最佳模式。由於在此特別地定義本發明通用的原理’用以 提出一種用於影像處理的裝置，而其裝置乃是使用邊緣相 關色彩內插法來建構影像畫素所遺失的色彩元素’因此’ 種種的修改，無論如何，對其領域中的技術人員而言’將 會是顯而易見的。 圖2爲一個槪示圖，闡述影像感測器陣列的畫素色彩 形式之配置，其中的影像感測器陣列較佳爲一霍圖1的成 像系統10之半畫素偏移影像感測器陣列14。半畫素偏移 影像感測器陣列14乃是一種檢測器，較佳地爲一種CM0S 檢測器，能夠數位地將其讀出。其包含於具有透鏡的電子 數位視頻成像系統10。檢測器覆蓋以色彩濾波器陣列12 ’ 其色彩濾波器陣列12則藉由三個色彩元素來對一個輸入景 取樣，用以獲得景影像。由於色彩濾波器陣列12的每一個 濾波器爲單一個色彩的，並且覆蓋於影像感測陣列14單一 __________3_______ 本紙張尺度適用中國國家樣準（CNS ) A4規格（210X297公釐.） !.---.-----^------11-------0 (請先聞讀背面之注意事項再"寫本頁) 經濟部智慧財產局員工消費合作社印製 經濟部智慧財產局員工消費合作社印製 413797 A7 B7 五、發明説明（Ί ) 個的畫素，因此半畫素偏移影像感測器陣列14只儲存每個 晝素的一個色彩元素。 成像系統10可以具有一個畫素處理控制器晶片16, 較佳地爲一種ASIC晶片所製造’其中在晶片16上可以部 份地處理半畫素偏移影像感測器陣列Η的內容，且之後可 以送至相關的主機50(圖8)，而其影像處理器52則是經由 一條匯流排附接至成像系統1〇，在圖中並無顯示。如果成 像系統10本身沒有晶片16，則主影像處理器52可以用來 處理所有的畫素。 本發明的成像系統10使用圖2的RGB系統，其中色 彩紅色的輝度被儲存的畫素稱爲紅色畫素，色彩藍色的輝 度被儲存的畫素稱爲藍色畫素，而色彩綠色的輝度被儲存 的畫素則稱爲綠色畫素。然而，可以任何一種色彩系統來 實現本發明的方法和裝置，而其中的色彩系統存在有三種 不同的色彩元素於三個水平相鄰的畫素之中，且沒有相同 色彩的兩個畫素是相鄰的。在RGB系統中，色彩濾波器陣 列12和半畫素偏移影像感測器陣列14所有的列保持在畫 素色彩相同的層級。例如，在圖2的RGB系統中，一個綠 色畫素總是跟隨有一個藍色畫素，一個藍色畫素總是跟隨 有紅色畫素，而紅色晝素則總是跟隨有另一個綠色畫素。 此外，在如此的系統中，影像感測器陣列14的每一個偶數 列皆以相同的色彩開始，而其色彩不同於奇數列所開始的 色彩。在圖2的範例中，列0和2以一個紅色晝素開始’ 接著爲一個綠色畫素和藍色晝素。列1則是以一個藍色畫 本紙張尺度遥用中國國家橾準（CNS ) A4規格（210X297公釐） ^ n * I I I 訂 i II 線 (請先閱讀背面之注意事項再iA馬本頁) 經濟部智慧財產局員工消贫合作社印製 A7 B7 五、發明説明（g ) 素開始，接著爲一個紅色畫素和一個綠色畫素。 在本發明中，如圖1和2所示，成像系統10的色彩 濾波器陣列12所具有的圖樣符合著半畫素偏移影像感測器 陣列14。然而，本發明可以使用不同的圖樣配置。本發明 的數位成像系統10使用半畫素偏移感測器陣列，用以得到 具有每一個畫素系統低取樣數目的高解析度影像，並且用 以產生輪廓鮮明、免色彩加工的影像同時保持最低的成本 〇 藉由評估每一個畫素的遺失色彩資訊，能以本發明的 方法實施例，來實現重建遺失的色彩元素。其方法檢測並 且分析出現在每一個畫素鄰近的畫素局部空間之特徵。然 後從具有遺失色彩元素的鄰近晝素，決定並且重建影像感 測器陣列14中每一個畫素的遺失色彩元素。例如，在 RGB系統中，對一個藍色畫素而言，根據鄰近紅色和綠色 畫素的色彩加權之數値’而分別獲得遺失的紅色和綠色元 素。在本發明的另一個實施例中’本發明的內插法實現於 一個實際的成像系統之中。 本發明的內插演算法挑選某些相鄰的畫素’用以提供 遺失的色彩元素。這些相鄰晝素的選擇乃是基於邊緣的方 向以及當前的晝素所屬於之影像中的邊緣之一側。因此’ .本發明的方法觀點則是在每一個畫素上，執行邊緣方向的 檢測。在色彩重建的進行期間’以及在顯示影像之前’每 一個畫素取得其每一個色彩元素正確的空間頻率。如果破 壞了這種約束，則會發生色彩的加工動作。 —„---.------裝------訂------線 (請先聞讀背面之注意事項再域寫本頁) 本紙張尺度適用中國國家標準< CNS ) A4規格（2 ί 0 X 297公釐） 經濟部眢慧財產局員工消費合作社印製 413797 五'發明説明（A ) 在本發明的邊緣檢測技術中’應用於圖2所示的一個 當前畫素X 20之用來評估遺失色彩元素的相鄰晝素所作的 選擇，乃是基於較佳爲四個而環繞在當前畫素X 20周圍的 邊綠檢測核畫素A 22、B 24、C 26和D 28的數値’以及 基於當前的畫素X 20色彩輝度之數値。爲了執行畫素X 20的邊緣檢測，而在最爲接近畫素X 之處’挑選每一 個皆與畫素X 20相同顏色的四個邊緣檢測核畫素A 22、 B24、C 26 和 D 20。 本發明典型的方法說明於圖1-11。爲了重建在當前的 綠色晝素X 20(圖2)之遺失色彩元素，必須定義其邊緣檢 測核。在本發明的實施例中邊緣檢測核畫素較佳地形成四 個不同組合的核顯示於圖3-6中，其中圖3表示一個水平 邊綠檢測核。圖4表示一個垂直邊緣檢測核。圖5表示一 個45度的邊緣檢測核，而圖6則表示一個負45度的邊緣 檢測核。 在較佳的半畫素偏移影像感測器陣列14中，四個核 對於靠近畫素X 20之影像幀中一個邊緣可能的方向很靈敏 ’即水平方向、垂直方向 '沿著BXC方向的+30度方向、 以及沿著AXD方向的-30度方向。應該了解的是：可以不 同數目和組合的邊緣檢測核來實行本發明的較佳實施例， 其視用於成像系統圖樣配置的系統而定。如果影像感測器 陣列Η不具有半畫素偏移，則沿BXC線之邊緣爲+45度 而非+3〇度，且沿AXD線之邊緣爲_45度而非-30度。 如圖3至6所示，RGB系統中的水平邊緣檢測核之a 一- _____ 」1 本紙張尺度適用中國國家標隼（CNS ) A4現格（210X297公^ 〜 !·---„-------夢------ΐτ------0 (請先聞讀背面之注意事項再>寫本頁〕 A7 B7 經濟部智慧財產局員工消費合作社印製

五、發明説明（) 核畫素22和B核畫素24具有正號’而C核晝素26以及 D核畫素28具有負號。垂直邊緣檢測核之A核畫素22和 C核畫素26具有正號，而B核畫素24和D核畫素28具 有負號。45度邊緣檢測核僅具有A核畫素22和D核畫素 28，A核畫素22具有正號，而D核畫素28具有負號。負 45度邊緣檢測核只有B核畫素24和C核畫素26 ’ B核畫 素24具有正號，而C核畫素26具有負號。 圖7闡述一個流程圖，表示對每個當前所在的畫素X 20執行本發明方法之步驟。在影像幀之每—個當前的畫素 X 20上，於圖7的步驟32，決定四個相同色彩的鄰近邊緣 檢測核畫素A22、B24、C26和D28。對每個當前的畫素X 20而言，在步驟34藉以根據它們的符號’相加或相減四 個相應的邊緣檢測核畫素A22、B24、C26和D28之輝度 數値，來計算每一個核的結果輝度數値(resulting intensity values)。例如，畫素X 20的水平邊緣檢測核所具有的結果 輝度數値等於A核畫素22 ' B核畫素24、C核畫素26乘 以(-1)以及D核畫素28乘以(-1)的總和。 在步驟36中，比較每一個核所獲得的結果輝度數値 ，藉以得到最大的結果輝度數値。如果最大的結果輝度數 値高於一個臨界値T，則是表示邊緣的方向，即水平、垂 直、45度或-45度。在使用半畫素偏移影像感測器陣列Η 的本發明較佳實施例中，邊緣的方向可以是水平、垂直、 +3〇度或-3〇度的方向。如果所有核最大的結果輝度數値皆 是低於臨界値τ，則認爲沒有邊緣靠近當前所在的畫素X 本紙汝尺度·个國国家標準（CNs) A4規格（2丨〇乂 297公楚） (諳先Μ讀背面之注意事項再矿寫本頁)

L -t 丁 良 413797 A7 經濟部智慧財產局員工消費合作社印製 五、發明説明（v\) 20 ° 對每一個當前所在的畫素X 20而言，如果在步驟36 中已經得到一個邊緣的方向，則必須在步驟38中藉由比較 當前所在的畫素X 20之色彩輝度，與位於當前畫素X 20 下一個相同色彩的畫素之色彩輝度平均値，來決定當前的 晝素X 20所屬的邊緣之一側，其中的畫素X 20之色彩輝 度在圖1-11的範例中爲綠色，再者，在我們的範例中，所 決定的邊緣之每一個旁帶上，爲一個或兩個的畫素。例如 。爲了找出當前的畫素X 20屬於邊緣的哪一側，在已經決 定此一畫素最高的結果輝度數値置於水平方向之後（圖3)， 將當前的畫素X 20之輝度數値與水平核的一個頂線平均値 做比較，其頂線平均値爲A 22和B 24核畫素的輝度數値 之平均値，以及與水平核的一個底線平均値做比較，其底 線平均値爲C 26和D 28核晝素的輝度數値之平均値。 根據臨界値T”，如果當前所在的畫素X 20不屬於邊 緣的任一側，則意謂著畫素X 20本身位於邊緣之上，以及 其邊緣具有一個畫素的厚度β在此情況中，如果邊緣是水 平的，遺失的紅色和藍色元素來自與當前畫素X 20同一條 線上的畫素，或者對垂直和30度的邊緣而言，來自最靠近 當前所在的畫素X 20之邊緣線上，且其平行於邊緣。 之後在步驟40中，藉由從當前的畫素X 20所屬的邊 緣之相同一側，回復一個紅色和一個藍色的相鄰畫素，以 重建當前畫素X 20所遺失的色彩元素，紅色和藍色。使用 所回復的紅色和藍色元素，在步驟42，根據以下用來決定 IT-----------装------ΐτ------^ (請先閱讀背面之注意事項再>寫本頁) 本紙張尺度適用中國國家標準（CMS ) Α4規格（210X297公釐-) 經濟部智慧財產局員工消費合作社印製 413797 A7 B7 五、發明説明（\V ) 對當前畫素x 20遺失的色彩元素所評估的輝度數値Red(x) 和Blue(x)，來進行重建所遺失的紅色和藍色元素’用以實 現於邊緣上吻合的形式，而其中的Red(n)和Blue(n)代表同 色相鄰畫素輝度數値的平均値：

Red(x) = Red(n)-Green(x)/Greenave Blue(x) = Blue(n)-Green(x)/Greenave 例如，如果由於其輝度數値較靠近A 22和B 24核畫 素的頂端平均値’而判斷當前所在的畫素X 20較爲靠近頂 側，則來自當前所在的畫素X 20之上列的一個紅色畫素和 —個藍色畫素用於步驟40中’充當紅色和藍色的相鄰點’ 而其中的紅色畫素和藍色畫素則相鄰於當前所在的畫素X 20。之後則根據來自所決定的旁帶之三個畫素的平均輝度 ，即當前畫素X 20以及其A 22和B 24核畫素的平均輝度 ，來判斷Greeny。如果當前所在的畫素X 20之輝度數値 較靠近邊緣的底側，則來自當前所在的畫素X 20之下列的 一個紅色畫素和一個藍色畫素用於步驟40中，充當紅色和 藍色的相鄰點，而其中的紅色畫素和藍色畫素則相鄰於當 前所在的畫素X 20，並且以三個畫素，當前畫素X 20以 及其C 26和D 28核畫素的平均輝度，來決定Greeny。 如果判斷當前所在的畫素X 20屬於具有垂直、+30度或-3〇度方向的邊緣，則使用相類似的程序。 在沒有邊緣的情況下，對當前所在的畫素X 20遺失 —---- 14 本紙涞尺度適用中國國家樣準（CNS ) A4規格{ 210X297公簸） — =---„------装------1T------^ (請先閱讀背面之注意Ϋ項再#.寫本頁) 經濟部智惡財產局員工消费合作社印製 五、發明説明（\h ) 的色彩元素而言，則必須使用一種修改過的評估方法°爲 了此一目的，對當前所在的畫素X 2〇遺失的色彩元素而言 ，相同於之前所定義的方程式’用來決定所評估的輝度數 値Red(x)和Blue(x)，但以分別位於當前畫素X 2〇周圍的 所有紅色和藍色畫素之平均値，來決定Red(n)和Blue(n)的 數値，在我們的範例中，其爲每一個色彩的三個畫素°在 此一範例中，可以（A+B+C+D+X)/5、（A+X+C)/3、或者五 個畫素：A 22、B 24、C 26、D 28和X 20任何三個的輝度 數値之平均値，來決定當前所在的畫素X 20色彩輝度之平 均數値Greenave。 依照在本發明的畫素偏移影像感測器陣列I4每一個 畫素上重建遺失的色彩元素之結果，而得到圖9的重建陣 列43，由於其隨著影像感測器陣列14的偏移，因此其中 的奇數列同樣偏離偶數列半個畫素。無論如何，如果在輸 入影像感測器陣列14中使用另一種形式的配置，則重建陣 列可以具有不同的偏移或絲毫沒有任何的偏移。爲了修正 在重建陣列43中的半畫素偏移，因而根據圖7的水平內插 步驟48或垂直內插步驟如，內插其奇數列或偶數列。 在本發明的水平內插技術中，於每一個奇數或偶數列 ，而不是於兩者上，產生一個新的畫素，來替代當前所在 的畫素，而其新的畫素則偏移當前所在的.畫素半個的畫素 。如此乃是藉由在重建陣列43每一奇數或偶數列的每一個 畫素上’應用以下兩個步驟其中的一個，來獲得每一個新 畫素的平均數値。首先，對每一個當前所在的畫素而言， 適财CNS ) Α4· ( 210X297公釐_) ' 一~ IJ---Γ-----裝------1Τ------^ (請先閱讀背面之注意事項再矽寫本頁) A7 B7 經濟部智慧財產局R工消費合作社印製 五、發明説明（炎） 在步驟44中比較兩個同色的水平相鄰畫素每一個的輝度數 値。如果其差異低於一個界限T”，則執行水平內插步驟48 ，其中如圖10所示的，藉由平均兩個水平相鄰晝素的_別 色彩元素，來獲得新畫素的每一個色彩元素，而兩個水平 相鄰畫素的其中一個則位於當前所在的畫素每一側。 無論如何，在某些情況下，水平的內插可能在重建陣 列43的垂直邊緣上導致一種鋸齒效應。在本發明中，藉由 在重建陣列43的垂直邊緣上執行一種垂直的內插步驟46 ，替代執行圖10的水平內插，來修正這種效應，其如圖 11所示。對每一個當前所在的點X 20而言，當比較兩個 同色水平相鄰畫素每一個的輝度數値時，以及當得知其差 異高於一個界限T”時，則藉由平均其垂直相鄰的晝素之各 個色彩元素，來得到新畫素的每一個色彩元素，而其中的 垂直相鄰畫素位於當前所在的畫素X 20之上方和下方，如 圖11所示。 由於在方程式中只需要具有加、減、乘以和除以兩個 整數數字3或5其中一個的簡單整數算術，本發明的重建 方法乃是計算簡單的，且易以硬體實現。由於所有的除法 包含以數字3或5除整數數値，替代執行實際的除法，而 能夠預先計算除法的結果，並且履行於一個並無顯示的查 閱表中，其較佳地爲255個位置的查閱表。 可以在一個電腦程式中實現本發明的內插法之原理’ 並且易於設置在硬體中，而電腦程式則是儲存於成像裝置 10的畫素處理控制晶片16中’或者儲存於主影像處理器 ----„------裝------訂------線 (請先Μ讀背面之注意事項再填寫本頁) 本紙浪尺度適用中國國家標準（CNS 規格（2ΪΟΧ297公釐） 經濟部智慧財產局員工消費合作社印製 413797 A7 ____ B7_____ 五、發明説明（6) 52中。如果在成像裝置1〇本身中執行內插法，則可以在 匯流排轉換至主系統和主系統中的另一個部份之前，執行 一部分的畫素之處理和控制。如果在主影像處理器中執行 內插法，則其電腦儲存區域54儲存所接收的輸入影像感測 器陣列14之內容，並且藉由本發明的內插法，使用其內容 來產生重建陣列43。 由於本發明的方法爲邊緣相關以及邊緣側相關的’因 此使用本發明較佳實施例的實驗結果，已經證實新的演算 法產生輪廓鮮明度較高且具有非常低的人工加工之影像。 此外，本發明的方法易受所挑選的界限値T、Τ’和T”所影 響，而其臨界値必須完全根據觀察或實驗來決定，並且可 以根據畫素的鄰近處來最佳化其界限値。 雖然能夠應用於任何的數位成像系統，卻仍認爲本發 明的較佳實施例專門應用於靜物攝影照片以及影片成像系 統中，而其中的成像系統使用矽晶片做爲半畫素偏移影像 感測器陣列。其成像系統可以是任何一種可數位化的數位 成像系統之型式，例如一種使用CMOS或CCD檢測器的 成像系統。可了解到的是：本發明的原理可用於使用每個 晝素/影像低取樣數目的其它數位成像系統，諸如應用於辦 公室的自動數位線性感測器、桌面視訊會議系統、數位掃 描器、影印機以及傳真機，並且在進一步處理和顯示其影 像之前，必須執行內插的動作。 那些在此一領域中的技術人員將會察知：不以本發明 的觀點和精神出發，則能夠建構方才所說明的較佳實施例 _______ 17 本紙浪尺度適用中國國家標率（CNS ) A4規格（210X297公嫠〉 ---------裝——-----II------^ (請先閱讀背面之注意事項再¥'為本頁) 413797 五、發明説明（A) 之各種改造和修改。例如，儘管本發明已經對綠色之當前 所在的畫素做了說明，仍然可知道本發明所適當修改的方 程式可用來處理藍色和紅色的畫素。再者，雖然圖示於 RGB系統中，本發明同樣可用於具有不同配置的系統中， 其中能夠以用於電子照相術的其它色彩順序，來替代紅色 、綠色和藍色的排列順序，而其中三種不同的色彩元素存 在於三個水平相鄰畫素中，並且沒有兩個同色的畫素爲相 鄰點。因此，可了解到的是，在所附的申請專利範圍之觀 點中，可以實行本發明，而非在此特別地說明者。 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消费合作社印製 本紙張尺度適用中國國家標準（CNS ) A4規格（210X 297公釐)

Claims (1)

1. AS B8 C8 08 413797 7T、申明專利範圍 1 〜種影像處理器’其以三種色彩元素重建一個影 像的影像畫素所遺失色彩元素，其影像來自相關的影像感 測器陣列，每一個該影像畫素具有單一色彩元素的畫素輝 度數値，該影像處理器包含： 用來決定每一個影像畫素多數個的邊緣檢測核之機構 ，邊緣檢測核具有與影像畫素相同的色彩’其中每一個邊 緣檢測核則包含多數個相鄰該影像畫素的邊緣檢測核之畫 素；以及 用來重建每一個該影像畫素的遺失色彩元素之裝置’ 具有： 邊緣方向檢測機構’根據該邊緣檢測核最高的有效結 果輝度數値，用來檢測影像邊緣的方向與影像畫素所屬的 邊緣之一側；以及 色彩重建機構，用來決定每一個該影像畫素的該遺失 色彩元素之輝度數値，並且用來將每一個該影像畫素所有 的色彩元素儲存於一個重建陣列中。 2.根據申請專利範圍第1項之處理器，其中： 如果發現邊緣，該邊緣方向檢測機構藉由比較影像畫 素的輝度數値與則在所決定的邊緣每一側上相鄰同色映像 點的平均輝度數値，來決定影像畫素所屬的邊緣之一側， 並且在所檢測的影像邊緣之相同一側上，該色彩重建機構 依照相同遺失色彩的相鄰晝素色彩程度輝度數値，來決疋 每一個該遺失色彩於速的輝度數値，或者，如果影像畫素 位於相同遺失色彩的相鄰畫素邊緣之上，其中的遺失色彩 1____—. 本紙張尺度適用中國國家梯準（CNS ) Α4規格（210x297公釐） IV-------„---裝------訂------線 (請先閱讀背面之注意事項再續寫本頁) 經濟部智慧財產局員工消費合作社印製 8 8 88 ABCO 413797 六、申請專利範圍 則是來自其邊緣，或與邊緣平行且最靠近的一條線，以及 在沒有邊緣的情況下’依照同色的遺失色彩周圍影像 映像點的色彩加權平均輝度數値，該色彩重建機構決定每 一個該遺失色彩元素的輝度數値， 該色彩加權包含多數個同色相鄰畫素乘以影像畫素的 輝度數値，以及除以影像畫素的平均輝度數値。 3-根據申請專利範圍第1項之處理器，其中該邊緣 方向檢測機構比較每一個該邊緣檢測核所得到的結果輝度 數値，其中該每一個結果輝度數値爲該核所有該邊緣檢測 核畫素的輝度數値之總和，該邊緣方向檢測機構並且找出 高於一個預定臨界値的最大結果輝度數値。 4. 根據申請專利範圍第1項之處理器’其中該邊緣 方向檢測機構和遺失色彩元素的重建機構皆包含在一個電 腦程式中，而其電腦程式則可埋藏在在影像處理器的硬體 中〇 5. 根據申請專利範圍第1項之處理器，其中： 該多數個邊緣檢測核包括四個的邊緣檢測’即一個水 平 個垂直、一個45度和一個-45的核所組成’ 該核分別對水平、垂直、45度和-45的邊緣所影響’ 每一個該邊緣檢測核包括四個的邊緣檢測核畫素’其 四個邊緣檢測核畫素環繞並且相鄰該影像畫素’即該影像 一個左上方、右上方、左下方和右下方的核畫素，而其中 根據該核所有該邊緣檢測核畫素的輝度數値總和’來計算 其結果輝度的數値， 2 本紙張尺度適用中國國家搮準（CNS ) Α4規格（210Χ297公釐） (請先閱讀背面之注意事項再>寫本頁) -旁· 言. 經濟部智慧財產局員工消費合作社印製 413797 ABCD 經濟部智慧財產局員工消費合作社印製 六、申請專利範圍 該水平核將該左下方和右下方的核畫素輝度之數値乘 以-1 ’ 該垂直核將該右上方和右下方的核畫素輝度之數値乘 以-1， 該45度核將該右上方和左下方的核畫素輝度之數値 乘以零，並且將該右下方畫素的輝度數値乘以1，以及 該-45度核將該左上方和右下方的核畫素輝度之數値 乘以零，並且將該左下方畫素的輝度數値乘以1。 6. 根據申請專利範圍第1項之處理器，其中： 該影像感測器陣列係覆蓋以一個色彩濾波器陣列； 該影像感測器陣列以及該色彩濾波器陣列具有一種半 映像點偏移的畫素圖樣，其中在每隔一列中的每一個該影 像映像點於水平方向偏離相鄰列中的影像畫素半個的畫素 ，用以獲得高解析度的影像；以及 —個45度核和一個-45核分別對+30度和-30度的邊 緣靈敏。 7. 根據申請專利範圍第6項之處理器，其中該重建 陣列同樣具有半畫素的偏移，並且其中的該處理器進一步 地包含一種水平內插機構以及一種垂直內插機構。 8. 根據申請專利範圍第7項之處理器，其中 該處理器比較影像畫素的水平相鄰畫素之同色元素的 輝度數値並且， 如果其差異大於一個臨界値，則使用垂直內插裝置， 藉由平均垂直相鄰畫素相應的色彩元素之輝度數値，來獲 3 (請先閱讀背面之注意事項再埭寫本頁) 本纸伕尺度適用中國國家標準（CNS ) A4洗格（210X297公釐) 413797 A8 B8 C8 D8 經濟部智慧財產局員工消費合作社印製 、申請專利範圍 取該影像畫素所有色彩元素的輝度數値。 9. 根據申請專利範圍第7項之處理器，其中 該處理器比較影像畫素兩個水平相鄰畫素的同色元素 之輝度數値並且’ 如果其差異低於一個臨界値，則使用水平內插裝置’ 藉由平均兩個水平相鄰畫素相應的色彩元素之輝度數値’ 來獲取該影像畫素所有色彩元素的輝度數値。 10. —種邊緣相關的色彩內插法，其實現於一個影像 處理器中，而影像處理器接收一個影像的畫素輝度數値， 其影像則是來自所結合的一個影像感測器陣列，每一個影 像畫素具有單一個色彩元素’該方法重建每一個影像畫素 遺失的色彩元素，並且包含以下的步驟： 對於各個影像畫素，決定具有與影像畫素相同色彩的 多數個邊緣檢測核，每一個邊緣檢測核包含多數個相鄰於 該影像畫素的邊緣檢測核畫素；以及 重建每一個該影像畫素遺失的色彩元素，根據以下的 步驟· 根據該邊緣檢測核最高有效的結果輝度數値，檢測影 像的邊緣之方向和影像畫素所屬的邊緣之一側；以及 決定每一個影像畫素每一個該遺失色彩元素的輝度數 値，並且儲存每一個該影像晝素彩元素於一個重建 陣列中。 11. 根據申請專利範圍第10項其中： 如果發現邊緣，則在所判斷的邊側上，該邊緣 --------------裝------訂------線 (請先閱讀背面之注意事項再'填寫本頁) 本紙張尺度適用中國國家榡準（CNS ) A相I格（2i〇X297公釐） 413797 C8 D8 經濟部智慧財產局員工消費合作社印製 、申請專利範圍 方向檢測步驟藉由比較影像畫素的輝度數値與相鄰同色映 像點的平均輝度數値，來判斷影像畫素所屬的邊緣之一側 ，並且在所檢測的影像邊緣之相同一側上，該色彩重建步 驟依照相同遺失色彩的相鄰畫素色彩程度輝度數値，來判 斷每一個該遺失色彩於速的輝度數値，或者如果影像畫素 位於相同遺失色彩的相鄰畫素邊緣之上，其中的遺失色彩 則是來自其邊緣，或與邊緣平行且最靠近的一條線，以及 在沒有邊緣的情況下，依照同色的遺失色彩周圍影像 映像點的色彩加權平均輝度數値，該色彩重建步驟判斷每 一個該遺失色彩元素的輝度數値， 該色彩加權包含多數個同色相Μ素乘以影像畫素@ 輝度數値，以.及除以影像畫素的平値之步驟。 12.根據申請專利範圍第10項其中該邊緣 方向檢測步驟包含每一個該邊緣檢測核的結果輝胃 數値，該每一個結果輝度數値爲該核所有該邊緣檢測核β 素的輝度數値總和，並且找出高於^!預定臨界値的最# 結果輝度數値。 13-根據申請專利範圍第10項其中藉由 個可埋藏於影像處理器的硬體中之電腦程¥來實行該方法 Η.根據申請專利範圍第10項其中 該多數個邊緣檢測核包括四個的測核，即一個 水平、一個垂直、一個45度和一個-45的核， 該等核分別易受水平、垂直、45度和-45的邊緣所影 (請先聞讀背面之注意事項再i/寫本育) -裝- 訂.. 線 本紙張尺度逋用中國國家標準（CNS >八4規潘（210X297公嫠） ABCD 413797 六、申請專利範圍 每一個該邊緣檢測核包括四個的邊緣檢測核畫素，其 四個邊緣檢測核畫素環繞該影像畫素，即該影像一個左上 方、右上方、左下方和右下方的核畫素，而其中根據該核 所有該邊緣檢測核畫素的輝度數値總和，來計算其結果輝 度的數値， 該水平核將該左下方和右下方的核畫素輝度之數値乘 以-1， 該垂直核將該右上方和右下方的核畫素輝度之數値乘 以-1， 該45度核將該右上方和左下方的核畫素輝度之數値 乘以零，並且將該右下方畫素的輝度數値乘以1，以及 該-45度核將該左上方和右下方的核畫素輝度之數値 乘以零，並且將該左下方畫素的以1。 15. 根據申請專利範圍第其中： 該影像感測器陣列係覆蓋以一個色波器陣列； 該影像感測器陣列以及該色彩濾波器陣列具有一種半 映像點偏移的畫素形式，其中在每一第二列中的每一個該 影像映像點於水平方向偏離相鄰列中的影像畫素半個的畫 素，用以獲得高解析度的影像；以及 一個45度的核和一個-45的核分別易受+30度和-3〇 度的邊緣所影響。 16. 根據申請專利範圍第其中該重建 陣列同樣具有半畫素的偏移，並且藉由一個電腦程式來實 本紙浪尺度適用中國國家橾隼（CNS ) A4洗格（210X297公釐） (請先閲讀背面之注意事項再V寫本頁) 、言. 經濟部智慧財產局員工消費合作社印製 A8 B8 C8 D8

   413797 、申請專利範圍 行該方法，該電腦程式進一步地具有一個水平的內插步驟 和一個垂直的內插步驟。 Π.根據申請專利範圍第16賓芝^^其中該電腦 程武進一步地包含以下的步驟： 比較影像畫素的水平相鄰畫素之同色元素的輝度數値 ，並且 如果其差異大於一個臨界値，則使用垂直內插步驟， 藉由平均垂直相鄰畫素相應的色彩元素之輝度數値，來獲 取該影像畫素所有色彩元素的輝度 18. 根據申請專利範圍第16 中該電腦 程式進一步地包含以下的步驟： 比較影像畫素水平相鄰畫素的同色元素之輝度數値， 並且 如果其差異低於一個臨界値，則使用水平的內插步驟 ，藉由平均水平相鄰畫素相應的色彩元素之輝度數値，來 獲取該影像畫素所有色彩元素的輝度數値。 19. 一種邊緣相關的色彩重建方法，其實現於一個影 像處理器中，而影像處理器接收一個影像的畫素輝度數値 ，其影像則是來自所結合的一個三色影像感測器陣列’每 一個影像畫素具有單一個色彩元素’該方法包含以下的步 驟： 決定每一個影像畫素多數個最靠近的相鄰同色畫素； 對該相鄰同色的畫素之水平組合、垂直組合、右至左 下組合以及右至左上組合’計算每一個的結果輝度數値； -----------餐------訂.------.m (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 本紙張又度逋用中國國家橾隼（CNS > A4規格（210 X 297公釐） A8 B8 C8 D8 413797 六、申請專利範圍 決定是否存在一個邊緣，則藉由比較結果輝度數値， 來獲得一個最大的結果輝度數値，並且比較最大的結果輝 度數値和個臨界値數値；以及 重建並且儲存重建陣列中每一個該影像畫素所有的色 彩元素’根據以下的步驟： 如果存在邊緣： 藉由判斷具有最大結果輝度數値的組合，來決定一個 邊緣的方向， 藉由比較影像畫素的輝度數値與在每一個邊緣側上相 鄰的同色畫素之平均色彩輝度數値，來決定影像畫素所屬 的邊緣之一側， 從相同的邊緣側，回復具有遺失色彩元素的相鄰畫素 ，以及 使用所回復的相鄰色彩元素，根據以下的方程式，重 建影像畫素遺失的色彩元素： 遺失的色彩元素=(所回復的相鄰同色畫素元素之平 均輝度數値）* (影像畫素的輝度）/(來自所決定的一側之同 色畫素平均輝度），以及 如果沒有邊緣： 使用相鄰的色彩元素，根據以下的方程式，重建影像 畫素遺失的色彩元素： 遺失的色彩元素=(相鄰的同色畫素元素之平均輝度 數値）* (影像畫素的輝度）/(影像映像點與相鄰的同色畫素 之平均輝度）。 ---^---.----S------^------^ (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家梂率（CNS > A4说格（210X 297公釐） 413797 锰 C8 D8 經濟部智慧財產局員工消費合作社印製 六、申請專利範圍 2〇·根據申請專利範圍第19項之方法，其中： 該水平的組合爲一個水平的核，該垂直的組合爲一個 垂直的核’該右至左下的組合爲一個45度的核，該右至左 上的組合爲一個-45度的核，該邊緣檢測核分別易受水平 、垂直、+45度和-45度的邊緣所影響， 每一個該邊緣檢測核包括四個的邊緣檢測核畫素，其 四個邊緣檢測核畫素環繞並且相鄰該影像畫素，即該影像 一個左上方、右上方、左下方和右下方的核畫素，而其中 根據該核所有該邊緣檢測核畫素的輝度數値總和，來計算 其結果輝度的數値， 該水平核將該左下方和右下方的核畫素輝度之數値乘 以-1， 該垂直核將該右上方和右下方的核畫素輝度之數値乘 以-1， 該45度核將該右上方和左下方的核元畫素輝度之數 値乘以零，並且將該右下方畫素的輝度數値乘以1，以及 該-45度核將該左上方和右下方的核畫素輝度之數値 乘以零，並且將該左下方晝素的輝度數値乘以1。 21.根據申請專利範圍第20項之方法，其中： 該影像感測器陣列係覆蓋以一個色彩濾波器陣列； 該影像感測器陣列以及該色彩濾波器陣列具有一種半 映像點偏移的畫素形式，其中在每一第二列中的每一個該 影像映像點於水平方向偏離相鄰列中的影像畫素半個的畫 9 本紙张尺度適用中國國家標準（CNS ) A4规格（21〇><297公* ) I n 111 裝 I i · i I 訂11 線 {請先閱讀背面之注意事項-'寫本頁) —ft 37 8 88 8 ABCD 經濟部智慧財產局員工消黄合作社印製 六、申請專利範圍 素，用以獲得高解析度的影像；以及 一個45度的核和一個_45的核分別易受+30度和-30 度的邊緣所影響； 藉由一個具有電腦程式的電腦來實行該方法；以及 該電腦程式進一步地具有一個水平的內插步驟以及一 個垂直的內插步驟，並且可埋藏於電腦硬體中。 22.根據申請專利範圍第21項之方法，其中該電腦 程式進一步地包含以下的步驟： 比較影像畫素的水平相鄰畫素之同色元素的輝度數値 :並且 如果其差異大於一個臨界値，則使用垂直的內插步驟 ，藉由平均垂直相鄰畫素相應的色彩元素之輝度數値，來 獲取該影像畫素所有色彩元素的輝度數値，以及 如果其差異低於一個臨界値，則使用水平的內插步，驟 ，藉由平均水平相鄰畫素相應的色彩元素之輝度數値，來 獲取該影像畫素所有色彩元素的輝度數値。 23·根據申請專利範圍第19項之方法，其中藉由^ 個可埋藏於影像處理器晶片中的電腦程式來實行該方法， 其包含於一個具有影像感測器陣列的數位攝影機中。 24_根據申請專利範圍第19項之方法，其中藉由〜 個可埋藏於影像處理器中的電腦程式來實行該方法，其包 含於一個具有影像感測器陣列的數位攝影機之主電腦中。 10 --------*----裝------訂 線 (請先閲讀背面之注意事項再蟑寫本頁) 本紙張尺度逋用中國i家標隼（CNS ) A4規& ( 210X297公爱1