TWI525317B - 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 - Google Patents
整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 Download PDFInfo
- Publication number
- TWI525317B TWI525317B TW102136422A TW102136422A TWI525317B TW I525317 B TWI525317 B TW I525317B TW 102136422 A TW102136422 A TW 102136422A TW 102136422 A TW102136422 A TW 102136422A TW I525317 B TWI525317 B TW I525317B
- Authority
- TW
- Taiwan
- Prior art keywords
- defect
- image
- defects
- feature
- classification
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/14—Classification; Matching by matching peak patterns
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本發明係有關於一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，尤指涉及一種自動化缺陷偵測與分類系統，特別係指透過缺陷偵測、特徵萃取與相似度衡量、及缺陷分類等三個階段，針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類者。
彩色濾光片為現在許多消費性電子產品中之重要零組件，包含液晶顯示器、智慧型手機與平板電腦上之相機鏡頭等。彩色濾光片製造商在出貨檢驗（Out-going Quality Control, OQC）階段會進行一連串之抽樣檢測以確保出貨品質，而自動光學檢測（Automated Optical Inspection, AOI）係其中一種檢測晶粒上表面瑕疵之機器視覺技術，其檢測結果會以灰階影像呈現。
缺陷樣型係一重要之資訊，可以讓領域專家判斷造成缺陷之可能原因。隨著產業之分工，責任之釐清係目前公司面臨之一大難題。目前分類之方法係由人為判斷，然其缺失包括：其一，人眼會累，長久下來容易造成誤判之情形；其二，缺陷分類之準則與依據往往只內隱在少數之領域專家心中，且人為判斷也容易因為經驗與分類習慣不同造成判斷不一致。並且，由於以往彩色濾光片之分類大多都是針對彩色影像，而公司提供之影像為灰階影像，缺陷之顏色與背景相當接近，因此也增加分析之困難度。故，ㄧ般習用者係無法符合使用者於實際使用時之所需。
本發明之主要目的係在於，克服習知技藝所遭遇之上述問題並提供一種透過缺陷偵測、特徵萃取與相似度衡量、及缺陷分類等三個階段，針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
本發明之次要目的係在於，提供一種分類完後可及時回饋缺陷樣型之資訊以排除製程缺陷來降低缺陷率之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
本發明之另一目的係在於，提供一種不僅減低用人眼辨識之依賴性，更可以有效提升缺陷影像分類之效能與效率，包含提高一致性與正確性以及結果之可靠性，進而達到良率提升之效果之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
為達以上之目的，本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其至少包含下列步驟：
（Ａ）缺陷偵測：對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓，進行影像中之缺陷位置、形狀及大小之辨識，俾以定義出各式缺陷樣型，其中，該缺陷樣型包括亮白色缺陷（MC）、灰白色塊狀微小缺陷（MQ）、灰黑色塊狀微小缺陷（MN）、灰黑色條狀缺陷（MR）、黑點光暈缺陷（MT）、泡泡狀大型缺陷（WN）、假警訊（False Alarm, FA）、以及其他類（Other, OT）；
（Ｂ）特徵萃取與相似度衡量：萃取上述各式缺陷樣型之缺陷特徵，該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值，利用該缺陷特徵進行相似度比對，判斷特徵值是否符合缺陷樣型之特徵，以區隔上述定義之缺陷樣型；以及
（Ｃ）缺陷分類：利用分類與迴歸樹（Classification And Regression Tree, CART）演算法結合萃取出之特徵值以吉尼指標（Gini Index）建構分類規則，將缺陷影像自動分類，所得分類結果並與特徵相似度進行比較，判斷分類結果與特徵相似度比對是否一致，並區分CART演算法無法有效分類者為其他類。
於本發明上述實施例中，該步驟（Ａ）兩階段參數調整法為坎尼（Canny）邊緣偵測演算法，其參數設定包含高斯濾波器之標準差（σ）及雙門檻值（TLOW 、THIGH ），其中參數TLOW 為第一階段設定之門檻值，用以偵測出較為明顯以及大範圍之缺陷樣型（MC、MT、WN），而參數THIGH 為第二階段設定之門檻值，用以偵測出微小之缺陷樣型（MQ、MN、MR），以及分辨假警訊（FA）之影像；並且，若第二階段未能偵測出正確之缺陷樣型，即缺陷面積佔其周圍矩形面積小於0.001時，表示其可能為一多重缺陷（multi-defect）之影像，則將其分類至其他類（OT）。
於本發明上述實施例中，該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣，而低於TLOW 則將之去除，介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣，並以強之邊緣為偵測後最終之邊緣，再從其附近搜尋弱之邊緣，進而將其連結起來，成為最終缺陷之輪廓。
於本發明上述實施例中，該步驟（Ｂ）顏色特徵係包含缺陷樣型灰階像素最大值、缺陷樣型灰階像素最小值、及缺陷樣型灰階像素全距，用以取其灰階像素之最大值、最小值及全距作為分類特徵。
於本發明上述實施例中，該步驟（Ｂ）形狀特徵係包含缺陷面積、缺陷其周圍矩形面積、及缺陷佔其周圍矩形面積比例，用以區別為條狀缺陷或塊狀缺陷之特徵。
於本發明上述實施例中，該步驟（Ｂ）統計特徵係包含影像強化後之灰階像素最大值、影像強化後之像素平均值、影像強化後之像素變異數、及影像強化後之像素偏態係數，係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數之統計量作為特徵，經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值，該強化公式為：
；
其中，該係為在影像中任一組座標之灰階值；以及該與分別為影像中灰階之最大值與最小值。
於本發明上述實施例中，該平均值、變異數以及偏態係數之統計量之計算公式為：
平均值；
變異數；
本發明之次要目的係在於，提供一種分類完後可及時回饋缺陷樣型之資訊以排除製程缺陷來降低缺陷率之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
本發明之另一目的係在於，提供一種不僅減低用人眼辨識之依賴性，更可以有效提升缺陷影像分類之效能與效率，包含提高一致性與正確性以及結果之可靠性，進而達到良率提升之效果之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
為達以上之目的，本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其至少包含下列步驟：
（Ａ）缺陷偵測：對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓，進行影像中之缺陷位置、形狀及大小之辨識，俾以定義出各式缺陷樣型，其中，該缺陷樣型包括亮白色缺陷（MC）、灰白色塊狀微小缺陷（MQ）、灰黑色塊狀微小缺陷（MN）、灰黑色條狀缺陷（MR）、黑點光暈缺陷（MT）、泡泡狀大型缺陷（WN）、假警訊（False Alarm, FA）、以及其他類（Other, OT）；
（Ｂ）特徵萃取與相似度衡量：萃取上述各式缺陷樣型之缺陷特徵，該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值，利用該缺陷特徵進行相似度比對，判斷特徵值是否符合缺陷樣型之特徵，以區隔上述定義之缺陷樣型；以及
（Ｃ）缺陷分類：利用分類與迴歸樹（Classification And Regression Tree, CART）演算法結合萃取出之特徵值以吉尼指標（Gini Index）建構分類規則，將缺陷影像自動分類，所得分類結果並與特徵相似度進行比較，判斷分類結果與特徵相似度比對是否一致，並區分CART演算法無法有效分類者為其他類。
於本發明上述實施例中，該步驟（Ａ）兩階段參數調整法為坎尼（Canny）邊緣偵測演算法，其參數設定包含高斯濾波器之標準差（σ）及雙門檻值（TLOW 、THIGH ），其中參數TLOW 為第一階段設定之門檻值，用以偵測出較為明顯以及大範圍之缺陷樣型（MC、MT、WN），而參數THIGH 為第二階段設定之門檻值，用以偵測出微小之缺陷樣型（MQ、MN、MR），以及分辨假警訊（FA）之影像；並且，若第二階段未能偵測出正確之缺陷樣型，即缺陷面積佔其周圍矩形面積小於0.001時，表示其可能為一多重缺陷（multi-defect）之影像，則將其分類至其他類（OT）。
於本發明上述實施例中，該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣，而低於TLOW 則將之去除，介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣，並以強之邊緣為偵測後最終之邊緣，再從其附近搜尋弱之邊緣，進而將其連結起來，成為最終缺陷之輪廓。
於本發明上述實施例中，該步驟（Ｂ）顏色特徵係包含缺陷樣型灰階像素最大值、缺陷樣型灰階像素最小值、及缺陷樣型灰階像素全距，用以取其灰階像素之最大值、最小值及全距作為分類特徵。
於本發明上述實施例中，該步驟（Ｂ）形狀特徵係包含缺陷面積、缺陷其周圍矩形面積、及缺陷佔其周圍矩形面積比例，用以區別為條狀缺陷或塊狀缺陷之特徵。
於本發明上述實施例中，該步驟（Ｂ）統計特徵係包含影像強化後之灰階像素最大值、影像強化後之像素平均值、影像強化後之像素變異數、及影像強化後之像素偏態係數，係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數之統計量作為特徵，經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值，該強化公式為：
；
其中，該係為在影像中任一組座標之灰階值；以及該與分別為影像中灰階之最大值與最小值。
於本發明上述實施例中，該平均值、變異數以及偏態係數之統計量之計算公式為：
平均值；
變異數；
偏態係數
；
其中，該為強化後之每一點像素值；以及該為總像素個數。
於本發明上述實施例中，該步驟（Ｂ）利用該缺陷特徵進行相似度比對，係以特徵值為基礎之相似度分類模式，其步驟包含：
（ｂ１）收集一組訓練資料以萃取多項特徵，並以標準差係數為基礎，由小排到大選出每一缺陷樣型之前t名特徵值，該標準差係數之計算公式為：
標準差係數；
（ｂ２）將待分類影像逐一使用每一缺陷樣型之前t名特徵值進行相似度計算，取其特徵值之平均值，以各特徵值標準差係數最小為主，其計算公式為：
相似度；
其中，該係為訓練資料中缺陷樣型之第名特徵值之平均值，而該則為待分類影像之第名特徵值；以及
（ｂ３）對每一缺陷樣型定義門檻值，再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較，若相似度小於該門檻值則將之歸為該缺陷樣型，若所有缺陷樣型之相似度均高於門檻值，則歸為其他類進行人工判斷。
於本發明上述實施例中，該步驟（Ｃ）係以多項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則，每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率，每一分割節點以及分割門檻值均係透過CART演算法自動產生，同時每一缺陷樣型只會對應到一分類規則，建立此分類規則之後，待分類影像便能歸類到其中一類缺陷樣型。
；
其中，該為強化後之每一點像素值；以及該為總像素個數。
於本發明上述實施例中，該步驟（Ｂ）利用該缺陷特徵進行相似度比對，係以特徵值為基礎之相似度分類模式，其步驟包含：
（ｂ１）收集一組訓練資料以萃取多項特徵，並以標準差係數為基礎，由小排到大選出每一缺陷樣型之前t名特徵值，該標準差係數之計算公式為：
標準差係數；
（ｂ２）將待分類影像逐一使用每一缺陷樣型之前t名特徵值進行相似度計算，取其特徵值之平均值，以各特徵值標準差係數最小為主，其計算公式為：
相似度；
其中，該係為訓練資料中缺陷樣型之第名特徵值之平均值，而該則為待分類影像之第名特徵值；以及
（ｂ３）對每一缺陷樣型定義門檻值，再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較，若相似度小於該門檻值則將之歸為該缺陷樣型，若所有缺陷樣型之相似度均高於門檻值，則歸為其他類進行人工判斷。
於本發明上述實施例中，該步驟（Ｃ）係以多項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則，每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率，每一分割節點以及分割門檻值均係透過CART演算法自動產生，同時每一缺陷樣型只會對應到一分類規則，建立此分類規則之後，待分類影像便能歸類到其中一類缺陷樣型。
１１‧‧‧步驟（Ａ）缺陷偵測
１２‧‧‧步驟（Ｂ）特徵萃取與相似度衡量
１３‧‧‧步驟（Ｃ）缺陷分類
s100～s113‧‧‧步驟
１２‧‧‧步驟（Ｂ）特徵萃取與相似度衡量
１３‧‧‧步驟（Ｃ）缺陷分類
s100～s113‧‧‧步驟
第１圖，係本發明之自動化缺陷偵測與分類之流程示意圖。
第２圖，係本發明萃取缺陷樣型之顏色特徵示意圖。
第３圖，係本發明萃取缺陷樣型之形狀特徵示意圖。
第４圖，係本發明缺陷樣型之分類規則示意圖。
第５圖，係本發明之缺陷偵測結果示意圖。
第２圖，係本發明萃取缺陷樣型之顏色特徵示意圖。
第３圖，係本發明萃取缺陷樣型之形狀特徵示意圖。
第４圖，係本發明缺陷樣型之分類規則示意圖。
第５圖，係本發明之缺陷偵測結果示意圖。
請參閱『第１圖～第４圖』所示，係分別為本發明之自動化缺陷偵測與分類之流程示意圖、本發明萃取缺陷樣型之顏色特徵示意圖、本發明萃取缺陷樣型之形狀特徵示意圖、及本發明缺陷樣型之分類規則示意圖。如圖所示：本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，係直接處理大小為2352*1722之原始影像，可直接應用於線上之系統，透過三個階段：缺陷偵測、特徵萃取與相似度衡量、及缺陷分類，針對高科技產業中常見之自動光學檢測機台（Automatic Optical Inspection, AOI）所產生之灰階缺陷影像依照使用者定義進行自動化分類，減低用人眼辨識之依賴性，並提升分類之一致性與正確性以及結果之可靠性，進而達到良率提升之效果。本發明所提之自動光學檢測缺陷影像分類方法，其至少包含下列步驟：
（Ａ）缺陷偵測１１：對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓，進行影像中之缺陷位置、形狀及大小之辨識，俾以定義出各式缺陷樣型，其中，該缺陷樣型包括亮白色缺陷（MC）、灰白色塊狀微小缺陷（MQ）、灰黑色塊狀微小缺陷（MN）、灰黑色條狀缺陷（MR）、黑點光暈缺陷（MT）、泡泡狀大型缺陷（WN）、假警訊（False Alarm, FA）、以及其他類（Other, OT），整理如表1所示；
表1
（Ｂ）特徵萃取與相似度衡量１２：萃取上述各式缺陷樣型之缺陷特徵，該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值，利用該缺陷特徵進行相似度比對，判斷特徵值是否符合缺陷樣型之特徵，以區隔上述定義之缺陷樣型；以及
（Ｃ）缺陷分類１３：利用分類與迴歸樹（Classification And Regression Tree, CART）演算法結合萃取出之特徵值以吉尼指標（Gini Index）建構分類規則，將缺陷影像自動分類，所得分類結果並與特徵相似度進行比較，判斷分類結果與特徵相似度比對是否一致，並區分CART演算法無法有效分類者為其他類。
上述步驟（Ａ）兩階段參數調整法為坎尼（Canny）邊緣偵測演算法，其參數設定包含高斯濾波器之標準差（σ）及雙門檻值（TLOW 、THIGH ），藉由兩階段之調整法以提高缺陷偵測之準確度。該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣，而低於TLOW 則將之去除，介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣。將其區別後，強之邊緣即為偵測後最終之邊緣，再從其附近搜尋弱之邊緣，進而將其連結起來，成為最終缺陷之輪廓。因此，本發明以參數TLOW 為第一階段設定之門檻值，其值較為寬鬆，用以偵測出較為明顯以及大範圍之缺陷樣型（MC、MT、WN）；以參數THIGH 為第二階段設定之門檻值，其值較為嚴格，用以偵測出微小之缺陷樣型（MQ、MN、MR），以及分辨假警訊（FA）之影像。並且，依照偵測失敗之設定準則如下，其中 β代表0.001：
缺陷面積/其周圍矩形面積<β，
若第二階段未能偵測出正確之缺陷樣型，表示其可能為一多重缺陷（multi-defect）之影像，則將其分類至其他類（OT）。
上述步驟（Ｂ）係定義以下10項特徵以進行分類，其中該顏色特徵係包含下述1～3項特徵，該形狀特徵係包含下述4～6項特徵，該統計特徵係包含下述7～10項特徵：
1.缺陷樣型灰階像素最大值。
2.缺陷樣型灰階像素最小值。
3.缺陷樣型灰階像素全距（最大值減最小值）。
於其中，鑑於某些特定缺陷樣型之類型，其缺陷之部分會呈現較亮白之狀態，因此取其灰階像素之最大值、最小值及全距作為分類特徵，如第２圖所示。
4.缺陷面積：灰階影像經過Canny邊緣偵測演算法二元切割後，缺陷之像素值為1，因此缺陷面積為整張影像像素值加總。
5.缺陷其周圍矩形面積：能夠包含缺陷之最小長方形面積。
6.缺陷佔其周圍矩形面積比例：能夠包含缺陷之最小長方形面積內，有多少比例為缺陷處。
於其中，上述4～6項特徵可用以區別條狀缺陷或塊狀缺陷，如第３圖所示，圖(a)中矩形內為塊狀缺陷；圖(b)中矩形內為條狀缺陷。
7.影像強化後之灰階像素最大值。
8.影像強化後之像素平均值。
9.影像強化後之像素變異數。
10.影像強化後之像素偏態係數。
於其中，本發明係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數等統計量作為特徵，經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值，該強化公式為：
其中，該係為在影像中任一組座標之灰階值，而該與則分別為影像中灰階之最大值與最小值。
並且，各統計量之計算公式如下，以代表強化後之每一點像素值，而為總像素個數：
平均值。
變異數。
偏態係數。
本發明係透過雙層分類機制以提高分類之一致性與正確率。第一層分類機制為步驟（Ｂ）以特徵值為基礎之相似度分類模式，係利用歐式距離為基礎進行特徵值相似度比對，以區分其他類型之缺陷。其具體步驟包含：
（ｂ１）收集一組訓練資料以萃取上述10項特徵，並以標準差係數為基礎，由小排到大選出每一缺陷樣型之前t名特徵，其中，該標準差係數之計算公式為：
標準差係數；
（ｂ２）將待分類影像逐一使用每一缺陷樣型之前t名特徵值進行相似度計算，取其特徵值之平均值，以各特徵值標準差係數最小為主，其計算公式為：
相似度；
其中，該係為訓練資料中缺陷樣型之第名特徵值之平均值，而該則為待分類影像之第名特徵值；以及
（ｂ３）對每一缺陷樣型定義門檻值，再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較，若相似度小於該門檻值則將之歸為該缺陷樣型，若所有缺陷樣型之相似度均高於門檻值，則歸為其他類進行人工判斷。
藉此，本發明以訓練資料中之最大之相似度值當作各缺陷樣型之門檻值設定。另外，由於係逐一比對，因此同一影像有可能會被歸類為不同之缺陷樣型。
第二層分類機制為步驟（Ｃ）使用資料驅動之CART演算法，以10項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則，每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率，如第４圖所示，每一分割節點以及分割門檻值均係透過CART演算法自動產生，同時每一缺陷樣型只會對應到一分類規則，建立此分類規則之後，待分類影像便能易於歸類到其中一類缺陷樣型。
本發明以上述說明之雙層分類機制為基礎決定最後之影像歸類，最終分類之結果會與特徵相似度比對之結果比對，共有下列三種可能情況，其示例如表2所示：
(1)特徵相似度比對結果中無法歸類到任何一類，故歸類至其他類進行人工檢視；
(2)分類樹結果之缺陷樣型不包含於特徵相似度比對結果之缺陷樣型中，故歸類至其他類進行人工檢視；以及
(3)分類樹結果之缺陷樣型包含於特徵相似度比對結果之缺陷樣型中，故歸類至分類樹結果之缺陷樣型。
表2
驗證之指標有整體正確率、樣型檢出率及假警訊率，其計算方式如下，示例如表3所示，以MC、MQ為例：
整體正確率= 。
MC樣型檢出率=。
MC假警訊率=。
表3
如是，藉由上述揭露之流程構成一全新之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
當運用時，於一具體實施中，如第１圖所示，在影像擷取步驟s100，針對每張缺陷影像進行影像資料預處理以提升分類成效，包含影像區隔、影像強化等，其中影像周圍有白色區域，係不屬於分析之範圍。在缺陷偵測步驟s101，利用兩階段之Canny邊緣偵測演算法偵測缺陷，其主要係邊緣偵測之一種，偵測缺陷之輪廓，包含進行影像中之缺陷位置、形狀及大小之辨識，以定義出各式缺陷樣型。在缺陷偵測判斷步驟s102，會判斷缺陷是否偵測出來，若判斷結果為否，則表示偵測出來後為全黑影像，係為一假警訊之影像，於是進入假警訊步驟s103；若判斷結果為是，則表示有偵測出微小之缺陷，並且進入判斷缺陷是否偵測正確步驟s104。在該缺陷是否偵測正確步驟s104中，若判斷結果為是，表示有偵測正確，於是進入特徵萃取步驟s105；反之，若判斷結果為否，則表示缺陷面積佔其周圍矩形面積過小（0.001），有可能為多重缺陷，並且進入判斷參數是否調整過步驟s106。該參數是否調整過步驟s106中，若判斷結果為是，將其分類至其他步驟s107；反之，若判斷結果為否，則進入調整參數步驟s108，然後再次回到該缺陷偵測步驟s101重新偵測。而在該特徵萃取步驟s105中，係進行萃取包含顏色特徵、形狀特徵與統計特徵等各式不同之特徵值，並進入特徵相似度比對步驟s109中，利用特徵進行比對後，再進入判斷特徵值是否符合步驟s110。在該特徵值是否符合步驟s110中，若判斷結果為否，則表示該些特徵值不符合既有缺陷樣型之特徵，判斷為其他類，將其分類至該其他步驟s107；若判斷結果為是，則進入缺陷分類步驟s111，利用CART演算法結合萃取出之特徵值以Gini指標建構分類規則。最後，進行特徵相似度與分類結果比較步驟s112，判斷分類結果與特徵相似度比對結果是否一致，若判斷結果為否，則表示不一致，影像判斷為其他類，將其分類至其他步驟；若判斷結果為是，則進入結果步驟s113，表示分類結果與特徵相似度比對結果相符合，完成本案自動化缺陷偵測與分類之流程。
請參閱『第５圖』所示，係本發明之缺陷偵測結果示意圖。如圖所示：為了驗證本方法之效度，係 從新竹科學園區之一家半導體公司取得缺陷影像進行分析。並且將其資料分為兩個資料集，如表4所示，其中一個用來訓練規則，另一個測試其規則是否可行，透過使用真實資料 以驗證本發明所提之方法是否有效。
表4
兩階段參數設定方式如下表5：
表5
如第５圖所示，其為第一階段偵測失敗後到第二階段偵測之結果，就第一階段偵測後結果而言，偵測正確的有MC、MT及WN，而偵測失敗的有MQ、MN及MR，然而透過第二階段偵測後，其偵測正確率即可達100%，示例如表6所示：
表6
在特徵萃取之階段，特徵值主要分為形狀與灰階像素值，像素值之部分可以直接取得，形狀則依賴偵測之結果。如下表7所示，表中為各缺陷樣型之統計量，包含平均值與標準差係數，標準差係數越小者，表示其為具有代表性之特徵值，比較適合當作分類之準則，反之則不適用。
表7
在特徵相似度比對之階段，如下表8所示，採取5個主要之特徵值，選取標準差係數小的優先。當選擇小時，其他類之正確率就會越高，但錯誤率亦會升高。反之，當選擇較大之時，正確率會降低，但既有缺陷樣型可以正確進行分類。於其中，在此之選擇為各缺陷樣型，在訓練階段時最大之值來當作門檻值，以期望既有缺陷樣型能正確進行分類。
表8
（Ａ）缺陷偵測１１：對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓，進行影像中之缺陷位置、形狀及大小之辨識，俾以定義出各式缺陷樣型，其中，該缺陷樣型包括亮白色缺陷（MC）、灰白色塊狀微小缺陷（MQ）、灰黑色塊狀微小缺陷（MN）、灰黑色條狀缺陷（MR）、黑點光暈缺陷（MT）、泡泡狀大型缺陷（WN）、假警訊（False Alarm, FA）、以及其他類（Other, OT），整理如表1所示；
表1
（Ｂ）特徵萃取與相似度衡量１２：萃取上述各式缺陷樣型之缺陷特徵，該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值，利用該缺陷特徵進行相似度比對，判斷特徵值是否符合缺陷樣型之特徵，以區隔上述定義之缺陷樣型；以及
（Ｃ）缺陷分類１３：利用分類與迴歸樹（Classification And Regression Tree, CART）演算法結合萃取出之特徵值以吉尼指標（Gini Index）建構分類規則，將缺陷影像自動分類，所得分類結果並與特徵相似度進行比較，判斷分類結果與特徵相似度比對是否一致，並區分CART演算法無法有效分類者為其他類。
上述步驟（Ａ）兩階段參數調整法為坎尼（Canny）邊緣偵測演算法，其參數設定包含高斯濾波器之標準差（σ）及雙門檻值（TLOW 、THIGH ），藉由兩階段之調整法以提高缺陷偵測之準確度。該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣，而低於TLOW 則將之去除，介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣。將其區別後，強之邊緣即為偵測後最終之邊緣，再從其附近搜尋弱之邊緣，進而將其連結起來，成為最終缺陷之輪廓。因此，本發明以參數TLOW 為第一階段設定之門檻值，其值較為寬鬆，用以偵測出較為明顯以及大範圍之缺陷樣型（MC、MT、WN）；以參數THIGH 為第二階段設定之門檻值，其值較為嚴格，用以偵測出微小之缺陷樣型（MQ、MN、MR），以及分辨假警訊（FA）之影像。並且，依照偵測失敗之設定準則如下，其中 β代表0.001：
缺陷面積/其周圍矩形面積<β，
若第二階段未能偵測出正確之缺陷樣型，表示其可能為一多重缺陷（multi-defect）之影像，則將其分類至其他類（OT）。
上述步驟（Ｂ）係定義以下10項特徵以進行分類，其中該顏色特徵係包含下述1～3項特徵，該形狀特徵係包含下述4～6項特徵，該統計特徵係包含下述7～10項特徵：
1.缺陷樣型灰階像素最大值。
2.缺陷樣型灰階像素最小值。
3.缺陷樣型灰階像素全距（最大值減最小值）。
於其中，鑑於某些特定缺陷樣型之類型，其缺陷之部分會呈現較亮白之狀態，因此取其灰階像素之最大值、最小值及全距作為分類特徵，如第２圖所示。
4.缺陷面積：灰階影像經過Canny邊緣偵測演算法二元切割後，缺陷之像素值為1，因此缺陷面積為整張影像像素值加總。
5.缺陷其周圍矩形面積：能夠包含缺陷之最小長方形面積。
6.缺陷佔其周圍矩形面積比例：能夠包含缺陷之最小長方形面積內，有多少比例為缺陷處。
於其中，上述4～6項特徵可用以區別條狀缺陷或塊狀缺陷，如第３圖所示，圖(a)中矩形內為塊狀缺陷；圖(b)中矩形內為條狀缺陷。
7.影像強化後之灰階像素最大值。
8.影像強化後之像素平均值。
9.影像強化後之像素變異數。
10.影像強化後之像素偏態係數。
於其中，本發明係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數等統計量作為特徵，經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值，該強化公式為：
其中，該係為在影像中任一組座標之灰階值，而該與則分別為影像中灰階之最大值與最小值。
並且，各統計量之計算公式如下，以代表強化後之每一點像素值，而為總像素個數：
平均值。
變異數。
偏態係數。
本發明係透過雙層分類機制以提高分類之一致性與正確率。第一層分類機制為步驟（Ｂ）以特徵值為基礎之相似度分類模式，係利用歐式距離為基礎進行特徵值相似度比對，以區分其他類型之缺陷。其具體步驟包含：
（ｂ１）收集一組訓練資料以萃取上述10項特徵，並以標準差係數為基礎，由小排到大選出每一缺陷樣型之前t名特徵，其中，該標準差係數之計算公式為：
標準差係數；
（ｂ２）將待分類影像逐一使用每一缺陷樣型之前t名特徵值進行相似度計算，取其特徵值之平均值，以各特徵值標準差係數最小為主，其計算公式為：
相似度；
其中，該係為訓練資料中缺陷樣型之第名特徵值之平均值，而該則為待分類影像之第名特徵值；以及
（ｂ３）對每一缺陷樣型定義門檻值，再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較，若相似度小於該門檻值則將之歸為該缺陷樣型，若所有缺陷樣型之相似度均高於門檻值，則歸為其他類進行人工判斷。
藉此，本發明以訓練資料中之最大之相似度值當作各缺陷樣型之門檻值設定。另外，由於係逐一比對，因此同一影像有可能會被歸類為不同之缺陷樣型。
第二層分類機制為步驟（Ｃ）使用資料驅動之CART演算法，以10項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則，每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率，如第４圖所示，每一分割節點以及分割門檻值均係透過CART演算法自動產生，同時每一缺陷樣型只會對應到一分類規則，建立此分類規則之後，待分類影像便能易於歸類到其中一類缺陷樣型。
本發明以上述說明之雙層分類機制為基礎決定最後之影像歸類，最終分類之結果會與特徵相似度比對之結果比對，共有下列三種可能情況，其示例如表2所示：
(1)特徵相似度比對結果中無法歸類到任何一類，故歸類至其他類進行人工檢視；
(2)分類樹結果之缺陷樣型不包含於特徵相似度比對結果之缺陷樣型中，故歸類至其他類進行人工檢視；以及
(3)分類樹結果之缺陷樣型包含於特徵相似度比對結果之缺陷樣型中，故歸類至分類樹結果之缺陷樣型。
表2
驗證之指標有整體正確率、樣型檢出率及假警訊率，其計算方式如下，示例如表3所示，以MC、MQ為例：
整體正確率= 。
MC樣型檢出率=。
MC假警訊率=。
表3
如是，藉由上述揭露之流程構成一全新之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法。
當運用時，於一具體實施中，如第１圖所示，在影像擷取步驟s100，針對每張缺陷影像進行影像資料預處理以提升分類成效，包含影像區隔、影像強化等，其中影像周圍有白色區域，係不屬於分析之範圍。在缺陷偵測步驟s101，利用兩階段之Canny邊緣偵測演算法偵測缺陷，其主要係邊緣偵測之一種，偵測缺陷之輪廓，包含進行影像中之缺陷位置、形狀及大小之辨識，以定義出各式缺陷樣型。在缺陷偵測判斷步驟s102，會判斷缺陷是否偵測出來，若判斷結果為否，則表示偵測出來後為全黑影像，係為一假警訊之影像，於是進入假警訊步驟s103；若判斷結果為是，則表示有偵測出微小之缺陷，並且進入判斷缺陷是否偵測正確步驟s104。在該缺陷是否偵測正確步驟s104中，若判斷結果為是，表示有偵測正確，於是進入特徵萃取步驟s105；反之，若判斷結果為否，則表示缺陷面積佔其周圍矩形面積過小（0.001），有可能為多重缺陷，並且進入判斷參數是否調整過步驟s106。該參數是否調整過步驟s106中，若判斷結果為是，將其分類至其他步驟s107；反之，若判斷結果為否，則進入調整參數步驟s108，然後再次回到該缺陷偵測步驟s101重新偵測。而在該特徵萃取步驟s105中，係進行萃取包含顏色特徵、形狀特徵與統計特徵等各式不同之特徵值，並進入特徵相似度比對步驟s109中，利用特徵進行比對後，再進入判斷特徵值是否符合步驟s110。在該特徵值是否符合步驟s110中，若判斷結果為否，則表示該些特徵值不符合既有缺陷樣型之特徵，判斷為其他類，將其分類至該其他步驟s107；若判斷結果為是，則進入缺陷分類步驟s111，利用CART演算法結合萃取出之特徵值以Gini指標建構分類規則。最後，進行特徵相似度與分類結果比較步驟s112，判斷分類結果與特徵相似度比對結果是否一致，若判斷結果為否，則表示不一致，影像判斷為其他類，將其分類至其他步驟；若判斷結果為是，則進入結果步驟s113，表示分類結果與特徵相似度比對結果相符合，完成本案自動化缺陷偵測與分類之流程。
請參閱『第５圖』所示，係本發明之缺陷偵測結果示意圖。如圖所示：為了驗證本方法之效度，係 從新竹科學園區之一家半導體公司取得缺陷影像進行分析。並且將其資料分為兩個資料集，如表4所示，其中一個用來訓練規則，另一個測試其規則是否可行，透過使用真實資料 以驗證本發明所提之方法是否有效。
表4
兩階段參數設定方式如下表5：
表5
如第５圖所示，其為第一階段偵測失敗後到第二階段偵測之結果，就第一階段偵測後結果而言，偵測正確的有MC、MT及WN，而偵測失敗的有MQ、MN及MR，然而透過第二階段偵測後，其偵測正確率即可達100%，示例如表6所示：
表6
在特徵萃取之階段，特徵值主要分為形狀與灰階像素值，像素值之部分可以直接取得，形狀則依賴偵測之結果。如下表7所示，表中為各缺陷樣型之統計量，包含平均值與標準差係數，標準差係數越小者，表示其為具有代表性之特徵值，比較適合當作分類之準則，反之則不適用。
表7
在特徵相似度比對之階段，如下表8所示，採取5個主要之特徵值，選取標準差係數小的優先。當選擇小時，其他類之正確率就會越高，但錯誤率亦會升高。反之，當選擇較大之時，正確率會降低，但既有缺陷樣型可以正確進行分類。於其中，在此之選擇為各缺陷樣型，在訓練階段時最大之值來當作門檻值，以期望既有缺陷樣型能正確進行分類。
表8
在缺陷分類之階段，請同時參閱第４圖，並如下表9所示，可以看出較具代表性之特徵值為：缺陷佔其周圍矩形面積比例、像素最大值、像素最小值、影像強化後之像素最大值、及影像強化後之像素平均值。訓練之結果總體正確率達95%。
表9
利用另外一組資料來驗證規則之正確性。如表10所示，整體正確率達94%。由結果來看，MT正確率最低、WN次之，MC、MQ、MR及MN皆達到90%以上。假警訊偵測之正確率為78%，其主要受到光源及參數設定之影響。
表10
本發明所提整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，係一自動化缺陷偵測與分類系統，透過三個階段：缺陷偵測、特徵萃取與相似度衡量、及缺陷分類，針對AOI偵測後之灰階缺陷影像依照使用者定義進行自動化地分析及分類，主要係針對有效區（Sensing）做分類，首先利用影像分析之概念（Canny）進行缺陷偵測（邊緣偵測），於擷取出其缺陷後，再萃取出與缺陷相關之各式不同之特徵值，透過特徵值相似度比對以區隔使用者定義之缺陷樣型，最後以分類與迴歸樹（CART）建構分類規則，將缺陷影像自動分類，並且透過前述特徵值相似度比對區分CART無法有效分類之其他類，分類完後及時回饋缺陷樣型之資訊以排除製程缺陷來降低缺陷率；藉此，不僅減低用人眼辨識之依賴性，更可以有效提升缺陷影像分類之效能與效率，包含提高一致性與正確性（整體正確率達94%）以及結果之可靠性，進而達到良率提升之效果。
綜上所述，本發明係一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，可有效改善習用之種種缺點，不僅減低用人眼辨識之依賴性，更可以有效提升缺陷影像分類之效能與效率，包含提高一致性與正確性以及結果之可靠性，以達到良率提升之效果，進而使本發明之産生能更進步、更實用、更符合使用者之所須，確已符合發明專利申請之要件，爰依法提出專利申請。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。
11‧‧‧步驟(A)缺陷偵測
12‧‧‧步驟(B)特徵萃取與相似度衡量
13‧‧‧步驟(C)缺陷分類
s100~s113‧‧‧步驟
Claims (9)
- 一種整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其至少包含下列步驟：
（Ａ）缺陷偵測：對每張缺陷影像利用兩階段參數調整法偵測缺陷之輪廓，進行影像中之缺陷位置、形狀及大小之辨識，俾以定義出各式缺陷樣型，其中，該缺陷樣型包括亮白色缺陷（MC）、灰白色塊狀微小缺陷（MQ）、灰黑色塊狀微小缺陷（MN）、灰黑色條狀缺陷（MR）、黑點光暈缺陷（MT）、泡泡狀大型缺陷（WN）、假警訊（False Alarm, FA）、以及其他類（Other, OT）；
（Ｂ）特徵萃取與相似度衡量：萃取上述各式缺陷樣型之缺陷特徵，該缺陷特徵包含顏色特徵、形狀特徵與統計特徵之特徵值，利用該缺陷特徵進行相似度比對，判斷特徵值是否符合缺陷樣型之特徵，以區隔上述定義之缺陷樣型；以及
（Ｃ）缺陷分類：利用分類與迴歸樹（Classification And Regression Tree, CART）演算法結合萃取出之特徵值以吉尼指標（Gini Index）建構分類規則，將缺陷影像自動分類，所得分類結果並與特徵相似度進行比較，判斷分類結果與特徵相似度比對是否一致，並區分CART演算法無法有效分類者為其他類。 - 依申請專利範圍第１項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該步驟（Ａ）兩階段參數調整法為坎尼（Canny）邊緣偵測演算法，其參數設定包含高斯濾波器之標準差（σ）及雙門檻值（TLOW 、THIGH ），其中參數TLOW 為第一階段設定之門檻值，用以偵測出較為明顯以及大範圍之缺陷樣型（MC、MT、WN），而參數THIGH 為第二階段設定之門檻值，用以偵測出微小之缺陷樣型（MQ、MN、MR），以及分辨假警訊（FA）之影像；並且，若第二階段未能偵測出正確之缺陷樣型，即缺陷面積佔其周圍矩形面積小於0.001時，表示其可能為一多重缺陷（multi-defect）之影像，則將其分類至其他類（OT）。
- 依申請專利範圍第２項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該Canny邊緣偵測演算法係將值高於THIGH 判斷為強之邊緣，而低於TLOW 則將之去除，介於THIGH 與TLOW 兩者中間則判斷為弱之邊緣，並以強之邊緣為偵測後最終之邊緣，再從其附近搜尋弱之邊緣，進而將其連結起來，成為最終缺陷之輪廓。
- 依申請專利範圍第１項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該步驟（Ｂ）顏色特徵係包含缺陷樣型灰階像素最大值、缺陷樣型灰階像素最小值、及缺陷樣型灰階像素全距，用以取其灰階像素之最大值、最小值及全距作為分類特徵。
- 依申請專利範圍第１項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該步驟（Ｂ）形狀特徵係包含缺陷面積、缺陷其周圍矩形面積、及缺陷佔其周圍矩形面積比例，用以區別為條狀缺陷或塊狀缺陷之特徵。
- 依申請專利範圍第１項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該步驟（Ｂ）統計特徵係包含影像強化後之灰階像素最大值、影像強化後之像素平均值、影像強化後之像素變異數、及影像強化後之像素偏態係數，係使用強化公式將原始灰階影像進行強化後再計算像素之最大值、平均值、變異數以及偏態係數之統計量作為特徵，經由拉大缺陷影像之像素範圍以突顯影像中之缺陷之像素值，該強化公式為：
；
其中，該係為在影像中任一組座標之灰階值；以及該與分別為影像中灰階之最大值與最小值。 - 依申請專利範圍第６項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該平均值、變異數以及偏態係數之統計量之計算公式為：
平均值；
變異數；
偏態係數；
其中，該為強化後之每一點像素值；以及該為總像素個數。 - 依申請專利範圍第１項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該步驟（Ｂ）利用該缺陷特徵進行相似度比對，係以特徵值為基礎之相似度分類模式，其步驟包含：
（ｂ１）收集一組訓練資料以萃取多項特徵，並以標準差係數為基礎，由小排到大選出每一缺陷樣型之前t名特徵值，該標準差係數之計算公式為：
標準差係數；
相似度；
其中，該係為訓練資料中缺陷樣型之第名特徵值之平均值，而該則為待分類影像之第名特徵值；以及
（ｂ３）對每一缺陷樣型定義門檻值，再與上述計算每一缺陷影像與每一缺陷樣型所得之相似度做比較，若相似度小於該門檻值則將之歸為該缺陷樣型，若所有缺陷樣型之相似度均高於門檻值，則歸為其他類進行人工判斷。 - 依申請專利範圍第１項所述之整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法，其中，該步驟（Ｃ）係以多項萃取特徵與訓練資料集中之影像資料進行遞迴分割以產生每一缺陷樣型之分類規則，每一次進行分割之準則在於最大化單一缺陷樣型之準確率以及分割節點之正確率，每一分割節點以及分割門檻值均係透過CART演算法自動產生，同時每一缺陷樣型只會對應到一分類規則，建立此分類規則之後，待分類影像便能歸類到其中一類缺陷樣型。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102136422A TWI525317B (zh) | 2013-10-08 | 2013-10-08 | 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 |
| US14/154,432 US9082009B2 (en) | 2013-10-08 | 2014-01-14 | Method of defect image classification through integrating image analysis and data mining |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102136422A TWI525317B (zh) | 2013-10-08 | 2013-10-08 | 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201514472A TW201514472A (zh) | 2015-04-16 |
| TWI525317B true TWI525317B (zh) | 2016-03-11 |
Family
ID=52777006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102136422A TWI525317B (zh) | 2013-10-08 | 2013-10-08 | 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9082009B2 (zh) |
| TW (1) | TWI525317B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10636133B2 (en) | 2017-10-27 | 2020-04-28 | Industrial Technology Research Institute | Automated optical inspection (AOI) image classification method, system and computer-readable media |
| TWI714923B (zh) * | 2018-12-06 | 2021-01-01 | 住華科技股份有限公司 | 自動光學檢測方法及應用其之自動光學檢測系統 |
| CN112232213A (zh) * | 2020-01-21 | 2021-01-15 | 神盾股份有限公司 | 屏下指纹识别防伪方法与系统 |
| US11315231B2 (en) | 2018-06-08 | 2022-04-26 | Industrial Technology Research Institute | Industrial image inspection method and system and computer readable recording medium |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG11201405180SA (en) | 2012-03-01 | 2014-09-26 | Sys Tech Solutions Inc | Unique identification information from marked features |
| US20150379321A1 (en) | 2012-03-01 | 2015-12-31 | Sys-Tech Solutions, Inc. | Methods and a system for verifying the authenticity of a mark |
| US20150169928A1 (en) * | 2012-03-01 | 2015-06-18 | Sys-Tech Solutions, Inc. | Methods and a system for verifying the identity of a printed item |
| US9940572B2 (en) | 2015-02-17 | 2018-04-10 | Sys-Tech Solutions, Inc. | Methods and a computing device for determining whether a mark is genuine |
| AU2016278954B2 (en) | 2015-06-16 | 2018-05-24 | Sys-Tech Solutions, Inc. | Methods and a computing device for determining whether a mark is genuine |
| TWI603074B (zh) * | 2015-07-03 | 2017-10-21 | 元智大學 | 光學薄膜缺陷辨識方法及其系統 |
| US10436720B2 (en) * | 2015-09-18 | 2019-10-08 | KLA-Tenfor Corp. | Adaptive automatic defect classification |
| CN105931191B (zh) * | 2015-12-21 | 2019-05-03 | 南京邮电大学 | 基于凹凸混合正则先验的图像盲去卷积方法 |
| EP4057206B1 (en) | 2016-03-14 | 2024-08-21 | Sys-Tech Solutions, Inc. | Methods and a computing device for determining whether a mark is genuine |
| US10769769B2 (en) * | 2016-07-01 | 2020-09-08 | Kla-Tencor Corporation | Dual mode inspector |
| US10031087B2 (en) | 2016-09-22 | 2018-07-24 | SSAB Enterprises, LLC | Methods and systems for the quantitative measurement of internal defects in as-cast steel products |
| TWI752100B (zh) * | 2016-10-17 | 2022-01-11 | 美商克萊譚克公司 | 用於訓練檢查相關演算法之系統、非暫時性電腦可讀媒體及電腦實施方法 |
| US10267748B2 (en) * | 2016-10-17 | 2019-04-23 | Kla-Tencor Corp. | Optimizing training sets used for setting up inspection-related algorithms |
| WO2018229709A1 (en) * | 2017-06-14 | 2018-12-20 | Camtek Ltd. | Automatic defect classification |
| CN108181315B (zh) * | 2017-11-25 | 2021-02-02 | 天津大学 | 一种基于图像处理的饼干损伤检测装置及检测方法 |
| US10681344B2 (en) * | 2017-12-15 | 2020-06-09 | Samsung Display Co., Ltd. | System and method for mura detection on a display |
| US10853937B2 (en) * | 2018-02-05 | 2020-12-01 | Nec Corporation | Unsupervised image-based anomaly detection using multi-scale context-dependent deep autoencoding gaussian mixture model |
| CN109685760B (zh) * | 2018-11-05 | 2022-05-20 | 华中科技大学 | 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法 |
| CN109635856A (zh) * | 2018-11-29 | 2019-04-16 | 上海集成电路研发中心有限公司 | 一种产线缺陷图像智能分类系统及分类方法 |
| TWI693386B (zh) * | 2019-05-09 | 2020-05-11 | 聯策科技股份有限公司 | 取像參數最佳化調整系統與方法 |
| CN110349145B (zh) * | 2019-07-09 | 2022-08-16 | 京东方科技集团股份有限公司 | 缺陷检测方法、装置、电子设备以及存储介质 |
| WO2021010269A1 (ja) * | 2019-07-18 | 2021-01-21 | 三菱電機株式会社 | 検査装置、検査方法及びプログラム |
| WO2021168733A1 (zh) * | 2020-02-27 | 2021-09-02 | 京东方科技集团股份有限公司 | 缺陷图像的缺陷检测方法、装置及计算机可读存储介质 |
| CN111337512B (zh) * | 2020-05-22 | 2020-09-08 | 深圳新视智科技术有限公司 | 用于aoi缺陷检测的缺陷提取方法 |
| US11373294B2 (en) | 2020-09-28 | 2022-06-28 | Ricoh Company, Ltd. | Print defect detection mechanism |
| TWI798650B (zh) * | 2021-02-25 | 2023-04-11 | 環球晶圓股份有限公司 | 自動光學檢測方法、自動光學檢測系統及記錄媒體 |
| TWI788822B (zh) * | 2021-04-16 | 2023-01-01 | 中強光電股份有限公司 | 檢查顯示器的顯示區域的瑕疵的電子裝置和方法 |
| CN113033110B (zh) * | 2021-05-27 | 2021-10-29 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种基于交通流模型的重点区域人员应急疏散系统及方法 |
| CN113096130B (zh) * | 2021-06-09 | 2021-09-14 | 常州微亿智造科技有限公司 | 物件缺陷的检测方法、装置 |
| CN113285845B (zh) * | 2021-07-23 | 2022-01-14 | 灵长智能科技(杭州)有限公司 | 基于改进cart决策树的数据传输方法、系统和设备 |
| TWI797767B (zh) * | 2021-10-06 | 2023-04-01 | 中原大學 | 基於評估腦中風之血管造影方法及血管造影裝置 |
| CN114092462B (zh) * | 2021-11-29 | 2025-02-07 | 广东工业大学 | 基于语义分割和目标检测融合模型的复合缺陷检测方法 |
| JP2025500915A (ja) * | 2021-12-16 | 2025-01-15 | ジェイド バード ディスプレイ（シャンハイ） リミテッド | 欠陥レベル分類モデルを構築するためのシステム |
| CN114757900B (zh) * | 2022-03-31 | 2023-04-07 | 绍兴柯桥奇诺家纺用品有限公司 | 基于人工智能的纺织品缺陷类型识别方法 |
| CN116413283A (zh) * | 2022-07-28 | 2023-07-11 | 大鱼视觉技术(河南)有限公司 | 基于机器视觉检测背光屏幕表面瑕疵的方法 |
| TWI834284B (zh) * | 2022-09-08 | 2024-03-01 | 友達光電股份有限公司 | 影像異常檢測系統及影像異常檢測方法 |
| CN116630332B (zh) * | 2023-07-26 | 2023-09-26 | 山东华航高分子材料有限公司 | 一种基于图像处理的pvc塑料管口缺陷检测方法 |
| CN116958136B (zh) * | 2023-09-19 | 2024-01-30 | 惠州市金箭精密部件有限公司 | 基于图像处理的丝杆螺纹生产缺陷检测方法 |
| CN117274241B (zh) * | 2023-11-17 | 2024-02-09 | 四川赢信汇通实业有限公司 | 一种基于快速图像分析的制动鼓表面损坏检测方法及装置 |
| CN117689659B (zh) * | 2024-02-02 | 2024-04-19 | 深圳市未尔科技有限公司 | 一种基于平板电子产品的生产质量监控方法 |
| CN120070439B (zh) * | 2025-04-28 | 2025-07-11 | 柞水县宝华矿业有限公司 | 一种雷蒙磨机磨辊磨损度检测方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7107158B2 (en) * | 2003-02-03 | 2006-09-12 | Qcept Technologies, Inc. | Inspection system and apparatus |
| US7308367B2 (en) * | 2003-02-03 | 2007-12-11 | Qcept Technologies, Inc. | Wafer inspection system |
-
2013
- 2013-10-08 TW TW102136422A patent/TWI525317B/zh not_active IP Right Cessation
-
2014
- 2014-01-14 US US14/154,432 patent/US9082009B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10636133B2 (en) | 2017-10-27 | 2020-04-28 | Industrial Technology Research Institute | Automated optical inspection (AOI) image classification method, system and computer-readable media |
| US11315231B2 (en) | 2018-06-08 | 2022-04-26 | Industrial Technology Research Institute | Industrial image inspection method and system and computer readable recording medium |
| TWI714923B (zh) * | 2018-12-06 | 2021-01-01 | 住華科技股份有限公司 | 自動光學檢測方法及應用其之自動光學檢測系統 |
| CN112232213A (zh) * | 2020-01-21 | 2021-01-15 | 神盾股份有限公司 | 屏下指纹识别防伪方法与系统 |
| TWI732698B (zh) * | 2020-01-21 | 2021-07-01 | 神盾股份有限公司 | 屏下指紋辨識防偽方法與系統 |
| US11410412B2 (en) | 2020-01-21 | 2022-08-09 | Egis Technology Inc. | Anti-counterfeiting method and system for under-screen fingerprint identification |
| CN112232213B (zh) * | 2020-01-21 | 2024-02-27 | 神盾股份有限公司 | 屏下指纹识别防伪方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150098655A1 (en) | 2015-04-09 |
| TW201514472A (zh) | 2015-04-16 |
| US9082009B2 (en) | 2015-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI525317B (zh) | 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法 | |
| CN110570410B (zh) | 一种自动识别检测焊缝缺陷的检测方法 | |
| CN101915769B (zh) | 一种印刷电路板中带电阻元件的自动光学检测方法 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| KR102058427B1 (ko) | 검사 장치 및 방법 | |
| CN103871053B (zh) | 一种基于视觉显著性的布匹瑕疵检测方法 | |
| CN105389593B (zh) | 基于surf特征的图像物体识别方法 | |
| CN116188475A (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
| CN110991657A (zh) | 一种基于机器学习的异常样本检测方法 | |
| TWI765442B (zh) | 瑕疵等級判定的方法及存儲介質 | |
| CN114897869B (zh) | 基于工业缺陷检测的分割模型评价方法 | |
| CN115601332A (zh) | 一种基于语义分割的嵌入式指纹模块外观检测方法 | |
| CN115546211B (zh) | 一种焊点缺陷分类方法、终端及计算机存储介质 | |
| CN118334398A (zh) | 一种改进YOLOv5s的PCB缺陷检测方法 | |
| CN118941558B (zh) | 用于新能源汽车制造的视觉检测系统及方法 | |
| CN114202544B (zh) | 一种基于自编码器的复杂工件缺陷检测方法 | |
| CN119831992A (zh) | 一种自迭代的膜电极组件缺陷检测方法、装置和设备 | |
| CN117216682B (zh) | 一种感知数据的处理方法、装置、电子设备及存储介质 | |
| CN107122783B (zh) | 一种基于角点检测的装配连接件快速识别方法 | |
| CN117237280B (zh) | 缺陷图像标注方法、装置、计算机设备和存储介质 | |
| CN109376619B (zh) | 一种细胞检测方法 | |
| CN117893495A (zh) | 一种基于机器视觉的汽车保险丝盒装配的检测方法 | |
| US12354255B2 (en) | Image defect detecting system, generation method of image defect detecting system and non-transitory computer readable medium | |
| CN118014929A (zh) | 刀痕检测方法及装置、存储介质及电子设备 | |
| CN109785292B (zh) | 一种基于机器视觉的芯线顺序判别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |