KR20240077302A

KR20240077302A - 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법

Info

Publication number: KR20240077302A
Application number: KR1020220159696A
Authority: KR
Inventors: 김종덕; 김동현; 이승호; 이창홍; 이재민
Original assignee: 부산대학교 산학협력단
Priority date: 2022-11-24
Filing date: 2022-11-24
Publication date: 2024-05-31
Also published as: US20240177297A1

Abstract

본 발명은 정상 이미지를 이미지의 흠집을 제거하는 모델을 학습할 때 사용하고, 이후 모델이 판단한 이미지 중 불량 이미지를 선별하여 온라인 러닝으로 학습 성능을 보완하여 검사 정확도를 높인 심층 학습 기반의 표면 검사를 이용한 데코 프레임 불량 탐지를 위한 장치 및 방법에 관한 것으로, 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가, 정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습부;불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습부;를 포함하는 것이다.

Description

심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법{Apparatus and Method for Detecting Defect Using Deep Learning-based Surface Inspection}

본 발명은 심층 학습 기반의 표면 검사에 관한 것으로, 구체적으로 정상 이미지를 이미지의 흠집을 제거하는 모델을 학습할 때 사용하고, 이후 모델이 판단한 이미지 중 불량 이미지를 선별하여 온라인 러닝으로 학습 성능을 보완하여 검사 정확도를 높인 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법에 관한 것이다.

일반적으로 제품 생산 라인에서는 다양한 형태의 불량 검사가 진행된다.

하나의 제품을 생산하기 위한 제품 생산 라인에는 사출 공정, 판형 공정, 서브 조립 공정, 총조 공정 등 다수의 공정이 포함되어 있고, 각 공정에서의 결과물, 예컨대, 사출이나 판형을 통해 제조된 부품, 부품의 조립 공정을 통해 생산된 서브 부품, 그리고 총조 공정을 통해 생산되는 제품, 각각에 대해 비전 검사가 진행된다.

그런데 각 공정에 따라 결과물이 달라 학습 데이터로 사용될 이미지의 형태가 다르고, 동일한 불량 유형이라도 결과물에 따라 불량의 형태가 다를 수 있고 그 배경이 되는 결과물 자체도 달라 결과적으로 이미지의 형태가 다르게 되는 바, 이론적으로 각 공정의 결과물과 불량의 유형에 따라 각각의 학습 모델을 생성하여 적용하여야 한다.

도 1은 일반적인 데코 프레임의 구조를 나타낸 구성도이다.

한편, 데코 프레임은 세탁기의 원통 내부에 부착 되어 세탁물을 고루 섞이게 하는 역할을 한다. 이 제품은 프레스 장비가 소재에 압력을 가하여 생산하는 제품이다. 따라서, 프레스 장비에서 발생하는 불량 제품들을 생산할 수도 있다.

도 2는 데코프레임 생산 공정 순서를 나타낸 구성도이다.

데코 프레임의 제작은 2번의 프레스 공정으로 이루어진다.

제 1공정은 드로잉(Drawing), 트리밍(Trimming) 그리고 피어싱(Peircing)으로 구성한다. 제 2공정은 접합부를 구부리는 벤딩(Bending)이다.

도 3은 데코프레임 생산 공정 진행시의 표면 검사 대상 항목을 나타낸 구성도이다.

제품을 생산할 때 발생하는 불량들은 도 3에서와 같다.

프레스 제 1공정에서는 버(Burr), 네킹(Necking), 슬리브(Sleeve) 그리고 터짐 등의 불량이 발생한다. 프레스 2공정에서는 찍힘(Chip)과 휨(Hook)의 불량이 발생한다.

공정에서 발생하는 제품의 불량율은 약 2.65%이다. 특히 찍힘은 전체 불량 공정의 71%의 비율에 해당하는 1.89%를 차치한다. 제품 표면에서 발생하는 불량들은 표면 검사를 통해 검출하며 이에 해당하는 불량 유형들은 네킹, 슬리브, 터짐 그리고 찍힘이다.

도 4는 조명에 의한 표면 검사와 속성을 나타낸 구성도이다.

컴퓨터 비전 기반의 표면 검사는 반사도(Reflectivity), 거?s 정도(Roughness) 그리고 기울기(Inclination)을 관찰한다. 현재 구축한 시스템은 표면 검사에서 기울기를 관찰하여 데코 프레임 제품의 불량을 결정한다

도 5는 표면 검사 샘플의 일 예를 나타낸 구성도이다.

이와 같은 데코 프레임의 생산시에 스마트 팩토리 내 컴퓨터 비전 기반의 불량 탐지 모델을 학습할 때, 정상 데이터에 비해 매우 적은 양의 불량 데이터는 학습 성능 향상에 큰 제약 사항 중 하나이다.

이와 같이, 학습 데이터의 양, 특히 불량 데이터의 양이 상대적으로 적을 수 밖에 없고, 적은 양의 학습 데이터로 학습되어 생성되는 신규 학습 모델의 판정 정확도는 낮을 수 밖에 없다.

특히, 지도 학습 기반의 불량 탐지 모델은 매우 적은 수의 불량 데이터를 수집하는데 많은 시간이 소요되고, 비지도 학습 기반의 불량 탐지 모델은 학습 데이터 확보에 어려움을 해소하였으나 지도 학습에 비해 성능을 보장하기 어렵다.

따라서, 이와 같은 학습 데이터 확보의 어려움을 해소하고 학습 성능을 보완하여 검사 정확도를 높이기 위한 새로운 기술의 개발이 요구되고 있다.

대한민국 등록특허 제10-1782363호 대한민국 공개특허 제10-2022-0050083호 대한민국 공개특허 제10-2021-0050168호

본 발명은 종래 기술의 제품 표면 검사 기술의 문제점을 해결하기 위한 것으로, 정상 이미지를 이미지의 흠집을 제거하는 모델을 학습할 때 사용하고, 이후 모델이 판단한 이미지 중 불량 이미지를 선별하여 온라인 러닝으로 학습 성능을 보완하여 검사 정확도를 높인 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 비지도 학습을 통해 불량 탐지 모델을 일정 수준 이상의 성능 확보를 수행하고, 지도 학습 기반의 온라인 러닝으로 모델의 성능을 보완하여 비지도 학습과 지도 학습의 효과를 모두 활용할 수 있도록 한 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 제품 불량을 판단하기 위하여 표면 검사 이미지를 흠집을 제거한 뒤 원본 및 복원 이미지를 비교하고, 원본과 복원 이미지의 차이가 클 경우 제품에 불량이 있는 것으로 판단하고, 반대의 경우 정상으로 판단하여 검사 정확도를 높인 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 비지도 학습과 지도 학습의 효과를 모두 활용하여 처음보는 유형의 불량까지도 정확하게 탐지할 수 있어 표면 이상 검사를 실시하는 모든 제조 공정에 범용적으로 적용할 수 있도록 한 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가, 정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습부;불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습부;를 포함하는 것을 특징으로 한다.

여기서, 정상 이미지 기반 비지도 학습부는, 정상 제품 이미지에 노이즈를 삽입하여 불량 제품 이미지로 생성하는 이상 데이터 생성부와, 불량 제품 이미지를 정상 제품 이미지로 변환하는 재구성 네트워크 계산부와, 합성한 불량 제품 이미지와 정상 제품 이미지와의 차이를 비교해 불량인 영역을 추출하는 구분 네트워크 계산부를 포함하는 것을 특징으로 한다.

그리고 이상 데이터 생성부는, 정상 제품 이미지가 입력되었을 때, 정상 제품 이미지의 크기와 같은 펄린 노이즈(Perlin Noise)를 생성하는 펄린 노이즈 생성부와, 임계치를 이용하여 노이즈 영역 이미지를 추출하는 노이즈 영역 이미지 추출부와, 정상 제품 이미지와 노이즈 데이터를 합성하는 데이터 합성부를 포함하는 것을 특징으로 한다.

그리고 재구성 네트워크 계산부는, 이상 데이터 생성부에서 합성한 불량 제품 이미지를 입력받아 재구성 네트워크 계산을 통하여 불량 제품 이미지와 같은 크기의 흠집 제거 이미지를 출력하는 흠집 제거 이미지 생성부와, 흠집 제거 이미지와 정상 제품 이미지의 차이를 계산하는 이미지 차이 계산부와, 흠집 제거 이미지와 불량 이미지 연결을 하는 이미지 연결부를 포함하는 것을 특징으로 한다.

그리고 구분 네트워크 계산부는, 연결된 불량 제품 이미지와 정상 제품 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성부와, 흠집 영역 이미지와 노이즈 영역 이미지와의 차이를 계산하는 이미지 차이 계산부와, 재구성 네트워크와 구분 네트워크에서 계산한 차이를 이용하여 각각 재구성 네트워크와 구분 네트워크의 가중치를 수정하는 가중치 수정부를 포함하는 것을 특징으로 한다.

그리고 불량 이미지 기반 온라인 지도 학습부는, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크 계산부와, 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출을 하는 구분 네트워크 계산부와, 흠집 영역 이미지의 불량 여부를 계산하고, 임계치를 기준으로 불량 제품의 탐지 및 학습을 하여 흠집 영역 이미지는 이진화 작업을 수행하고 이진화 이미지와 흠집 영역의 이미지의 차이를 계산하여 구분 네트워크의 가중치를 수정하는 불량 제품 탐지 및 학습부를 포함하는 것을 특징으로 한다.

그리고 재구성 네트워크 계산부는, 검수 대상 이미지를 입력받아 흠집 제거 이미지를 생성하는 흠집 제거 이미지 생성부와, 검수 대상 이미지와 흠집 제거 이미지를 연결하는 이미지 연결부를 포함하는 것을 특징으로 한다.

그리고 구분 네트워크 계산부는, 연결된 검수 대상 이미지와 흠집 제거 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성부와, 흠집 영역 이미지의 불량 여부를 계산하는 불량 여부 계산부를 포함하는 것을 특징으로 한다.

그리고 불량 제품 탐지 및 학습부는, 불량 제품의 탐지 및 학습을 하여 임계치를 기준으로 흠집 영역 이미지의 이진화 작업을 수행하는 이미지 이진화부와, 이진화 이미지와 흠집 영역 이미지의 차이를 계산하는 이미지 차이 계산부와, 계산된 이진화 이미지와 흠집 영역의 이미지의 차이를 기준으로 구분 네트워크의 가중치를 수정하는 가중치 수정부를 포함하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법은 적어도 하나의 프로세서를 포함하는 전자 장치에서 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 동작이 수행되고, 정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습 단계;불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습 단계;를 포함하는 것을 특징으로 한다.

여기서, 정상 이미지 기반 비지도 학습 단계는, 정상 제품 이미지에 노이즈를 삽입하여 불량 제품 이미지로 생성하는 이상 데이터 생성 단계와, 불량 제품 이미지를 정상 제품 이미지로 변환하는 재구성 네트워크 계산 단계와, 합성한 불량 제품 이미지와 정상 제품 이미지와의 차이를 비교해 불량인 영역을 추출하는 구분 네트워크 계산 단계를 포함하는 것을 특징으로 한다.

그리고 이상 데이터 생성 단계는, 정상 제품 이미지가 입력되었을 때, 정상 제품 이미지의 크기와 같은 펄린 노이즈(Perlin Noise)를 생성하는 펄린 노이즈 생성 단계와, 임계치를 이용하여 노이즈 영역 이미지를 추출하는 노이즈 영역 이미지 추출 단계와, 정상 제품 이미지와 노이즈 데이터를 합성하는 데이터 합성 단계를 포함하는 것을 특징으로 한다.

그리고 재구성 네트워크 계산 단계는, 이상 데이터 생성 단계에서 합성한 불량 제품 이미지를 입력받아 재구성 네트워크 계산을 통하여 불량 제품 이미지와 같은 크기의 흠집 제거 이미지를 출력하는 흠집 제거 이미지 생성 단계와, 흠집 제거 이미지와 정상 제품 이미지의 차이를 계산하는 이미지 차이 계산 단계와, 흠집 제거 이미지와 불량 이미지 연결을 하는 이미지 연결 단계를 포함하는 것을 특징으로 한다.

그리고 구분 네트워크 계산 단계는, 연결된 불량 제품 이미지와 정상 제품 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성 단계와, 흠집 영역 이미지와 노이즈 영역 이미지와의 차이를 계산하는 이미지 차이 계산 단계와, 재구성 네트워크와 구분 네트워크에서 계산한 차이를 이용하여 각각 재구성 네트워크와 구분 네트워크의 가중치를 수정하는 가중치 수정 단계를 포함하는 것을 특징으로 한다.

그리고 불량 이미지 기반 온라인 지도 학습 단계는, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크 계산 단계와, 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출을 하는 구분 네트워크 계산 단계와, 흠집 영역 이미지의 불량 여부를 계산하고, 임계치를 기준으로 불량 제품의 탐지 및 학습을 하여 흠집 영역 이미지의 이진화 작업을 수행하고 이진화 이미지와 흠집 영역의 이미지의 차이를 계산하여 구분 네트워크의 가중치를 수정하는 불량 제품 탐지 및 학습 단계를 포함하는 것을 특징으로 한다.

그리고 재구성 네트워크 계산 단계는, 검수 대상 이미지를 입력받아 흠집 제거 이미지를 생성하는 흠집 제거 이미지 생성 단계와, 검수 대상 이미지와 흠집 제거 이미지를 연결하는 이미지 연결 단계를 포함하는 것을 특징으로 한다.

그리고 구분 네트워크 계산 단계는, 연결된 검수 대상 이미지와 흠집 제거 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성 단계와, 흠집 영역 이미지의 불량 여부를 계산하는 불량 여부 계산 단계를 포함하는 것을 특징으로 한다.

그리고 불량 제품 탐지 및 학습 단계는, 불량 제품의 탐지 및 학습을 하여 임계치를 기준으로 흠집 영역 이미지의 이진화 작업을 수행하는 이미지 이진화 단계와, 이진화 이미지와 흠집 영역 이미지의 차이를 계산하는 이미지 차이 계산 단계와, 계산된 이진화 이미지와 흠집 영역의 이미지의 차이를 기준으로 구분 네트워크의 가중치를 수정하는 가중치 수정 단계를 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 정상 이미지를 이미지의 흠집을 제거하는 모델을 학습할 때 사용하고, 이후 모델이 판단한 이미지 중 불량 이미지를 선별하여 온라인 러닝으로 학습 성능을 보완하여 검사 정확도를 높인다.

둘째, 비지도 학습을 통해 불량 탐지 모델을 일정 수준 이상의 성능 확보를 수행하고, 지도 학습 기반의 온라인 러닝으로 모델의 성능을 보완하여 비지도 학습과 지도 학습의 효과를 모두 활용할 수 있도록 한다.

셋째, 제품 불량을 판단하기 위하여 표면 검사 이미지를 흠집을 제거한 뒤 원본 및 복원 이미지를 비교하고, 원본과 복원 이미지의 차이가 클 경우 제품에 불량이 있는 것으로 판단하고, 반대의 경우 정상으로 판단하여 검사 정확도를 높인다.

넷째, 비지도 학습과 지도 학습의 효과를 모두 활용하여 처음보는 유형의 불량까지도 정확하게 탐지할 수 있어 표면 이상 검사를 실시하는 모든 제조 공정에 범용적으로 적용할 수 있도록 한다.

도 1은 일반적인 데코 프레임의 구조를 나타낸 구성도
도 2는 데코프레임 생산 공정 순서를 나타낸 구성도
도 3은 데코프레임 생산 공정 진행시의 표면 검사 대상 항목을 나타낸 구성도
도 4는 조명에 의한 표면 검사와 속성을 나타낸 구성도
도 5는 표면 검사 샘플의 일 예를 나타낸 구성도
도 6은 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치의 구성도
도 7은 정상 이미지 기반 비지도 학습부의 상세 구성도
도 8은 이상 데이터 생성부의 상세 구성도
도 9는 재구성 네트워크 계산부의 상세 구성도
도 10은 구분 네트워크 계산부의 상세 구성도
도 11은 불량 이미지 기반 온라인 지도 학습부의 상세 구성도
도 12는 재구성 네트워크 계산부의 상세 구성도
도 13은 구분 네트워크 계산부의 상세 구성도
도 14는 불량 제품 탐지 및 학습부의 상세 구성도
도 15는 정상 이미지 기반 비지도 학습 과정을 나타낸 구성도
도 16은 정상 이미지 기반 비지도 학습 방법을 나타낸 플로우 차트
도 17은 불량 탐지 성공 케이스의 일 예를 나타낸 구성도
도 18은 불량 이미지 기반 온라인 지도 학습 과정을 나타낸 구성도
도 19는 불량 이미지 기반 온라인 지도 학습 방법을 나타낸 플로우 차트

이하, 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 6은 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치의 구성도이다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

특히, 적어도 하나의 기능이나 동작을 처리하는 단위들은 적어도 하나의 프로세서로 구현될 수 있고, 기능이나 동작을 처리하는 방식에 따라 프로세서에 적어도 하나의 전자 장치가 연결될 수 있다. 전자 장치들은 데이터 입력 장치, 데이터 출력 장치, 데이터 저장 장치를 포함할 수 있다.

본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법은 정상 이미지를 이미지의 흠집을 제거하는 모델을 학습할 때 사용하고, 이후 모델이 판단한 이미지 중 불량 이미지를 선별하여 온라인 러닝으로 학습 성능을 보완하여 검사 정확도를 높일 수 있도록 한 것이다.

이를 위하여, 본 발명은 비지도 학습을 통해 불량 탐지 모델을 일정 수준 이상의 성능 확보를 수행하고, 지도 학습 기반의 온라인 러닝으로 모델의 성능을 보완하여 비지도 학습과 지도 학습의 효과를 모두 활용할 수 있도록 하는 구성을 포함할 수 있다.

본 발명은 검사 정확도를 높이기 위하여, 제품 불량을 판단하기 위하여 표면 검사 이미지를 흠집을 제거한 뒤 원본 및 복원 이미지를 비교하고, 원본과 복원 이미지의 차이가 클 경우 제품에 불량이 있는 것으로 판단하고, 반대의 경우 정상으로 판단하는 구성을 포함할 수 있다.

본 발명은 비지도 학습과 지도 학습의 효과를 모두 활용하여 처음보는 유형의 불량까지도 정확하게 탐지할 수 있어 표면 이상 검사를 실시하는 모든 제조 공정에 범용적으로 적용할 수 있도록 하는 구성을 포함할 수 있다.

이하의 설명에서 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법이 적용되는 검사 대상 제품을 데코 프레임을 일 예로 하여 설명하였으나, 표면 검사 대상 제품이 이로 제한되지 않음은 당연하다.

본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치는 도 6에서와 같이, 정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습부(100)와, 불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습부(200)를 포함한다.

정상 이미지 기반 비지도 학습부(100)의 상세 구성은 다음과 같다.

도 7은 정상 이미지 기반 비지도 학습부의 상세 구성도이다.

정상 이미지 기반 비지도 학습부(100)는 도 7에서와 같이, 정상 제품 이미지에 노이즈를 삽입하여 불량 제품 이미지로 생성하는 이상 데이터 생성부(10)와, 불량 제품 이미지를 정상 제품 이미지로 변환하는 재구성 네트워크 계산부(20)와, 합성한 불량 제품 이미지와 정상 제품 이미지와의 차이를 비교해 불량인 영역을 추출하는 구분 네트워크 계산부(30)를 포함한다.

이상 데이터 생성부(10)의 상세 구성은 다음과 같다.

도 8은 이상 데이터 생성부의 상세 구성도이다.

이상 데이터 생성부(10)는 도 8에서와 같이, 정상 제품 이미지가 입력되었을 때, 정상 제품 이미지의 크기와 같은 펄린 노이즈(Perlin Noise)를 생성하는 펄린 노이즈 생성부(11)와, 임계치를 이용하여 노이즈 영역 이미지를 추출하는 노이즈 영역 이미지 추출부(12)와, 정상 제품 이미지와 노이즈 데이터를 합성하는 데이터 합성부(13)를 포함한다.

재구성 네트워크 계산부(20)의 상세 구성은 다음과 같다.

도 9는 재구성 네트워크 계산부의 상세 구성도이다.

재구성 네트워크 계산부(20)는 도 9에서와 같이, 이상 데이터 생성부(10)에서 합성한 불량 제품 이미지를 입력받아 재구성 네트워크 계산을 통하여 불량 제품 이미지와 같은 크기의 흠집 제거 이미지를 출력하는 흠집 제거 이미지 생성부(21)와, 흠집 제거 이미지와 정상 제품 이미지의 차이를 계산하는 이미지 차이 계산부(22)와, 흠집 제거 이미지와 불량 이미지 연결을 하는 이미지 연결부(23)를 포함한다.

구분 네트워크 계산부(30)의 상세 구성은 다음과 같다.

도 10은 구분 네트워크 계산부의 상세 구성도이다.

구분 네트워크 계산부(30)는 도 10에서와 같이, 연결된 불량 제품 이미지와 정상 제품 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성부(31)와, 흠집 영역 이미지와 노이즈 영역 이미지와의 차이를 계산하는 이미지 차이 계산부(32)와, 재구성 네트워크와 구분 네트워크에서 계산한 차이를 이용하여 각각 재구성 네트워크와 구분 네트워크의 가중치를 수정하는 가중치 수정부(33)를 포함한다.

그리고 불량 이미지 기반 온라인 지도 학습부(200)의 상세 구성은 다음과 같다.

도 11은 불량 이미지 기반 온라인 지도 학습부의 상세 구성도이다.

불량 이미지 기반 온라인 지도 학습부(200)는 도 11에서와 같이, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크 계산부(40)와, 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출을 하는 구분 네트워크 계산부(50)와, 흠집 영역 이미지의 불량 여부를 계산하고, 임계치를 기준으로 불량 제품의 탐지 및 학습을 하여 흠집 영역 이미지는 이진화 작업을 수행하고 이진화 이미지와 흠집 영역의 이미지의 차이를 계산하여 구분 네트워크의 가중치를 수정하는 불량 제품 탐지 및 학습부(60)를 포함한다.

재구성 네트워크 계산부(40)의 상세 구성은 다음과 같다.

도 12는 재구성 네트워크 계산부의 상세 구성도이다.

재구성 네트워크 계산부(40)는 도 12에서와 같이, 검수 대상 이미지를 입력받아 흠집 제거 이미지를 생성하는 흠집 제거 이미지 생성부(41)와, 검수 대상 이미지와 흠집 제거 이미지를 연결하는 이미지 연결부(42)를 포함한다.

구분 네트워크 계산부(50)의 상세 구성은 다음과 같다.

도 13은 구분 네트워크 계산부의 상세 구성도이다.

구분 네트워크 계산부(50)는 도 13에서와 같이, 연결된 검수 대상 이미지와 흠집 제거 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성부(51)와, 흠집 영역 이미지의 불량 여부를 계산하는 불량 여부 계산부(52)를 포함한다.

불량 제품 탐지 및 학습부(60)의 상세 구성은 다음과 같다.

도 14는 불량 제품 탐지 및 학습부의 상세 구성도이다.

불량 제품 탐지 및 학습부(60)는 불량 제품의 탐지 및 학습을 하여 임계치를 기준으로 흠집 영역 이미지의 이진화 작업을 수행하는 이미지 이진화부(61)와, 이진화 이미지와 흠집 영역 이미지의 차이를 계산하는 이미지 차이 계산부(62)와, 계산된 이진화 이미지와 흠집 영역의 이미지의 차이를 기준으로 구분 네트워크의 가중치를 수정하는 가중치 수정부(63)를 포함한다.

본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법을 구체적으로 설명하면 다음과 같다.

본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법은 크게, 적어도 하나의 프로세서를 포함하는 전자 장치에서 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 동작이 수행되고, 정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습 단계와, 불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습 단계를 포함한다.

정상 이미지 기반 비지도 학습 단계를 구체적으로 설명하면 다음과 같다.

도 15는 정상 이미지 기반 비지도 학습 과정을 나타낸 구성도이고, 도 16은 정상 이미지 기반 비지도 학습 방법을 나타낸 플로우 차트이다.

도 15에서와 같이, 정상 이미지 기반 비지도 학습 단계에서 정상 이미지는 재구성 네트워크(Reconstructive sub-network)와 구분 네트워크(Discriminative sub-network)를 학습하는데 사용한다.

재구성 네트워크는 노이즈를 삽입한 이미지를 통과하여 원본 이미지를 얻을 수 있도록 학습한다. 구분 네트워크는 노이즈 영역을 탐지할 수 있도록 학습한다.

본 발명에 따른 비지도 학습 과정은 크게, 노이즈를 삽입하여 불량 제품 이미지를 생성하는 이상 데이터 생성 과정, 불량 제품 이미지를 정상 제품 이미지로 변환하는 재구성 네트워크 계산 과정, 합성한 불량 제품 이미지와 정상 제품 이미지와의 차이를 비교해 불량인 영역을 추출하는 구분 네트워크 계산의 3가지 과정으로 나눌 수 있다.

이와 같은 비지도 학습 과정은 불량 제품 데이터가 충분히 확보되지 않은 초기 상태에서 정상 제품 데이터를 기반으로 학습을 수행하는 것이다.

먼저, 정상 제품 이미지가 입력되었을 때, 정상 제품 이미지의 크기와 같은 펄린 노이즈(Perlin Noise)를 생성한다.(S601)

펄린 노이즈 이미지는 임계치를 기준으로 이진화 작업을 수행한다.(S602)

펄린 노이즈 이미지의 한 픽셀의 값이 0~1 사이일 때, 노이즈 영역 이미지는 임계치(0.5) 기준으로 펄린 노이즈 이미지가 임계치보다 크면 1, 그렇지 않으면 0인 이미지이다.

이어, 합성된 불량 제품 이미지는 노이즈 영역 이미지의 1인 부분은 노이즈 데이터로, 0인 부분은 정상 제품 이미지로 합성한다.(S603)

그리고 합성한 불량 제품 이미지는 재구성 네트워크에 통과시켜 불량 제품 이미지와 같은 크기의 흠집 제거 이미지를 출력한다.(S604)

이어, 흠집 제거 이미지는 정상 제품 이미지와의 차이()를 계산한다.(S605)

이 차이가 적은 것은 재구성 네트워크가 흠집을 제거하여 정상 제품 이미지와 유사한 흠집 제거 이미지를 만들었음을 의미한다.

그리고 합성한 불량 제품 이미지와 정상 제품 이미지를 연결하여(S606) 구분 네트워크에 입력하고 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성한다.(S607)

이어, 흠집 영역 이미지는 노이즈 영역 이미지와의 차이()를 계산한다.(S608)

이 차이가 적은 것은 구분 네트워크가 불량 제품 이미지와 정상 제품 이미지와의 차이를 찾고 불량 영역을 추출할 수 있음을 의미한다.

그리고 두 네트워크에서 계산한 차이 ()와 ()를 이용하여 각각 재구성 네트워크와 구분 네트워크의 가중치를 수정한다.(S609)

도 17은 불량 탐지 성공 케이스의 일 예를 나타낸 구성도이다.

불량 이미지 기반 온라인 지도 학습 단계를 구체적으로 설명하면 다음과 같다.

도 18은 불량 이미지 기반 온라인 지도 학습 과정을 나타낸 구성도이고, 도 19는 불량 이미지 기반 온라인 지도 학습 방법을 나타낸 플로우 차트이다.

도 18에서와 같이, 불량 이미지 기반 온라인 지도 학습 단계에서 불량 이미지는 구분 네트워크(Discriminative sub-network)를 학습하는데 사용한다.

만약, 이면 해당 이미지는 불량 이미지로 판단하고 구분 네트워크의 학습에 활용한다.

불량 영역 예측 이미지는 이진화(Binarization)를 수행하고 을 통해 구분 네트워크를 업데이트 한다.

본 발명에 따른 온라인 지도 학습 과정은 비지도 학습으로 먼저 모델을 만든 뒤 실제 현장에 모델이 적용되고 불량 제품 이미지를 탐지할 때마다 모델에 학습하여 성능을 향상한다.

이 과정은 크게, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크 계산 과정, 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크 계산 과정, 흠집 영역 이미지의 이진화 작업을 수행하고 이진화 이미지와 흠집 영역의 이미지의 차이()를 계산하여 구분 네트워크의 가중치를 수정하는 불량 제품의 탐지 및 학습의 3가지 과정으로 나눌 수 있다.

구체적으로 도 19에서와 같이, 먼저, 재구성 네트워크(Reconstructive Sub-network)에 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성한다.(S901)

이어, 검수 대상 이미지와 흠집 제거 이미지를 연결하여(S902) 구분 네트워크에 입력하고 제품 이미지와 같은 크기의 흠집 영역 이미지(M₀)를 생성한다.(S903)

그리고 흠집 영역 이미지의 불량 여부()를 계산한다.(S904)

는 평균 풀링(Average pooling) 필터이다. 는 흠집 영역 이미지에 평균 풀링을 적용한 것을 의미한다.

계산된 불량 여부에 관한 값이 임계치()보다 작을 경우는 정상 제품 데이터로 판단하고 이는 모델이 학습하지 않는다.(S905)

불량 여부가 임계치()보다 클 경우 불량 제품 데이터로 판단하고, 이 경우 흠집 영역 이미지를 이진화 작업을 수행하고(S906) 이진화 이미지와 흠집 영역의 이미지의 차이()를 계산한다.(S907)

계산한 차이 를 이용하여 구분 네트워크의 가중치를 수정한다.(S908)

이상에서 설명한 본 발명에 따른 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법은 정상 이미지를 이미지의 흠집을 제거하는 모델을 학습할 때 사용하고, 이후 모델이 판단한 이미지 중 불량 이미지를 선별하여 온라인 러닝으로 학습 성능을 보완하여 검사 정확도를 높인 것이다.

본 발명은 비지도 학습을 통해 불량 탐지 모델을 일정 수준 이상의 성능 확보를 수행하고, 지도 학습 기반의 온라인 러닝으로 모델의 성능을 보완하여 비지도 학습과 지도 학습의 효과를 모두 활용할 수 있도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100. 정상 이미지 기반 비지도 학습부
200. 불량 이미지 기반 온라인 지도 학습부

Claims

심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가,
정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습부;
불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습부;를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 1 항에 있어서, 정상 이미지 기반 비지도 학습부는,
정상 제품 이미지에 노이즈를 삽입하여 불량 제품 이미지로 생성하는 이상 데이터 생성부와,
불량 제품 이미지를 정상 제품 이미지로 변환하는 재구성 네트워크 계산부와,
합성한 불량 제품 이미지와 정상 제품 이미지와의 차이를 비교해 불량인 영역을 추출하는 구분 네트워크 계산부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 2 항에 있어서, 이상 데이터 생성부는,
정상 제품 이미지가 입력되었을 때, 정상 제품 이미지의 크기와 같은 펄린 노이즈(Perlin Noise)를 생성하는 펄린 노이즈 생성부와,
임계치를 이용하여 노이즈 영역 이미지를 추출하는 노이즈 영역 이미지 추출부와,
정상 제품 이미지와 노이즈 데이터를 합성하는 데이터 합성부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 2 항에 있어서, 재구성 네트워크 계산부는,
이상 데이터 생성부에서 합성한 불량 제품 이미지를 입력받아 재구성 네트워크 계산을 통하여 불량 제품 이미지와 같은 크기의 흠집 제거 이미지를 출력하는 흠집 제거 이미지 생성부와,
흠집 제거 이미지와 정상 제품 이미지의 차이를 계산하는 이미지 차이 계산부와,
흠집 제거 이미지와 불량 이미지 연결을 하는 이미지 연결부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 2 항에 있어서, 구분 네트워크 계산부는,
연결된 불량 제품 이미지와 정상 제품 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성부와,
흠집 영역 이미지와 노이즈 영역 이미지와의 차이를 계산하는 이미지 차이 계산부와,
재구성 네트워크와 구분 네트워크에서 계산한 차이를 이용하여 각각 재구성 네트워크와 구분 네트워크의 가중치를 수정하는 가중치 수정부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 1 항에 있어서, 불량 이미지 기반 온라인 지도 학습부는,
검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크 계산부와,
검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출을 하는 구분 네트워크 계산부와,
흠집 영역 이미지의 불량 여부를 계산하고, 임계치를 기준으로 불량 제품의 탐지 및 학습을 하여 흠집 영역 이미지는 이진화 작업을 수행하고 이진화 이미지와 흠집 영역의 이미지의 차이를 계산하여 구분 네트워크의 가중치를 수정하는 불량 제품 탐지 및 학습부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 6 항에 있어서, 재구성 네트워크 계산부는,
검수 대상 이미지를 입력받아 흠집 제거 이미지를 생성하는 흠집 제거 이미지 생성부와,
검수 대상 이미지와 흠집 제거 이미지를 연결하는 이미지 연결부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 6 항에 있어서, 구분 네트워크 계산부는,
연결된 검수 대상 이미지와 흠집 제거 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성부와,
흠집 영역 이미지의 불량 여부를 계산하는 불량 여부 계산부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
제 6 항에 있어서, 불량 제품 탐지 및 학습부는,
불량 제품의 탐지 및 학습을 하여 임계치를 기준으로 흠집 영역 이미지의 이진화 작업을 수행하는 이미지 이진화부와,
이진화 이미지와 흠집 영역 이미지의 차이를 계산하는 이미지 차이 계산부와,
계산된 이진화 이미지와 흠집 영역의 이미지의 차이를 기준으로 구분 네트워크의 가중치를 수정하는 가중치 수정부를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치.
적어도 하나의 프로세서를 포함하는 전자 장치에서 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 동작이 수행되고,
정상 이미지를 기반으로, 노이즈를 삽입한 이미지를 통하여 원본 이미지를 얻을 수 있도록 하는 재구성 네트워크(Reconstructive sub-network)와 노이즈 영역을 탐지할 수 있도록 하는 구분 네트워크(Discriminative sub-network)를 학습하는 정상 이미지 기반 비지도 학습 단계;
불량 이미지를 기반으로, 검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크(Reconstructive Sub-network)와 검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출하는 구분 네트워크(Discriminative Sub-network)를 학습하는 불량 이미지 기반 온라인 지도 학습 단계;를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 10 항에 있어서, 정상 이미지 기반 비지도 학습 단계는,
정상 제품 이미지에 노이즈를 삽입하여 불량 제품 이미지로 생성하는 이상 데이터 생성 단계와,
불량 제품 이미지를 정상 제품 이미지로 변환하는 재구성 네트워크 계산 단계와,
합성한 불량 제품 이미지와 정상 제품 이미지와의 차이를 비교해 불량인 영역을 추출하는 구분 네트워크 계산 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 11 항에 있어서, 이상 데이터 생성 단계는,
정상 제품 이미지가 입력되었을 때, 정상 제품 이미지의 크기와 같은 펄린 노이즈(Perlin Noise)를 생성하는 펄린 노이즈 생성 단계와,
임계치를 이용하여 노이즈 영역 이미지를 추출하는 노이즈 영역 이미지 추출 단계와,
정상 제품 이미지와 노이즈 데이터를 합성하는 데이터 합성 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 11 항에 있어서, 재구성 네트워크 계산 단계는,
이상 데이터 생성 단계에서 합성한 불량 제품 이미지를 입력받아 재구성 네트워크 계산을 통하여 불량 제품 이미지와 같은 크기의 흠집 제거 이미지를 출력하는 흠집 제거 이미지 생성 단계와,
흠집 제거 이미지와 정상 제품 이미지의 차이를 계산하는 이미지 차이 계산 단계와,
흠집 제거 이미지와 불량 이미지 연결을 하는 이미지 연결 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 11 항에 있어서, 구분 네트워크 계산 단계는,
연결된 불량 제품 이미지와 정상 제품 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성 단계와,
흠집 영역 이미지와 노이즈 영역 이미지와의 차이를 계산하는 이미지 차이 계산 단계와,
재구성 네트워크와 구분 네트워크에서 계산한 차이를 이용하여 각각 재구성 네트워크와 구분 네트워크의 가중치를 수정하는 가중치 수정 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 10 항에 있어서, 불량 이미지 기반 온라인 지도 학습 단계는,
검수 대상 이미지를 입력하여 흠집 제거 이미지를 생성하는 재구성 네트워크 계산 단계와,
검수 대상 이미지와 흠집 제거 이미지와의 차이를 비교해 흠집 영역 이미지 추출을 하는 구분 네트워크 계산 단계와,
흠집 영역 이미지의 불량 여부를 계산하고, 임계치를 기준으로 불량 제품의 탐지 및 학습을 하여 흠집 영역 이미지의 이진화 작업을 수행하고 이진화 이미지와 흠집 영역의 이미지의 차이를 계산하여 구분 네트워크의 가중치를 수정하는 불량 제품 탐지 및 학습 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 15 항에 있어서, 재구성 네트워크 계산 단계는,
검수 대상 이미지를 입력받아 흠집 제거 이미지를 생성하는 흠집 제거 이미지 생성 단계와,
검수 대상 이미지와 흠집 제거 이미지를 연결하는 이미지 연결 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 15 항에 있어서, 구분 네트워크 계산 단계는,
연결된 검수 대상 이미지와 흠집 제거 이미지를 입력받아 구분 네트워크 계산을 통하여 제품 이미지와 같은 크기의 흠집 영역 이미지를 생성하는 흠집 영역 이미지 생성 단계와,
흠집 영역 이미지의 불량 여부를 계산하는 불량 여부 계산 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.
제 15 항에 있어서, 불량 제품 탐지 및 학습 단계는,
불량 제품의 탐지 및 학습을 하여 임계치를 기준으로 흠집 영역 이미지의 이진화 작업을 수행하는 이미지 이진화 단계와,
이진화 이미지와 흠집 영역 이미지의 차이를 계산하는 이미지 차이 계산 단계와,
계산된 이진화 이미지와 흠집 영역의 이미지의 차이를 기준으로 구분 네트워크의 가중치를 수정하는 가중치 수정 단계를 포함하는 것을 특징으로 하는 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 방법.