KR20170056716A - 결함 검출 시스템 및 결함 검출 방법 - Google Patents

결함 검출 시스템 및 결함 검출 방법 Download PDF

Info

Publication number
KR20170056716A
KR20170056716A KR1020150155721A KR20150155721A KR20170056716A KR 20170056716 A KR20170056716 A KR 20170056716A KR 1020150155721 A KR1020150155721 A KR 1020150155721A KR 20150155721 A KR20150155721 A KR 20150155721A KR 20170056716 A KR20170056716 A KR 20170056716A
Authority
KR
South Korea
Prior art keywords
defect
fruit
external
image
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150155721A
Other languages
English (en)
Other versions
KR101750858B1 (ko
Inventor
임종국
김기영
모창연
Original Assignee
대한민국(농촌진흥청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(농촌진흥청장) filed Critical 대한민국(농촌진흥청장)
Priority to KR1020150155721A priority Critical patent/KR101750858B1/ko
Publication of KR20170056716A publication Critical patent/KR20170056716A/ko
Application granted granted Critical
Publication of KR101750858B1 publication Critical patent/KR101750858B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G13/00—Roller-ways
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/025—Fruits or vegetables
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0202—Agricultural and processed food products
    • B65G2201/0211—Fruits and vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 과일의 결함 검출 시스템의 결함 검출 방법에 관한 것으로, 본 발명의 일 특징에 따른 결함 검출 시스템은, 투입된 과일을 회전시키면서 이송하기 위한 롤러 형태의 굴림 장치, 굴림 장치에 의해 회전되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출하기 위한 외부결함 검출부, 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하기 위한 전송부, 및 선별컵에 안착된 과일의 내부 결함 및 품질을 측정하기 위한 내부품질 측정부를 포함한다. 외부결함 검출부는 결함 유형별 최적 파장에 대한 초분광 영상, 비 영상 및 차 영상 등을 이용하여 외부 결함을 검출한다. 이와 같이, 과일의 전체 표면을 스캔하기 위한 굴림 장치와 초분광 영상 기술을 적용함으로써, 과일에 대한 결함 검출의 신뢰성 및 농업 생산성을 향상시킬 수 있다.

Description

결함 검출 시스템 및 결함 검출 방법{SYSTEM AND METHOD FOR DETECTING DEFECT}
본 발명은 결함 검출 시스템 및 결함 검출 방법에 관한 것으로, 특히 사과 등의 과일 내외부에 발생된 결함을 검출하기 위한 결함 검출 시스템 및 결함 검출 방법에 관한 것이다.
사과 등의 과일 표면에 결함이 있는 결점과에 대한 선별 작업은 작업자가 한 개씩 육안으로 판별하여 제거하고 있어 노동력이 과다하게 투입되며, 작업자의 주관적인 판단에 의해 결함을 검출하기 때문에 검출의 신뢰도 및 검출 정확도가 떨어지는 문제가 있다. 따라서, 결함이 발생된 사과 등의 과일에 대한 결함을 검출할 수 있는 자동화 시스템에 대한 요구가 높은 실정이다.
또한, 작업자가 미처 발견하지 못한 결함이 있는 과일이 유통될 경우에는 교차 오염을 통해 다른 정상적인 과일의 품질에도 영향을 주게 되고, 소비자에게 전달시에는 상품에 대한 불만이 증가할 수 있어 이를 사전에 배제할 수 있는 기술 개발이 필요한 실정이다.
종래에, 육안 검사를 대신하여 일반 칼라 카메라 또는 CCD 카메라 등의 기계 시각을 이용하여 과일의 한쪽면에 대한 결함을 검출한 사례가 있으나, 측면 또는 뒷면 등 카메라가 인식하지 못한 부분에 존재하는 결함의 검출이 어려워 이를 개선할 수 있는 결함 검출 기술에 대한 개발이 요구된다.
따라서, 본 발명은 이와 같은 문제점을 감안한 것으로써, 본 발명은 굴림 장치를 통해 과일을 회전시키면서 초분광 영상 카메라를 통해 전체 표면을 측정하는 방식으로 과일의 결함을 검출하여 결함 검출의 신뢰성과 농업 생산성을 향상시킬 수 있는 결함 검출 시스템 및 결함 검출 방법을 제공한다.
본 발명의 일 특징에 따른 결함 검출 시스템은, 투입된 과일을 회전시키면서 이송하기 위한 롤러 형태의 굴림 장치, 상기 굴림 장치에 의해 회전되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출하기 위한 외부결함 검출부, 상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하기 위한 전송부, 및 상기 선별컵에 안착된 과일의 내부 결함 및 품질을 측정하기 위한 내부품질 측정부를 포함한다.
상기 외부결함 검출부는 상기 굴림 장치에 의해 회전되는 과일의 표면을 촬영하기 위한 가시광선 및 근적외선(vosible and near-infrared : VNIR) 초분광 영상 카메라를 포함한다.
상기 외부결함 검출부는 상기 VNIR 초분광 영상 카메라의 측정을 통해 획득한 반사 스펙트럼 및 특정 파장대역에서의 초분광 영상을 이용하여 과일의 외부 결함을 검출할 수 있다.
상기 외부결함 검출부는 결합 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하고, 선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부 결함을 검출할 수 있다.
상기 외부결함 검출부는, 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 상기 결함 유형별 최적 파장을 선정할 수 있다.
상기 내부품질 측정부는 근적외선 분광센서를 포함한다.
본 발명의 일 특징에 따른 결함 검출 방법은, 롤러 형태의 굴림 장치를 통해 회전되면서 이송되는 과일에 대해 VNIR 초분광 영상 카메라로 과일의 전체 표면을 측정하여 과일의 외부결함을 검출하는 단계, 상기 외부결함의 검출 후, 상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하는 단계, 및 상기 선별컵에 안착된 과일에 대해 근적외선 분광 센서를 이용하여 과일의 내부 결함 및 품질을 측정하는 단계를 포함한다.
상기 과일의 외부결함을 검출하는 단계는, 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하는 단계, 및 선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부결함을 검출하는 단계를 포함할 수 있다.
상기 결함 유형별 최적 파장을 선정하는 단계는, 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 적어도 하나의 상기 결함 유형별 최적 파장을 선정할 수 있다.
상기 외부결함을 검출하는 단계는, 상기 단일 파장 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출할 수 있다.
상기 결함 유형별 최적 파장은, 열과 결함의 경우 710nm, 병해 결함의 경우 715nm, 착색 불량의 경우 561nm, 상처 결함의 경우 720nm, 멍 결함의 경우 940nm로 선정될 수 있다.
상기 외부결함을 검출하는 단계는, 상기 분산분석 및 상관분석을 통해 2개 이상의 상기 결함 유형별 최적 파장을 선정하고, 선정된 상기 2개 이상의 결함 유형별 최적 파장들에 대한 차 영상 및 비 영상 중 적어도 하나의 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출할 수 있다.
상기 결함 유형별 최적 파장은, 열과 결함의 경우 792nm와 806nm, 병해 결함의 경우 720nm와 964nm, 착색 불량의 경우 403nm와 528nm, 상처 결함의 경우 739nm와 998nm, 멍 결함의 경우 749nm와 753nm로 선정될 수 있다.
본 발명의 결함 검출 시스템 및 결함 검출 방법에 따르면, 굴림 장치를 통해 과일을 회전시키면서 VNIR 초분광 영상 카메라를 통해 전체 표면을 측정함과 동시에, 결함 유형별로 선정된 최적 파장에 대한 단일 파장 영상, 이들의 비 영상 및 차 영상을 이용하여 과일의 외부결함을 검출함으로써, 결함 검출의 신뢰성과 농업 생산성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 외부결함 검출용 알고리즘을 이용한 외부결함 검출 방법을 나타낸 흐름도이다.
도 3은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 4는 사과에 대한 VNIR 파장대역에서의 결함 유형별 상관분석 결과를 나타낸 그래프이다.
도 5는 결함 유형별 최적 파장에 대한 단일 파장 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 6은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 7는 결함 유형별 비 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 도면을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 결함 검출 시스템을 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 결함 검출 시스템은, 굴림 장치(100), 외부결함 검출부(200), 전송부(300) 및 내부품질 측정부(400)를 포함한다.
굴림 장치(100)는 결함 검출 장치로 투입되는 사과 등의 과일을 외부결함 검출부(200)로 이송시킴과 동시에, 외부결함 검출부(200)에서 과일의 전체 표면을 스캔할 수 있도록 과일을 회전시키면서 이송시킨다. 이를 위해, 굴림 장치(100)는 롤러 형태로 형성된다.
굴림 장치(100)는 과일의 전표면 영상을 획측하기 위하여 투입된 과일을 정렬하고 임의의 방향으로 회전시키기 위한 회전 롤러 컨베이어 형태로 형성된다. 굴림 장치(100)는 회전속도가 다른 2개의 서보 모터와, 서보 모터에 의해 회전되는 다수의 롤러와, 롤러들을 연결해주는 체인 등으로 구성되며, 회전 속도가 다른 2개의 롤러를 이용하여 과일을 회전시킬 수 있다.
외부결함 검출부(200)는 굴림 장치(100)에 의해 회전되면서 이송되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출한다. 외부결함 검출부(200)는 굴림 장치(100)에 의해 회전되는 과일의 표면을 촬영하기 위하여, 과일로 광을 조사하는 조명장치(210)와, 과일에서 반사되는 광을 통해 영상을 촬영하는 가시광선 및 근적외선(visible and near-infrared : VNIR) 초분광 영상 카메라(220)를 포함한다.
외부결함 검출부(200)는 상기 VNIR 초분광 영상 카메라(220)의 측정을 통해 획득한 반사 스펙트럼 및 특정 파장대역에서의 초분광 영상을 이용하여 열과, 병해, 상처, 착색불량, 멍 등에 대한 과일의 외부 결함을 검출한다. 일 실시예로, 외부결함 검출부(200)는 결합 유형별로 추출된 복수의 과일 시료들의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 미리 선정하고, 과일의 결함 검출을 진행함에 있어 상기 선정된 결함 유형별 최적 파장에 대한 초분광 영상을 이용하여 과일의 외부 결함을 검출한다. 상기 결함 유형별 최적 파장을 선정하는 과정과 이를 통해 과일의 외부 결함을 검출하는 방법은 후술하기로 한다.
전송부(300)는 외부결함 검출부(200)를 지나 굴림 장치(100)에 의해 회전되면서 이송되는 과일을 후단의 과일 선별 시스템과 연계하기 위하여 컵선별기 방식의 선별컵 또는 프리트레이 방식의 선별컵에 이동시키기 위해 과일을 전송하는 장치를 포함한다. 예를 들어, 전송부(300)는 집게형 전송장치(310)를 통해 굴림 장치(100)에 의해 이송되는 과일을 집어 들어 선별컵에 올려 놓는다.
내부품질 측정부(400)는 선별컵에 안착되어 이송되는 과일의 내부 결함 및 품질을 측정한다. 내부품질 측정부(400)는 과일의 내부 품질을 측정하기 위하여 광원(410) 및 근적외선 분광센서(420)를 포함한다. 내부품질 측정부(400)는 근적외선 분광센서(420)의 측정을 통해 밀병, 갈변 등의 내부 결함과, 당도 등의 내부 품질을 측정한다.
상술한 구성을 갖는 결함 검출 시스템을 이용한 결함 검출 방법을 살펴 보면, 롤러 형태의 굴림 장치(100)를 통해 회전되면서 이송되는 과일에 대해 VNIR 초분광 영상 카메라(220)로 과일의 전체 표면을 측정하여 열과, 병해, 상처, 착색불량, 멍 등의 외부 결함을 검출한다. 외부결함의 검출 후, 상기 굴림 장치(100)에 의해 회전되면서 이송되는 과일을 전송부(300)를 통해 선별컵으로 전송한다. 이후, 선별컵에 안착된 과일에 대해 근적외선 분광센서(420)를 이용하여 밀병, 갈변 등의 내부 결함 및 당도 등의 품질을 측정한다. 이후, 외부결함 검출부(200) 및 내부품질 측정부(400)에 의해 측정된 내외부 결함 및 품질 측정 결과를 바탕으로 과일을 등급별로 구분하여 배출부(500)로 선별 배출한다.
한편, 본 발명의 일 실시예에 따른 외부결함 검출부(200)는 과일의 외부 결함을 검출하기 위한 전용 알로리즘을 통해 자동으로 유형별 결함을 검출한다.
도 2는 본 발명의 일 실시예에 따른 외부결함 검출용 알고리즘을 이용한 외부결함 검출 방법을 나타낸 흐름도이다.
도 2를 참조하면, 과일의 외부결함을 검출하기 위하여, 우선 결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정한다(S100).
구체적으로, 사과와 같은 과일의 외부 결함은 열과(cracking), 병해(scab), 상처(cuts), 착색불량(coloring disorder), 멍(bruise) 등의 유형으로 구분되므로, 각 결함 유형별로 복수의 과일 시료를 추출한다.
이후, 결함 유형별로 추출된 과일 시료를 VNIR 초분광 영상 카메라(220)를 통해 측정하여 과일 시료의 정상 부위 및 결함 부위에 대한 각각의 반사 스펙트럼 데이터를 획득한다.
이후, 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력 변수로 하는 분산분석(ANOVA : Analysis of variance) 및 상관분석(CR : Correlation analysis) 중 적어도 하나의 분석을 통해 적어도 하나의 결함 유형별 최적 파장을 선정한다. 여기서, 분산분석(ANOVA)은 두 개 이상 집단들의 평균을 비교하는 일반적인 통계분석 기법이고, 상관분석(CR)은 변수간의 밀접한 정도 즉 상관관계를 분석하는 일반적인 통계분석 기법이므로, 이에 대한 상세한 설명은 생략하기로 한다.
도 3은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 3을 참조하면, VNIR 파장대역에서 사과의 정상 부위 및 결함 부위에 대해서 결함 유형별로 분산분석을 실시한 결과로부터, 각각의 결함 유형별로 F-값이 가장 큰 파장을 최적 파장으로 선정할 수 있다.
사과에 대한 결함 유형별 최적 파장은, 도 3에 도시된 바와 같이, 열과(cracking) 결함의 경우 710nm, 병해(scab) 결함의 경우 715nm, 착색 불량(coloring disorder)의 경우 561nm, 상처(cuts) 결함의 경우 720nm, 멍(bruise) 결함의 경우 940nm로 선정된다.
도 4는 사과에 대한 VNIR 파장대역에서의 결함 유형별 상관분석 결과를 나타낸 그래프이다.
도 4를 참조하면, VNIR 파장대역에서 사과의 정상 부위 및 결함 부위에 대해서 결함 유형별로 상관분석을 실시한 결과로부터, 각각의 결함 유형별로 R-값이 가장 큰 파장을 최적 파장으로 선정할 수 있다. 도 4에 도시된 상관분석 결과는 도 3에 도시된 분산분석의 결과와 동일한 결과가 나오는 것을 확인할 수 있다.
상기한 방법에 의해 결함 유형별 최적 파장을 선정한 후, 선정된 결함 유형별 최적 파장에 대한 단일 파장 영상을 추출한다(S200). 즉, 선정된 결함 유형별 최적 파장을 저장한 상태에서, 실질적으로 검사하고자 하는 과일을 초분광 영상 카메라(220)로 측정하여 초분광 영상을 획득하고, 획득된 초분광 영상 중 상기 결함 유형별 최적 파장에 대응되는 단일 파장 영상을 추출한다.
이후, 상기 단일 파장 영상을 특정 임계값을 기준으로 재구성한 이치화 영상(Binary image)으로 변환하고, 이를 통해 외부 결함을 검출한다(S400). 상기 임계값은 다수의 실험을 통해 획득하여 미리 설정된 값으로, 결함 유형별로 서로 동일하거나, 서로 다른 값으로 설정될 수 있다. 또한, 상기 이치화 영상은 상기 단일 파장 영상에 대해 상기 임계값을 기준으로 0과 1로 이치화된 영상이다. 상기 이치화 영상을 통해 결함 부위의 크기, 모양 등을 고려하여 결함을 검출하게 된다.
도 5는 결함 유형별 최적 파장에 대한 단일 파장 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 5를 참조하면, 결함 유형별 최적 파장을 적용하여 추출된 단일 파장 영상을 이치화한 결과, 열과(Cracking), 착색불량(Color disorder), 상처(Cuts) 등의 결함에 대해서는 100%의 결함 검출율을 보이며, 병해(Scab) 결함은 약 86.7%, 멍(Bruise) 결함은 약 6.7%로 다소 저조한 검출율을 보이는 것을 확인할 수 있다.
이처럼, 결함 유형별 최적 파장에 대응되는 하나의 단일 파장 영상을 통해 과일의 외부 결함을 검출함으로써, 결함을 신속하게 검출하고, 검출 시스템의 단순화를 도모할 수 있다.
한편, 단일 파장 영상을 통한 결함 검출에 대한 정확도를 더욱 높이기 위하여, 차 영상 및 비 영상을 이용하는 방법을 적용할 수 있다.
이를 위해, 상기한 결함 유형별 최적 파장을 선정하는 과정에서, 분산분석 및 상관분석을 통해 2개 이상의 결함 유형별 최적 파장을 선정하고, 선정된 2개 이상의 결함 유형별 최적 파장에 대한 비 영상 및 차 영상을 산출한다(S300).
도 6은 사과에 대한 VNIR 파장대역에서의 결함 유형별 분산분석 결과를 나타낸 그래프이다.
도 6을 참조하면, VNIR 파장대역에서 사과의 정상 부위 및 결함 부위에 대해서 결함 유형별로 분산분석을 실시한 결과는 등고선 그래프(contour) 형태로 나타나며, 그래프 중 분산계수(F) 값이 큰 파장일수록 붉은색으로 표현되고 관련성이 작은 파장일수록 파란색으로 표현된다. 이를 통해, 불량 유형별로 분산계수(F)가 가장 큰 지점으로부터 2개의 최적 파장을 선정할 수 있다.
사과에 대하여 분산분석을 통해 선정된 2개의 결함 유형별 최적 파장은, 도 6에 도시된 바와 같이, 열과 결함의 경우 792nm와 806nm, 병해 결함의 경우 720nm와 964nm, 착색 불량의 경우 403nm와 528nm, 상처 결함의 경우 739nm와 998nm, 멍 결함의 경우 749nm와 753nm로 선정된다.
상기한 방법에 의해 결함 유형별로 각각 2개의 최적 파장을 선정한 후, 선정된 2개의 결함 유형별 최적 파장에 대한 단일 파장 영상들을 이용하여 상기 단일 파장 영상들의 비 영상 및 차 영상을 산출한다(S300). 여기서, 상기 비 영상은 2개의 최적 파장에 각각 대응되는 2개의 초분광 영상의 데이터값을 서로 나누는 방식으로 산출한 영상을 의미하며, 상기 차 영상은 2개의 최적 파장에 각각 대응되는 2개의 초분광 영상의 데이터값을 서로 빼는 방식으로 산출한 영상을 의미한다.
이후, 상기 비 영상 또는 차 영상을 특정 임계값을 기준으로 재구성한 이치화 영상(Binary image)으로 변환하고, 이를 통해 외부 결함을 검출한다(S400). 상기 임계값은 다수의 실험을 통해 획득하여 미리 설정된 값으로, 결함 유형별로 서로 동일하거나, 서로 다른 값으로 설정될 수 있으며, 비 영상 및 차 영상에 대해 서로 동일하거나 다른 값으로 설정될 수 있다. 또한, 상기 이치화 영상은 상기 비 영상 또는 차 영상에 대해 상기 임계값을 기준으로 0과 1로 이치화된 영상이며, 상기 이치화 영상을 통해 결함 부위의 크기, 모양 등을 고려하여 결함을 검출하게 된다.
도 7는 결함 유형별 비 영상을 이치화시킨 이치화 영상을 나타낸 도면이다.
도 7를 참조하면, 분산분석을 이용하여 선정된 2개의 최적 파장에 대한 비 영상을 이치화시킨 결과, 열과(Cracking), 병해(Scab), 착색불량(Color disorder), 상처(Cuts) 등의 결함에 대해서는 100%의 결함 검출율을 보이며, 멍(Bruise) 결함은 약 73.3%의 검출율을 보이는 것을 확인할 수 있다.
한편, 2개의 결함 유형별 최적 파장을 선정함에 있어, 분산분석을 이용하는 방법을 도 6을 참조하여 설명하였으나, 이와 달리, 상관분석을 이용한 동일한 방법으로 2개의 결함 유형별 최적 파장을 선정할 수 있다.
이처럼, 분산분석 및 상관분석을 통해 결함 유형별로 2개의 최적 파장을 선정하고, 선정된 2개의 최적 파장에 각각 대응되는 단일 파장 영상들의 비 영상 또는 차 영상을 이용하여 과일의 외부 결함을 검출함으로써, 결함 검출의 신뢰성을 향상시킬 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 굴림 장치 200 : 외부결함 검출부
220 : VNIR 초분광 영상 카메라 300 : 전송부
400 : 내부품질 측정부 420 : 근적외선 분광센서

Claims (13)

  1. 투입된 과일을 회전시키면서 이송하기 위한 롤러 형태의 굴림 장치;
    상기 굴림 장치에 의해 회전되는 과일의 전체 표면의 측정을 통해 과일의 외부결함을 검출하기 위한 외부결함 검출부;
    상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하기 위한 전송부; 및
    상기 선별컵에 안착된 과일의 내부 결함 및 품질을 측정하기 위한 내부품질 측정부를 포함하는 결함 검출 시스템.
  2. 제1항에 있어서, 상기 외부결함 검출부는
    상기 굴림 장치에 의해 회전되는 과일의 표면을 촬영하기 위한 가시광선 및 근적외선(vosible and near-infrared : VNIR) 초분광 영상 카메라를 포함하는 것을 특징으로 하는 결함 검출 시스템.
  3. 제2항에 있어서, 상기 외부결함 검출부는
    상기 VNIR 초분광 영상 카메라의 측정을 통해 획득한 반사 스펙트럼 및 특정 파장대역에서의 초분광 영상을 이용하여 과일의 외부 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
  4. 제3항에 있어서, 상기 외부결함 검출부는
    결합 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하고,
    선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부 결함을 검출하는 것을 특징으로 하는 결함 검출 시스템.
  5. 제4항에 있어서, 상기 외부결함 검출부는
    결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 상기 결함 유형별 최적 파장을 선정하는 것을 특징으로 하는 결함 검출 시스템.
  6. 제1항에 있어서, 상기 내부품질 측정부는
    근적외선 분광센서를 포함하는 것을 특징으로 하는 결함 검출 시스템.
  7. 롤러 형태의 굴림 장치를 통해 회전되면서 이송되는 과일에 대해 VNIR 초분광 영상 카메라로 과일의 전체 표면을 측정하여 과일의 외부결함을 검출하는 단계;
    상기 외부결함의 검출 후, 상기 굴림 장치에 의해 회전되면서 이송되는 과일을 선별컵으로 전송하는 단계; 및
    상기 선별컵에 안착된 과일에 대해 근적외선 분광 센서를 이용하여 과일의 내부 결함 및 품질을 측정하는 단계를 포함하는 결함 검출 방법.
  8. 제7항에 있어서, 상기 과일의 외부결함을 검출하는 단계는,
    결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 이용하여 적어도 하나의 결함 유형별 최적 파장을 선정하는 단계; 및
    선정된 상기 결함 유형별 최적 파장에 대한 단일 파장 영상, 복수의 상기 단일 파장 영상들에 대한 차 영상, 및 복수의 상기 단일 파장 영상들에 대한 비 영상 중 적어도 하나의 영상을 이용하여 외부결함을 검출하는 단계를 포함하는 것을 특징으로 하는 결함 검출 방법.
  9. 제8항에 있어서, 상기 결함 유형별 최적 파장을 선정하는 단계는,
    결함 유형별로 추출된 과일 시료의 정상 부위 및 결함 부위에 대한 반사 스펙트럼 데이터를 각각 입력변수로 하는 분산분석 및 상관분석 중 적어도 하나의 분석을 통해 적어도 하나의 상기 결함 유형별 최적 파장을 선정하는 것을 특징으로 하는 결함 검출 방법.
  10. 제9항에 있어서, 상기 외부결함을 검출하는 단계는,
    상기 단일 파장 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출하는 것을 특징으로 하는 결함 검출 방법.
  11. 제10항에 있어서, 상기 결함 유형별 최적 파장은,
    열과 결함의 경우 710nm, 병해 결함의 경우 715nm, 착색 불량의 경우 561nm, 상처 결함의 경우 720nm, 멍 결함의 경우 940nm로 선정된 것을 특징으로 하는 결함 검출 방법.
  12. 제9항에 있어서, 상기 외부결함을 검출하는 단계는,
    상기 분산분석 및 상관분석을 통해 2개 이상의 상기 결함 유형별 최적 파장을 선정하고,
    선정된 상기 2개 이상의 결함 유형별 최적 파장들에 대한 차 영상 및 비 영상 중 적어도 하나의 영상을 특정 임계값을 기준으로 재구성한 이치화 영상으로 변환하여 외부결함을 검출하는 것을 특징으로 하는 결함 검출 방법.
  13. 제12항에 있어서, 상기 결함 유형별 최적 파장은,
    열과 결함의 경우 792nm와 806nm, 병해 결함의 경우 720nm와 964nm, 착색 불량의 경우 403nm와 528nm, 상처 결함의 경우 739nm와 998nm, 멍 결함의 경우 749nm와 753nm로 선정된 것을 특징으로 하는 결함 검출 방법.
KR1020150155721A 2015-11-06 2015-11-06 결함 검출 시스템 및 결함 검출 방법 Active KR101750858B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150155721A KR101750858B1 (ko) 2015-11-06 2015-11-06 결함 검출 시스템 및 결함 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150155721A KR101750858B1 (ko) 2015-11-06 2015-11-06 결함 검출 시스템 및 결함 검출 방법

Publications (2)

Publication Number Publication Date
KR20170056716A true KR20170056716A (ko) 2017-05-24
KR101750858B1 KR101750858B1 (ko) 2017-07-11

Family

ID=59051694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150155721A Active KR101750858B1 (ko) 2015-11-06 2015-11-06 결함 검출 시스템 및 결함 검출 방법

Country Status (1)

Country Link
KR (1) KR101750858B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109720374A (zh) * 2018-12-26 2019-05-07 台晶(重庆)电子有限公司 一种溅镀机轨道测试装置及测试方法
KR20200105109A (ko) * 2019-02-28 2020-09-07 충남대학교산학협력단 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법
KR102285603B1 (ko) * 2021-01-15 2021-08-04 주식회사 에이오팜 과일을 식별하는 장치 및 방법
KR20210152248A (ko) * 2020-06-08 2021-12-15 주식회사 한성엔지니어링 과일 공급 장치
KR102388752B1 (ko) * 2020-10-22 2022-04-20 (주)레이텍 연질성 이물을 검출할 수 있는 초분광 검사장치
KR102390740B1 (ko) 2021-07-07 2022-04-26 주식회사 에이오팜 불량 농산물 분류 모델 학습 방법, 장치 및 이를 이용한 불량 농산물 분류 장치
CN118090762A (zh) * 2023-12-29 2024-05-28 河北瑞德集团三星橡塑有限公司 一种密封条无损探伤装置及工艺
CN120142589A (zh) * 2025-05-14 2025-06-13 海南槟气实业有限公司 一种基于图像识别的槟榔果筛选方法
KR102828925B1 (ko) * 2024-05-08 2025-07-04 한국식품연구원 절임배추의 품질 모니터링 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946749B1 (ko) 2008-03-19 2010-03-11 정양권 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109720374A (zh) * 2018-12-26 2019-05-07 台晶(重庆)电子有限公司 一种溅镀机轨道测试装置及测试方法
KR20200105109A (ko) * 2019-02-28 2020-09-07 충남대학교산학협력단 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법
KR20210152248A (ko) * 2020-06-08 2021-12-15 주식회사 한성엔지니어링 과일 공급 장치
KR102388752B1 (ko) * 2020-10-22 2022-04-20 (주)레이텍 연질성 이물을 검출할 수 있는 초분광 검사장치
WO2022085822A1 (ko) * 2020-10-22 2022-04-28 (주)레이텍 연질성 이물을 검출할 수 있는 초분광 검사장치
KR102285603B1 (ko) * 2021-01-15 2021-08-04 주식회사 에이오팜 과일을 식별하는 장치 및 방법
WO2022154519A1 (ko) * 2021-01-15 2022-07-21 주식회사 에이오팜 과일을 식별하는 장치 및 방법
US12678828B2 (en) 2021-01-15 2026-07-14 Aio Farm Corp. Device and method for classifying fruits
KR102390740B1 (ko) 2021-07-07 2022-04-26 주식회사 에이오팜 불량 농산물 분류 모델 학습 방법, 장치 및 이를 이용한 불량 농산물 분류 장치
CN118090762A (zh) * 2023-12-29 2024-05-28 河北瑞德集团三星橡塑有限公司 一种密封条无损探伤装置及工艺
KR102828925B1 (ko) * 2024-05-08 2025-07-04 한국식품연구원 절임배추의 품질 모니터링 시스템 및 그 방법
CN120142589A (zh) * 2025-05-14 2025-06-13 海南槟气实业有限公司 一种基于图像识别的槟榔果筛选方法

Also Published As

Publication number Publication date
KR101750858B1 (ko) 2017-07-11

Similar Documents

Publication Publication Date Title
KR101750858B1 (ko) 결함 검출 시스템 및 결함 검출 방법
JP6940215B2 (ja) 検査装置及び検査装置の識別手段の学習方法
US9910024B2 (en) Method, sensor unit and machine for detecting “sugar top” defects in potatoes
Qiao et al. Prediction of drip-loss, pH, and color for pork using a hyperspectral imaging technique
US7787111B2 (en) Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device for multitask inspection
US8284248B2 (en) Method for real time detection of defects in a food product
JP5206335B2 (ja) 主成分分析方法、主成分分析装置、異種品検出装置、主成分分析プログラム、及び、主成分分析プログラムが記録された記録媒体
Ariana et al. Hyperspectral waveband selection for internal defect detection of pickling cucumbers and whole pickles
US20140147015A1 (en) Method for Scoring and Controlling Quality of Food Products in a Dynamic Production Line
CN1995987A (zh) 基于高光谱图像技术的农畜产品无损检测方法及装置
JP2014215177A (ja) 検査装置及び検査方法
Xing et al. Bruise detection on Jonagold apples by visible and near-infrared spectroscopy
WO2012074372A2 (en) A system for fruit grading and quality determination
JP2006170669A (ja) 青果物の品質検査装置
KR20160032593A (ko) 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 방법 및 장치
KR101706065B1 (ko) 농산물 결함 검출 장치 및 시스템
KR102205445B1 (ko) 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법
JP2009168747A (ja) 食品検査方法及び食品検査装置
Turgut et al. Potential of image analysis based systems in food quality assessments and classifications.
EP2081013A1 (en) Method of inspecting food and inspection apparatus implementing the same
Aredo et al. Predicting of the quality attributes of orange fruit using hyperspectral images
Noordam et al. Detection and classification of latent defects and diseases on raw French fries with multispectral imaging
JP2016045091A (ja) 青果類のアントシアニン含量の非破壊計測装置及び非破壊計測方法
JP3614980B2 (ja) 農産物の外観検査方法及び装置
JP2015040818A (ja) 穀物分類方法及び穀物分類装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151106

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161115

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170323

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20161115

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170323

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170106

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20170523

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20170518

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20170323

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170106

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PG1501 Laying open of application
GRNT Written decision to grant
PR0702 Registration of establishment of national patent

Patent event code: PR07021E01D

Comment text: Registration of Establishment of National Patent

Patent event date: 20170620

PR1002 Payment of registration fee

Payment date: 20170620

End annual number: 20

Start annual number: 1

PG1601 Publication of registration