KR20020004394A - 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법 - Google Patents

과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법 Download PDF

Info

Publication number
KR20020004394A
KR20020004394A KR1020000038253A KR20000038253A KR20020004394A KR 20020004394 A KR20020004394 A KR 20020004394A KR 1020000038253 A KR1020000038253 A KR 1020000038253A KR 20000038253 A KR20000038253 A KR 20000038253A KR 20020004394 A KR20020004394 A KR 20020004394A
Authority
KR
South Korea
Prior art keywords
fruit
image acquisition
color
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020000038253A
Other languages
English (en)
Other versions
KR100400861B1 (ko
Inventor
노상하
이수희
Original Assignee
이기준
대한민국(서울대학총장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이기준, 대한민국(서울대학총장) filed Critical 이기준
Priority to KR10-2000-0038253A priority Critical patent/KR100400861B1/ko
Publication of KR20020004394A publication Critical patent/KR20020004394A/ko
Application granted granted Critical
Publication of KR100400861B1 publication Critical patent/KR100400861B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템 및 방법에 관한 것으로, 프레임부(20)에 제공된 컨베이어부(10)와; 상기 컨베이어부 (10)에 의해 이송되는 과실을 감지하도록 제공된 광센서(37)와; 상기 광센서(37)의 감지신호에 따라 선택된 과실의 전체적인 색, 결점 및 형상에 관한 영상을 획득하도록 각기 제공된 과실의 상측부 영상을 획득하는 제1영상획득부(31)와 과실의 좌우측부 영상을 각기 획득하는 제2 및 제3영상획득부(33)(35)를 갖는 영상획득수단(30)과; 상기 컨베이어부(10), 광센서(37), 영상획득수단(30)과 각기 전기적으로 연결되어 있으며, 과실의 등급판정 프로그램이 내장되어 있어 전송된 다중영상을 판독하여 과실의 등급을 판정하고, 전송된 다중영상 및 과실등급 판정값을 표시하는 모니터(90)를 구비한 컴퓨터 시스템(COM)을 포함하여 상품성을 결정하는 과실의 외부품질인자 중 색, 결점 및 형상에 따른 선별과정을 정량화하여 과실의 정지상태 또는 이송상태에서 등급판정을 실시간적으로 수행함으로써 선별자의 주관에 의해 선별되던 종래에 비하여 과실의 엄격한 선별관리를 통한 과실의 품질을 향상시켜 소비자로 하여금 과실의 품질에 대한 신뢰도를 개선할 수 있는 특징이 있다.

Description

과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템 및 방법{MACHINE VISION SYSTEM FOR ON-LINE EXTRACTION AND QUALIFICATION OF APPEARANCE QUALITY FACTORS OF FRUIT AND METHOD THEREOF}
본 발명은 과일 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사과의 주요 외관품질인자인 색, 결점(病斑, 打傷, 刺傷) 및 형상을 정량화하도록 광학적 특성을 구명하여 온라인으로 품질인자를 측정하기 위한 시스템 및 방법에 관한 것이다.
사과의 학명은 Malus pumila Miller로서 낙엽과수를 대표할 만큼 모양과 맛에서 뛰어난 과실로 먹기에 간편하고 맛도 좋을 뿐만 아니라 영양적 가치와 효능이 널리 알려져 있다. 우리나라는 자연적 기후조건이 과실 재배에 적합하여 농산물 생산의 감소에도 불구하고 농업에서 사과가 차지하는 비중은 증가하는 추세를 보이고 있으며, 생산량 또한 '85년 556,160톤에서 '97년 651,000톤으로 17%나 증가하였다. 그러나, 국내적으로 재배면적이 증가하여 공급과잉을 보이고 있고, 국제적으로는 UR 협상의 타결로 미국 등 주요 사과 생산국과 국내외에서 경쟁이 불가피하게 되어 국내 사과산업에 커다란 위기로 받아들여지고 있다.
과실의 품질인자에 대한 선호도를 분석한 이계임(1998) 등은 소비자의 구매행위를 크게 가정 소비용과 선물용으로 나누고 각각의 경우에 대해서 품질인자의 선호도를 분선한 결과 가정 소비용과 선물용에 대한 소비자의 품질 인자에는 차이가 있음을 보고하였다. 이는 소비자의 과실에 대한 요구가 매우 주관적이고 소비 형태에 따라 선호 품질인자가 달라진다는 것을 의마하는 것으로 품질에 대한 요구도를 만족하기 위해서는 무엇보다도 다양한 품질인자별 선별작업이 수행될 필요가 있다.
한편, 과실을 수출하는 경우 크기와 색이 균일해야 하는데 현재 우리나라에서는 생산자에 따라 주관적인 등급결정을 함으로써 경쟁력 면에서 외국의 청과물에 떨어질 수 밖에 없다. 따라서, 생산된 과실의 부가가치를 높이기 위해서는 현재 사용되고 있는 중량선별 이외에 다른 선별작업이 추가되어야 한다. 현재 관행 과실 선별작업체계는 대부분 중량선별만이 이루어지고 있고 일부 기계시각장치에 의한 색 선별이 수행되고 있으나 형상이나 결점과 같은 기타 품질인자에 대해서는 대부분 1차 선별대에서 인력에 의해 수행되고 있다.
또한, 선별과 같은 단순 반복작업을 인력에 의해 수행할 경우 선별자의 주관이 개입될 가능성이 매우 높고 선별 결과 또한 재현성이 떨어지는 등 출하되는 농산물의 품질관리는 사실상 불가능하다. 이는 공산품의 경우 엄격한 품질관리를 통해서 제품의 질을 향상시킴으로써 소비자에게 제품에 대한 신뢰도를 심어주기 위해 노력하는 것과는 매우 대조된 현상이라고 할 것이다. 또한, 농가의 입장에서는 인력선별을 할 경우 생산된 과실의 품위에 대한 수치화 된 자료를 얻을 수 없으므로 생산한 과실에 대한 특성을 파악할 수 없으며, 차후 보다 향상된 농산물을 출하하기 위한 재배기술의 향상도 기대하기 어렵다. 이처럼 선별작업은 단순히 과실을 고르는 작업이 아니라 부가가치 향상과 소비자에 대한 신뢰도를 부여한다는 점에서 매우 중요한 작업체계라고 할 것이다.
선별작업은 사과의 상품성을 높일 수 있는 핵심작업으로 선별인자에 따라 크기, 무게, 형상, 색 및 상처유무와 같은 외부품질에 대한 선별과 당도, 산도, 맛, 향기와 같은 내부품질에 대한 선별로 나눌 수 있다. 국내의 선별작업은 전자식 센서에 의한 중량선별만이 보편화된 실정이며 최근 색선별을 위한 시작기가 제작되어 전시회 출품 및 일부 현장에서 사용된 바 있다. 선진 외국의 경우 다양한 품질인자에 대한 선별이 이루어지고 있으나 이것을 수입하여 국내에서 사용하기에는 과실의 모양, 크기, 색깔, 등급규격 등이 다르기 때문에 국내에서 생산되는 과실에 적합하지 않은 단점이 있다.
기계시각장치를 이용한 선별기는 과실의 크기와 색에 대한 선별이 가능하고 최근 전자산업의 발달로 가격이 하락하고 있어 과거에 비해 보급이 용이하다고 판단된다. 국내에는 외국의 기계시각장치를 이용한 사과 선별시스템이 도입되어 사용되고 있으며 이들은 사과를 이송 로울러에 의해 굴리면서 이송시키는 방식과 접시에 사과가 놓여진 상태에서 접시를 이송시키는 방식 그리고 자유 이송접시에 의해 개체를 이송시키는 방식으로 나눌 수 있다. 이송 로울러에 의해 사과를 굴리는 방식은 전 표면을 관찰할 수 있다는 장점이 있으나 이송시 사과 사이에 충격을 받을 가능성이 있고 특히, 배출시 낙하 운동에 의해 어느 정도 충격을 받게 되는 단점이 있다. 접시에 의한 이송 방식은 이송간 충격은 없으나 배출시에 마찬가지로충격을 받게 되며, 자유이송접시에 의한 이송방식은 이송에서 배출에 이르기까지 충격을 거의 받지 않는 장점이 있으나, 시스템이 복잡해지고 이송접시에 의해 사과의 전표면을 관찰할 수 없다는 단점이 있다. 국내에서 생산되는 사과는 과피의 두께가 얇고 조직이 연하여 충격에 매우 민감하므로 개체를 굴리는 방식을 채택하는 경우 선별 과정에서 물리적인 충격에 의해 멍이 들 가능성이 높으며 이에 따른 상품성이 떨어질 우려가 있다.
사과는 상품성이 높은 작물로서 외관에 의해 상품가치가 좌우되고 있다. 즉 과실의 맛을 평가하기에 앞서 눈으로 보아 피해가 없는 건전한 과실이 높은 가격을 받게 된다.
이에 본 발명은 전술된 문제점을 극복하기 위해 창출된 것으로, 본 발명의 목적은 상품성을 결정하는 과실의 외부품질인자 중 색, 결점 및 형상에 따른 선별과정을 정량화하여 과실의 정지상태 또는 이송상태에서 등급판정을 실시간적으로 수행할 수 있는 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템 및 방법을 제공함에 있다.
도 1은 본 발명에 의한 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템을 나타내는 사시도.
도 2는 도 1 시스템의 개략도.
도 3은 도 1의 제1영상획득부를 나타내는 개략도.
도 4는 도 1의 제2 및 제3영상획득부를 나타내는 개략도.
도 5는 본 발명의 시스템에 의해 획득된 과실의 7채널 영상을 나타내는 사진.
도 6은 각 파장대역에서 후지과실의 정상 부위와 결점 부위의 Mahalanobis 거리를 나타내는 그래프.
도 7은 본 발명의 시스템에 의한 등급선별방법을 나타내는 흐름도.
도 8은 본 발명의 시스템에 의한 색등급 판정단계를 나타내는 흐름도.
도 9는 본 발명의 시스템에 의한 결점판정단계를 나타내는 흐름도.
<<도면의 주요부분에 대한 설명>>
10 : 컨베이어부 20 : 프레임부
30 : 영상획득수단 31,33,35 : 영상획득부
37 : 광센서
312,313,314,333,334,353,354 : 카메라 90 : 모니터
COM : 컴퓨터 시스템
이러한 본 발명의 목적은 프레임부에 제공된 컨베이어부와; 상기 컨베이어부에 의해 이송되는 과실을 감지하도록 제공된 광센서와; 상기 광센서의 감지신호에 따라 선택된 과실의 전체적인 색, 결점 및 형상에 관한 영상을 획득하도록 각기 제공된 과실의 상측부 영상을 획득하는 제1영상획득부와 과실의 좌우측부 영상을각기 획득하는 제2 및 제3영상획득부를 갖는 영상획득수단과; 상기 컨베이어부, 광센서, 영상획득수단과 각기 전기적으로 연결되어 있으며, 과실의 등급판정 프로그램이 내장되어 있어 전송된 다중영상을 판독하여 과실의 등급을 판정하고, 전송된 다중영상 및 과실등급 판정값을 표시하는 모니터를 구비한 컴퓨터를 포함하여 구성된 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템에 의해 달성될 수 있다.
또한, 본 발명의 다른 목적은 이송 또는 정지상태의 과실을 감지하여 과실의 상측부 및 좌우측부의 영상 데이터를 획득하는 단계와; 상기 과살의 상측부 칼라영상을 판독하여 색등급을 판정하는 단계와; 상기 과실의 상측부 근적외선 흑백영상을 판독하여 병반결점을 검출하는 단계와; 상기 과실의 상측부 근적외선 흑백영상을 판독하여 타상 및 자상결점을 검출하는 동시에 형상 등급을 판정하는 단계와; 상기 과실의 좌우측부의 근적외선 흑백영상들을 각기 판독하여 병반, 타상 및 자상결점을 검출하는 단계와; 상기 검출된 색, 결점 및 형상판정값을 표시하는 단계를 포함하여 이루어진 과실 외관품질 인자의 온라인 검출 및 정량화 판정방법에 의해 달성될 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면에 의거하여 구체적으로 설명하면 다음과 같다.
본 발명에 의한 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템은 컨베이어부(10)에 의해 연속적으로 이송되는 과실중에서 측정위치에 도달한 과실을 실시간적으로 촬영하여 다중영상을 획득하도록 프레임부(20)의 임의 위치에영상획득수단 (30)을 설치하고, 각각의 획득된 영상자료를 모니터(90)에 표시하는 한편, 획득된 영상을 판독하여 과실의 등급을 결정하도록 프로그램이 내장된 컴퓨터 시스템(COM)으로 구성되어 있다.
프레임부(20)는 본 발명 시스템의 전체적인 중량을 감안하여 다수 개의 철재바에 의해 지주골조(21)가 형성되어 있고, 전술된 영상획득수단(30)과 컨베이어부(10)가 설치될 수 있도록 지주골조(21)의 상부면에 베이스 프레임(23)이 제공되어 있다.
그리고, 영상획득수단(30)에 의해 과실의 실시간적 촬영이 이루어질 경우에 최적의 조도를 구현하도록 베이스 프레임(23)의 상부면에 설치된 지지골조(25)에 조명수단(50)이 제공되어 있다. 또한, 영상획득수단(30) 중에서 과실의 상부면, 예컨대 과실꼭지부를 촬영하는 제1영상획득부(31)는 전술된 지지골조(25)의 상단부에 설치된 지지 플레이트(27)의 상부면에 설치되어 있다. 그리고, 지지 플레이트 (27)의 중심부분에는 제1영상획득부(31)의 카메라 렌즈가 과실의 꼭지부분을 촬영할 수 있도록 개구부가 형성되어 있다.
조명수단(50)은 균일한 조명을 얻기 위하여 텅스텐-할로겐등(51;200W)을 지지골조(25)에 동일한 각도로 다수 설치되어 있으며, 이는 타상 및 자상 검출을 위한 970nm에 대한 카메라의 응답특성이 매우 낮아서 이를 보상하기 위해 매우 강한 조명이 요구되기 때문이며 이에 대한 상세한 설명은 후술하기로 한다.
컨베이어부(10)는 과실의 연속적인 이송을 위해 베이스 프레임(23)의 상부면에 제공된 것으로, 본 도면에서는 구동수단인 모터와 컨베이어간의 기계적 연결관계가 명확하게 나타나 있지 않다. 또한, 본 발명의 시스템이 실제 과실등급판정을 위한 출하장등에 설치되는 경우에는 컨베이어부(10)가 그에 대응한 길이를 갖는다.여기서, 컨베이어부(10)의 이송속도는 최대 50cm/sec까지 조절되는 것이 바람직하다.
영상획득수단(30)은 이송되는 과실을 실시간적으로 촬영하여 다중영상을 획득하도록 베이스 프레임(23)의 상부면에 설치된 것으로, 과실의 꼭지부분인 상측부를 촬영하는 제1영상획득부(31)과, 과실의 좌우측부를 각기 촬영하는 제2 및 제3영상획득부(33)(35)로 구성된다. 여기서, 컨베이어부(10)에 의해 이송되는 과실은 컴퓨터 시스템(COM)에 제어되는 광센서(37)에 의해 감지되어 영상획득부(31)(33)(35)에 의한 영상획득이 시작된다.
먼저, 도 3을 참조하여 제1영상획득부(31)의 구조를 설명하면, 제1영상획득부(31)는 광분할기(311)를 통해 입사된 광을 3방향으로 분할하여 각 방향에 대하여 각기 한대의 칼라 카메라(312)와 근적외선 영상획득을 위한 두 대의 흑백카메라 (313)(314)가 스텐드(317)에 설치되어 있다.
여기서, 광분할기(311)는 카메라를 한 면에 장착할 경우에 각각의 카메라가 차지하는 공간으로 인하여 실제 측정되는 과실의 영역이 서로 다르게 나타나기 때문에 2개의 광분할편(311a)(311b)을 연속적으로 내장하여 한 면에서 3대의 카메라에 의해 3개의 영상을 획득할 수 있도록 구성되어 있다. 이를 좀 더 상세히 설명하면, 광분할기(311)는 하우징(311c)의 상하부면의 일정부분이 개구된 구조로서 하부의 개구부를 통해 광이 입사되면 그 입사된 광을 분할하여 각기 대응된카메라(314)(313)(312)에 의해 과실의 영상을 획득하도록 광분할판(311a)(311b)이 경사지게 수직이격되어 내장되어 있다. 이 때, 입사된 광을 일정한 비율로 분할하기 위해 투과율과 반사율이 각각 7:3과 6:4인 2개의 광분할판(311a)(311b)이 내장되어 있어 각 카메라(314)(313)(312)의 렌즈에 대해 각기 30%, 28%, 42%의 비율로 광이 입사되도록 되어 있다.
도 3에 나타나 있는 바와 같이, 각각의 광분할판(311a)(311b)에 의해 분할된 광은 각기 전술된 바와 같이 일정비율로 각기 대응된 카메라(313)(314)에 입사되는데, 이 때 분할된 광이 입사되는 하우징(311c)의 입사면에는 각기 720nm 필터 (311d)와 970nm 필터(311e)가 제공되며, 전술된 파장대역을 사용하는 이유에 대해서는 후술하기로 한다.
여기서, 등급판정은 광센서(37)에 의해서 이송 상태의 과실이 칼라 카메라(312) 하단에 도달하였다는 신호가 입력되면 영상을 획득하게 되는데, 칼라 카메라(312)에 의한 칼라 영상에서 색 등급을 판정하고 제2흑백 카메라(314)는 결점을 검출하며 제1흑백 카메라(313)는 형상 등급을 판정하도록 되어 있다. 특히, 형상 판정을 970nm 제1흑백 카메라(313)에서 수행한 이유는 상대적으로 물체와 카메라 사이의 거리가 가장 근접하여 공간해상도가 다른 영상보다 크기 때문이다.
칼라 카메라(312)로 획득한 영상에서의 세부적인 측정내용은 과일 화소수, 착색 화소수이며 제1흑백 카메라(313)에서는 장단축 길이, 도심과 꼭지의 거리, 면적이 측정된다.
본 시스템에 적용된 칼라 카메라(312)는 LG-305G(LG Honeywell사)이고, 흑백카메라(313)(314)는 LG-145E(LG Honeywell사)를 사용했으며, 초점거리 16mm인 고정초점렌즈(f 1.4, Avenir)이고, 영상획득을 위한 칼라영상처리보드는 FlashBus MV-Pro (Integral tech. USA)를 사용하였으며, 펜티엄 MMX 233MHz의 CPU를 장착한 컴퓨터 시스템(COM)을 등급판정을 위한 주 컴퓨터로 사용하였다.
도 4를 참조하면, 제2 및 제3영상획득부(33)(35)는 각 광분할기(331)(351)에 내장된 광분할판(331a;331b)(351a;351b)에 의해 분할된 광이 각기 대응된 제1 및 제2흑백 카메라(333;334)(353;354)에 입사되어 각기 사과의 좌우측부를 촬영하여 영상을 획득하게 되어 있다. 여기서, 제2 및 제3영상획득부(33)(35)의 카메라들 (333;334)(353;354)들은 전술된 제1영상획득부(31)의 제1 및 제2카메라(313)(314)들과 동일한 기능 및 성능을 갖는 카메라이며 필터들(331d,351d;720nm)(331e, 351e;970nm) 또한 동일한 파장 대역 필터들이다.
전술된 제1 내지 제3영상획득부(31)(33)(35)에 의해 획득된 영상은 각기 대응된 멀티플렉서(50)(60)에 의해 컴퓨터 시스템(COM)에 전송되어 모니터(90)에 표시된다. 이때, 제1멀티플렉서(50)는 제1영상획득부(31)에 획득된 1개의 칼라 영상과 2개의 흑백 영상을 그리고, 제2멀티플렉서(60)는 제2 및 제3영상획득부(33)(35)에서 각기 획득된 흑백 영상 2개씩을 컴퓨터 시스템(COM)에 전송한다.
도 5는 본 발명의 시스템에 의해 실제 과실의 색, 결점 및 형상을 판정하도록 7대의 카메라에서 획득된 영상이 모니터(90)에 표출된 사진으로서, 1,2,3사분면은 과실의 상부면에 칼라와 근적외선 흑백 영상을, 4사분면은 좌우 측면 근적외선 영상을 보여주고 있다. 사진에서 보듯이 측면 제2 및 제3영상획득부(33)(35)의 카메라를 사용할 경우 상부면에서는 보이지 않는 측면의 결점 부위를 영상으로 획득할 수 있었다.
본 발명에서는 근적외선 파장을 결정하기 위하여 샘플 시료를 대상으로 15개의 근적외선 대역에서의 화소치를 구하고 Mahalanobis 거리를 사용하여 판별가능성을 조사하였다. 도 6은 각 파장대역에서 정상 부위와 결점 부위의 Mahalanobis 거리를 나타낸 것으로서, 각 파장별 결점 검출 가능성을 분석하였다. 먼저 타상과 자상에 대한 Mahalanobis 거리는 파장이 증가함에 따라 미약하지만 증가하는 특성을 보여주었으며 수분 흡수 파장인 970nm 파장에서 가장 큰 거리 차이를 보여주었다. 이에 비해 병판에 대한 Mahalanobis 거리는 720nm 파장에서 최대 거리 차이를 보여 주었으며 파장이 증가할 수록 거리가 감소하는 특성을 보여주어 타상 및 자상과는 상반되는 특성을 갖는 것으로 나타났다.
한편, 3가지 결점에 대한 Mahalanobis 거리의 역수를 취한 값을 합하여 정상과 결점을 구분하기 위한 판별값을 계산하였다. 여기서 판별값은 거리의 역수를 취하였으므로 값이 작을수록 판별율이 높다는 것을 의미하며 분석 결과 3가지 결점에 대한 일정한 거리 차이를 갖는 920nm가 가장 낮은 판별값을 갖는 것으로 나타났다.
이상의 결과를 종합해보면, 각각의 결점을 검출하기 위한 파장으론 병반에 대해서 720nm, 타상 및 자상에 대해서 970nm가 유의하며 병반이 타상과 자상보다는 상대적으로 검출이 용이할 것으로 판단되며 이들 결점을 동시에 검출하기 위한 단일 파장으로는 920nm가 가장 적합한 것으로 나타났다.
도 7를 참조하여 본 발명의 시스템에 의한 등급선별 단계를 설명하면, 먼저 컨베이어부(10)에 이송되는 과실이 광센서(37)에 의해 제1영상획득부(31)의 칼라 카메라(312)의 하부에 도달된 것으로 감지되면(S10) 영상을 획득한다(S11). 그런 다음, 칼라 카메라(312)에 의해 획득된 1번 채널 영상을 판독하여 색 등급을 판정한다(S12).
제1영상획득부(31)의 근적외선 제2흑백 카메라(314)에 의해 획득된 2번 채널 영상을 판독하여 과실의 상측부 결점을 검출하고(S13), 제1영상획득부(31)의 근적외선 제1흑백 카메라(313)에 의해 획득된 3번 채널 영상을 판독하여 과실의 결점 및 형상등급을 검출한다(S14). 이어서, 제2 및 제3영상획부(33)(35)의 각 카메라(333,334)(353,354)에 의해 획득된 4-7번 채널 영상으로부터 과실의 좌우측부 결점을 검출한 후(S15) 모티터(90)에 판정결과를 표시한다(S16).
도 8을 참조하여 등급선별 단계중, 색 등급의 판정단계를 상세하게 설명하면, 먼저 컨베이어부(10)에 이송되는 과실이 광센서(37)에 의해 제1영상획득부(31)의 칼라 카메라(312)의 하부에 도달된 것으로 감지되면(S20) 과실의 윤곽선의 시작 위치를 탐색하고 시작점에서 체인코딩을 수행하여 배경과 과실을 분리한다(S21).
그런 다음, 직반사와 조명 불균일에 의한 영향을 배제하기 위해서 과실 윤곽선에서 10개 화소 폭만큼을 분석, 화소에서 제외시키고 과실의 꼭지는 그의 중심에서 최대반경의 20%에 해당하는 범위를 꼭지 부위로 간주하고 이 영역에 대해서는 착색 화소 판정을 수행하지 않는다(S22). 과실의 착색 화소 판정(24)은 화소의 RGB값에 대한 LUT(Look-up Table)값을 참조하여(S23) b*/a*값에 대한 기울기를 계산하는 방식을 사용하여 이 때 기울기 각도가 71도 이내인 경우는 착색화소로, 그 이상인 경우에는 지색 화소로 간주하여 착색 비율을 결정한다(S28). 여기서, 착색 화소 판정(24)은 도 8에 나타나 있는 바와 같이 화소단위로 이루어지기 때문에 해당 화소에 대해 판정이 수행되고 계속해서 다른 화소(S26)에도 동일한 방법에 의해 판정이 수행되다가 영상의 단부, 즉 색채 화소가 없는 것으로 확인되면(S27) 전술된 바와 같이 착색 비율이 결정되어 과실의 색채등급이 판정된다(S28).
전술된 LUT는 L*a*b*값이 저장된 것으로 본 발명에 의한 시스템이 가동되면 컴퓨터 시스템(COM)의 주메모리에 상주되는 값이다. 또한, 최종적인 등급판정은 국내 수지사과의 경우 색 요구에 따라 착색비율 60% 이상은 1등급으로, 40-60%는 2등급으로, 40% 미만은 3등급으로 결정하였다.
도 9를 참조하여 등급선별 단계중, 결점판정단계를 상세하게 설명하면, 먼저 본 단계는 제1영상획득부(31)의 근적외선 제2흑백 카메라(314)에 의해 획득된 2번 채널로부터 시작된다(S31). 그런 다음, 채널 영역의 Area Of Interest(분석영역)를 설정하고(S32) 과실의 시작 위치를 탐색하고 NIR 영상을 체인코딩한다(S33).
과실의 꼭지가 보이는 상측부 영상(2번 또는 3번 채널)인가를 검증하여(S34) 상측부 영상이면 과실과 배경을 분리하고 과실꼭지를 제거하고(S37) 과실의 꼭지가 없는 좌우측부 영상인 경우에는 배경으로부터 과실영역을 구분한 다음(S35) 과실을 수직으로 3등분한다(S36) 그런 다음, 과실의 평균 그레이(gray)값을 획득하고 결점화소를 계수한다(S38). 이러한 과정은 2번 채널에서 한 채널씩 채널수를 증가시켜(S40) 7번 채널까지 반복적으로 수행되며(S39), 7번 채널까지 완료되면 총 결점화소의 개수를 측정하여 결점 문턱값(결점 화소수 70개) 이상일 경우에는 과실내에 결점이 존재한 것으로 판단하여 비정상과로 판정하고(S43), 결점 문턱값 이하인 경우에는 과실내에 결점이 없는 것으로 간주하여 정상과로 판정한다(S42).
이상에서 살펴본 바와 같이 본 발명의 구조에 의하면, 상품성을 결정하는 과실의 외부품질인자 중 색, 결점 및 형상에 따른 선별과정을 정량화하여 과실의 정지상태 또는 이송상태에서 등급판정을 실시간적으로 수행함으로써 선별자의 주관에 의해 선별되던 종래에 비하여 과실의 엄격한 선별관리를 통한 과실의 품질을 향상시켜 소비자로 하여금 과실의 품질에 대한 신뢰도를 제고할 수 있도록 하는 장점이 있다.

Claims (9)

  1. 프레임부(20)에 제공된 컨베이어부(10)와;
    상기 컨베이어부(10)에 의해 이송되는 과실을 감지하도록 제공된 광센서(37)와;
    상기 광센서(37)의 감지신호에 따라 선택된 과실의 전체적인 색, 결점 및 형상에 관한 영상을 획득하도록 각기 제공된 과실의 상측부 영상을 획득하는 제1영상획득부(31)와 과실의 좌우측부 영상을 각기 획득하는 제2 및 제3영상획득부(33) (35)를 갖는 영상획득수단(30)과;
    상기 컨베이어부(10), 광센서(37), 영상획득수단(30)과 각기 전기적으로 연결되어 있으며, 과실의 등급판정 프로그램이 내장되어 있어 전송된 다중영상을 판독하여 과실의 등급을 판정하고, 전송된 다중영상 및 과실등급 판정값을 표시하는 모니터(90)를 구비한 컴퓨터 시스템(COM)를 포함하여 구성된 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템.
  2. 젱1항에 있어서, 상기 제1영상획득부(31)는 입사광을 3방향으로 분할하는 광분할판(311a,311b)이 내장된 광분할기(311)와, 분할된 입사광에 각기 대응되어 상기 광분할기(311)에 취부된 과실의 색을 검출하는 칼라 카메라(312)와 과실의 결점 및 형상을 검출하도록 각 렌즈의 인접부에 필터(311e)(311d)가 각기 제공된 근적외선 제1 및 제2흑백 카메라(313)(314)를 구비하고,
    상기 제2 및 제3영상획득부(33)(35)는 입사광을 분할하는 광분할판(331a, 331b)(351a,351b)이 각기 내장된 광분할기(331)(351)와, 분할된 입사광에 각기 대응되어 과실의 결점을 검출하도록 각 렌즈의 인접부에 필터(331e,331d)(351e,351d)가 각기 제공된 근적외선 제1 및 제2흑백 카메라(333,334)(353,354)를 구비하는 것을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템.
  3. 제2항에 있어서, 상기 필터들(311d,311e)(331d,331e)(351d,351e)의 파장대역은 각 영상획득부(31)33)(35)별로 과실의 병반을 검출하는 720nm 또는 타상과 자상을 검출하는 970nm중 선택적인 파장대역을 갖는 것을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템.
  4. 제1항 또는 제2항에 있어서, 상기 영상획득수단(30)에 의한 균일한 영상을 획득하도록 동일한 각도로 상기 프레임부(20)에 제공된 다수의 텅스텐-할로겐등 (51)을 구비한 조명수단(50)을 더 포함하며, 점멸은 수동으로 하고 있음을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화를 위한 시스템.
  5. 이송 또는 정지상태의 사과를 감지하여 과실의 상측부 및 좌우측부의 영상 데이터를 획득하는 단계와;
    상기 과실의 상측부 칼라영상을 판독하여 색등급을 판정하는 단계와;
    상기 과실의 상측부 근적외선 흑백영상을 판독하여 병반결점을 검출하는 단계와;
    상기 과실의 상측부 근적외선 흑백영상을 판독하여 타상 및 자상결점을 검출하는 동시에 형상 등급을 판정하는 단계와;
    상기 과실의 좌우측부의 근적외선 흑백영상들을 각기 판독하여 병반, 타상 및 자상결점을 검출하는 단계와;
    상기 검출된 색채, 결점 및 형상판정값을 표시하는 단계를 포함하는 이루어진 과실 외관품질 인자의 온라인 검출 및 정량화 판정방법.
  6. 제5항에 있어서, 상기 과실의 색등급을 판정하는 단계는 과실의 윤곽선의 시작위치를 탐색하여 체인코딩함으로써 과실과 배경을 구분하고 꼭지부분을 제거하는 단계와, 사과의 RGB값을 읽어 b*/a*기울기를 계산하고 그 계산된 값을 색 문턱값과 비교하여 과실의 색 등급을 판정하는 단계로 이루어진 것을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화 판정방법.
  7. 제5항 또는 제6항에 있어서, 후지사과의 경우 상기 색 문턱값이 71로 설정되고 상기 b*/a*기울기가 71도 미만인 경우에는 착색화소로 간주하고 71이상인 경우에는 지색화소로 간주하되, 착색비율이 60% 이상이면 1등급, 40-60%는 2등급 그리고, 40% 미만인 경우에는 3등급으로 결정되는 것을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화 판정방법.
  8. 제5항에 있어서, 상기 과실의 결점을 검출하는 단계는 과실의 시작위치를 탐색하고 근적외선(NIR) 영상을 체인코딩하는 단계와, 과실의 꼭지가 보이는 상측부 영상이면 과실과 배경을 분리하고 과실꼭지를 제거하고, 과실의 꼭지가 보이지 않는 좌우측부 영상이면 과실 영역을 배경으로부터 구분한 후 3분할하여 과실의 결점화소를 계수하는 단계와, 계수된 결점화소와 결점 문턱값을 비교하여 과실의 결점을 판정하는 단계로 이루어진 것을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화 판정방법.
  9. 제5항 또는 제8항에 있어서, 상기 결점 문턱값이 70개로 설정되고 결점화소수가 70개 이상이면 비정상과로 판정되고, 70개 이하이면 정상과로 판정되는 것을 특징으로 하는 과실 외관품질 인자의 온라인 검출 및 정량화 판정방법.
KR10-2000-0038253A 2000-07-05 2000-07-05 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법 Expired - Fee Related KR100400861B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2000-0038253A KR100400861B1 (ko) 2000-07-05 2000-07-05 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0038253A KR100400861B1 (ko) 2000-07-05 2000-07-05 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20020004394A true KR20020004394A (ko) 2002-01-16
KR100400861B1 KR100400861B1 (ko) 2003-10-08

Family

ID=19676323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0038253A Expired - Fee Related KR100400861B1 (ko) 2000-07-05 2000-07-05 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100400861B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108906653A (zh) * 2018-08-07 2018-11-30 山东商业职业技术学院 一种桃子刷毛分级设备及桃子刷毛分级方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480149B1 (ko) * 2012-12-03 2015-01-08 대한민국 농산물 선별장치
KR20200007385A (ko) 2018-07-13 2020-01-22 길마기술 주식회사 과일 선별장치
KR102239387B1 (ko) * 2019-04-30 2021-04-12 대한민국 딸기 품질 판별장치 및 이를 이용한 딸기 품질 판별방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108906653A (zh) * 2018-08-07 2018-11-30 山东商业职业技术学院 一种桃子刷毛分级设备及桃子刷毛分级方法
CN108906653B (zh) * 2018-08-07 2024-03-15 山东商业职业技术学院 一种桃子刷毛分级设备及桃子刷毛分级方法

Also Published As

Publication number Publication date
KR100400861B1 (ko) 2003-10-08

Similar Documents

Publication Publication Date Title
Xing et al. Detecting bruises on ‘Golden Delicious’ apples using hyperspectral imaging with multiple wavebands
KR101650679B1 (ko) 동적 제조 라인에서 식품 제품의 품질을 채점 및 제어하는 방법
ElMasry et al. Hyperspectral imaging for nondestructive determination of some quality attributes for strawberry
Rajkumar et al. Studies on banana fruit quality and maturity stages using hyperspectral imaging
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
Cubero et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables
CN114112932B (zh) 基于深度学习的油茶果成熟度高光谱检测方法及分选设备
JP2006170669A (ja) 青果物の品質検査装置
Cho et al. Prediction of pelargonidin-3-glucoside in strawberries according to the postharvest distribution period of two ripening stages using VIS-NIR and SWIR hyperspectral imaging technology
Xing et al. Stem-end/calyx identification on apples using contour analysis in multispectral images
Manickavasagan et al. Non-destructive measurement of total soluble solid (TSS) content of dates using near infrared (NIR) imaging
Yuan et al. A preliminary discrimination of cluster disqualified shape for table grape by mono-camera multi-perspective simultaneously imaging approach
Ahmad et al. Color distribution analysis for ripeness prediction of golden apollo melon
Rafiq et al. Application of computer vision system in food processing
JP2005201636A (ja) 腐敗部判定方法及び判定装置
KR100400861B1 (ko) 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법
Díaz Classification and quality evaluation of table olives
Faridi et al. Application of machine vision in agricultural products
Puchalski et al. Image analysis for apple defect detection
Zhang et al. Date quality evaluation using short-wave infrared imaging
MatIaCeVIC et al. Evaluation of blueberry color during storage by image analysis
JP2003251282A (ja) 苺用等階級計測判定装置
CN110882948A (zh) 一种柚子品质分类方法与装置
Wang et al. Bruise detection of apples using hyperspectral imaging
Fu et al. Distinguishing overripe berries of Japanese blue honeysuckle using hyperspectral imaging analysis

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

S14-X000 Exclusive voluntary license recorded

St.27 status event code: A-4-4-S10-S14-lic-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

FPAY Annual fee payment

Payment date: 20120921

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20130909

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20140925

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20140925

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000