KR20140096595A

KR20140096595A - 이미지 분류 방법

Info

Publication number: KR20140096595A
Application number: KR1020130009348A
Authority: KR
Inventors: 박길흠; 김태훈; 김기승; 이은영; 구은혜
Original assignee: 경북대학교 산학협력단
Priority date: 2013-01-28
Filing date: 2013-01-28
Publication date: 2014-08-06

Abstract

이미지 분류 방법이 개시된다. 본 이미지 분류 방법은, 이미지를 촬상한 이미지를 입력받은 단계, 입력받은 이미지에 대한 색 처리를 수행하여, 주도적인 색(hue) 값을 추출하는 단계, 추출된 색(hue) 값을 기초로 기저장된 복수의 이미지에 대한 정보를 필터링하는 단계, 필터링된 이미지에 대한 정보 내의 이미지 각각과 입력받은 이미지 간의 매칭을 수행하는 단계, 및, 매칭 결과를 표시하는 단계를 포함한다.

Description

이미지 분류 방법{METHOD FOR IMAGE CLASSIFICATION}

본 발명은 이미지 분류 방법에 관한 것으로, 조명 변화가 있는 경우에도 용이하게 이미지를 분류할 수 있는 이미지 분류 방법에 관한 것이다.

최근에는 사람에 의하여 분류 작업을 수행하는 대신에, 기계를 이용하여 분류 작업을 하고 있다. 이러한 기계 장치를 이용하여 분류 작업을 수행하기 위해서는 정확한 이미지 분류 기술이 요구된다.

그러나 종래에는 RGB 색 값을 이용하여 우선적으로 필터링을 수행하였다는 점에서, 조명의 변화에 따라 필터링 결과가 달라지는 문제점이 있었다.

따라서, 조명의 변화에도 강인하게 이미지를 분류할 수 있는 방법이 요구되었다.

따라서, 본 발명은 조명 변화에도 용이하게 이미지를 분류할 수 있는 이미지 분류 방법을 제공하는 데 있다.

이상과 같은 목적을 달성하기 위한 본 발명에 의한 이미지 분류 방법은, 촬상 이미지를 입력받은 단계, 상기 입력받은 이미지에 대한 색 처리를 수행하여, 주도적인 색(hue) 값을 추출하는 단계, 상기 추출된 색(hue) 값을 기초로 기저장된 복수의 이미지에 대한 정보를 필터링하는 단계, 상기 필터링된 이미지에 대한 정보 내의 이미지 각각과 상기 입력받은 이미지 간의 매칭을 수행하는 단계, 및, 상기 매칭 결과를 표시하는 단계를 포함한다.

이 경우, 본 이미지 분류 방법은, 상기 입력받은 이미지에서 메인 이미지 영역을 추출하는 단계를 더 포함하고, 상기 색 값을 추출하는 단계는, 상기 추출된 메인 이미지 영역에 대한 주도적인 색 값을 추출하고, 상기 매칭을 수행하는 단계는, 상기 필터링된 이미지에 대한 정보 내의 이미지 각각과 상기 추출된 메인 이미지 영역 간의 매칭을 수행할 수 있다.

이 경우, 상기 메인 이미지 영역을 추출하는 단계는, 상기 추출된 메인 이미지 영역의 크기 정보를 추출하고, 상기 필터링하는 단계는, 상기 추출된 메인 이미지 영역의 크기 정보 및 상기 추출된 색(hue) 값을 기초로 상기 복수의 이미지에 대한 정보를 필터링할 수 있다.

이 경우, 상기 크기 정보는, 상기 추출된 메인 이미지 영역 내의 가로 길이 및 세로 길이 또는 상기 추출된 메인 이미지 영역 내의 세로 길이 대비 가로 길이의 비율일 수 있다.

이 경우, 상기 영역 추출부는, 상기 입력받은 이미지에 대한 RGB 채널별 기설정된 값을 갖는 이진 이미지를 생성하고, 생성된 이진 이미지에 대한 윤곽선을 추출하여 상기 메인 이미지 영역을 추출할 수 있다.

한편, 상기 색 값을 추출하는 단계는, 상기 입력받은 이미지에 대한 RGB 채널 각각의 절대 차이가 기설정된 값 이상을 갖는 영역을 추출하는 색 처리를 수행할 수 있다.

한편, 본 이미지 분류 방법은, 상기 RGB 채널별 색 비율을 추출하는 단계를 더 포함하고, 상기 필터링하는 단계는, 상기 추출된 색 비율 및 상기 추출된 색(hue) 값을 기초로 상기 복수의 이미지에 대한 정보를 필터링할 수 있다.

한편, 상기 매칭을 수행하는 단계는, SURF(Speeded up rubust Features)를 이용하여 상기 필터링된 이미지에 대한 정보 내의 이미지 각각과 상기 입력받은 이미지 간의 매칭 개수를 산출할 수 있다.

이 경우, 상기 표시하는 단계는, 상기 입력받은 이미지와 매칭 개수가 가장 많은 이미지에 대한 정보를 표시할 수 있다.

한편, 상기 이미지에 대한 정보는, 이미지를 포함하고, 상기 이미지의 크기 정보, 상기 이미지의 색 정보 및 상기 이미지의 명칭 중 적어도 하나를 더 포함할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 이미지 분류 장치의 구성을 나타내는 블록도,
도 2는 RGB 컬러 모델을 설명하기 위한 도면,
도 3은 HSV 컬러 모델을 설명하기 위한 도면,
도 4 및 도 5는 도 1의 영역 추출부의 동작을 설명하기 위한 도면,
도 6 및 도 7은 도 1의 색 추출부의 동작을 설명하기 위한 도면,
도 8은 이미지의 채널 이미지를 도시한 도면,
도 9는 조명의 조도 변화에 따른 이미지를 도시한 도면,
도 10은 SURF 알고리즘에 따른 분류 동작을 설명하기 위한 도면,
도 11 및 도 12는 본 발명이 실시 예에 다른 이미지 분류 장치의 실험에 이용된 이미지의 예를 나타내는 도면,
도 13은 도 1의 사용자 인터페이스부에서 표시할 수 있는 사용자 인터페이스 창의 일 예를 도시한 도면,
도 14는 본 발명의 일 실시 예에 따른 이미지 분류 방법을 설명하기 위한 흐름도, 그리고,
도 15는 도 14의 이미지 분류 방법을 보다 자세히 설명하기 위한 흐름도이다.

이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 이미지 분류 장치의 구성을 나타내는 블록도이다.

도 1을 참고하면, 본 실시 예에 따른 이미지 분류 장치(100)는 입력부(110), 사용자 인터페이스부(120), 저장부(130), 영역 추출부(140), 색 추출부(150), 매칭부(160) 및 제어부(170)로 구성될 수 있다.

입력부(110)는 특정 객체를 촬상한 이미지를 입력받는다. 구체적으로, 입력부(110)는 외부 촬상 소자에서 촬상된 이미지를 입력받을 수 있다. 본 실시 예에서는 외부 장치로부터 촬상된 이미지를 입력받은 것으로 설명하였지만, 구현시에 이미지 분류 장치는 촬상 소자를 구비하고, 구비된 촬상 소자에서 촬상한 이미지를 이용하는 형태로도 구현될 수 있다. 여기서 특정 객체는 약병일 수 있으나, 본 발명은 약병에 한정되지는 않는다.

사용자 인터페이스부(120)는 이미지 분류 장치(100)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비하며, 이미지 분류 장치(100)에서 제공하는 각종 정보를 표시할 수 있다. 사용자 인터페이스부(120)는 터치 스크린과 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수 있으며, 키보드 및 마우스와 같은 입력 장치와 모니터와 같은 출력 장치의 결합으로 구현될 수도 있다.

사용자 인터페이스부(120)는 매칭 결과를 표시한다. 구체적으로, 사용자 인터페이스부(120)는 후술할 매칭부(160)의 매칭 결과에 따라서, 입력받은 이미지와 매칭 개수가 가장 많은 이미지에 대한 정보를 표시할 수 있다. 이때, 사용자 인터페이스부(120)는 도 13에 도시된 바와 같이 입력받은 이미지에 대응되는 이미지의 명칭을 표시할 수 있다. 한편, 본 실시 예에서는 메시지 형태로 직접적으로 매칭 결과를 표시하는 것으로 설명하였지만, 구현시에는 음성으로 출력하거나, 외부의 프린트 장치로 출력하는 형태로도 구현될 수 있다.

저장부(130)는 복수의 이미지에 대한 정보를 저장한다. 여기서 이미지에 대한 정보는, 미리 촬상되어 저장된 이미지, 해당 이미지의 크기 정보, 이미지의 색상 정보, 이미지의 명칭 등을 포함할 수 있다. 여기서 저장부에 저장된 이미지는 후술할 매칭부의 처리를 신속하게 하기 위하여 배경 이미지가 제거된 이미지 자체만의 이미지(즉, 메인 이미지)인 것이 바람직하고, 이미지의 크기 정보는 가로 길이 및 세로 길이일 수 있으며, 세로 길이 대비 가로 길이의 비율일 수 있다. 또한, 이미지의 색상 정보는 해당 이미지의 주도적인 색(hue) 값이거나 RGB 채널별 색 비율일 수 있다.

그리고 저장부(130)는 입력부에 입력된 이미지를 임시 저장할 수 있다. 그리고 저장부(130)는 후술할 영역 추출부(140)에서 추출된 메인 이미지 영역의 정보 및 후술할 색 추출부(150)의 색 처리된 이미지 등을 저장할 수 있다.

저장부(130)는 이미지 분류 장치(100) 내의 저장매체 및 외부 저장 매체, 예를 들어, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.

영역 추출부(140)는 입력받은 이미지에서 메인 이미지 영역을 추출한다. 구체적으로, 영역 추출부(140)는 입력받은 이미지에 대한 RGB 채널별 기설정된 값을 갖는 이진 이미지를 생성하고, 생성된 이진 이미지에 대한 윤곽선을 추출하여 메인 이미지 영역을 추출할 수 있다. 그리고 추출된 메인 이미지 영역을 기초로 입력받은 이미지에서 메인 이미지 영역만을 갖는 MBR 이미지를 추출할 수 있다. 이와 같은 영역 추출부(140)의 구체적인 동작에 대해서는 도 4 및 도 5를 참조하여 후술한다.

영역 추출부(140)는 추출된 메인 이미지 영역의 크기 정보를 추출한다. 구체적으로, 입력된 이미지가 기설정된 위치에서 촬상된 이미지인 경우, 영역 추출부(140)는 추출된 메인 이미지 영역의 가로 길이 및 세로 길이를 크기 정보로 추출할 수 있다. 한편, 입력된 이미지가 어떠한 위치에서 촬상된 이미지인지 모르는 경우에는, 영역 추출부(140)는 추출된 메인 이미지 영역의 세로 길이 대비 가로 길이의 비율을 크기 정보로 추출할 수 있다.

색 추출부(150)는 입력받은 이미지에 대한 색 처리를 수행하고, 주도적인 색(hue) 값을 추출한다. 구체적으로, 색 추출부(150)는 입력받은 이미지에 대한 RGB 채널 각각의 절대 차이가 기설정된 값 이상을 갖는 영역을 추출하여 색 처리를 수행하고, 색 처리된 이미지에 대한 주도적인 색 값을 추출할 수 있다. 이때, 색 추출부(150)는 입력된 이미지에 대한 색 처리를 수행하는 대신에, 영역 추출부(140)에서 추출된 MBR 이미지를 이용하여 더욱 빠르게 색 처리를 수행할 수 있다. 이와 같은 색 추출부(150)의 색 처리 동작에 대해서는 도 6 및 도 7과 관련하여 후술한다.

그리고 색 추출부(150)는 입력받은 이미지에 대한 RGB 채널별 색 비율을 추출할 수 있다. 구체적으로, 색 추출부(150)는 영역 추출부(140)에서 추출된 MBR 이미지에 대해서 RGB 채널별로 색 분할을 수행하고, 색 분할된 채널별 컬러 영역의 평균을 구하여 RGB 채널별 색 비율을 추출할 수 있다. 이와 같은 동작에 대해서는 도 8 및 도 9와 관련하여 후술한다.

매칭부(160)는 이미지에 대한 정보 내의 이미지 각각과 입력받은 이미지 간의 매칭을 수행한다. 구체적으로, 매칭부(160)는 SURF(Speeded Up Rubust Features) 알고리즘을 이용하여 이미지에 대한 정보 내의 이미지 각각과 입력받은 이미지 간의 매칭 개수를 산출할 수 있다.

여기서 두 이미지의 대응점을 찾는 방법으로 크기 불변(scale invariant), 회전 불편(rotation invariant)한 특성을 가지고 있으며, 기존의 SIFT(Scale Invariant Feature Transform)보다 더욱 빠르고, 반복하여 연산하기 쉽고, 노이즈(Noise)를 가진 입력 이미지에 대한 출력 이미지의 신뢰도가 높다.

SURF알고리즘은 4개의 점(point)만 알면 사각형 면적을 빠르게 계산할 수 있는 적분 이미지(Integral Image)을 사용하였으며, 생성된 적분 이미지를 적분 이미지와 근사화된 헤이시안 검출기에 기반을 둔 고속 헤시안 검출기(Fast Hessian Detector)를 거쳐 특징점을 추출한다. 아래의 수학식 1은 시안 검출기에서 사용되는 헤시안 매트릭스이다.

여기서

는 입력 이미지의 위치를 나타내고,

는

위치의 입력 이미지와 σ의 분산을 갖는 x방향으로 가우시안의 2차 미분 값

과의 컨볼루션을 나타낸다. 나머지

와

도 xy방향과 y방향으로 2차 미분된 가우시안 필터와 컨볼루션을 나타낸다. 이처럼 크기 불변하는 특징을 얻기 위해 2차 미분이 근사화된 사각필터의 크기를 변화시켜 입력 이미지와 컨볼루션을 하기 때문에 앨리어싱(aliasing)이 없어지고 반복 연산의 횟수를 크게 줄어들어 계산적으로 효율성이 뛰어나다. 그리고 회전 불변에 특성을 갖기 위해 찾아진 특징점을 중심으로 방향에 대한 정규화를 수행한다.

마지막으로, 특징점 주위에 4×4의 윈도우를 구성하고 각 세부 영역에는 각각 Haar Wavelet을 사용하여 특징벡터를 만들어 매칭을 결정짓는 특징으로 사용한다.

한편, 상술한 바와 같이 SURF 알고리즘은 SIFT 알고리즘에 비하여 빠른 처리 속도를 갖지만, 저장부(130)에 기저장된 이미지의 정보가 몇 백 개인 경우에는 몇 백개의 이미지 정보의 이미지와 입력된 이미지 간의 매칭을 수행하는데 시간은 상당하다.

따라서, 본 발명에서는 후술할 제어부(170)에서 매칭을 수행할 이미지의 정보를 우선적으로 필터링하고, 필터링된 이미지의 정보만을 입력된 이미지 간의 매칭을 수행한다. 이때, 매칭부(160)는 영역 추출(140)에서 추출된 이미지와 필터링된 이미지의 정보 내의 이미지를 비교하여, 매칭을 더욱 빠르게 수행할 수 있다. 여기서 매칭이라는 두 이미지 간의 유사한 영역을 추출하는 것으로 매칭부(160)는 두 이미지 간의 유사한 영역을 개수로 추출할 수 있다.

제어부(170)는 이미지 분류 장치(100) 내의 각 구성을 제어한다. 구체적으로, 제어부(170)는 입력부(110)를 통하여 이미지를 촬상한 이미지가 입력되면, 입력된 이미지 내에서 메인 이미지 영역이 추출되도록 영역 추출부(140)를 제어하고, 메인 이미지 영역에 대한 주도적인 색(hue) 값이 추출되도록 색 추출부(150)를 제어할 수 있다.

그리고 제어부(170)는 추출된 주도적인 색(hue) 값을 기초로 복수의 이미지에 대한 정보를 필터링할 수 있다. 구체적으로, 제어부(170)는 추출된 주도적인 색(hue) 값을 기초로, 저장부(130)에 저장된 복수의 이미지 중 추출된 주도적인 색(hue) 값과 동일 또는 유사한 색 값을 갖는 이미지의 정보를 검색하고, 추출된 주도적인 색(hue) 값과 다른 색 값을 갖는 이미지의 정보는 필터링할 수 있다.

이때, 제어부(170)는 메인 이미지 영역의 크기 정보가 추출되도록 영역 추출부(140)를 제어하고, 추출된 크기 정보 및 주도적인 색(hue) 값을 이용하여 필터링을 수행할 수 있다.

또한, 제어부(170)는 RGB 채널별 색 비율이 추출되도록 색 추출부(150)를 제어하고, 추출된 RGB 채널별 색 비율 및 앞서 추출된 주도적인 색 값을 이용하여 필터링을 수행할 수 있다. 또한, 제어부(170)는 RGB 채널별 색 비율, 주도적인 색 값 및 크기 정보 모두를 고려하여 필터링을 수행할 수도 있다.

이와 같은 필터링이 수행되면, 제어부(170)는 필터링된 이미지에 대한 정보와 입력된 이미지 간의 매칭이 수행되도록 매칭부(160)를 제어할 수 있다. 이때, 제어부(170)는 영역 추출부(140)에서 추출된 메인 이미지 영역과 필터링된 이미지에 대한 정보 내의 이미지 각각 간의 매칭이 수행되도록 제어할 수 있다.

그리고 제어부(170)는 매칭부(160)의 매칭 결과가 표시되도록 사용자 인터페이스부(120)를 제어할 수 있다.

이상과 같이 본 실시 예에 따른 이미지 분류 장치(100)는 조명의 영향이 크지 않은 색(hue) 값을 이용하여 이미지 정보에 대한 필터링을 수행하는바, 조명이 변화하는 환경에서도 용이하게 이미지를 분류할 수 있게 된다.

도 2는 RGB 컬러 모델을 설명하기 위한 도면이다.

도 2를 참조하면, RGB 삼원색 값들은 좌표의 세 모서리에 위치하며, 흑색은 좌표의 원점에 해당한다. 백색은 원점에서 가장 먼 모서리에 있으며, 모든 R, G, B 값들은 0~1 사이의 범위에 있는 것으로 가정한다.

RGB 공간에서, 각 픽셀을 표현하기 위해 사용되는 비트 수는 픽셀 깊이(pixel depth)라고 불린다. 각각의 R, G, B 이미지가 8비트 이미지인 RGB 이미지은 각 픽셀의 컬러 화소는 24비트 깊이를 가진다. RGB모델은 기본이 되는 세 가지 색을 더하여 색을 만들어 내기 때문에 R, G, B 각각의 컬러 요소들이 상호상관성(Cross correlation)이 크며, 외부 조명의 조도 변화에 따라 RGB 크기가 수시로 바뀌기 때문에 안정적이지 못한 결과를 도출할 수 있다.

따라서, 본 발명에서는 HSV 컬러 모델을 이용하여 특징값을 추출한다. HSV 컬러 모델에 대해서는 도 3과 관련하여 이하에서 설명한다.

도 3은 HSV 컬러 모델을 설명하기 위한 도면이다.

인간의 시각 능력과 유사한 특성을 갖는 HSV 컬러 모델은 순수한 컬러를 나타내는 색상(hue)성분과 색상의 진하고 엷음을 나타내는 채도(saturation)성분과 색이 지니는 밝기(value)의 정도를 나타내는 명도(value)성분으로 표현할 수 있다.

도 3을 참조하면, 원은 색상(hue)을 나타내는데, 보통 각도 0을 붉은색으로 시작하여 반 시계 방향으로 원을 만들게 된다. 채도는 원의 가운데부터 임의의 점까지의 벡터 길이를 채도라고 하며, 원의 가운데에 있으면 낮은 채도를 나타내고 원의 바깥쪽에 위치하면 높은 채도를 나타낸다. 명도는 뒤집힌 원뿔형태의 수직인 성분으로 낮은 쪽의 어두운 부분에서 높은 쪽의 밝은 부분으로 명도의 정도를 나타낸다.

이와 같은 점에서, RGB 화소 값은 다음과 같은 수학식들을 이용하여 변환할 수 있다.

여기서 H는 색상(hue)의 값, θ는 HSV 컬러 모델에서의 각도, B는 RGB 컬러에서의 파란색(blue) 값, G는 RGB 컬러에서의 녹색(green) 값이다.

여기서, θ는 HSV 컬러 모델에서의 각도, S는 채도(saturation) 값, R는 RGB 컬러에서의 빨간색(red)의 값, B는 RGB 컬러에서의 파란색(blue) 값, G는 RGB 컬러에서의 녹색(green)값이다.

여기서, V는 HSV 컬러 모델에서 명암(value) 값이다.

RGB 값들은 [0, 1] 범위로 정규화되었을 때, 각도는 HSV 공간의 적색 축을 기준으로 측정되는 것으로 가정한다. 색상은 식 (1)로부터 얻는 모든 값들을 로 나누어 [0, 1] 범위로 정규화될 수 있다.

그리고 도 2에서처럼 HSV 컬러 모델은 색상 요소인 H(hue), S(saturation)와 명암 요소인 V(value)가 분리됨으로써 이미지 획득시 조명 조도 변화의 둔감한 장점을 지닌다.

따라서, 본 실시 예에 따른 이미지 분류 장치(100)의 색 추출부(150)는 입력된 이미지에서 주도적인 색(hue) 값을 추출한다.

도 4 및 도 5는 도 1의 영역 추출부의 동작을 설명하기 위한 도면이다. 구체적으로, 도 4는 이미지에서 RGB 채널 각각에 대한 문턱치 결과를 도시한 도면이고, 도 5는 추출된 메인 이미지 영역 및 추출된 메인 이미지 영역에서 크기 정보를 추출하는 동작을 도시한 도면이다.

촬상 장치로부터 획득된 이미지 원 이미지의 크기는 대략 1600×1200의 크기를 갖는다. 이와 같은 크기를 갖는 원 이미지를 그대로 이용하면, 계산량이 많아질 뿐만 아니라 수행시간 또한 더 소요되게 된다. 또한, 이미지에서 배경이 차지하는 비율이 높기 때문에 조명의 조도 변화에 따라 배경의 이미지 정보가 수시로 바뀔 수 있는바, 정확한 특징값을 추출하기 어려울 수 있다.

따라서, 본 발명의 일 실시 예에 따른 이미지 분류 장치(100)는 이미지 분류의 인식률을 높이기 위해 불필요한 배경 정보를 제거하고 이미지의 MBR 영역을 추출하는 전처리 단계를 수행할 수 있다.

도 4 및 도 5를 참조하면, 먼저 입력받은 이미지(400)에 대해서 RGB 채널로 분리한다.

이와 같은 분류에 의하여 입력받은 이미지에 대한 R 채널 이미지(410), G 채널 이미지(420), B 채널 이미지(430)가 생성된다.

이와 같이 RGB 채널 이미지가 생성되면, 생성된 RGB 채널별 이미지(410, 420, 430) 각각에 대해서 이진화 문턱치 역(adaptive binary threshold inverse)을 수행하여, 문턱치(threshold)(또는 기설정된 값)보다 작으면 1로 나타내고 크면 0으로 나타내는 이진 이미지(411, 421, 431)를 생성한다.

그리고 생성된 이진 이미지(411, 421, 431) 각각을 곱셈 연산하고, 이진화 문턱치 역(adaptive binary threshold inverse)을 수행하여 메인 이미지 영역을 갖는 이진화 이미지를 생성할 수 있다. 이와 같이 추출된 메인 이미지 영역을 갖는 이진화 이미지(510)는 도 5(a)와 같다. 여기서 이진화 문턱치 역은 아래의 수학식 5를 이용할 수 있다.

여기서, i, j는 픽셀의 위치 값, Rij는 i, j 위치에서의 R값, Gij는 i, j 위치에서의 G 값, Bij는 i, j 위치에서의 B값, M(i, j)는 i, j 위치에서의 추출된 이진화 값이다.

이와 같이 생성된 이진화 미지(510)에 대해서 Closing 모폴로지(morphology)를 수행하여, 도 5b와 같은 모폴로지가 처리된 이진화 이미지(520)를 생성할 수 있으며, 모폴로지가 처리된 이진화 이미지에 대해서, 윤곽선 알고리즘을 적용하여 이미지의 크기 정보를 추출할 수 있다.

구체적으로, 도 5의 이미지(530)는 MBR 영역을 계산하기 위해 밝기(intensity)가 255인 메인 이미지 영역에 대해 윤곽선을 추출하고자 윤곽선 알고리즘(contour algorithm)을 적용한 결과 이미지이다. 하지만, 조명의 조도 변화에 따라 메인 이미지 영역이 아닌 배경영역에 윤곽선이 생기는 경우가 있다. 따라서 메인 이미지 영역을 찾기 위해 윤곽선 중에서 가장 길이가 긴 윤곽선을 찾아서 그림 5에서처럼 교차점(cross point)을 기준으로 가로 길이와 세로 길이를 사용하여 이미지의 크기 정보를 추출할 수 있다.

그리고 영역 추출부(140)는 추출된 메인 이미지 영역을 기초로 입력된 영상에서 메인 이미지 영역의 이미지만을 MBR 이미지로 추출할 수 있다.

도 6 및 도 7은 도 1의 색 추출부의 동작을 설명하기 위한 도면이다. 구체적으로, 도 6은 색 추출부에서 수행되는 색 처리 방식을 설명하기 위한 도면이고, 도 7은 색 처리된 이미지에서 주도적인 색 값을 추출하는 동작을 설명하기 위한 도면이다.

도 6을 참조하면, 이미지의 컬러 영역은 Red, Green, Blue의 각각의 크기 차이가 흰색 영역보다 큰 것을 볼 수 있다. 따라서 색상 영역의 분할은 RGB 각각의 채널 이미지에 대해서 절대 차이 연산을 사용하여, 입력받은 이미지에 대한 RGB 채널 각각의 절대 차이에 대한 복수의 이미지(610, 620, 630)를 생성한다. 구체적으로, 제1 이미지(610)는 입력된 이미지(600)의 R채널 및 B채널 간의 절대 차이 값을 갖는 이미지이고, 제2 이미지(620)는 입력된 이미지(600)의 G 채널 및 R 채널 간의 절대 차이 값을 갖는 이미지이고, 제3 이미지(630)는 R 채널 및 G 채널 간의 절대 차이 값을 갖는 이미지이다.

이와 같은 RGB 채널 각각의 절대 차이에 대한 복수의 이미지(610, 620, 630)가 생성되면, 색 추출부(150)는 제1 내지 제3 이미지에 대해서 이진화 문턱치 역(binary threshold inverse)연산을 수행한다. 이에 따라 제4 내지 제6 이미지(611, 621, 631)가 생성된다. 구체적으로, 제4 이미지(611)는 이진화 문턱치 역 처리된 제1 이미지(610이고, 제5 이미지(621)는 이진화 문턱치 역 처리된 제2 이미지(620)이고, 제 6 이미지(631)는 이진화 문턱치 역 처리된 제3 이미지(630)이다.

이와 같은 이진화 문턱치역 연산이 수행한 다음에, 색 추출부(150)는 제4 내지 제6 이미지(611, 621, 631)를 곱셈 연산하고, 곱셈 연산된 이미지와 입력된 이미지(600)를 1:1 매칭하여 이미지의 컬러 영역만을 컬러 이미지(640)로 생성할 수 있다. 즉, 상술한 일련의 처리를 수행하여 입력받은 이미지에 대한 RGB 채널 각각의 절대 차이가 기설정된 값 이상을 갖는 영역을 추출하는 색 처리를 수행할 수 있다.

이와 같은 일련의 과정을 수행하여, 입력된 이미지에 대한 색 처리를 수행하더라도 생성된 컬러 이미지(640)는 RGB 컬러 모델이기 때문에, 외부 조명의 조도 변화에 고유의 컬러 정보가 쉽게 변화할 수 있다.

반면에 인간의 시각 능력과 유사한 특성을 갖는 HSV 컬러 모델은 색상 요소인 H(hue), S(saturation)와 명암 요소인 V(value)가 분리됨으로써, 이미지 획득시 조명의 조도 변화의 둔감한 장점을 지닌다.

이와 같은 점에서, 색 추출부(150)는 HSV 색상 요소 중 H 성분만을 이용하여 특징값을 추출한다. 본 실시 예에서 S 성분을 특징값으로 사용하는 않는 이유는 S 성분은 R, G, B 성분 중 하나라도 최소값(min) 값에 0이 존재하면 S 성분의 값은 0이 되나, 이미지에 대한 컬러영역의 경우에는 R, G, B 중 하나의 값이 0이 존재하는 경우가 다수 존재하므로 S 성분을 사용하여 이미지를 분류하는 것은 변별력이 없기 때문이다.

따라서, 색 추출부(150)는 도 7a와 같이 컬러 이미지(640)에서 H 성분만을 추출한 색(Hue) 이미지를 생성한다. 그리고 색 추출부(150)는 추출된 색 이미지에서 가장 주도적인 색을 추출한다. 구체적으로, 도 7b는 도 7b는 색 이미지의 Hue 컬러 성분의 히스토그램을 보여 주고 있다. 따라서, 색 추출부(150)는 히스토그램에서 밝기(intensity)가 0인 부분(배경)을 제외하고 가장 큰 누적값을 갖는 색 값을 추출할 수 있다.

도 8은 RGB 채널별 색 비율을 추출하는 동작을 설명하기 위한 도면이다.

도 8을 참조하면, 도 6에 도시된 컬러 이미지(640)를 RGB 채널별로 분할한 R 이미지(a), G 이미지(b), B 이미지(b)가 도시되어 있다.

이와 같이 컬러 이미지가 RGB 채널별로 분류되면, 색 추출부(150)는 각각의 컬러 영역의 평균을 구하여 가장 큰 값과 두 번째 큰 값의 비율을 특징값으로 추출할 수 있다.

한편, 본 실시 예에서는 단순히 각각의 RGB 채널별 컬러의 특징값을 추출하지 않고, 컬러 영역의 각 채널에 대한 컬러 평균 비율을 이용한 이유에 대해서는 도 9를 참조하여 이하에서 설명한다.

도 9는 조명 변화에 따른 이미지를 도시한 도면이다. 구체적으로, 도 9a는 어두운 조명의 이미지이고, 도 9b는 일반적인 조명의 이미지이고, 도 9c는 밝은 조명의 이미지이다.

도 9를 참조하면, 각각의 이미지에 대한 RGB 각 채널에 대한 컬러 평균 비율과 Hue 색상의 크기를 함께 나타냈다. 그림 9에서 도시된 바와 같이 조명의 조도의 변화에 따라 RGB 각 채널 색상의 크기는 변화되는 것을 볼 수 있다. 하지만, RGB 각 채널에 대한 컬러 평균 비율을 사용할 경우 쉽게 변화되지 않음을 확인할 수 있다.

따라서, RGB 컬러 평균 비율은 조명의 조도 변화에 강인한 특성 값임을 알 수 있다. 또한, Hue 색상의 특징값도 그림 9와 같이 조명의 조도 변화에도 변화되지 않으므로, 조명의 조도 변화에 강인하다는 것을 알 수 있다.

도 10은 SURF 알고리즘에 따른 분류 동작을 설명하기 위한 도면이다. 구체적으로, 도 10a에는 이미지의 흥미 영역(interest point)을 나타내고 있으며, 도 10b는 이미지의 표현자 윈도우를 나타내고 있으며, 도 10c는 이미지 간의 매칭 포인트를 도시하고 있다.

도 10을 참조하면, 도 10a와 같이 SURF 알고리즘은 크기 불변(scale invariant)한 특징점을 찾는다.

그리고 도 10b와 같이, 찾아진 흥미 영역(interest point)을 중심으로 원안의 이웃들에서 x, y방향의 Haar wavelet response를 이용하여 이미지에 방향성(Orientation)을 할당한다.

그리고 도 10c와 같이 이미지 및 비교 대상의 이미지 간의 특징점을 추출하고, 그 특징점 간의 일치되는 매칭된 점을 찾는다.

도 11 및 도 12는 본 발명의 실시 예에 따른 이미지 분류 장치의 실험에 이용된 이미지의 예를 나타내는 도면이다. 구체적으로, 도 11의 (a)는 입력 이미지, (b)는 입력 이미지에 대한 MBR 이미지, (c)는 크기로 분류한 경우의 분류된 이미지 결과, (d)는 Hue 값으로 분류한 경우의 분류된 이미지 결과이다.

그리고 도 12의 (a)는 입력 이미지, (b)는 입력 이미지에 대한 MBR 이미지, (c)는 크기로 분류한 경우의 분류된 이미지 결과, (d)는 Hue 값으로 분류한 경우의 분류된 이미지 결과, (e)는 RGB 평균 비율로 분류한 경우의 분류된 이미지 결과, (f)는 SURF 알고리즘으로 분류된 이미지 결과이다.

이와 같은 실험은 258개의 이미지를 이용하였으며, 이미지의 MBR 영역의 크기 분류, 이미지 컬러영역의 주도적인 Hue 색상 성분 및 RGB 컬러 비율, SURF알고리즘을 이용하여 이미지 분류에 있어 우수성을 검증하였다. 또한, 서로 다른 258장의 이미지에 대해서 사전에 특징값을 추출하여 데이터베이스에 저장해두고 이미지를 놓을 때마다 실시간으로 매칭 여부를 판단하는 실험을 하였다.

도 11을 참조하면, 이미지에 대해서 이미지 MBR 영역의 크기와 이미지 컬러 영역의 Hue Value로 이미지가 분류됨을 확인할 수 있다.

그리고 도 12를 참조하면, 이미지 크기, 이미지 컬러 영역의 Hue Value의 특징값을 적용시킨 결과 비슷한 색상이 분류되는 것을 볼 수 있다. 다음 특징값인 RGB 컬러 비율을 통해 6개의 후보군을 4개의 후보군으로 줄였으며, 4개의 후보군에 대해 SURF알고리즘을 적용한 결과 매칭 포인트는 11, 10, 325, 11로 세 번째 이미지가 월등히 높게 나왔다. 따라서 매칭 포인트가 크게 나온 세 번째 이미지가 최종적으로 분류되었다.

도 13은 도 1의 사용자 인터페이스부에서 표시할 수 있는 사용자 인터페이스 창의 일 예를 도시한 도면이다.

도 13을 참조하면, 사용자 인터페이스 창(1300)은 분류 결과를 표시한다. 본 실시 예서는 분류 결과를 텍스트로 표시하는 것으로 도시하였지만, 구현시에는 분류 결과에 해당하는 이미지를 표시하는 형태로도 구현될 수도 있다.

도 14는 본 발명의 일 실시 예에 따른 이미지 분류 방법을 설명하기 위한 흐름도이다.

도 14를 참조하면, 먼저, 이미지를 촬상한 이미지를 입력받는다(S 1410). 구체적으로, 외부 촬상 소자에서 촬상된 이미지를 입력받거나, 직접 촬상소자를 이용하여 이미지를 촬상할 수 있다.

그리고 입력받은 이미지에 대해서 메인 이미지 영역을 추출한다(S 1420). 구체적으로, 입력받은 이미지에 대한 RGB 채널별 기설정된 값을 갖는 이진 이미지를 생성하고, 생성된 이미지에 대한 윤곽선을 추출하여 메인 이미지 영역을 추출할 수 있다. 이때, 메인 이미지 영역에 대한 크기 정보를 함께 추출할 수 있다.

그리고 추출된 메인 이미지 영역에서 주도적인 색(hue) 값을 추출한다(S1430). 구체적으로, 입력받은 이미지에 대한 RGB 채널 각각의 절대 차이가 기설정된 값 이상을 갖는 영역을 추출하여 색 처리를 수행하고, 색 처리된 이미지에 대한 주도적인 색 값을 추출할 수 있다.

그리고 추출된 색 값을 기초로 복수의 이미지에 대한 정보를 필터링하고, 필터렁된 이미지에 대한 정보 내의 이미지 각각을 입력받은 이미지 간의 매칭을 수행한다(S1440). 추출된 주도적인 색(hue) 값을 기초로, 저장부(130)에 저장된 복수의 이미지 중 추출된 주도적인 색(hue) 값과 동일 또는 유사한 색 값을 갖는 이미지의 정보를 검색하고, 추출된 주도적인 색(hue) 값과 다른 색 값을 갖는 이미지의 정보는 필터링할 수 있다.

이때, 메인 이미지 영역의 크기 정보가 추출되었으면, 추출된 크기 정보 및 주도적인 색(hue) 값을 이용하여 필터링을 수행할 수 있다. 또한, RGB 채널별 색 비율이 추출되었으며, 추출된 RGB 채널별 색 비율 및 앞서 추출된 주도적인 색 값을 이용하여 필터링을 수행할 수 있다. 또한, RGB 채널별 색 비율, 주도적인 색 값 및 크기 정보 모두를 고려하여 필터링을 수행할 수도 있다.

그리고 매칭 결과를 표시한다(S1450). 구체적으로, 입력받은 이미지와 매칭 개수가 가장 많은 이미지에 대한 정보를 표시할 수 있다.

따라서, 본 실시 예에 따른 이미지 분류 방법은, 이미지 분류 장치(100)는 조명의 영향이 크지 않은 색(hue) 값을 이용하여 이미지 정보에 대한 필터링을 수행하는바, 조명이 변화하는 환경에서도 용이하게 이미지를 분류할 수 있게 된다. 도 14와 같은 이미지 분류 방법은 도 1의 구성을 가지는 이미지 분류 장치상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 이미지 분류 장치상에서도 실행될 수 있다.

또한, 상술한 바와 같은 이미지 분류 방법은, 상술한 바와 같은 이미지 분류 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 컴퓨터 판독 기록매체에 저장될 수 있다.

따라서, 본 발명의 각 블록들은 컴퓨터 판독가능한 기록매체 상의 컴퓨터 기록 가능한 코드로써 실시될 수 있다. 컴퓨터 판독가능한 기록매체는 컴퓨터시스템에 의해 판독될 수 있는 데이터를 저장할 수 있는 디바이스가 될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

도 15는 도 14의 이미지 분류 방법을 보다 자세히 설명하기 위한 흐름도이다.

도 15를 참조하면, 먼저, 입력된 이미지에 대한 메인 이미지 영역을 추출한다(S1510). 구체적으로, 추출된 이미지를 RGB 채널로 분류하고, RGB 채널로 분류된 이미지 각각에 대해서 이진화 문턱치역을 처리한다(S1511, S1512, S1513).

그리고 이진화 문턱치역이 처리된 RGB 채널별 이미지를 곱셈 연산하고, 이진화 문턱치 역을 수행하여 메인 이미지 영역을 갖는 이진화 이미지를 생성할 수 있다(S1514).

그리고 생성된 이진화 이미지에 대해서 Closing 모폴로지 및 윤곽선 알고리즘을 수행하여(S1515), MBR 영역을 추출한다(S1516). 이와 같이 추출된 MBR 영역은 후술할 색 정보 추출 과정 및 매칭 과정에 이용할 수 있다.

메인 이미지 영역이 추출되면, 색 처리를 수행한다(S1520). 구체적으로, 추출된 MBR 영역에 대해서 RGB 채널 각각의 절대 차이에 대한 복수의 이미지(610, 620, 630)를 생성하고, 각각의 이미지에 대한 이진화 문턱치 역(binary threshold inverse)연산한다(S1521, S1522, S1523).

그리고 이진화 문턱치 역연산되어 생성된 세 개의 이미지를 곱셈 연산하고(S1524), 곱셈 연산된 이미지와 MBR 이미지를 1:1 매칭하여 메인 이미지 영역에 대한 컬러 영역만을 추출할 수 있다(S1525)

그 다음, 색 처리된 MBR 이미지에 대해서 색 추출 및 매칭 작업을 수행한다(S1530). 구체적으로, 색 처리된 MBR 이미지에 대해서 RGB 채널별로 분류하고(S1531), 분류된 RGB 채널별 컬러 영역의 평균을 구함으로써 RGB 채널별 비율 값을 특징값으로 추출할 수 있다(S1532)

그리고 색처리된 MBR 이미지에 대해서 HSV 색변환을 수행하고(S1533), HSV 색변환된 MBR 이미지상에서 가장 주도적인 색(hue) 값을 특징값으로 추출할 수 있다(S1530).

이와 같은 과정에 의하여 추출된 특징값을 기초로 복수의 기저장된 이미지 정보에 대한 필터링을 수행하고(S1535, S1536).

필터링된 이미지 정보의 이미지와 MBR 이미지 간의 SURF 매칭을 수행하여(S1537), 매칭 개수가 가장 많은 이미지 정보를 추출한다(S1540)

이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100: 이미지 분류 장치 110: 입력부
120: 사용자 인터페이스부 130: 저장부
140: 영역 추출부 150: 색 추출부
160: 매칭부 170: 제어부

Claims

이미지 분류 방법에 있어서,
이미지를 촬상한 이미지를 입력받은 단계;
상기 입력받은 이미지에 대한 색 처리를 수행하여, 주도적인 색(hue) 값을 추출하는 단계;
상기 추출된 색(hue) 값을 기초로 기저장된 복수의 이미지에 대한 정보를 필터링하는 단계;
상기 필터링된 이미지에 대한 정보 내의 이미지 각각과 상기 입력받은 이미지 간의 매칭을 수행하는 단계; 및
상기 매칭 결과를 표시하는 단계;를 포함하는 이미지 분류 방법.
제1항에 있어서,
상기 입력받은 이미지에서 메인 이미지 영역을 추출하는 단계;를 더 포함하고,
상기 색 값을 추출하는 단계는,
상기 추출된 메인 이미지 영역에 대한 주도적인 색 값을 추출하고,
상기 매칭을 수행하는 단계는,
상기 필터링된 이미지에 대한 정보 내의 이미지 각각과 상기 추출된 메인 이미지 영역 간의 매칭을 수행하는 것을 특징으로 하는 이미지 분류 방법.
제2항에 있어서,
상기 메인 이미지 영역을 추출하는 단계는,
상기 추출된 메인 이미지 영역의 크기 정보를 추출하고,
상기 필터링하는 단계는,
상기 추출된 메인 이미지 영역의 크기 정보 및 상기 추출된 색(hue) 값을 기초로 상기 복수의 이미지에 대한 정보를 필터링하는 것을 특징으로 하는 이미지 분류 방법.
제3항에 있어서,
상기 크기 정보는,
상기 추출된 메인 이미지 영역 내의 가로 길이 및 세로 길이 또는 상기 추출된 메인 이미지 영역 내의 세로 길이 대비 가로 길이의 비율인 것을 특징으로 하는 이미지 분류 방법.
제2항에 있어서,
상기 영역 추출부는,
상기 입력받은 이미지에 대한 RGB 채널별 기설정된 값을 갖는 이진 이미지를 생성하고, 생성된 이진 이미지에 대한 윤곽선을 추출하여 상기 메인 이미지 영역을 추출하는 것을 특징으로 하는 이미지 분류 방법.
제1항에 있어서,
상기 색 값을 추출하는 단계는,
상기 입력받은 이미지에 대한 RGB 채널 각각의 절대 차이가 기설정된 값 이상을 갖는 영역을 추출하는 색 처리를 수행하는 것을 특징으로 하는 이미지 분류 방법.
제1항에 있어서,
상기 RGB 채널별 색 비율을 추출하는 단계;를 더 포함하고,
상기 필터링하는 단계는,
상기 추출된 색 비율 및 상기 추출된 색(hue) 값을 기초로 상기 복수의 이미지에 대한 정보를 필터링하는 것을 특징으로 하는 이미지 분류 방법.
제1항에 있어서,
상기 매칭을 수행하는 단계는,
SURF(Speeded up rubust Features)를 이용하여 상기 필터링된 이미지에 대한 정보 내의 이미지 각각과 상기 입력받은 이미지 간의 매칭 개수를 산출하는 것을 특징으로 하는 이미지 분류 방법.
제8항에 있어서,
상기 표시하는 단계는,
상기 입력받은 이미지와 매칭 개수가 가장 많은 이미지에 대한 정보를 표시하는 것을 특징으로 하는 이미지 분류 방법.
제1항에 있어서,
상기 이미지에 대한 정보는,
이미지를 포함하고, 상기 이미지의 크기 정보, 상기 이미지의 색 정보 및 상기 이미지의 명칭 중 적어도 하나를 더 포함하는 것을 특징으로 하는 이미지 분류 방법.