KR20120041002A - 객체 검출 장치 및 시스템 - Google Patents

객체 검출 장치 및 시스템 Download PDF

Info

Publication number
KR20120041002A
KR20120041002A KR1020100102547A KR20100102547A KR20120041002A KR 20120041002 A KR20120041002 A KR 20120041002A KR 1020100102547 A KR1020100102547 A KR 1020100102547A KR 20100102547 A KR20100102547 A KR 20100102547A KR 20120041002 A KR20120041002 A KR 20120041002A
Authority
KR
South Korea
Prior art keywords
hog
feature vector
image
gradient
contour image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100102547A
Other languages
English (en)
Other versions
KR101405410B1 (ko
Inventor
여준기
윤상훈
천익재
석정희
노태문
김유선
고성제
Original Assignee
한국전자통신연구원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 고려대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020100102547A priority Critical patent/KR101405410B1/ko
Priority to US13/010,316 priority patent/US8369620B2/en
Publication of KR20120041002A publication Critical patent/KR20120041002A/ko
Application granted granted Critical
Publication of KR101405410B1 publication Critical patent/KR101405410B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 촬상 장치를 통해 얻은 영상에서 대상 객체를 검출하기 위한 객체 검출 장치 및 시스템에 관한 것이다. 본 발명의 실시 예에 따른 객체 검출 장치는 윤곽 영상 추출부, 특징 벡터 산출부 및 객체 판정부를 포함한다. 상기 윤곽 영상 추출부는 입력 영상에서 윤곽 영상을 추출한다. 상기 특징 벡터 산출부는 상기 윤곽 영상의 화소들에 대한 구배 벡터들의 도수 분포를 나타내는 HOG(Histogram of Oriented Gradients) 및 상기 구배 벡터들의 공간적인 분포에 따라 달라지는 화소 좌표 정보를 이용하여 상기 윤곽 영상에서 특징 벡터를 산출한다. 그리고, 상기 객체 판정부는 사전 학습 데이터를 참조하여 상기 특징 벡터에 대응하는 대상 객체를 판정한다.

Description

객체 검출 장치 및 시스템{OBJECT DETECTION DEVICE AND SYSTEM}
본 발명은 객체 검출 장치 및 시스템에 관한 것으로, 좀 더 구체적으로 촬상 장치를 통해 얻은 영상에서 대상 객체를 검출하기 위한 객체 검출 장치 및 시스템에 관한 것이다.
디지털 카메라 등의 촬상 장치를 통해 얻은 영상에서 대상 객체를 검출하는 객체 검출 기술은 컴퓨터 비전(computer vision) 분야에서 중요 연구 대상이다. 색상 및 휘도 차이를 이용하여 차량, 인체 등과 같은 대상 객체를 검출하는 경우에 있어서, 대상 객체의 색상 및 휘도가 상황에 따라 달라지기 쉬우므로, 객체 검출의 정확도가 떨어질 수 있다. 이를 보완하기 위해, 대상 객체의 윤곽을 이용하는 객체 검출 기법이 제안되었다. 예를 들어, 대상 객체는 획득 영상에 대한 특징 벡터(feature vector)와 사전 학습 데이터(pre-learned data)의 비교를 통해 검출될 수 있다. 여기서, 특징 벡터는 대상 객체의 윤곽 정보를 나타낸다. 그리고, 이러한 특징 벡터로서 HOG(Histogram of Oriented Gradients)가 가장 많이 사용되고 있다.
다만, 특징 벡터로서 HOG만을 사용하는 경우에는, 객체 검출의 정확도가 떨어질 수 있다. 특히, 주행 영상과 같이 화질 열화가 심한 영상에 대해서는 판정 오류의 가능성이 더욱 증가한다.
본 발명의 목적은 획득 영상에서 대상 객체를 더욱 정확하게 검출하기 위한 객체 검출 장치 및 시스템을 제공하는 데 있다.
본 발명의 실시 예에 따른 객체 검출 장치는 윤곽 영상 추출부, 특징 벡터 산출부 및 객체 판정부를 포함한다. 상기 윤곽 영상 추출부는 입력 영상에서 윤곽 영상을 추출한다. 상기 특징 벡터 산출부는 상기 윤곽 영상의 화소들에 대한 구배 벡터들의 도수 분포를 나타내는 HOG(Histogram of Oriented Gradients) 및 상기 구배 벡터들의 공간적인 분포에 따라 달라지는 화소 좌표 정보를 이용하여 상기 윤곽 영상에서 특징 벡터를 산출한다. 그리고, 상기 객체 판정부는 사전 학습 데이터를 참조하여 상기 특징 벡터에 대응하는 대상 객체를 판정한다.
실시 예에 있어서, 상기 특징 벡터 산출부는 HOG 산출 모듈, 좌표 평균값 산출 모듈 및 좌표 분산값 산출 모듈을 포함한다. 상기 HOG 산출 모듈은 상기 화소들 각각에 대해 구배 강도 및 구배 방향을 산출하고, 상기 구배 강도 및 상기 구배 방향을 이용하여 상기 HOG를 산출한다. 상기 좌표 평균값 산출 모듈은 상기 HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 평균값을 상기 HOG의 계급별로 산출한다. 상기 좌표 분산값 산출 모듈은 상기 HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 분산값을 상기 HOG의 계급별로 산출한다. 여기서, 상기 화소 좌표 정보는 상기 화소 좌표의 평균값 및 분산값을 포함한다.
본 발명의 실시 예에 따른 객체 검출 시스템은 촬상 장치 및 객체 검출 장치를 포함한다. 상기 촬상 장치는 피사체를 촬상하여 영상을 생성한다. 상기 객체 검출 장치는 상기 영상에서 윤곽 영상을 추출하고, 상기 윤곽 영상에 대한 HOG, 상기 윤곽 영상의 화소들에 대한 화소 좌표의 평균값 및 분산값을 이용하여 특징 벡터를 산출한다. 그리고, 상기 객체 검출 장치는 사전 학습 데이터를 참조하여 상기 특징 벡터에 대응하는 대상 객체를 판정한다.
실시 예에 있어서, 상기 객체 검출 시스템은 표시 장치 및 저장 장치를 더 포함할 수 있다. 상기 표시 장치는 상기 영상 및 상기 대상 객체의 판정 결과를 표시한다. 그리고, 상기 저장 장치는 상기 영상 및 상기 대상 객체의 판정 결과를 저장한다.
본 발명의 실시 예에 따른 객체 검출 장치 및 시스템에 의하면, HOG 및 화소 좌표 정보를 이용하여 특징 벡터를 구성함으로써 객체 검출의 정확도를 높일 수 있다.
도 1은 본 발명의 실시 예에 따른 객체 검출 장치를 보여주는 블록도이다.
도 2는 획득 영상에서 추출된 윤곽 영상을 예시적으로 보여주는 도면이다.
도 3은 도 2에 도시된 윤곽 영상을 구성하는 영역들 중 하나의 영역을 예시적으로 보여주는 도면이다.
도 4는 도 3에 도시된 영역을 구성하는 화소들 중 하나의 화소에 대한 구배 벡터를 예시적으로 보여주는 도면이다.
도 5는 도 3에 도시된 영역에 대한 HOG를 예시적으로 보여주는 도면이다.
도 6 및 도 7은 하나의 영역에서의 구배 벡터들을 예시적으로 보여주는 도면이다.
도 8은 본 발명의 실시 예에 따른 객체 검출 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 실시 예에 따른 특징 벡터 산출 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따른 객체 검출 시스템을 보여주는 블록도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다.
도 1은 본 발명의 실시 예에 따른 객체 검출 장치(100)를 보여주는 블록도이다. 도 1을 참조하면, 객체 검출 장치(100)는 영상 획득부(image acquisition unit, 110), 윤곽 영상 추출부(outline image extraction unit, 120), 특징 벡터 산출부(feature vector calculation unit, 130), 사전 학습 데이터 저장부(pre-learned data storage unit, 140) 및 객체 판정부(object judgement unit, 150)를 포함한다.
영상 획득부(110)는 대상 객체(target objet)를 포함하는 영상을 외부 장치로부터 획득한다. 예를 들어, 영상 획득부(110)는 촬상 장치, 영상 저장 장치 등으로부터 제공되는 영상을 획득할 수 있다. 영상 획득부(110)는 획득 영상을 윤곽 영상 추출부(120)에 전달한다.
윤곽 영상 추출부(120)는 윤곽 추출 알고리즘 및 하이 패스 필터(High-Pass Filter, HPF)를 이용하여 획득 영상에서 윤곽 영상을 추출한다. 윤곽 영상 추출부(120)는 윤곽 영상을 특징 벡터 산출부(130)에 전달한다.
특징 벡터 산출부(130)는 윤곽 영상에서 특징 벡터를 산출한다. 일반적으로, 특징 벡터는 HOG(Histogram of Oriented Gradients)만으로 구성된다. 여기서, HOG는 복수의 화소들에 대응하는 구배 벡터(gradient vector)들의 도수 분포를 나타내는 히스토그램을 말한다. 그러나, 본 발명의 실시 예에 따른 특징 벡터는 HOG뿐만 아니라 화소 좌표 정보를 이용하여 산출된다. 여기서, 화소 좌표 정보는, HOG의 같은 계급(bin)에 해당하는 구배 벡터를 갖는 화소들에 대해, HOG의 계급별로 산출되는 화소 좌표의 평균값 및 분산값을 의미한다. 즉, 화소 좌표 정보는 화소들에 대한 구배 벡터들의 공간적인 분포를 반영한다.
특징 벡터 산출부(130)는 HOG 산출 모듈(131), 좌표 평균값 산출 모듈(132) 및 좌표 분산값 산출 모듈(133)을 포함한다.
HOG 산출 모듈(131)은 HOG를 산출하기 위해 우선 윤곽 영상을 복수의 영역(cell)들로 분할하고, 영역마다 구배 벡터들을 산출한다. 그리고, HOG 산출 모듈(131)은 이러한 구배 벡터들에 기초하여 영역마다 HOG를 산출한다. 본 발명의 실시 예에 따른 HOG의 산출은 이하의 도 2 내지 도 5를 참조하여 더욱 상세하게 설명될 것이다.
좌표 평균값 산출 모듈(132)은 HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 평균값을 HOG의 계급별로 산출한다. 이러한 화소 좌표의 평균값은 이하의 수학식 1에 따라 산출된다.
Figure pat00001
여기서, mean_xk, mean_yk는 HOG의 제 k 계급에 해당하는 구배 벡터를 갖는 화소들의 x 좌표의 평균값 및 y 좌표의 평균값을 각각 나타낸다. 그리고, xk, yk, Nk는 HOG의 제 k 계급에 해당하는 구배 벡터를 갖는 화소들의 x 좌표, y 좌표, 개수를 각각 나타낸다.
좌표 분산값 산출 모듈(133)은 HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 분산값을 HOG의 계급별로 산출한다. 이러한 화소 좌표의 분산값은 이하의 수학식 2에 따라 산출된다.
Figure pat00002
여기서, cov_xk, cov_yk는 HOG의 제 k 계급에 해당하는 구배 벡터를 갖는 화소들의 x 좌표의 분산값 및 y 좌표의 분산값을 각각 나타낸다.
특징 벡터 산출부(130)는 복수의 영역들에 대한 HOG들, 화소 좌표의 평균값들 및 분산값들을 이용하여 특징 벡터를 산출한다. 예를 들어, 특징 벡터는 HOG들 및 벡터화된(vectorized) 화소 좌표의 평균값들 및 분산값들로 구성될 수 있다. 즉, 본 발명의 실시 예에 따른 특징 벡터는 HOG뿐만 아니라 화소 좌표 정보까지 고려하여 산출된다. 특징 벡터 산출부(130)는 특징 벡터를 객체 판정부(150)에 전달한다.
사전 학습 데이터 저장부(140)는 인체, 차량 등과 같은 다양한 객체들에 대한 사전 학습 데이터를 저장한다. 사전 학습 데이터 저장부(140)는 대상 객체 판정을 위한 참조 정보로서 사전 학습 데이터를 객체 판정부(150)에 전달한다.
사전 학습 데이터는 객체들의 패턴 정보 및 식별 정보 등을 포함한다. 여기서, 패턴 정보는 특징 벡터와의 비교 대상이 되는 정보를 의미하고, 식별 정보는 객체들의 명칭, 종류, 크기 등과 같이 객체들의 고유 특성을 나타내기 위한 정보를 의미한다.
한편, 사전 학습 데이터는 객체들의 고유 패턴에 대한 반복적인 학습을 통해 생성될 수 있다. 이때, 아다부스트(Adaboost), SVM(Support Vector Machine) 등과 같은 기계 학습 알고리즘이 사전 학습 데이터를 생성하기 위해 적용될 수 있다.
객체 판정부(150)는 사전 학습 데이터를 참조하여 특징 벡터에 대응하는 대상 객체가 무엇인지를 판정한다. 그리고, 객체 판정부(150)는 대상 객체에 대한 판정 결과를 출력한다. 예를 들어, 특징 벡터와 일치하는 패턴 정보가 사전 학습 데이터에 포함되어 있는 경우, 객체 판정부(150)는 검출 성공 알림 정보 및 패턴 정보에 대응하는 대상 객체의 식별 정보를 판정 결과로서 출력할 수 있다. 이와 달리, 특징 벡터와 일치하는 패턴 정보가 사전 학습 데이터에 포함되어 있지 않은 경우, 객체 판정부(150)는 검출 실패 알림 정보를 판정 결과로서 출력할 수 있다. 이러한 판정 결과는 외부 표시 장치, 저장 장치 등에 제공될 수 있다.
도 2는 획득 영상에서 추출된 윤곽 영상(200)을 예시적으로 보여주는 도면이다. 도 3은 도 2에 도시된 윤곽 영상(200)을 구성하는 영역들 중 하나의 영역(210)을 예시적으로 보여주는 도면이다. 도 4는 도 3에 도시된 영역(210)을 구성하는 화소들 중 하나의 화소(211)에 대한 구배 벡터를 예시적으로 보여주는 도면이다. 도 5는 도 3에 도시된 영역(210)에 대한 HOG를 예시적으로 보여주는 도면이다.
도 2를 참조하면, 윤곽 영상(200)은 윤곽 추출 알고리즘 또는 하이 패스 필터를 이용하여 획득 영상에서 추출된다. 도면에는, 예시적으로 차량의 윤곽이 대상 객체의 윤곽으로서 도시된다.
윤곽 영상(200)은 복수의 영역들로 분할된다. 도면에는, 예시적으로 4개의 영역들(2×2의 영역들)이 도시되나, 영역들의 수는 이에 한정되지 않고, 윤곽 영상(200)은 다양한 수의 영역들로 분할될 수 있다.
특징 벡터를 구성하는 HOG들은 복수의 영역들에 대해 각각 산출된다. 즉, 특징 벡터를 구성하는 HOG들의 수는 영역들의 수에 대응한다. 이하에서, 하나의 영역(210)에 대한 HOG를 산출하기 위해 사용되는 구배 벡터들의 산출이 예시적으로 설명될 것이다.
도 3 및 도 4를 참조하면, 영역(210)은 복수의 화소들을 포함한다. 도면에는, 16개의 화소들(4×4의 화소들)이 도시되나, 화소들의 수는 이에 한정되지 않고, 영역(210)은 다양한 수의 화소들을 포함할 수 있다. 예를 들어, 영역(210)의 크기는 8×8의 화소들, 16×16의 화소들로 정의될 수 있다.
구배 벡터들은 복수의 화소들에 대해 각각 산출된다. 다만, 각 구배 벡터의 산출 시에, 각 구배 벡터에 대응하는 화소(이하, “대상 화소”라고 칭함)에 인접하는 화소들이 고려되므로, 영역(210)의 가장자리에 위치하는 화소들에 대해서는 구배 벡터의 산출이 생략될 수 있다.
여기서는, 대상 화소로서 제 1 화소(211)에 대한 구배 벡터(GV)의 산출이 예시적으로 설명된다. 본 발명의 실시 예에 따라 제 1 화소(211)에 대한 구배 벡터(GV)를 산출하기 위해, 제 1 화소(211)에 인접하는 제 2 내지 제 5 화소(212~215)의 휘도 값들이 사용될 수 있다. 이때, 제 1 화소(211)의 휘도 값을 P(x, y)라고 하면, 제 2 내지 제 5 화소(212~215)의 휘도 값들은 각각 P(x-1, y), P(x+1, y), P(x, y-1) 및 P(x, y+1)로 정의된다. 여기서, x 및 y는 제 1 화소(211)의 좌표를 의미한다.
제 1 화소(211)에 대한 구배 벡터(GV)의 크기(이하, “구배 강도 I(x,y)”라고 칭함)는 이하의 수학식 3에 따라 계산된다. 그리고, 제 1 화소(211)에 대한 구배 벡터(GV)의 각도(이하, “구배 방향 θ(x,y)”라고 칭함)는 이하의 수학식 4에 따라 계산된다.
Figure pat00003
Figure pat00004
여기서, 구배 방향 θ(x,y)은 0도 내지 180도의 범위로 조절된다. 예를 들어, 225도는 45도로 조절된다. 즉, 225도 및 45도는 같은 구배 방향 θ(x,y)을 나타낸다.
한편, 다른 화소들에 대한 구배 강도들 및 구배 방향들도 마찬가지 방법으로 계산될 수 있다.
본 발명의 실시 예에서는, 대상 화소에 대한 구배 벡터는 대상 화소의 수평 및 수직 방향으로 인접하는 4개의 화소들을 고려하여 산출된다. 그러나, 대상 화소에 대한 구배 벡터의 산출에 고려되는 화소들은 이에 한정되지 않고, 다양하게 고려될 수 있다. 예를 들어, 대상 화소에 대한 구배 벡터는 대상 화소의 대각 방향으로 인접하는 4개의 화소들을 고려하여 산출될 수 있다. 또는, 대상 화소에 대한 구배 벡터는 대상 화소의 수평, 수직, 대각 방향으로 인접하는 8개의 화소들을 고려하여 산출될 수 있다. 그리고, 이런 인접 화소들의 휘도 값들에 대해 서로 다른 가중치를 적용할 수 있다.
복수의 화소들에 대한 구배 벡터들은 도 5에 도시된 바와 같은 HOG를 산출하는 데 사용된다. 도 5를 참조하면, HOG의 계급은 구배 방향의 범위(0도 내지 180도)에 대한 양자화된 구간을 의미한다. 그리고, HOG의 도수는 HOG의 계급에 따른 구배 강도들의 누적 수치를 의미한다.
도면에는, 8개의 계급들을 갖는 HOG가 도시되나, HOG의 계급들의 수는 이에 한정되지 않고, HOG는 다양한 수의 계급들을 가질 수 있다.
도 6 및 도 7은 하나의 영역에서의 구배 벡터들을 예시적으로 보여주는 도면이다. 간결한 설명을 위해, 도 6에 도시된 영역(이하, “제 1 영역”이라고 칭함, 310)의 구배 벡터들 및 도 7에 도시된 영역(이하, “제 2 영역”이라고 칭함, 410)의 구배 벡터들의 크기는 모두 같다고 가정한다. 즉, 제 1 및 제 2 영역(310, 410)의 구배 강도들은 모두 같다고 가정한다.
도 6 및 도 7을 참조하면, 제 1 및 제 2 영역(310, 410) 각각에 대해, 0도의 구배 방향을 갖는 12개의 구배 벡터들과 90도의 구배 방향을 갖는 4개의 구배 벡터들이 산출된다. 따라서, 제 1 영역(310)에 대한 HOG와 제 2 영역(410)에 대한 HOG는 동일하다. 하지만, 도면에 도시된 바와 같이, 구배 벡터들의 공간적인 분포를 고려하면, 제 1 영역(310)이 나타내는 정보와 제 2 영역(310, 410)이 나타내는 정보는 서로 같지 않음을 알 수 있다. 이는, 특징 벡터로서 HOG들만을 사용하는 경우에는, 구배 벡터들의 공간적인 분포를 고려하지 않는 것으로 인해, 객체 검출의 정확도가 떨어질 수 있음을 의미한다.
본 발명의 실시 예에 따른 객체 검출 장치(100, 도 1 참조)는 HOG들뿐만 아니라 HOG의 계급에 따른 화소 좌표의 평균값들 및 분산값들을 이용하여 특징 벡터를 산출함으로써, 객체 검출의 정확도를 높일 수 있다.
도 8은 본 발명의 실시 예에 따른 객체 검출 방법을 설명하기 위한 순서도이다. 도 8을 참조하면, 단계 S110에서, 대상 객체를 포함하는 영상이 촬상 장치, 영상 저장 장치와 같은 외부 장치로부터 획득된다.
단계 S120에서, 윤곽 영상이 획득 영상에서 윤곽 추출 알고리즘 및 하이 패스 필터를 통해 추출된다.
단계 S130에서, 특징 벡터가 HOG들 및 HOG의 계급에 따른 화소 좌표의 평균값들 및 분산값들을 이용하여 윤곽 영상에서 산출된다. 특징 벡터를 산출하는 방법은 이하의 도 9를 참조하여 더욱 상세하게 설명될 것이다.
단계 S140에서, 특징 벡터에 대응하는 대상 객체가 사전 학습 데이터를 참조하여 판정된다. 즉, 대상 객체가 무엇인지가 특징 벡터와 사전 학습 데이터의 비교를 통해 판정된다.
단계 S150에서, 대상 객체에 대한 판정 결과가 출력된다. 여기서, 판정 결과는 검출 성공 알림 정보 및 패턴 정보에 대응하는 대상 객체의 식별 정보일 수 있다. 또는, 판정 결과는 검출 실패 알림 정보일 수 있다.
도 9는 본 발명의 실시 예에 따른 특징 벡터 산출 방법을 설명하기 위한 순서도이다. 간결한 설명을 위해, 윤곽 영상이 복수의 영역들로 분할되지 않는다고 가정한다. 즉, 윤곽 영상이 하나의 영역이라고 가정한다.
도 9를 참조하면, 단계 S131에서, 윤곽 영상의 화소들에 대한 구배 벡터들이 산출된다. 이러한 구배 벡터들의 산출 방법은 도 3, 도 4, 수학식 3 및 수학식 4를 참조하여 이미 설명되었으므로, 여기서는, 이를 생략하기로 한다.
단계 S132에서, HOG가 구배 벡터들을 이용하여 산출된다. 이때, HOG의 계급은 구배 방향의 범위에 대한 양자화된 구간을 의미한다. 그리고, HOG의 도수는 HOG의 계급에 따른 구배 강도들의 누적 수치를 의미한다.
단계 S133에서, HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 평균값이 HOG의 계급별로 산출된다. 이렇게 HOG의 계급별로 산출되는 화소 좌표의 평균값들은 상기의 수학식 1에 따라 산출된다.
단계 S134에서, HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 분산값이 HOG의 계급별로 산출된다. 이렇게 HOG의 계급별로 산출되는 화소 좌표의 분산값들은 상기의 수학식 2에 따라 산출된다.
단계 S135에서, 특징 벡터가 HOG, 화소 좌표의 평균값들 및 분산값들을 이용하여 구성된다. 예를 들어, 특징 벡터는 HOG 및 벡터화된 화소 좌표의 평균값들 및 분산값들로 구성될 수 있다.
도 10은 본 발명의 실시 예에 따른 객체 검출 시스템(1000)을 보여주는 블록도이다. 도 10을 참조하면, 객체 검출 시스템(1000)은 객체 검출 장치(1100), 촬상 장치(1200), 제어 장치(1300), 표시 장치(1400), 저장 장치(1500) 및 시스템 버스(1600)를 포함한다.
객체 검출 장치(1100)는 촬상 장치(1200) 및 저장 장치(1500)로부터 제공되는 영상에 대해 객체 검출 동작을 수행한다. 그리고, 객체 검출 장치(1100)는 객체 검출 결과를 표시 장치(1400) 및 저장 장치(1500)에 제공한다. 여기서, 객체 검출 결과는 대상 객체의 식별 정보를 포함한다.
객체 검출 장치(1100)는 객체 검출을 위해 HOG들뿐만 아니라 HOG의 계급에 따른 화소 좌표의 평균값들 및 분산값들을 이용하여 특징 벡터를 생성한다. 객체 검출 장치(1100)는 사전 학습 데이터를 참조하여 이러한 특징 벡터에 대응하는 대상 객체가 무엇인지를 판정한다.
상술한 바와 같이, 본 발명의 실시 예에 따라 화소 좌표 정보까지 고려하여 특징 벡터를 구성하는 경우, 객체 검출의 정확도는 특징 벡터를 HOG들만으로 구성하는 경우보다 더욱 향상된다.
촬상 장치(1200)는 피사체를 촬상하여 영상을 생성한다. 촬장 장치(1200)는 생성된 영상을 객체 검출 장치(1100), 표시 장치(1400) 및 저장 장치(1500)에 전달한다. 비록 도면에는 도시되지 않았지만, 촬상 장치(1200)는 렌즈, 촬상 소자, 신호 처리 모듈 등을 포함할 수 있다.
제어 장치(1300)는 객체 검출 시스템(1000)의 전반적인 동작들을 제어한다. 즉, 제어 장치(1300)는 객체 검출 장치(1100), 촬상 장치(1200), 표시 장치(1400) 및 저장 장치(1500)의 동작들을 각각 제어한다.
표시 장치(1400)는 촬상 장치(1200) 및 저장 장치(1500)로부터 제공되는 영상을 표시한다. 또한, 표시 장치(1400)는 객체 검출 장치(1100) 또는 저장 장치(1500)로부터 제공되는 객체 검출 결과를 표시한다. 표시 장치(1400)는 액정 표시(Liquid Crystal Display, LCD) 장치, 전계 방출 표시(Field Emission Display) 장치, 유기 발광 표시(Organic Light Emitting Display) 장치 등으로 구현될 수 있다.
저장 장치(1500)는 객체 검출 장치(1100)로부터 제공되는 객체 검출 결과를 저장한다. 또한, 저장 장치(1500)는 촬상 장치(1200)로부터 제공되는 영상을 저장한다. 저장 장치(1500)는 휘발성 메모리 장치 및 불휘발성 메모리 장치로 구현될 수 있다. 예를 들어, 저장 장치(1500)는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM), ROM(Read Only Memory), PROM(Programmable ROM), EPROM (Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리(Flash memory), PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등으로 구현될 수 있다.
시스템 버스(1600)는 객체 검출 시스템(1000)은 객체 검출 장치(1100), 촬상 장치(1200), 제어 장치(1300), 표시 장치(1400) 및 저장 장치(1500)를 연결한다. 시스템 버스(1600)는 외부 컴퓨터, 네트워크, 이동식 저장 매체 등과 접속하기 위한 인터페이스를 제공할 수 있다.
본 발명의 범위 또는 기술적 사상을 벗어나지 않고 본 발명의 구조가 다양하게 수정되거나 변경될 수 있음은 이 분야에 숙련된 자들에게 자명하다. 상술한 내용을 고려하여 볼 때, 만약 본 발명의 수정 및 변경이 아래의 청구항들 및 동등물의 범주 내에 속한다면, 본 발명이 이 발명의 변경 및 수정을 포함하는 것으로 여겨진다.
100: 객체 검출 장치
110: 영상 획득부
120: 윤곽 영상 추출부
130: 특징 벡터 산출부
131: HOG 산출 모듈
132: 좌표 평균값 산출 모듈
133: 좌표 분산값 산출 모듈
140: 사전 학습 데이터 저장부
150: 객체 판정부

Claims (14)

  1. 입력 영상에서 윤곽 영상을 추출하는 윤곽 영상 추출부;
    상기 윤곽 영상의 화소들에 대한 구배 벡터들의 도수 분포를 나타내는 HOG(Histogram of Oriented Gradients) 및 상기 구배 벡터들의 공간적인 분포에 따라 달라지는 화소 좌표 정보를 이용하여 상기 윤곽 영상에서 특징 벡터를 산출하는 특징 벡터 산출부; 및
    사전 학습 데이터를 참조하여 상기 특징 벡터에 대응하는 대상 객체를 판정하는 객체 판정부를 포함하는 객체 검출 장치.
  2. 제 1 항에 있어서,
    상기 특징 벡터 산출부는,
    상기 화소들 각각에 대해 구배 강도 및 구배 방향을 산출하고, 상기 구배 강도 및 상기 구배 방향을 이용하여 상기 HOG를 산출하는 HOG 산출 모듈;
    상기 HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 평균값을 상기 HOG의 계급별로 산출하는 좌표 평균값 산출 모듈; 및
    상기 HOG의 같은 계급에 해당하는 구배 벡터를 갖는 화소들에 대한 화소 좌표의 분산값을 상기 HOG의 계급별로 산출하는 좌표 분산값 산출 모듈을 포함하고,
    상기 화소 좌표 정보는 상기 화소 좌표의 평균값 및 분산값을 포함하는 객체 검출 장치.
  3. 제 2 항에 있어서,
    상기 사전 학습 데이터는 객체들의 패턴 정보 및 식별 정보를 포함하는 객체 검출 장치.
  4. 제 3 항에 있어서,
    상기 객체 판정부는 상기 특징 벡터와 일치하는 패턴 정보가 상기 사전 학습 데이터에 포함되어 있는지 여부를 판정하는 객체 검출 장치.
  5. 제 4 항에 있어서,
    상기 객체 판정부는,
    상기 특징 벡터와 일치하는 패턴 정보가 상기 사전 학습 데이터에 포함되어 있는 경우, 판정 결과로서 검출 성공 알림 정보 및 상기 패턴 정보에 대응하는 대상 객체의 식별 정보를 출력하고,
    상기 특징 벡터와 일치하는 패턴 정보가 상기 사전 학습 데이터에 포함되어 있지 않은 경우, 판정 결과로서 검출 실패 알림 정보를 출력하는 객체 검출 장치.
  6. 제 2 항에 있어서,
    상기 사전 학습 데이터는 객체들의 고유 패턴에 대한 반복적인 학습을 통해 생성되는 객체 검출 장치.
  7. 제 2 항에 있어서,
    상기 HOG의 계급은 상기 구배 방향의 범위에 대한 양자화된 구간을 나타내는 객체 검출 장치.
  8. 제 1 항에 있어서,
    상기 특징 벡터 산출부는 상기 윤곽 영상을 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 HOG 및 상기 화소 좌표 정보를 산출하는 객체 검출 장치.
  9. 제 1 항에 있어서,
    상기 윤곽 영상 추출부는 윤곽 추출 알고리즘 및 하이 패스 필터를 이용하여 상기 입력 영상에서 상기 윤곽 영상을 추출하는 객체 검출 장치.
  10. 피사체를 촬상하여 영상을 생성하는 촬상 장치; 및
    상기 영상에서 윤곽 영상을 추출하고, 상기 윤곽 영상에 대한 HOG, 상기 윤곽 영상의 화소들에 대한 화소 좌표의 평균값 및 분산값을 이용하여 특징 벡터를 산출하며, 사전 학습 데이터를 참조하여 상기 특징 벡터에 대응하는 대상 객체를 판정하는 객체 검출 장치를 포함하는 객체 검출 시스템.
  11. 제 10 항에 있어서,
    상기 객체 검출 장치는 상기 HOG의 계급별로 상기 화소 좌표의 평균값 및 분산값을 산출하는 객체 검출 시스템.
  12. 제 10 항에 있어서,
    상기 객체 검출 장치는 상기 윤곽 영상을 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 HOG 및 화소 좌표의 평균값 및 분산값을 산출하는 객체 검출 시스템.
  13. 제 10 항에 있어서,
    상기 영상 및 상기 대상 객체의 판정 결과를 표시하는 표시 장치를 더 포함하는 객체 검출 시스템.
  14. 제 10 항에 있어서,
    상기 영상 및 상기 대상 객체의 판정 결과를 저장하는 저장 장치를 더 포함하는 객체 검출 시스템.
KR1020100102547A 2010-10-20 2010-10-20 객체 검출 장치 및 시스템 Expired - Fee Related KR101405410B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100102547A KR101405410B1 (ko) 2010-10-20 2010-10-20 객체 검출 장치 및 시스템
US13/010,316 US8369620B2 (en) 2010-10-20 2011-01-20 Object detection device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100102547A KR101405410B1 (ko) 2010-10-20 2010-10-20 객체 검출 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20120041002A true KR20120041002A (ko) 2012-04-30
KR101405410B1 KR101405410B1 (ko) 2014-06-24

Family

ID=45973070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100102547A Expired - Fee Related KR101405410B1 (ko) 2010-10-20 2010-10-20 객체 검출 장치 및 시스템

Country Status (2)

Country Link
US (1) US8369620B2 (ko)
KR (1) KR101405410B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355201B1 (ko) * 2013-09-12 2014-01-29 주식회사 넥스파시스템 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
KR101434170B1 (ko) * 2012-09-25 2014-08-26 한국전자통신연구원 추출된 데이터 특징을 이용한 학습 방법 및 장치
KR101496734B1 (ko) * 2013-05-29 2015-03-27 (주)베라시스 패턴 히스토그램 생성방법
KR20170002308A (ko) * 2015-06-29 2017-01-06 캐논 가부시끼가이샤 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
KR102161686B1 (ko) * 2020-01-03 2020-10-05 주식회사 케이스랩 객체 인식 장치 및 방법
KR20210019873A (ko) * 2019-08-13 2021-02-23 숭실대학교산학협력단 그라디언트 벡터들의 비교 결과에 기초한 차량 led 조명 상태 판단 방법 및 장치
KR20240105056A (ko) * 2022-12-28 2024-07-05 전남대학교산학협력단 2d 이미지로부터 검출된 건물의 균열을 3d 복원 공간에서 나타내기 위한 전자 장치 및 그 동작 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165220B2 (en) * 2012-12-18 2015-10-20 Hewlett-Packard Development Company, L.P. Image object recognition based on a feature vector with context information
JP6329412B2 (ja) * 2014-03-26 2018-05-23 株式会社メガチップス Ｓｉｍｄプロセッサ
EP3136289A1 (en) 2015-08-28 2017-03-01 Thomson Licensing Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
CN105654093B (zh) 2015-11-25 2018-09-25 小米科技有限责任公司 特征提取方法及装置
US10402696B2 (en) * 2016-01-04 2019-09-03 Texas Instruments Incorporated Scene obstruction detection using high pass filters
CN111950570B (zh) * 2020-08-26 2023-11-21 Oppo广东移动通信有限公司 目标图像提取方法、神经网络训练方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737103A (ja) * 1993-07-23 1995-02-07 Olympus Optical Co Ltd 傾き角度検出装置
US6674905B1 (en) * 1999-01-22 2004-01-06 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and storage medium
KR100356018B1 (ko) * 1999-12-06 2002-10-18 한국전자통신연구원 색 정보를 이용한 영상 색인 및 검색방법
KR100626838B1 (ko) 2004-04-14 2006-09-20 주식회사 엘피에이 대략적 최대 흐름 정합을 기반으로 하는 고속 영상 비교,검색 시스템 및 방법
JP4764231B2 (ja) * 2006-03-31 2011-08-31 キヤノン株式会社 画像処理装置、制御方法、コンピュータプログラム
US7853072B2 (en) 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
KR100882509B1 (ko) 2006-09-20 2009-02-06 연세대학교 산학협력단 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및방법
KR20090032808A (ko) * 2007-09-28 2009-04-01 삼성전자주식회사 물체 분류 방법 및 시스템
KR100977259B1 (ko) 2008-03-17 2010-08-23 전남대학교산학협력단 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101434170B1 (ko) * 2012-09-25 2014-08-26 한국전자통신연구원 추출된 데이터 특징을 이용한 학습 방법 및 장치
KR101496734B1 (ko) * 2013-05-29 2015-03-27 (주)베라시스 패턴 히스토그램 생성방법
KR101355201B1 (ko) * 2013-09-12 2014-01-29 주식회사 넥스파시스템 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
KR20170002308A (ko) * 2015-06-29 2017-01-06 캐논 가부시끼가이샤 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
US10163027B2 (en) 2015-06-29 2018-12-25 Canon Kabushiki Kaisha Apparatus for and method of processing image based on object region
KR20210019873A (ko) * 2019-08-13 2021-02-23 숭실대학교산학협력단 그라디언트 벡터들의 비교 결과에 기초한 차량 led 조명 상태 판단 방법 및 장치
KR102161686B1 (ko) * 2020-01-03 2020-10-05 주식회사 케이스랩 객체 인식 장치 및 방법
KR20240105056A (ko) * 2022-12-28 2024-07-05 전남대학교산학협력단 2d 이미지로부터 검출된 건물의 균열을 3d 복원 공간에서 나타내기 위한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20120099790A1 (en) 2012-04-26
KR101405410B1 (ko) 2014-06-24
US8369620B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
KR20120041002A (ko) 객체 검출 장치 및 시스템
US12062251B2 (en) Device and method with image matching
CN109978755B (zh) 全景图像合成方法、装置、设备与存储介质
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
US9940509B2 (en) Object detection method and object detection apparatus
CN108428214B (zh) 一种图像处理方法及装置
US10943141B2 (en) Object detection device and object detection method
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US9830363B2 (en) Image evaluation apparatus, image evaluation method, and computer program product
TWI651697B (zh) 停車場空位偵測方法及其偵測模型建立方法
CN101911116B (zh) 不变视觉场景和对象识别
GB2567922A (en) Method and apparatus for shelf edge detection
US20120121166A1 (en) Method and apparatus for three dimensional parallel object segmentation
US8103058B2 (en) Detecting and tracking objects in digital images
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
CN113228035A (zh) 用于对象识别的系统和方法
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
EP3039645A1 (en) A semi automatic target initialization method based on visual saliency
US20190108398A1 (en) A method and system for tracking objects
KR101515926B1 (ko) 객체 검출방법 및 이를 이용한 검출장치
JP2015197708A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN118379696A (zh) 一种船舶目标检测方法、装置及可读存储介质
CN108875504A (zh) 基于神经网络的图像检测方法和图像检测装置
JP2016219879A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20200401

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20210601

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20220329

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20250603

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20250603

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20250603