KR20200036079A - 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 - Google Patents

적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 Download PDF

Info

Publication number
KR20200036079A
KR20200036079A KR1020180111651A KR20180111651A KR20200036079A KR 20200036079 A KR20200036079 A KR 20200036079A KR 1020180111651 A KR1020180111651 A KR 1020180111651A KR 20180111651 A KR20180111651 A KR 20180111651A KR 20200036079 A KR20200036079 A KR 20200036079A
Authority
KR
South Korea
Prior art keywords
maximum suppression
suppression method
box
group
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180111651A
Other languages
English (en)
Other versions
KR102195940B1 (ko
Inventor
김진영
유광현
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020180111651A priority Critical patent/KR102195940B1/ko
Publication of KR20200036079A publication Critical patent/KR20200036079A/ko
Application granted granted Critical
Publication of KR102195940B1 publication Critical patent/KR102195940B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K9/00362—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법에 관한 것으로, 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00144
와
Figure pat00145
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure pat00146
을 출력하는 비최대억제방법 수행부;상기 비최대억제방법 수행부에서 출력되는 집합
Figure pat00147
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부;겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부;상기 집단수 결정부에서 결정된 집단수를 이용하여
Figure pat00148
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부;집단화 수행부에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정부;각 그룹에 대하여 그룹별 임계값 결정부에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부;를 포함하는 것이다.

Description

적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법{System and Method for Detecting Deep Learning based Human Object using Adaptive Thresholding Method of Non Maximum Suppression}
본 발명은 영상객체 탐지에 관한 것으로, 구체적으로 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법에 관한 것이다.
CCTV와 같은 비디오 영상에서 인간 및 자동차와 같은 움직이는 전경객체(foreground)를 탐지하는 기술은 영상기반 감시시스템의 기반기술이라고 할 수 있다.
영상에서 전경영상을 찾는 방법으로는 슬라이딩 윈도우(sliding window)를 이용하여 윈도우 내 인간객체가 존재하는 지 판별하는 방법과 배경영상을 모델링하여 전경영상을 추출하고 전경영상을 검증하는 방법이 있다.
슬라이딩 윈도우를 사용하여 탐지객체존재 유무를 검증하거나 또는 전경영상의 영역에 대하여 객체를 확인하는 다양한 수학적 방법론이 존재하지만 최상의 성능을 보이고 있는 방법은 CNN(convolutional neural network)과 같은 딥러닝 기술이다.
CNN과 같은 딥러닝 패턴 인식을 적용할 때 발생하는 문제점중 하나는 실제 영상에 존재하는 객체의 정확한 위치를 중심으로 다수의 후보영역들(주로 사각형 박스)이 객체후보 영역으로 결정된다는 점이다.
따라서, 딥러닝 기반의 객체탐지후 후처리(post-processing)이 필요한데, 후처리 방법으로 널리 사용되는 것이 비최대억제(non-maximum suppression;NMS)이다.
비최대억제 방법은 참객체영역 주변의 후보박스들의 중첩도를 고려하여 후보박스들을 그룹핑하고, 그룹별로 최대확률을 갖는 영역(박스)만을 남겨두고 제거하는 방법이다.
도 1은 CNN기반 객체 탐지에서 객체영역에 대한 복수후보 박스 결과의 일 예를 나타낸 구성도이고, 도 2는 임계값에 따른 NMS의 성능을 비교한 구성도이다.
도 1은 열화상영상에 대하여 딥러닝기반 인간객체 탐지를 적용한 결과를 나타낸 것으로, 하나의 객체에 대하여 다수의 후보박스들이 선정되어 있음을 확인할 수 있다.
이와 같은 종래 기술의 비최대억제 방법은 중첩영역결정을 위하여 고정된 임계값을 사용하는데, 이 경우 임계값과 후복박스들의 분포에 따라서 오경보(false alarm) 또는 미검출(mis-detection)이 증가하는 현상을 보인다.
도 2는 CNN의 다중 후보박스영역에 대하여 임계값이 작은 경우와 큰 경우에 다하여 최종판별 결과를 나타낸 것이다.
임계값이 작은 경우에는 다중객체가 하나로 오인식되고, 임계값이 큰 경우에는 하나의 객체가 여러 개로 분할되는 현상을 보이고 있다.
이와 같이 CNN과 같은 패턴인식 방법을 통하여 (인간)객체를 탐지하는 방법에서는 후처리 기술을 수행하게 된다.
객체탐지후 정확한 후보 영역을 얻기 어려운 경우 하나의 객체에 대하여 다수의 후보 박스들이 추천되어진다.
따라서 결정된 다수의 후보 박스들로부터 가장 최적인 후보박스를 선정하고, 나머지 후보 박스들을 제거해야 한다.
이때, 객체들이 서로 가까운 거리에 존재하는 경우, 오경보(false alarm;FA) 또는 미검출(misdetection;MD)이 발생하게 된다.
따라서, 이와 같은 고정된 임계값을 사용하는 종래 기술의 비최대억제(NMS) 방법의 문제를 해결하여 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2018-0065856호 대한민국 등록특허 제10-1873169호 대한민국 공개특허 제10-2017-0134158호
본 발명은 종래 기술의 영상객체 탐지 기술의 문제점을 해결하기 위한 것으로, 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 영상에서 인간객체를 CNN과 같은 딥러닝 기술을 이용하여 탐지하는 경우 하나의 객체에 대해 얻어지는 복수의 후보박스들로부터 가능한 정확하게 객체의 영역을 결정하기 위한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 신경망에서 생성한 후보영역을 비최대억제 방법을 시행하여 후보 집합을 생성한 뒤 이를 통해 임계값을 동적으로 조절하고, 이를 이용하여 다시 비최대억제 방법을 수행하여 최적의 객체를 검출할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 영상에서의 객체 탐지시에 객체에 대한 후보영역군이 다수 존재하는 경우, 최적 후보박스를 선정하는 비최대억제 방법의 변형을 통하여 미검출(mis-detection)과 오경보(false-alarm)을 저감시킬 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 비최대억제방법을 적용할 때, 적응적으로 임계값을 결정하여 FA와 MD를 줄이기 위한 방법을 적용하는 것으로, CNN과 같은 후보박스 추출방법이 각 객체당 발생하는 후보의 개수가 거의 일정하고, 다수의 객체가 중첩된 경우 단위 영역당 후보박스의 개수가 증가한다는 사실에 근거하여 임계값을 자동적으로 결정하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 딥러닝 기반의 객체탐지 또는 고전적인 객체탐지를 사각형 박스단위로 검출하는 경우, 하나의 객체의 과도한 분할, 또는 여러 객체의 하나의 객체로의 통합을 방지할 수 있도록 한 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치는 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00001
와
Figure pat00002
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure pat00003
을 출력하는 비최대억제방법 수행부;상기 비최대억제방법 수행부에서 출력되는 집합
Figure pat00004
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부;겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부;상기 집단수 결정부에서 결정된 집단수를 이용하여
Figure pat00005
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부;집단화 수행부에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정부;각 그룹에 대하여 그룹별 임계값 결정부에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부;를 포함하는 것을 특징으로 한다.
여기서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00006
와
Figure pat00007
은, 각각 객체 후보 박스들의 집합 {Bi}, 집합
Figure pat00008
의 후보 박스들의 개수인 것을 특징으로 한다.
그리고 각각 객체 후보 박스들의 집합 {Bi}는, CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
Figure pat00009
로 구성되고, 여기서,
Figure pat00010
는 박스의 x,y축 좌표,
Figure pat00011
는 x,y축상의 크기 그리고
Figure pat00012
는 CNN 신경망의 출력값인 것을 특징으로 한다.
그리고 CNN의 결과를 출력하기 위한 딥러닝 신경망 학습을 위하여, 인간객체 및 비인간객체 샘플 데이터베이스를 구축하여 CNN(Convolutional Neural Network)의 파라미터를 학습하고 그 결과를 저장하고, 다음 입력영상이 들어오면 다중-스케일 탐색(multi-scale search)를 통하여 후보 윈도우 박스 영역의 영상을 CNN 구조에 입력하여 출력값을 계산하는 것을 특징으로 한다.
그리고 슬라이딩 윈도우(박스)의 크기는 고정하고, 입력영상을 스케일-공간 피라미드로 변환하면서, 박스영역의 입력영상을 CNN 분류기에 입력하면, 입력 영상에 대하여 실제 인간객체마다 다수의 후보 박스들이 발생하게 되고, 얻어지는 정보는 박스의 위치 정보와 크기정보인 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법은 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00013
와
Figure pat00014
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure pat00015
을 출력하는 비최대억제방법 수행 단계;상기 비최대억제방법 수행 단계에서 출력되는 집합
Figure pat00016
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인 단계;겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정 단계;상기 집단수 결정 단계에서 결정된 집단수를 이용하여
Figure pat00017
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행 단계;집단화 수행 단계에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정 단계;각 그룹에 대하여 그룹별 임계값 결정 단계에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00018
와
Figure pat00019
은, 각각 객체 후보 박스들의 집합 {Bi}, 집합
Figure pat00020
의 후보 박스들의 개수인 것을 특징으로 한다.
그리고 각각 객체 후보 박스들의 집합 {Bi}는, CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
Figure pat00021
로 구성되고, 여기서,
Figure pat00022
는 박스의 x,y축 좌표,
Figure pat00023
는 x,y축상의 크기 그리고
Figure pat00024
는 CNN 신경망의 출력값인 것을 특징으로 한다.
그리고 집단수 결정 단계에서, 집합
Figure pat00025
에 대하여 영역이 중첩된 후보박스의 개수
Figure pat00026
을 이용하여 집단화를 시행하기 위한 집단수
Figure pat00027
를,
Figure pat00028
으로 결정하는 것을 특징으로 한다.
그리고 집단수 결정이 이루어지면
Figure pat00029
와
Figure pat00030
를 이용하여 집단화를 k-means방법을 사용하여 집단화 결과
Figure pat00031
를 출력하고, 각 그룹
Figure pat00032
에 대하여 임계값을 결정하는 것을 특징으로 한다.
그리고 각 그룹
Figure pat00033
에 대하여 임계값을 결정하기 위하여 박스밀집도를
Figure pat00034
으로 계산하고,
임계값을, if
Figure pat00035
,
Figure pat00036
else
Figure pat00037
으로 계산하고, 여기서
Figure pat00038
는 문제에 따라 결정되는 고정 임계값인 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한다.
둘째, 영상에서 인간객체를 CNN과 같은 딥러닝 기술을 이용하여 탐지하는 경우 하나의 객체에 대해 얻어지는 복수의 후보박스들로부터 가능한 정확하게 객체의 영역을 결정할 수 있도록 한다.
셋째, 신경망에서 생성한 후보영역을 비최대억제 방법을 시행하여 후보 집합을 생성한 뒤 이를 통해 임계값을 동적으로 조절하고, 이를 이용하여 다시 비최대억제 방법을 수행하여 최적의 객체를 검출할 수 있도록 한다.
넷째, 영상에서의 객체 탐지시에 객체에 대한 후보영역군이 다수 존재하는 경우, 최적 후보박스를 선정하는 비최대억제 방법의 변형을 통하여 미검출(mis-detection)과 오경보(false-alarm)을 저감시킬 수 있도록 한다.
다섯째, CNN과 같은 후보박스 추출방법이 각 객체당 발생하는 후보의 개수가 거의 일정하고, 다수의 객체가 중첩된 경우 단위 영역당 후보박스의 개수가 증가한다는 사실에 근거하여 임계값을 자동적으로 결정할 수 있다.
여섯째, 딥러닝 기반의 객체탐지 또는 고전적인 객체탐지를 사각형 박스단위로 검출하는 경우, 하나의 객체의 과도한 분할, 또는 여러 객체의 하나의 객체로의 통합을 방지할 수 있도록 한다.
도 1은 CNN기반 객체 탐지에서 객체영역에 대한 복수후보 박스 결과의 일 예를 나타낸 구성도
도 2는 임계값에 따른 NMS의 성능을 비교한 구성도
도 3은 딥러닝(CNN) 기반 열화상열상 내 인간객체 탐지 방법을 나타낸 구성도
도 4는 멀티스케일 슬라이딩 윈도우 기반 분류 방법을 나타낸 구성도
도 5는 본 발명에 따른 비최대억제 방법을 나타낸 플로우 차트
도 6은 NMS 방법의 개념을 나타낸 구성도
도 7은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치의 구성도
도 8은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법을 나타낸 플로우 차트
도 9는 kmeans 집단화 과정을 나타낸 플로우 차트
도 10는 본 발명을 적용한 열화상 영상에서 인간객체를 탐지를 위한 방법에서 사용되는 CNN 구조의 일 예를 나타낸 구성도
도 11은 본 발명을 적용한 열화상 영상에서 인간객체를 탐지 결과 구성도
이하, 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 3은 딥러닝(CNN) 기반 열화상열상 내 인간객체 탐지 방법을 나타낸 구성도이고, 도 4는 멀티스케일 슬라이딩 윈도우 기반 분류 방법을 나타낸 구성도이다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법은 영상에서 인간객체를 CNN과 같은 딥러닝 기술을 이용하여 탐지하는 경우 하나의 객체에 대해 얻어지는 복수의 후보박스들로부터 가능한 정확하게 객체의 영역을 결정하기 위한 것이다.
이를 위하여 본 발명은 후보 박스들의 분포에 따라서 적응적으로 임계값을 결정하는 구성을 포함할 수 있다.
딥러닝 기법인 CNN을 이용하여 (인간)객체탐지를 수행하는 방법을 설명하면 다음과 같다.
탐지된 후보 박스들 셋을
Figure pat00039
라하고, 셋의 원소개수를
Figure pat00040
라고 하면 주어진 영상내에서
Figure pat00041
는 다음과 같은 분포를 갖다.
첫째, 각 인간객체에 대한 발생하는 후보박스의 개수는 거의 일정하다.
둘째, 인간객체들이 서로 중첩하여 또는 가까이 존재하는 경우, 서로 다른 인간객체에 해당하는 후보박스들은 서로 중첩되게 되며, 단위 영역 당 후보박스들의 개수가 증가한다.
따라서, 본 발명은 이와 같은 특성을 반영하여 임계값이 자동적으로 결정되도록 최적화하여 오경보(false-alarm)와 미검출(mis-detection)을 억제할 수 있도록 한 것이다.
이상적인 경우 입력영상을 분할하여 영역별로 존재하는 후보 박스의 개수를 측정하면 되겠으나, 이 경우 분할영역의 크기와 영역을 나누는 윈도우(창)의 이동값 등을 결정하고 처리해야하는 어려운 점이 있다.
따라서, 본 발명에서는 비최대억제 방법을 이용하여, 후보대상을 결정하고, 이 후보대상군의 중첩도를 고려하여 집단수를 결정하여 집단화 방법을 적용하여 대략으로 후보박스들을 그룹으로 분할한다.
다음 각 후보 그룹들에 대하여 임계값을 후보박스들의 집중도에 따라 결정하고, 그룹별로 비최대억제 방법을 적용하는 방법을 채택한다.
도 3은 열화상영상에서 딥러닝(CNN) 기반의 인간객체 탐지 방법 모델을 나타낸 것이다.
도 3에서와 같이 딥러닝 신경망 학습에 있어서는 인간객체 및 비인간객체 샘플 데이터베이스를 구축하여 CNN(Convolutional Neural Network)의 파라미터를 학습하고 그 결과를 저장한다.
다음 입력영상이 들어오면 다중-스케일 탐색(multi-scale search)를 통하여 후보 윈도우 박스 영역의 영상을 CNN 구조에 입력하여 출력값을 계산한다.
도 4에서와 같이 슬라이딩 윈도우(박스)의 크기는 고정하고, 입력영상을 스케일-공간 피라미드로 변환하면서, 박스영역의 입력영상을 CNN 분류기에 입력하면 도 2의 우측 그림과 같이 입력 영상에 대하여 실제 인간객체마다 다수의 후보 박스들이 발생하게 된다.
이때 마지막으로 얻어지는 정보는 박스의 위치 정보와 크기정보이다.
여기서 변수를 다음과 같이 정의한다.
Figure pat00042
: CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
Figure pat00043
로 구성된다.
여기서,
Figure pat00044
는 박스의 x,y축 좌표,
Figure pat00045
는 x,y축상의 크기 그리고
Figure pat00046
는 CNN 신경망의 출력값이다.
Figure pat00047
: 객체 후보 박스들의 집합 {Bi}
Figure pat00048
: 집합
Figure pat00049
의 후보 박스들의 개수
본 발명에 따른 적응적 비최대억제 방법은 다음과 같은 pseudo-code로 표현된다.
step1: 집합
Figure pat00050
에 대하여 표준 비최대억제방법을 시행하고, 그 결과 객체후보집합
Figure pat00051
를 얻는다. 단,
Figure pat00052
라고 한다.
step2: 집합
Figure pat00053
에 대하여 영역이 중첩된 후보박스의 개수를 구하고 이를
Figure pat00054
이라고 한다.
step3:
Figure pat00055
을 이용하여 집단화를 시행하기 위한 집단수
Figure pat00056
를 다음과 같이 결정한다.
Figure pat00057
step4: 단계3의
Figure pat00058
와
Figure pat00059
를 이용하여 집단화를 k-means방법을 사용하여 시행한다. 집단화 결과를
Figure pat00060
라고 한다.
step5: 각 그룹
Figure pat00061
에 대하여 임계값을 다음과 같이 결정한다.
(1)박스밀집도를 수학식 2와 같이 계산한다.
Figure pat00062
(2)임계값을 다음과 같이 계산한다.
if
Figure pat00063
,
Figure pat00064
else
Figure pat00065
여기서
Figure pat00066
는 문제에 따라 결정되는 고정 임계값이다.
step6: 각 그룹
Figure pat00067
에 대하여 임계값
Figure pat00068
를 이용하여 비최대억제 방법을 시행한다.
다중 후보박스 문제를 해결하기 위해 비최대억제(NMS) 방법이 사용되는데, 이는 다음과 같다.
도 5는 본 발명에 따른 비최대억제 방법을 나타낸 플로우 차트이다.
먼저, 모든 탐지결과(후보박스)를 CNN 출력값에 따라 정렬한다.(S501)
그리고 최대값을 갖는 후보박스에 대하여 중첩 후보박스들을 추출한다. 후보박스를 추출하기 위하여 교집합의 영역크기를 합집합의 크기로 나누어, 이 값이 특정 임계값보다 큰 경우 중첩영역으로 결정한다.(S502)(S503)
최대값 후보박스 및 중첩그룹에 대하여, 최대값 후보박스만 남기고 나머지는 제거하고(S504), 상기 단계들을 나머지 후보박스들에 대하여 반복 시행한다.
여기서, CNN 출력값에 따른 후보박스 정렬은 수학식 3에서와 같이 이루어질 수 있다.
Figure pat00069
그리고 최대 출력값 박스 제거는 수학식 4에서와 같이 이루어질 수 있다.
Figure pat00070
그리고 B 중첩 박스 구하기는 다음과 같이 이루어질 수 있다.
Figure pat00071
도 5에서 사용되는 변수들을 설명하면 다음과 같다.
Figure pat00072
=
Figure pat00073
: 객체 후보 박스들의 집합의 구성요소들
Figure pat00074
을 정렬한 내리차순으로 정렬한 집합이고, 정렬은
Figure pat00075
의 원소인 CNN 출력값
Figure pat00076
에 따라 진행된다.
Figure pat00077
: 정렬된 집합
Figure pat00078
에서 첫 번째 원소,
Figure pat00079
:
Figure pat00080
번째의 NMS 출력 원소,
Figure pat00081
에서 '-'는 집합에서 원소 삭제,
Figure pat00082
에서 '+'는 집합에 원소 추가,
Figure pat00083
은
Figure pat00084
와
Figure pat00085
영역의 겹친픽셀의 개수,
Figure pat00086
: 공집합이다.
도 6은 NMS 방법의 개념을 나타낸 것으로 도 5의 비최대억제방법의 구현의 일 예를 나타낸 것이다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치에 관하여 구체적으로 설명하면 다음과 같다.
도 7은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치의 구성도이다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치는 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00087
와
Figure pat00088
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure pat00089
을 출력하는 비최대억제방법 수행부(70)와, 집합
Figure pat00090
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부(71)와, 겹친영역의 개수를 고려하여 kmeans집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부(72)와, 결정된 집단수를 이용하여
Figure pat00091
에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부(73)와, 그룹별 임계값을 k개의 집단에 다하여 집단별 박스 개수로부터 결정하는 그룹별 임계값 결정부(74)와, 각 그룹에 대하여 그룹별 임계값 결정부(74)에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부(75)를 포함한다.
본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법을 구체적으로 설명하면 다음과 같다.
도 8은 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법을 나타낸 플로우 차트이다.
먼저, 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
Figure pat00092
와
Figure pat00093
을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
Figure pat00094
을 출력하는 비최대억제방법 수행을 한다.(S801)
집합
Figure pat00095
에서 중첩된 박스의 개수를 구하는 중첩 박스 확인 단계를 수행한다.(S802)
도 6의 실시 예에서는 NMS 수행후 중첩된 후보박스의 개수는 2개이다.
이 단계에서의
Figure pat00096
은 두 박스간의 겹친영역의 픽셀수를 의미한다.
겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정 단계를 수행한다.(S803)
이 단계에서 kmeans 집단화를 수행하기 위한 집단수를 결정하는데, 이 집단수 결정방법은 겹친영역의 개수를 고려하여, 경험적으로 얻어진 수식을 이용한다.
일 예로 수학식 1을 이용할 수 있다.
그리고 결정된 집단수를 이용하여
Figure pat00097
에 대하여 집단화를 kmeans 알고리듬으로 수행한다.(S804)
kmeans 알고리듬은 잘 알려진 방법으로 도 9에서와 같은 방법을 진행되고, 도 8에서 kmeans()는 kmeans 집단화 방법을 호출하는 함수이다.
이어, 그룹별 임계값을 k개의 집단에 다하여 집단별 박스 개수로부터 결정하는 그룹별 임계값 결정 단계를 수행한다.(S805)
여기서
Figure pat00098
는
Figure pat00099
번째 집단의 박스의 집중강도이다.
Figure pat00100
를 구하는 식은 실험적 경험식이고,
Figure pat00101
는 일반 비최대억제방법의 임계값으로 이 또한 적용영역에 따라 결정된다.
박스의 집중강도를 구하는 식은 수학식 2에서와 같은 방법이 사용될 수 있다.
그리고 각 그룹에 대하여 그룹별 임계값 결정 단계에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정하는 단계를 수행한다.(S806)
여기서, 그룹별 비최대억제방법 수행은 수학식 6에서와 같이 이루어질 수 있다.
Figure pat00102
이상에서 설명한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법을 적용한 결과를 설명하면 다음과 같다.
도 10는 본 발명을 적용한 열화상 영상에서 인간객체를 탐지를 위한 방법에서 사용되는 CNN 구조의 일 예를 나타낸 구성도이고, 도 11은 본 발명을 적용한 열화상 영상에서 인간객체를 탐지 결과 구성도이다.
본 발명을 적용한 열화상 영상에서 인간객체를 탐지하는 성능을 확인하기 위하여 22,290개의 인간개체와 164,110개의 비인간객체 샘플들을 데이터베이스로 구축하고, 기본 입력 사이즈로 32x16을 이용하였으며, tensorflow를 이용하여 구현하였다.
사용한 CNN의 대략적인 구조는 도 10에서와 같다.
도 11은 적응적 임계값을 갖는 NMS 방법의 결과를 보여주고 있는 것으로서
Figure pat00103
,
Figure pat00104
,
Figure pat00105
그리고 본 발명의 결과를 보이고 있는데, 도 11의 (b)와 (d)를 비교해보면 본 발명을 적용한 (d)가 우수한 성능을 갖고 있음을 알 수 있다.
이상에서 설명한 본 발명에 따른 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법은 비디오 영상을 대상으로 하는 딥러닝(convolutional neural network) 기반의 인간객체 탐지시에 다중 후보군으로부터 최적의 인간객체를 탐지할 수 있도록 한 것이다.
본 발명은 신경망에서 생성한 후보영역을 비최대억제 방법을 시행하여 후보 집합을 생성한 뒤 이를 통해 임계값을 동적으로 조절하고, 이를 이용하여 다시 비최대억제 방법을 수행하여 최적의 객체를 검출할 수 있도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
70. 비최대억제방법 수행부 71. 중첩 박스 확인부
72. 집단수 결정부 73. 집단화 수행부
74. 그룹별 임계값 결정부 75. 탐지객체박스 결정부

Claims (11)

  1. 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure pat00106
    와
    Figure pat00107
    을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
    Figure pat00108
    을 출력하는 비최대억제방법 수행부;
    상기 비최대억제방법 수행부에서 출력되는 집합
    Figure pat00109
    에서 중첩된 박스의 개수를 구하는 중첩 박스 확인부;
    겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정부;
    상기 집단수 결정부에서 결정된 집단수를 이용하여
    Figure pat00110
    에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행부;
    집단화 수행부에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정부;
    각 그룹에 대하여 그룹별 임계값 결정부에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정부;를 포함하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  2. 제 1 항에 있어서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure pat00111
    와
    Figure pat00112
    은,
    각각 객체 후보 박스들의 집합 {Bi}, 집합
    Figure pat00113
    의 후보 박스들의 개수인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  3. 제 2 항에 있어서, 각각 객체 후보 박스들의 집합 {Bi}는,
    CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
    Figure pat00114
    로 구성되고,
    여기서,
    Figure pat00115
    는 박스의 x,y축 좌표,
    Figure pat00116
    는 x,y축상의 크기 그리고
    Figure pat00117
    는 CNN 신경망의 출력값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  4. 제 3 항에 있어서, CNN의 결과를 출력하기 위한 딥러닝 신경망 학습을 위하여,
    인간객체 및 비인간객체 샘플 데이터베이스를 구축하여 CNN(Convolutional Neural Network)의 파라미터를 학습하고 그 결과를 저장하고,
    다음 입력영상이 들어오면 다중-스케일 탐색(multi-scale search)를 통하여 후보 윈도우 박스 영역의 영상을 CNN 구조에 입력하여 출력값을 계산하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  5. 제 4 항에 있어서, 슬라이딩 윈도우(박스)의 크기는 고정하고, 입력영상을 스케일-공간 피라미드로 변환하면서, 박스영역의 입력영상을 CNN 분류기에 입력하면,
    입력 영상에 대하여 실제 인간객체마다 다수의 후보 박스들이 발생하게 되고, 얻어지는 정보는 박스의 위치 정보와 크기정보인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치.
  6. 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure pat00118
    와
    Figure pat00119
    을 입력받아 비최대억제방법을 수행하여 추정된 객체후보 박스 집합
    Figure pat00120
    을 출력하는 비최대억제방법 수행 단계;
    상기 비최대억제방법 수행 단계에서 출력되는 집합
    Figure pat00121
    에서 중첩된 박스의 개수를 구하는 중첩 박스 확인 단계;
    겹친영역의 개수를 고려하여 kmeans 집단화를 수행하기 위한 집단수를 결정하는 집단수 결정 단계;
    상기 집단수 결정 단계에서 결정된 집단수를 이용하여
    Figure pat00122
    에 대하여 집단화를 kmeans 알고리듬을 사용하여 수행하는 집단화 수행 단계;
    집단화 수행 단계에서의 k개의 집단에 대하여 집단별 박스 개수로부터 그룹별 임계값을 결정하는 그룹별 임계값 결정 단계;
    각 그룹에 대하여 그룹별 임계값 결정 단계에서 결정된 임계값을 이용하여 비최대억제방법을 시행하고, 그 결과를 모두 합하여 최종 탐지객체박스를 결정하는 탐지객체박스 결정 단계;를 포함하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  7. 제 6 항에 있어서, 상기 비최대억제방법을 호출하는 함수 nmax_suppr()의 입력
    Figure pat00123
    와
    Figure pat00124
    은,
    각각 객체 후보 박스들의 집합 {Bi}, 집합
    Figure pat00125
    의 후보 박스들의 개수인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  8. 제 7 항에 있어서, 각각 객체 후보 박스들의 집합 {Bi}는,
    CNN의 결과 i-번째 객체후보 박스, 박스의 크기와 중심좌표와 크기, 그리고 CNN 출력값 정보
    Figure pat00126
    로 구성되고,
    여기서,
    Figure pat00127
    는 박스의 x,y축 좌표,
    Figure pat00128
    는 x,y축상의 크기 그리고
    Figure pat00129
    는 CNN 신경망의 출력값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  9. 제 6 항에 있어서, 집단수 결정 단계에서,
    집합
    Figure pat00130
    에 대하여 영역이 중첩된 후보박스의 개수
    Figure pat00131
    을 이용하여 집단화를 시행하기 위한 집단수
    Figure pat00132
    를,
    Figure pat00133
    으로 결정하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  10. 제 9 항에 있어서, 집단수 결정이 이루어지면
    Figure pat00134
    와
    Figure pat00135
    를 이용하여 집단화를 k-means방법을 사용하여 집단화 결과
    Figure pat00136
    를 출력하고,
    각 그룹
    Figure pat00137
    에 대하여 임계값을 결정하는 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
  11. 제 10 항에 있어서, 각 그룹
    Figure pat00138
    에 대하여 임계값을 결정하기 위하여 박스밀집도를
    Figure pat00139
    으로 계산하고,
    임계값을,
    if
    Figure pat00140
    ,
    Figure pat00141

    else
    Figure pat00142
    으로 계산하고, 여기서
    Figure pat00143
    는 문제에 따라 결정되는 고정 임계값인 것을 특징으로 하는 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 방법.
KR1020180111651A 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법 Active KR102195940B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180111651A KR102195940B1 (ko) 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180111651A KR102195940B1 (ko) 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200036079A true KR20200036079A (ko) 2020-04-07
KR102195940B1 KR102195940B1 (ko) 2020-12-28

Family

ID=70290840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180111651A Active KR102195940B1 (ko) 2018-09-18 2018-09-18 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102195940B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783700A (zh) * 2020-07-06 2020-10-16 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN112052787A (zh) * 2020-09-03 2020-12-08 腾讯科技（深圳）有限公司 基于人工智能的目标检测方法、装置及电子设备
CN113536842A (zh) * 2020-04-15 2021-10-22 普天信息技术有限公司 电力作业人员安全着装识别方法及装置
CN113591734A (zh) * 2021-08-03 2021-11-02 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
CN114022830A (zh) * 2020-07-17 2022-02-08 华为技术有限公司 一种目标确定方法以及目标确定装置
CN114049651A (zh) * 2021-11-03 2022-02-15 珠海格力电器股份有限公司 对象检测方法、装置、电子设备及存储介质
CN114120127A (zh) * 2021-11-30 2022-03-01 济南博观智能科技有限公司 一种目标检测方法、装置及相关设备
CN114581983A (zh) * 2022-03-04 2022-06-03 浪潮(北京)电子信息产业有限公司 一种目标检测的检测框处理方法及相关装置
KR20230045297A (ko) * 2021-09-28 2023-04-04 주식회사 디비엔텍 대체 이미지 획득 방법 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2017191608A (ja) * 2016-04-15 2017-10-19 株式会社リコー 対象識別方法、対象識別装置、及び分類器訓練方法
KR20170134158A (ko) 2016-05-28 2017-12-06 삼성전자주식회사 이미지 내의 물체 인식 시스템 및 방법
KR20180009180A (ko) * 2016-07-18 2018-01-26 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
KR20180065856A (ko) 2016-12-07 2018-06-18 삼성전자주식회사 영역 기반 딥 러닝 모델을 이용한 객체 탐지 장치 및 방법, 그리고 이를 이용한 칩셋 제조 방법
KR101873169B1 (ko) 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017157138A (ja) * 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2017191608A (ja) * 2016-04-15 2017-10-19 株式会社リコー 対象識別方法、対象識別装置、及び分類器訓練方法
KR20170134158A (ko) 2016-05-28 2017-12-06 삼성전자주식회사 이미지 내의 물체 인식 시스템 및 방법
KR20180009180A (ko) * 2016-07-18 2018-01-26 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
KR20180065856A (ko) 2016-12-07 2018-06-18 삼성전자주식회사 영역 기반 딥 러닝 모델을 이용한 객체 탐지 장치 및 방법, 그리고 이를 이용한 칩셋 제조 방법
KR101873169B1 (ko) 2017-10-26 2018-06-29 한국항공우주연구원 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536842A (zh) * 2020-04-15 2021-10-22 普天信息技术有限公司 电力作业人员安全着装识别方法及装置
CN111783700A (zh) * 2020-07-06 2020-10-16 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN111783700B (zh) * 2020-07-06 2023-11-24 中国交通通信信息中心 一种路面异物自动识别预警方法和系统
CN114022830A (zh) * 2020-07-17 2022-02-08 华为技术有限公司 一种目标确定方法以及目标确定装置
CN112052787A (zh) * 2020-09-03 2020-12-08 腾讯科技（深圳）有限公司 基于人工智能的目标检测方法、装置及电子设备
CN113591734A (zh) * 2021-08-03 2021-11-02 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
CN113591734B (zh) * 2021-08-03 2024-02-20 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
KR20230045297A (ko) * 2021-09-28 2023-04-04 주식회사 디비엔텍 대체 이미지 획득 방법 및 시스템
CN114049651A (zh) * 2021-11-03 2022-02-15 珠海格力电器股份有限公司 对象检测方法、装置、电子设备及存储介质
CN114120127A (zh) * 2021-11-30 2022-03-01 济南博观智能科技有限公司 一种目标检测方法、装置及相关设备
CN114120127B (zh) * 2021-11-30 2024-06-07 济南博观智能科技有限公司 一种目标检测方法、装置及相关设备
CN114581983A (zh) * 2022-03-04 2022-06-03 浪潮(北京)电子信息产业有限公司 一种目标检测的检测框处理方法及相关装置

Also Published As

Publication number Publication date
KR102195940B1 (ko) 2020-12-28

Similar Documents

Publication Publication Date Title
KR102195940B1 (ko) 적응적 비최대억제 방법을 이용하는 딥러닝기반 영상객체 탐지를 위한 장치 및 방법
Vennelakanti et al. Traffic sign detection and recognition using a CNN ensemble
US8867828B2 (en) Text region detection system and method
WO2016107103A1 (zh) 图像主体区域的识别方法及装置
US20170262723A1 (en) Method and system for detection and classification of license plates
US20120294535A1 (en) Face detection method and apparatus
CN109284664B (zh) 驾驶员辅助系统和护栏检测方法
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
CN101198987A (zh) 对象检测装置及其学习装置
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
Prates et al. Brazilian license plate detection using histogram of oriented gradients and sliding windows
KR20170087817A (ko) 얼굴 검출 방법 및 장치
Tarabek A real-time license plate localization method based on vertical edge analysis
Borthakur et al. Object detection for military surveillance using YOLO framework
CN106778675B (zh) 一种视频图像中目标对象的识别方法和装置
KR101847175B1 (ko) 객체 인식방법 및 이를 이용한 객체 인식장치
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
JP2019106089A (ja) 情報処理装置、情報処理方法、コンピュータプログラム
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
KR20210079922A (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램
Prates et al. An adaptive vehicle license plate detection at higher matching degree
KR102133045B1 (ko) Cctv 영상 기반 데이터 처리 방법 및 그 시스템
CN109977729A (zh) 一种文本检测方法及装置
Vu et al. Vehicle detection, tracking and counting in traffic video streams based on the combination of YOLOv9 and DeepSORT algorithms

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180918

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200217

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201214

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201221

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201222

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20241112

Start annual number: 5

End annual number: 5