KR20200071808A - 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치 - Google Patents

객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치 Download PDF

Info

Publication number
KR20200071808A
KR20200071808A KR1020180151958A KR20180151958A KR20200071808A KR 20200071808 A KR20200071808 A KR 20200071808A KR 1020180151958 A KR1020180151958 A KR 1020180151958A KR 20180151958 A KR20180151958 A KR 20180151958A KR 20200071808 A KR20200071808 A KR 20200071808A
Authority
KR
South Korea
Prior art keywords
box
feature map
additional
sub
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180151958A
Other languages
English (en)
Other versions
KR102204565B1 (ko
Inventor
고성제
엄광현
조성진
국형근
김승욱
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020180151958A priority Critical patent/KR102204565B1/ko
Publication of KR20200071808A publication Critical patent/KR20200071808A/ko
Application granted granted Critical
Publication of KR102204565B1 publication Critical patent/KR102204565B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치가 개시된다. 객체 검출기의 학습 방법은 영상 내 객체 검출에 사용되는 적어도 하나의 특징 맵과 영상 내 객체 영역에 설정되는 적어도 하나의 GT(Ground Truth) 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 특징 맵에서 각각 매칭된 GT 박스를 학습하는 단계, 상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 단계, 상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 단계 및 상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계를 포함한다.

Description

객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치{LEARNING METHOD OF OBJECT DETECTOR, COMPUTER READABLE MEDIUM AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것으로, 보다 상세하게는 영상 내 객체의 위치를 특정하고, 위치가 특정된 객체를 분류하는 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것이다.
영상 내 객체 검출 기법으로 영상 피라미드(image pyramid) 기반의 기법이 알려져 있다. 영상 피라미드 기반의 객체 검출 기법은 입력 영상의 크기를 다양하게 변환하고, 변환된 영상들을 각각 고정된 크기의 입력을 받는 검출기에 적용하여 영상으로부터 객체를 검출하는 방식이다. 이러한 기법은 입력 영상의 크기에 따라 영상 내 객체들의 크기도 달라진다는 점을 이용하여 검출기가 다양한 크기의 객체를 검출할 수 있다.
최근에는 합성곱 신경망(CNN: convolutional neural networks)에 기반한 SSD(Single Shot multibox detector)이 실시간 객체 검출기로 각광받고 있다. SSD는 합성곱 신경망을 이용하여 특징 맵(feature map)을 추출하고, 특징 맵을 영상 내 객체 검출에 이용하여 기존의 영상 피라미드 기반의 객체 검출 기법에 비해 다양한 크기의 객체를 실시간으로 검출할 수 있다.
그러나 SSD의 특징 맵이 구성하는 특징 계층은 할당된 크기의 개체들에 대한 정보만을 학습하여 특징 계층 간의 추상화 정도가 다르고, 낮은 해상도의 특징 계층에 할당되는 일부 개체들에 대한 추상화 정도는 약할 수 있어 객체 검출의 정확도가 다소 떨어질 수 있다.
본 발명은 SSD의 각 특징 계층에서 할당된 크기의 개체들에 대한 정보뿐만 아니라 할당된 크기로 확대 또는 축소된 다른 개체들에 대한 정보의 추가 학습을 지원하는 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치를 제공한다.
본 발명에 따른 생성하는 객체 검출기의 학습 방법은 영상 내 객체 검출에 사용되는 적어도 하나의 특징 맵과 영상 내 객체 영역에 설정되는 적어도 하나의 GT(Ground Truth) 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 특징 맵에서 각각 매칭된 GT 박스를 학습하는 단계, 상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 단계, 상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 단계 및 상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계를 포함한다.
한편, 상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 단계는, 상기 적어도 하나의 GT 박스 별로 각각 GT 박스와 중심 좌표는 동일하되, 크기가 확대 또는 축소된 적어도 하나의 추가 GT 박스를 생성하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 단계는, 상기 적어도 하나의 특징 맵을 각각 상기 적어도 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수와 동일한 개수로 분리하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계는, 상기 적어도 하나의 추가 GT 박스와 상기 적어도 하나의 GT 박스의 박스 크기를 비교하여 상기 적어도 하나의 추가 GT 박스 별로 GT 박스를 매칭하는 단계 및 상기 적어도 하나의 추가 GT 박스를 각각 상기 적어도 하나의 추가 GT 박스 별로 매칭되는 GT 박스를 학습한 특징 맵으로부터 분리되어 생성된 하위 특징 맵과 매칭하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계는, 상기 적어도 하나의 하위 특징 맵에서 각각 합성곱 신경망(CNN: Convolutional neural networks)을 이용하여 매칭된 추가 GT 박스를 학습하는 단계를 포함할 수 있다.
또한, 상기 객체 검출기의 학습 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
한편, 본 발명에 따른 객체 검출기의 학습 장치는 영상 내 객체 검출에 사용되는 적어도 하나의 특징 맵에서 각각 영상 내 객체 영역에 설정되는 적어도 하나의 GT(Ground Truth) 박스를 학습할 수 있도록 상기 적어도 하나의 특징 맵과 상기 적어도 하나의 GT 박스를 박스의 크기에 따라 매칭하는 GT 박스 매칭부, 상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 추가 GT 박스 생성부, 상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 특징 맵 분리부 및 상기 적어도 하나의 하위 특징 맵에서 각각 상기 적어도 추가 GT 박스를 추가로 학습할 수 있도록 상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하는 추가 GT 박스 매칭부를 포함한다.
한편, 상기 추가 GT 박스 생성부는, 상기 적어도 하나의 GT 박스 별로 각각 GT 박스와 중심 좌표는 동일하되, 크기가 확대 또는 축소된 적어도 하나의 추가 GT 박스를 생성할 수 있다.
또한, 상기 특징 맵 분리부는, 상기 적어도 하나의 특징 맵을 각각 상기 적어도 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수와 동일한 개수로 분리할 수 있다.
또한, 상기 추가 GT 박스 매칭부는, 상기 적어도 하나의 추가 GT 박스와 상기 적어도 하나의 GT 박스의 박스 크기를 비교하여 상기 적어도 하나의 추가 GT 박스 별로 GT 박스를 매칭하고, 상기 적어도 하나의 추가 GT 박스를 각각 상기 적어도 하나의 추가 GT 박스 별로 매칭되는 GT 박스를 학습한 특징 맵으로부터 분리되어 생성된 하위 특징 맵과 매칭할 수 있다.
본 발명에 따르면 SSD의 모든 특징 맵이 영상 내 다양한 크기의 객체에 대한 정보를 학습하도록 지원할 수 있으며, 이로 인해 SSD의 검출 성능 향상을 도모할 수 있다. 아울러, 영상 내 다양한 크기의 객체 검출이 요구되는 자율 주행, 지능형 감시 시스템, 스마트 팩토리 등의 4차 산업 혁명 핵심 분야에 적용될 수 있을 것이다.
도 1은 본 발명에 따른 객체 검출기의 학습 장치가 적용되는 SSD(Single Shot Multibox Detector)에서의 객체 검출 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 검출기의 학습 장치의 블록도이다.
도 3은 도 2에 도시된 GT 박스 매칭부에서의 특징 맵과 GT 박스 매칭을 설명하기 위한 도면이다.
도 4는 도 2에 도시된 추가 GT 박스 매칭부에서의 하위 특징 맵과 추가 GT 박스 매칭을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 검출기의 학습 방법의 흐름도이다.
도 6은 영상 내에서 종래의 SSD로부터 객체를 검출한 결과 및 본 발명에 따른 객체 검출기의 학습 방법을 적용한 SSD로부터 객체를 검출한 결과를 보여주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계 및 동작은 하나 이상의 다른 구성요소, 단계 및 동작의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명에 따른 객체 검출기의 학습 장치가 적용되는 SSD(Single Shot Multibox Detector)에서의 객체 검출 방법을 설명하기 위한 도면이다.
도 1을 참조하면, SSD는 특징 맵(feature map)(F1, F2, F3)을 이용하여 영상(I) 내 객체를 검출할 수 있다.
SSD는 합성곱 신경망(CNN: Convolutional neural network) 기반의 실시간 검출기로, 기존의 영상 피라미드 기반의 검출기에 비해 다양한 크기의 객체를 실시간으로 검출할 수 있어 널리 이용되고 있다.
영상 내 객체 검출에 있어서 다양한 크기의 객체를 검출하는 것이 중요한데, SSD는 영상 내 다양한 크기의 객체를 각각 다른 해상도를 갖는 특징 맵을 이용하여 검출할 수 있다. 예를 들어, 크기가 큰 객체는 해상도가 낮은 특징 맵을 이용하여 검출할 수 있으며, 크기가 작은 객체는 해상도가 높은 특징 맵을 이용하여 검출할 수 있다. 이때, 특징 맵은 합성곱 신경망을 이용하여 영상 내 객체에 설정되는 GT(Ground Truth) 박스에 대한 지식을 학습하며, 영상 내 객체 검출에 사용될 수 있다.
본 발명에 따른 객체 검출기의 학습 장치는 이러한 SSD에 적용되어 영상 내 객체 검출에 사용되는 특징 맵의 학습을 지원할 수 있다. 이하 도 2 이하를 참조하여 본 발명에 따른 객체 검출기의 학습 장치에 대해 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 객체 검출기의 학습 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 GT 박스 매칭부(10), 추가 GT 박스 생성부(30), 특징 맵 분리부(50) 및 추가 GT 박스 매칭부(70)를 포함할 수 있다.
본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 상술한 것처럼 SSD에 적용되어 영상 내 객체 검출에 사용되는 특징 맵의 GT 박스 학습을 지원할 수 있다.
본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 SSD의 일부 모듈을 구성하거나, SSD와 연결되는 별도의 모듈을 구성할 수 있다.
본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 특징 맵의 학습을 지원하기 위한 소프트웨어(어플리케이션)가 설치되어 실행될 수 있으며, GT 박스 매칭부(10), 추가 GT 박스 생성부(30), 특징 맵 분리부(50) 및 추가 GT 박스 매칭부(70)는 특징 맵의 학습을 지원하기 위한 소프트웨어에 의해 제어될 수 있다.
GT 박스 매칭부(10), 추가 GT 박스 생성부(30), 특징 맵 분리부(50) 및 추가 GT 박스 매칭부(70)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 이동성을 갖거나 고정될 수 있다. 본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 컴퓨터(computer), 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
이하, 도 2에 도시된 본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)의 각 구성에 대해 구체적으로 설명한다.
GT 박스 매칭부(10)는 영상 내 검출에 사용되는 적어도 하나의 특징 맵과 영상 내 객체 영역에 설정되는 적어도 하나의 GT 박스를 매칭할 수 있다.
GT 박스 매칭부(10)는 SSD에서 종래의 방식에 따라 진행되는 특징 맵의 학습을 지원할 수 있다. SSD는 적어도 하나의 특징 맵에 각각 영상 내 객체 영역에 설정되는 GT 박스를 할당하고, 적어도 하나의 특징 맵에서 각각 할당된 GT 박스에 대한 정보를 학습하도록 한다. 여기서, GT 박스는 영상 내 객체에 대한 정보를 포함하며 객체의 크기에 따라 그 크기가 할당될 수 있다. 즉, 적어도 하나의 특징 맵은 각각 학습한 GT 박스에 포함되는 객체에 대한 지식을 저장할 수 있으며, SSD는 이러한 특징 맵을 이용하여 영상 내 객체를 검출할 수 있을 것이다.
GT 박스 매칭부(10)는 이처럼 적어도 하나의 특징 맵에서 각각 적어도 하나의 GT 박스를 학습할 수 있도록 적어도 하나의 특징 맵과 적어도 하나의 GT 박스를 박스의 크기에 따라 매칭할 수 있다. 이와 관련하여 도 3을 참조하여 설명한다.
도 3은 도 2에 도시된 GT 박스 매칭부에서의 특징 맵과 GT 박스 매칭을 설명하기 위한 도면이다.
도 3을 참조하면, SSD는 제1 특징 맵(F1) 및 제2 특징 맵(F2)의 특징 계층(feature layer)을 구성할 수 있다. 이때, 제1 특징 맵(F1)은 제2 특징 맵(F2)보다 큰 해상도를 가질 수 있다.
SSD는 영상에 포함되는 개 및 소의 객체를 검출할 수 있다. 영상 내 개 영역은 제1 GT 박스(g1)가 설정되고, 영상 내 소 영역은 제2 GT 박스(g2)가 설정될 수 있다. 이때, 제1 GT 박스(g1)는 제2 GT 박스(g2)보다 작은 크기가 할당될 수 있다.
GT 박스 매칭부(10)는 제1 특징 맵(F1)과 제1 GT 박스(g1)를 매칭하고, 제2 특징 맵(F2)과 제2 GT 박스(g2)를 매칭할 수 있다. 즉, 제1 GT 박스(g1)에 포함되는 객체는 제1 특징 맵(F1)에 의해 검출되도록 할당되고, 제2 GT 박스(g2)에 포함되는 객체는 제2 특징 맵(F2)에 의해 검출되도록 할당될 수 있다. 이를 위해, 제1 특징 맵(F1)은 제1 GT 박스(g1)를 학습하여 개에 대한 지식을 저장하고, 제2 특징 맵(F2)은 제2 GT 박스(g2)를 학습하여 소에 대한 지식을 저장할 수 있다.
예를 들면, GT 박스 매칭부(10)는 SSD의 특징 계층을 구성하는 적어도 하나의 특징 맵을 해상도가 높은 순으로 정렬하고, 영상 내 객체 영역에 설정되는 적어도 하나의 GT 박스를 그 크기가 작은 순으로 정렬하여, 정렬된 순서대로 적어도 하나의 특징 맵과 적어도 하나의 GT 박스를 매칭할 수 있다.
한편, SSD는 종래의 방식에 따르면 특징 맵은 GT 박스의 크기에 따라 미리 할당되는 GT 박스에 대한 정보만을 저장하고 있어 특징 맵 간의 추상화 정도(semantic level)가 다르고, 낮은 특징 레벨을 구성하는 특징 맵의 경우 추상화 정도가 낮다. 따라서 본 실시예에서는 SSD의 모든 특징 맵이 영상 내 다양한 크기의 객체에 대한 정보를 학습하도록 하여 검출 성능 향상을 도모할 수 있다.
이를 위해, 추가 GT 박스 생성부(30)는 영상 내 객체 영역에 설정되는 GT 박스 외에 추가 GT 박스를 생성할 수 있다.
추가 GT 박스 생성부(30)는 영상 내 객체 영역에 설정되는 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성할 수 있다.
추가 GT 박스 생성부(30)는 적어도 하나의 GT 박스 별로 각각 GT 박스와 중심 좌표는 동일하되, 크기가 확대 또는 축소된 적어도 하나의 추가 GT 박스를 생성할 수 있다. 이와 관련하여 구체적인 설명은 도 4를 참조하여 후술한다.
즉, 종래의 SSD 방식에 따르면 영상 내 특정 객체 영역에는 하나의 GT 박스만이 설정되는 반면, 본 발명에 따르면 영상 내 특정 개체 영역에는 종래의 SSD 방식에 따른 GT 박스 외에도, GT 박스와 크기가 다른 추가 GT 박스를 설정할 수 있다. 이에 영상 내 특정 객체에 대한 지식은 크기가 상이한 복수의 GT 박스로부터 획득할 수 있을 것이다.
또한, 특징 맵 분리부(50)는 적어도 하나의 특징 맵을 분리하여 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성할 수 있다.
특징 맵 분리부(50)는 적어도 하나의 특징 맵을 각각 적어도 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수와 동일한 개수로 분리할 수 있다. 이와 관련하여 구체적인 설명은 도 4를 참조하여 후술한다.
추가 GT 박스 매칭부(70)는 적어도 하나의 하위 특징 맵과 적어도 하나의 추가 GT 박스를 매칭할 수 있다.
추가 GT 박스 매칭부(70)는 적어도 하나의 하위 특징 맵에서 각각 적어도 하나의 추가 GT 박스를 학습할 수 있도록 적어도 하나의 하위 특징 맵과 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭할 수 있다. 이와 관련하여 도 4를 참조하여 설명한다.
도 4는 도 2에 도시된 추가 GT 박스 매칭부에서의 하위 특징 맵과 추가 GT 박스 매칭을 설명하기 위한 도면이다.
도 4를 참조하면, 추가 GT 박스 생성부(30)는 영상 내 개 영역에 설정된 제1 GT 박스(g1)를 확대하여 제1 추가 GT 박스(g1 1)를 생성하고, 영상 내 소 영역에 설정된 제2 GT 박스(g2)를 축소하여 제2 추가 GT 박스(g2 4)를 생성할 수 있다. 여기서, 제1 추가 GT 박스(g1 1)는 영상 내 축소된 개에 대한 정보를 포함하고, 제2 추가 GT 박스(g2 4)는 영상 내 확대된 소의 일부 영역에 대한 정보를 포함할 수 있다.
이처럼 추가 GT 박스 생성부(30)는 기존의 GT 박스의 크기를 확대 또는 축소하여 추가 GT 박스를 생성할 수 있다. 즉, 추가 GT 박스는 기존의 GT 박스의 일부 영역에 설정되는 박스이거나, 기존의 GT 박스를 내부에 포함하는 영역에 설정되는 박스일 수 있다.
도 4에서는 추가 GT 박스 생성부(30)가 제1 GT 박스(g1) 및 제2 GT 박스(g2)로부터 각각 하나의 추가 GT 박스를 생성하는 것을 예로 들어 도시하였으나 이에 한정하는 것은 아니며, 하나 이상의 추가 GT 박스를 생성할 수 있음은 물론이다.
추가 GT 박스 생성부(30)가 제1 GT 박스(g1) 및 제2 GT 박스(g2)로부터 각각 K 개의 추가 GT 박스를 생성하는 경우, 제1 GT 박스(g1)로부터 생성되는 추가 GT 박스의 집합은 {g1 1,??,g1 k}와 같이 나타내고, 제2 GT 박스(g2)로부터 생성되는 추가 GT 박스의 집합은 {g2 1,??,g2 k}와 같이 나타낼 수 있다. 여기서, 제1 추가 GT 박스(g1 k) 및 제2 추가 GT 박스(g2 k)는 각각 제1 GT 박스(g1) 및 제2 GT 박스(g2)와 그 중심 좌표가 동일하다.
이때, 제1 GT 박스(g1)의 크기가 HxW인 경우, 제1 추가 GT 박스(g1 k)의 크기는 skHxskW일 수 있다. 여기서, s={s1,??,sk}는 k개의 스케일 파라미터의 집합이다.
특징 맵 분리부(50)는 SSD의 특징 계층을 구성하는 제1 특징 맵(F1) 및 제2 특징 맵(F2)을 각각 분리할 수 있다.
도 4에서는 제1 특징 맵(F1) 및 제2 특징 맵(F2)이 각각 4 개의 하위 특징 맵으로 분리된 것을 예로 들어 도시하였으나, 이에 한정하는 것은 아니며, 특징 맵 분리부(50)는 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수(K)와 동일한 개수로 제1 특징 맵(F1) 및 제2 특징 맵(F2)을 분리하여 각각 K 개의 하위 특징 맵을 생성할 수 있다.
특징 맵 분리부(50)가 제1 특징 맵(F1) 및 제2 특징 맵(F2)으로부터 각각 K 개의 하위 특징 맵을 생성하는 경우, 제1 특징 맵(F1)으로부터 생성되는 하위 특징 맵의 집합은 {f1 1,??,f1 k}와 같이 나타내고, 제2 특징 맵(F2)으로부터 생성되는 하위 특징 맵의 집합은 {f2 1,??,f2 k}와 같이 나타낼 수 있다.
추가 GT 박스 매칭부(70)는 추가 GT 박스(gn k)를 그 박스 크기에 따라 제1 특징 맵(F1)으로부터 생성되는 하위 특징 맵{f1 k} 또는 제2 특징 맵(F2)으로부터 생성되는 하위 특징 맵{f2 k}에서 학습하도록 할당할 수 있다.
즉, 추가 GT 박스 매칭부(70)는 제2 특징 맵(F2)으로부터 분리되는 하위 특징 맵(f2 1)에 제1 추가 GT 박스(g1 1)를 매칭하고, 제1 특징 맵(F1)으로부터 분리되는 하위 특징 맵(f1 4)에 제2 추가 GT 박스(g2 4)를 매칭할 수 있다.
이에 따라 제1 추가 GT 박스(g1 1)에 포함되는 객체는 제2 특징 맵(F2)에 의해서도 검출되도록 할당되고, 제2 추가 GT 박스(g2 4)에 포함되는 객체는 제1 특징 맵(F1)에 의해서도 검출되도록 할당될 수 있다. 이를 위해, 제2 특징 맵(F2)으로부터 분리되는 하위 특징 맵(f2 1)은 제1 추가 GT 박스(g1 1)를 학습하여 영상 내 축소된 개에 대한 지식을 저장하고, 제1 특징 맵(F1)으로부터 분리되는 하위 특징 맵(f1 4)은 제2 추가 GT 박스(g2 4)를 학습하여 영상 내 확대된 소의 일부 영역에 대한 지식을 저장할 수 있다.
예를 들면, 추가 GT 박스 매칭부(70)는 추가 GT 박스와 GT 박스의 박스 크기를 비교하여 추가 GT 박스 별로 GT 박스를 매칭할 수 있다. 그리고 추가 GT 박스 매칭부(70)는 추가 GT 박스를 추가 GT 박스 별로 매칭되는 GT 박스를 학습한 특징 맵으로부터 분리되어 생성된 하위 특징 맵과 매칭할 수 있다.
즉, 제1 추가 GT 박스(g1 1)는 박스 크기가 유사한 제2 GT 박스(g2)와 매칭되고, 제2 추가 GT 박스(g2 4)는 박스 크기가 유사한 제1 GT 박스(g1)와 매칭될 수 있다. 제1 추가 GT 박스(g1 1)는 제2 GT 박스(g2)를 학습한 제2 특징 맵(F2)으로부터 분리되어 생성된 하위 특징 맵(f2 1)과 매칭되고, 제2 추가 GT 박스(g2 4)는 제1 GT 박스(g1)를 학습한 제1 특징 맵(F1)으로부터 분리되어 생성된 하위 특징 맵(f1 4)과 매칭될 수 있다.
이와 같은 경우 각 특징 맵은 해상도에 따라 최초 할당되는 GT 박스의 크기와 유사한 크기의 추가 GT 박스를 학습하게 될 것이다. 즉, 각 특징 맵은 영상에서 유사한 크기의 영역 내에 포함되는 확대 또는 축소된 객체에 대한 지식을 저장할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 객체 검출기의 학습 장치(1)는 GT 박스 및 특징 맵을 분리하여 SSD의 모든 특징 맵이 영상 내 모든 객체에 대한 정보를 학습하도록 지원할 수 있으며, 이로 인해 SSD의 검출 성능 향상을 도모할 수 있다.
이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 객체 검출기의 학습 방법에 대하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 객체 검출기의 학습 방법의 흐름도이다.
본 발명의 일 실시예에 따른 객체 검출기의 학습 방법은 도 2에 도시된 객체 검출기의 학습 장치(1)와 실질적으로 동일한 구성에서 실행될 수 있다. 따라서 도 2에 도시된 객체 검출기의 학습 장치(1)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.
도 5를 참조하면, GT 박스 매칭부(10)는 특징 맵과 GT 박스를 매칭하여 특징 맵에서 GT 박스를 학습하도록 할 수 있다 (S100).
GT 박스 매칭부(10)는 SSD에서 영상 내 객체 검출에 사용되는 적어도 하나의 특징 맵과 영상 내 객체 영역에 설정되는 적어도 하나의 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 특징 맵에서 각각 매칭된 GT 박스를 학습하도록 할 수 있다.
추가 GT 박스 생성부(30)는 GT 박스로부터 추가 GT 박스를 생성할 수 있다(S200).
추가 GT 박스 생성부(30)는 적어도 하나의 GT 박스 별로 각각 GT 박스와 중심 좌표는 동일하되, 크기가 확대 또는 축소된 적어도 하나의 추가 GT 박스를 생성할 수 있다.
특징 맵 분리부(50)는 특징 맵으로부터 하위 특징 맵을 생성할 수 있다(S300).
특징 맵 분리부(50)는 적어도 하나의 특징 맵을 각각 적어도 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수와 동일한 개수로 분리하여 적어도 하나의 특징 맵 별로 하위 특징 맵을 생성할 수 있다.
추가 GT 박스 매칭부(70)는 하위 특징 맵과 추가 GT 박스를 매칭하여 하위 특징 맵에서 추가 GT 박스를 학습하도록 할 수 있다(S400).
추가 GT 박스 매칭부(70)는 적어도 하나의 하위 특징 맵과 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 추가 GT 박스를 추가로 학습하도록 할 수 있다.
예를 들면, 추가 GT 박스 매칭부(70)는 적어도 하나의 추가 GT 박스와 적어도 하나의 GT 박스의 박스 크기를 비교하여 적어도 하나의 추가 GT 박스 별로 GT 박스를 매칭할 수 있다. 그리고, 추가 GT 박스 매칭부(70)는 적어도 하나의 추가 GT 박스를 각각 적어도 하나의 추가 GT 박스 별로 매칭되는 GT 박스를 학습한 특징 맵으로부터 분리되어 생성된 하위 특징 맵과 매칭할 수 있다.
이에 따라, 각 특징 맵은 영상에서 유사한 크기의 영역 내에 포함되는 객체, 확대 또는 축소된 객체에 대한 지식을 저장할 수 있을 것이다. 즉, 영상 내 객체에 대한 정보는 다양한 크기로 특징 맵에 학습될 수 있다. 아울러 이러한 특징 맵을 이용하여 객체를 검출하는 SSD의 검출 성능 향상을 기대할 수 있다.
한편, 특징 맵과 GT 박스를 매칭하여 특징 맵에서 GT 박스를 학습하도록 하는 단계(S100) 및 하위 특징 맵과 추가 GT 박스를 매칭하여 하위 특징 맵에서 추가 GT 박스를 학습하도록 하는 단계(S400)에서 특징 맵 또는 하위 특징 맵은 각각 합성곱 신경망(CNN)을 이용하여 매칭된 GT 박스 또는 추가 GT 박스를 학습할 수 있다.
여기서, 합성곱 신경망(CNN)은 네트워크를 학습시키기 위해 널리 사용되는 multibox 손실 함수를 사용할 수 있다. GT 박스들의 세트를 G라 하고, G에 대해 예측된 결과를 x라 하면, multibox 손실 함수는 L(x,G)로 나타낼 수 있다. Multibox 손실 함수는 객체 분류 결과의 신뢰도에 대한 손실 함수인 softmax 함수와 객체 위치 추정에 대한 손실 함수인 smooth L1 함수로 구성될 수 있다.
특징 맵(Fn) 및 하위 특징 맵(fn k)은 각각 구성된 합성곱 계층을 거쳐 최종 결과인 xk 및 xorg를 출력할 수 있으며, 아래 수학식 1과 같은 최종 손실 함수를 이용하여 매칭된 GT 박스 또는 추가 GT 박스를 학습할 수 있다.
Figure pat00001
수학식 1에서 Gorg 및 Gk는 각각 GT 박스의 집합 및 sk만큼 크기가 변화된 추가 GT 박스의 집합을 나타내고,
Figure pat00002
는 가중치로, 일예로, 0.25로 설정될 수 있다.
이하에서는 본 발명에 따른 객체 검출기의 학습 방법을 적용한 SSD의 유리한 효과에 대해 설명한다.
도 6은 영상 내에서 종래의 SSD로부터 객체를 검출한 결과 및 본 발명에 따른 객체 검출기의 학습 방법을 적용한 SSD로부터 객체를 검출한 결과를 보여주는 도면이다.
도 6의 (a)는 종래의 SSD로부터 객체를 검출한 결과를 보여주는 다양한 예시 영상으로, SSD의 각 특징 계층은 할당된 크기의 개체들에 대한 정보만을 학습하여 특징 계층 간의 추상화 정도가 다르고 낮은 해상도의 특징 계층에 할당되는 일부 개체들에 대한 추상화 정도는 약한 상태이다.
도 6의 (b)는 본 발명에 따른 객체 검출기의 학습 방법을 적용한 SSD 로부터 객체를 검출한 결과를 보여주는 다양한 예시 영상으로, SSD의 각 특징 계층은 할당된 크기의 개체들에 대한 정보뿐만 아니라 할당된 크기로 확대 또는 축소된 다른 개체들에 대한 정보를 추가로 학습하여, 특징 계층 간의 추상화 정도가 같고, 영상 내 개체들에 대한 추상화 정도가 증가한 상태이다.
도 6의 (a) 및 도 6의 (b)를 비교하면, 종래의 SSD에서는 몇몇 객체들을 검출하는데 실패한 반면 본 발명에 따른 객체 검출기의 학습 방법을 적용한 SSD에서는 보다 많은 객체를 정확하게 검출한 것을 확인할 수 있다.
이처럼, 본 발명에 따른 객체 검출기의 학습 방법은 SSD의 검출 성능 향상의 유리한 효과를 갖는다.
이와 같은 본 발명의 객체 검출기의 학습 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1: 객체 검출기의 학습 장치
10: GT 박스 매칭부
30: 추가 GT 박스 생성부
50: 특징 맵 분리부
70: 추가 GT 박스 매칭부

Claims (10)

  1. 영상 내 객체 검출에 사용되는 적어도 하나의 특징 맵과 영상 내 객체 영역에 설정되는 적어도 하나의 GT(Ground Truth) 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 특징 맵에서 각각 매칭된 GT 박스를 학습하는 단계;
    상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 단계;
    상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 단계; 및
    상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계를 포함하는 객체 검출기의 학습 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 단계는,
    상기 적어도 하나의 GT 박스 별로 각각 GT 박스와 중심 좌표는 동일하되, 크기가 확대 또는 축소된 적어도 하나의 추가 GT 박스를 생성하는 단계를 포함하는 객체 검출기의 학습 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 단계는,
    상기 적어도 하나의 특징 맵을 각각 상기 적어도 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수와 동일한 개수로 분리하는 단계를 포함하는 객체 검출기의 학습 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계는,
    상기 적어도 하나의 추가 GT 박스와 상기 적어도 하나의 GT 박스의 박스 크기를 비교하여 상기 적어도 하나의 추가 GT 박스 별로 GT 박스를 매칭하는 단계; 및
    상기 적어도 하나의 추가 GT 박스를 각각 상기 적어도 하나의 추가 GT 박스 별로 매칭되는 GT 박스를 학습한 특징 맵으로부터 분리되어 생성된 하위 특징 맵과 매칭하는 단계를 포함하는 객체 검출기의 학습 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하여 적어도 하나의 하위 특징 맵에서 각각 매칭된 추가 GT 박스를 추가로 학습하는 단계는,
    상기 적어도 하나의 하위 특징 맵에서 각각 합성곱 신경망(CNN: Convolutional neural networks)을 이용하여 매칭된 추가 GT 박스를 학습하는 단계를 포함하는 객체 검출기의 학습 방법.
  6. 제1항 내지 제5항 중 어느 하나의 항에 따른 객체 검출기의 학습 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  7. 영상 내 객체 검출에 사용되는 적어도 하나의 특징 맵에서 각각 영상 내 객체 영역에 설정되는 적어도 하나의 GT(Ground Truth) 박스를 학습할 수 있도록 상기 적어도 하나의 특징 맵과 상기 적어도 하나의 GT 박스를 박스의 크기에 따라 매칭하는 GT 박스 매칭부;
    상기 적어도 하나의 GT 박스를 각각 확대 또는 축소하여 상기 적어도 하나의 GT 박스 별로 적어도 하나의 추가 GT 박스를 생성하는 추가 GT 박스 생성부;
    상기 적어도 하나의 특징 맵을 분리하여 상기 적어도 하나의 특징 맵 별로 적어도 하나의 하위 특징 맵을 생성하는 특징 맵 분리부; 및
    상기 적어도 하나의 하위 특징 맵에서 각각 상기 적어도 추가 GT 박스를 추가로 학습할 수 있도록 상기 적어도 하나의 하위 특징 맵과 상기 적어도 하나의 추가 GT 박스를 박스의 크기에 따라 매칭하는 추가 GT 박스 매칭부를 포함하는 객체 검출기의 학습 장치.
  8. 제7항에 있어서,
    상기 추가 GT 박스 생성부는,
    상기 적어도 하나의 GT 박스 별로 각각 GT 박스와 중심 좌표는 동일하되, 크기가 확대 또는 축소된 적어도 하나의 추가 GT 박스를 생성하는 객체 검출기의 학습 장치.
  9. 제7항에 있어서,
    상기 특징 맵 분리부는,
    상기 적어도 하나의 특징 맵을 각각 상기 적어도 하나의 GT 박스 별로 생성하는 추가 GT 박스의 개수와 동일한 개수로 분리하는 객체 검출기의 학습 장치.
  10. 제7항에 있어서,
    상기 추가 GT 박스 매칭부는,
    상기 적어도 하나의 추가 GT 박스와 상기 적어도 하나의 GT 박스의 박스 크기를 비교하여 상기 적어도 하나의 추가 GT 박스 별로 GT 박스를 매칭하고, 상기 적어도 하나의 추가 GT 박스를 각각 상기 적어도 하나의 추가 GT 박스 별로 매칭되는 GT 박스를 학습한 특징 맵으로부터 분리되어 생성된 하위 특징 맵과 매칭하는 객체 검출기의 학습 장치.
KR1020180151958A 2018-11-30 2018-11-30 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치 Active KR102204565B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180151958A KR102204565B1 (ko) 2018-11-30 2018-11-30 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151958A KR102204565B1 (ko) 2018-11-30 2018-11-30 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치

Publications (2)

Publication Number Publication Date
KR20200071808A true KR20200071808A (ko) 2020-06-22
KR102204565B1 KR102204565B1 (ko) 2021-01-18

Family

ID=71142416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151958A Active KR102204565B1 (ko) 2018-11-30 2018-11-30 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치

Country Status (1)

Country Link
KR (1) KR102204565B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128323A1 (ko) * 2021-12-28 2023-07-06 삼성전자 주식회사 목표 객체를 검출하는 전자 장치 및 방법
US12340547B2 (en) 2021-12-28 2025-06-24 Samsung Electronics Co., Ltd. Electronic device and method for detecting target objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SSD : Single Shot Multibox Detector. Wei Liu et al. arXiv. 2016.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128323A1 (ko) * 2021-12-28 2023-07-06 삼성전자 주식회사 목표 객체를 검출하는 전자 장치 및 방법
US12340547B2 (en) 2021-12-28 2025-06-24 Samsung Electronics Co., Ltd. Electronic device and method for detecting target objects

Also Published As

Publication number Publication date
KR102204565B1 (ko) 2021-01-18

Similar Documents

Publication Publication Date Title
US11763550B2 (en) Forming a dataset for fully-supervised learning
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102279350B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US20180211099A1 (en) Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
CN110879960B (zh) 生成卷积神经网络学习用图像数据集的方法及计算装置
US10796206B2 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
US11113574B1 (en) Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same
CN115769229A (zh) 训练和测试通过利用注意力图检测图像上对象的对象检测网络的方法及设备
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111461212A (zh) 一种用于点云目标检测模型的压缩方法
KR20200027888A (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102781019B1 (ko) 멀티-레벨 전이 영역 기반의 도메인 적응형 객체 검출 장치 및 방법
JP6850046B2 (ja) 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
JP2020038660A (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN113255892A (zh) 一种解耦合的网络结构搜索方法、设备及可读存储介质
CN117315499A (zh) 一种卫星遥感图像目标检测方法及系统
CN114462490B (zh) 图像目标的检索方法、检索设备、电子设备和存储介质
CN118351435A (zh) 一种基于轻量化模型LTE-Det的无人机遥感影像目标检测方法与装置
CN118072278A (zh) 对象检测方法、对象检测设备以及其非暂时性存储媒体
CN110992404A (zh) 目标跟踪方法、装置和系统及存储介质
KR102204565B1 (ko) 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치
Chaturvedi et al. Small object detection using retinanet with hybrid anchor box hyper tuning using interface of Bayesian mathematics
CN111027551B (zh) 图像处理方法、设备和介质
CN115272748A (zh) 基于知识辅助的sar图像飞机检测分类方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181130

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200525

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201127

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210113

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210113

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240102

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250114

Start annual number: 5

End annual number: 5