KR20160096460A - 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 - Google Patents

복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20160096460A
KR20160096460A KR1020150018145A KR20150018145A KR20160096460A KR 20160096460 A KR20160096460 A KR 20160096460A KR 1020150018145 A KR1020150018145 A KR 1020150018145A KR 20150018145 A KR20150018145 A KR 20150018145A KR 20160096460 A KR20160096460 A KR 20160096460A
Authority
KR
South Korea
Prior art keywords
classification
classification result
criterion
result
outputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020150018145A
Other languages
English (en)
Inventor
최현수
장병탁
김은솔
김지섭
윤상웅
정문식
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020150018145A priority Critical patent/KR20160096460A/ko
Publication of KR20160096460A publication Critical patent/KR20160096460A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06K9/66—
    • G06K9/00342—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

상이한 분류 기준에 따라 학습을 수행하는 복수의 분류기를 포함하는 딥 러닝(Deep learning) 기반의 인식 시스템이 개시된다. 딥 러닝 기반 인식 시스템은, 입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력하는 제1 분류기 및, 제1 분류 결과에 대하여 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력하는 제2 분류기를 포함하며, 제1 분류 기준은 제2 분류 기준의 선결적 관계가 되는 기준에 있는 것을 특징으로 한다.

Description

복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 { RECOGNITION SYSTEM BASED ON DEEP LEARNING INCLUDING A PLURALITY OF CLASSFIER AND CONTROL METHOD THEREOF }
본 발명은 인식 시스템 및 그 제어 방법에 대한 것으로, 보다 상세하게는 분류기를 이용하여 오브젝트의 자세, 동작 및 위치를 인식할 수 있는 딥 러닝 기반 인식 시스템 및 그 제어 방법에 대한 것이다.
최근 몇 년간, 영상으로부터 사람의 자세(Pose), 동작(Action) 및 위치(Location)를 인식하는 문제는 사용자 기반 추천 서비스, 게임의 조작 등 다양한 응용 분야에 사용되면서 많은 관심을 받고 있다.
특히, Depth 카메라를 이용한 3D 영상에서의 인식의 경우 Kinect, Leap Motion과 같이 상용화되는 등 많은 발전을 이루고 있다. 하지만, 스마트 TV와 같이 Depth 카메라가 탑재되어 있지 않거나, 드라마, 영화 등 미리 촬영된 2D 영상에서 인식을 수행할 경우, 사람과 배경을 분리하거나, 사람의 특징 정보를 추출하는 것이 까다롭기 때문에 높은 성능을 내기가 어렵다는 문제가 있다.
하지만, 최근 인식 시스템에 있어서의 딥 러닝(Deep Learning) 연구에서는, 배경 분리나 특징 추출 알고리즘을 사람의 경험적 노하우를 이용하여 설계하는 대신, 많은 데이터를 수집하여 직접 해당 역할을 하는 모델을 학습시킴으로써 좋은 성능을 내고 있다. 그 중에서도 특히 Feature들 사이의 지역적 연관 구조에 주안점을 둔 Convolutional Neural Network(CNN) 계열의 모델들이 두각을 나타내고 있다.
하지만, 종래의 딥 러닝 기반 인식 시스템은 자세, 동작 위치의 세 가지 인식 문제를 각각 복잡한 모델을 통해 해결해야 한다는 문제점이 있었다.
예를 들어, 자세, 동작 위치의 세 가지 인식 문제에 대해 별도의 딥 러닝 모델로 학습을 진행하게 되므로 전체 시스템의 복잡도가 높다. 또한, 각각의 인식 문제들이 실제로는 밀접한 연관성을 가지고 있으나, 이를 제대로 활용할 수 없다는 단점도 존재하였다.
따라서, 딥 러닝 기반 인식 시스템에 있어서 자세, 동작 및 위치 정보 간의 연관성을 공통으로 활용하여 자세, 동작 및 위치를 통합적으로 인식할 수 있는 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 연관되는 인식 문제들에 대한 정보를 유기적으로 공유할 수 있는 복수의 분류기를 포함하는 인식 시스템 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 상이한 분류 기준에 따라 학습을 수행하는 복수의 분류기를 포함하는 딥 러닝 기반의 인식 시스템에 있어서, 입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력하는 제1 분류기 및, 제1 분류 결과에 대하여 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력하는 제2 분류기를 포함하며, 제1 분류 기준은 제2 분류 기준의 선결적 관계가 되는 기준인 것을 특징으로 한다.
여기서, 제2 분류기는, 입력 영상에 대해 제2 분류 기준에 따라 학습을 수행하여 제1 분류 결과와 병렬적으로 분류 결과를 산출하고, 제1 분류 결과에 대해 학습을 재 수행하여, 재 수행된 학습 결과를 기초로, 산출된 분류 결과를 보정한 것을 제2 분류 결과로 출력할 수 있다.
또한, 제1 분류기는, 입력된 영상의 위치 특징 정보에 기초하여 입력된 영상에 포함된 타겟 오브젝트의 위치를 나타내는 후보 영역을 추출하여 제1 분류 결과로 출력하고, 제2 분류기는, 제1 분류 결과로 출력된 후보 영역에 포함된 자세 특징 정보에 기초하여 후보 영역에 포함된 타겟 오브젝트의 자세를 상기 제2 분류 결과로 출력할 수 있다.
또한, 제2 분류기는, 제1 분류 결과로 출력된 후보 영역에 대해 탐색 윈도윙(Windowing)을 적용하여 뉴럴 네트워크(Neural Network)를 통해 기 학습된 자세 특징 정보에 대응되는 정보가 위치하는 블럭을 탐색하여 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다.
또한, 제1 분류기는, 제2 분류 결과를 입력하여 상기 분류 기준에 따라 재 학습을 수행한 결과를 상기 제1 분류 결과로 재 출력하여 이터레이션 학습을 수행할 수 있다.
또한, 제1 분류기는, 입력 영상이 복수의 제1 컨벌루션 레이어에 순차적으로 적용되어 도출된 제1 값을 제1 풀 커넥티드 레이어에 순차적으로 적용시켜 타겟 오브젝트의 위치를 나타내는 제1 분류 결과를 출력하고, 제2 분류기는, 입력 영상이 복수의 제2 컨벌루션 레이어에 순차적으로 적용되어 도출된 제2 값에 제1 분류 결과가 피드백된 값을 제2 풀 커넥티드 레이어에 순차적으로 적용시켜 타겟 오브젝트의 자세를 나타내는 제2 분류 결과를 출력할 수 있다.
또한, 제2 분류기의 출력에 대하여 제1 분류 기준 및 제2 분류 기준과 상이한 제3 분류 기준에 따라 학습을 수행하여 분류 결과를 출력하는 제3 분류기를 더 포함하고, 제2 분류 기준은 제3 분류 기준의 선결적 관계가 되는 기준일 수 있다.
또한, 제3 분류기는, 제2 분류 결과로 출력된 타겟 오브젝트의 자세 정보를 포함하는 복수의 영상에 포함된 동작 특징 정보에 기초하여 타겟 오브젝트의 동작을 제3 분류 결과로 출력할 수 있다.
한편, 본 발명의 일 실시 예에 따른, 상이한 분류 기준에 따라 학습을 수행하는 복수의 분류기를 포함하는 딥 러닝 기반의 인식 시스템의 제어 방법에 있어서, 입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력하는 단계 및, 제1 분류 결과에 대하여 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력하는 단계를 포함하고, 제1 분류 기준은 제2 분류 기준의 선결적 관계가 되는 기준인 것을 특징으로 한다.
여기서, 제2 분류 결과를 출력하는 단계는, 입력 영상에 대해 제2 분류 기준에 따라 학습을 수행하여 제1 분류 결과와 병렬적으로 분류 결과를 산출하는 단계 및, 제1 분류 결과에 대해 학습을 재 수행하여, 재 수행된 학습 결과를 기초로, 산출된 분류 결과를 보정한 것을 제2 분류 결과로 출력하는 단계를 포함하는 것을 특징으로 한다.
또한, 제1 분류 결과를 출력하는 단계는, 입력된 영상의 위치 특징 정보에 기초하여 입력된 영상에 포함된 타겟 오브젝트의 위치를 나타내는 후보 영역을 추출하여 제1 분류 결과로 출력하고, 제2 분류 결과를 출력하는 단계는, 제1 분류 결과로 출력된 후보 영역에 포함된 자세 특징 정보에 기초하여 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다.
또한, 제2 분류 결과를 출력하는 단계는, 제1 분류 결과로 출력된 후보 영역에 대해 탐색 윈도윙을 적용하여 뉴럴 네트워크를 통해 기 학습된 자세 특징 정보에 대응되는 정보가 위치하는 블럭을 탐색하여 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다.
또한, 제1 분류 결과를 출력하는 단계는, 제2 분류 결과를 입력하여 제1 분류 기준에 따라 재 학습을 수행한 결과를 제1 분류 결과로 재 출력하여 이터레이션 학습을 수행할 수 있다.
또한, 제1 분류 결과를 출력하는 단계는, 입력 영상이 복수의 제1 컨벌루션 레이어에 순차적으로 적용되어 도출된 제1 값을 제1 풀 커넥티드 레이어에 순차적으로 적용시켜 타겟 오브젝트의 위치를 나타내는 제1 분류 결과를 출력하고, 제2 분류 결과를 출력하는 단계는, 입력 영상이 복수의 제2 컨벌루션 레이어에 순차적으로 적용되어 도출된 제2 값에 제1 분류 결과가 피드백된 값을 제2 풀 커넥티드 레이어에 순차적으로 적용시켜 타겟 오브젝트의 자세를 나타내는 제2 분류 결과를 출력할 수 있다.
또한, 출력된 제2 분류 결과에 대하여 제1 분류 기준 및 제2 분류 기준과 상이한 제3 분류 기준에 따라 학습을 수행하여 제3 분류 결과를 출력하는 단계를 더 포함하고, 제2 분류 기준은 제3 분류 기준의 선결적 관계가 되는 기준일 수 있다.
또한, 제3 분류 결과를 출력하는 단계는, 제2 분류 결과로 출력된 타겟 오브젝트의 자세 정보를 포함하는 복수의 영상에 포함된 동작 특징 정보에 기초하여 타겟 오브젝트의 동작을 제3 분류 결과로 출력할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 딥 러닝 기반 인식 시스템의 각 인식 문제에 대한 인식 정확도를 높일 수 있으므로 사용자의 편이성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른, 인식 시스템의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 복수의 분류기에서 출력된 분류 결과를 공유하는 과정을 간략히 도시한 블럭도,
도 3은 본 발명의 다른 실시 예에 따른, 타겟 오브젝트의 자세, 동작 및 위치를 인식하기 위한 인식 시스템의 구성을 도시한 블럭도,
도 4는 본 발명의 일 실시 예에 따른, 인식 시스템의 컨볼루션 뉴럴 네트워크(CNN)를 도시한 도면,
도 5 및 도 6는 본 발명의 일 실시 예에 따른, 위치 인식 결과가 자세 인식에 있어 기초가 되는 과정을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른, 인식 시스템의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른, 딥 러닝 기반 인식 시스템의 구성을 간략히 도시한 블럭도이다.
딥 러닝 기반 인식 시스템이란, 사람의 개입이 필요한 기존의 지도 학습(Supervised Learning)에 보다 능동적인 비지도 학습(Unsupervised Learning)이 결합되어 컴퓨터가 스스로 학습할 수 있는 인공지능 기술을 이용한 학습 시스템으로서, 구체적으로 본 발명에서는 뉴럴 네트워크(Neural Networks)에 기반한 일련의 기계학습 알고리즘에 의한 분류 시스템을 의미한다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 인식 시스템(100)은 제1 분류기(110), 제2 분류기(120)를 포함하며, 영상을 입력 받는 입력부(10), 전처리 수행부(20), 특징 추출부(30)를 더 포함할 수 있다.
입력부(10)는, 영상을 입력받는 구성이다. 입력부(10)는 정지된 영상 또는 동영상을 입력받을 수 있다.
전처리 수행부(20)는, 분류 성능을 향상시키기 위하여 입력된 영상을 처리하는 구성이다. 전처리 수행부(20)는, 조명에 따른 영향을 최소화할 수 있도록 조명을 보정하거나, 각종 필터나 히스토그램 동등화 등의 방법을 통해 노이즈를 제거하여 분류에 더 유용한 영상으로 만드는 과정을 수행한다.
특징 추출부(30)는, 입력된 영상으로부터 특징 값을 생성하는 구성이다. 구체적으로, 특징 추출부(30)는 윈도윙(Windowing) 기법을 이용하여 입력된 영상의 특정 영역에 대응되는 부분 영상으로부터 특징 값을 생성한다.
윈도윙 기법은, 영상에서 오브젝트의 위치를 찾는데 가장 기본적으로 사용되는 기법으로서, 영상에서 윈도우(Window)를 일정한 간격으로 이동시키면서 윈도우 내의 영상 영역이 찾고자 하는 오브젝트인지 아닌지를 판단하는 방법이다. 윈도윙 기법은 가능한 모든 영상의 위치 및 크기에 대해 오브젝트의 존재 여부를 반복적으로 검사하는 Exhaustive Searching을 수행한다(영상 피라미드의 각 스케일마다 윈도윙 탐색 적용).
특징 추출부(30)에서 생성되는 특징 값은 영상 인식에 사용되는 특징 값(Feature)들을 원소로 가지는 벡터를 의미한다. 윈도윙 기법을 통해 검출된 영역으로부터 추출된 특징 값은 HOG(Histogram Of Gradient), 하알 유사(Haar-like), 웨이블릿(Wavelet) 등일 수 있고, 혹은 이러한 특징들이 복합된 것일 수 있다. 그러나, 이는 예시적인 것이며 특징 값은 이들에 한정되지 않는다.
인식된 특징 값의 환경과 기 학습된 정보의 환경의 불일치로 인한 분류 결과의 왜곡을 줄이기 위하여, 추출된 특징 값들은 다양한 방식으로 정규화될 수 있다. 예를 들어, 정규화 과정은 평균(Mean Normalization) 혹은 분산 정규화(Mean and Variance Normalization, MVN) 방법일 수 있다.
제1 분류기(110) 및 제2 분류기(120)는 학습 데이터를 이용하여, 입력된 영상으로부터 여러 클래스 중에서 어느 하나의 클래스로 분류하고, 그 분류 결과를 출력하는 시스템이다.
제1 분류기(110) 및 제2 분류기(120)는 뉴럴 네트워크(Neural Network) 기반 분류기, SVM(Support Vector Machine), 에이다부스트 분류기(Adaboost Classifier), 베이지안 분류기(Bayesian Classifier) 및, 퍼셉트론 분류기(Perceptron Classifier) 등으로 구현될 수 있다.
뉴럴 네트워크 기반 분류기는, 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하도록 구현된 연산모델로서, 연결 강도(가중치)를 갖는 연결선을 통해 인간의 인지작용이나 학습과정을 수행하게 된다.
일반적인 뉴럴 네트워크는 입력층, 은닉층 및 출력층을 포함하며, 은닉층은 필요에 따라서 1 이상의 층으로 구성될 수 있다. 이러한, 뉴럴 네트워크를 학습시키기 위한 알고리즘으로 역전파(Bak Propagation) 알고리즘을 이용할 수 있다.
한편, SVM은 학습 데이터인 양성 데이터(Positive Data)와 음성 데이터(Negative Data) 사이의 거리를 구하고, 그 가운데에서 마진(Margin)이 최대가 되는 최적의 초평면(Hyperplane)을 산출하여 판단하는 알고리즘을 이용한다. 또한, 에이다부스트 분류기는 계산이 빠른 약분류기(Weak Classifier)를 가중합(Weighted Sum)으로 조합하여 분류 능력이 좋은 강분류기(Strong Classifier)를 만드는 방법으로, 강분류기를 순차적으로 배치하여 빠른 속도로 오브젝트를 검출하는 알고리즘을 이용한다.
이하에서는, 본 발명의 인식 시스템(100)을 구성하는 분류기가 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 기반 분류기로 구현되는 실시 예에 대하여 설명하지만 이에 한정되는 것은 아니며, 상술한 다양한 분류기로 구현될 수 있음은 물론이다.
제1 분류기(110) 및 제2 분류기(120)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이(Array)로 구현될 수 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다.
제1 분류기(110) 및 제2 분류기(120)는 학습 데이터가 뉴럴 네트워크의 입력층에 입력되면, 입력된 학습 데이터에 대한 출력 데이터가 뉴럴 네트워크의 출력층으로 출력되도록 뉴럴 네트워크를 학습시키고, 특징 추출부(30)에서 추출된 특징 정보가 입력되면, 뉴럴 네트워크를 이용하여 특징 정보의 패턴을 여러 클래스 중에서 어느 하나의 클래스로 분류하고, 분류 결과를 출력할 수 있다.
한편, 제1 분류기(110)와 제2 분류기(120)는 상이한 분류 기준에 따라 학습을 수행한다. 즉, 입력된 영상에서 사람을 인식하고자 하는 인식 시스템(100)인 경우의 제1 분류기(110)와 제2 분류기(120)는 위치, 자세, 및 동작 등 서로 다른 분류 기준에 의해 각각 학습을 수행할 수 있다.
이때, 제1 분류기(110)는 입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력한다. 또한, 제2 분류기(120)는 입력 영상에 대해 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력한다. 다만, 여기서, 제2 분류기(120)는 입력 영상에 대해 제2 분류 기준에 따라 제1 분류기(110)와 병렬적으로 학습을 수행하여 제2 분류 결과를 산출하되, 제1 분류 결과를 피드백(Feedback) 받아, 제1 분류 결과에 대하여 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 재 수행하여 제2 분류 결과를 보정하여 출력할 수 있다. 또한, 제1 분류 기준은 제2 분류 기준의 선결적 관계가 되는 기준에 있다.
즉, 제1 분류 기준은 제2 분류 기준과 유기적 관련성을 갖고, 먼저 해결되어야 하는 개념으로 이해될 수 있다. 예를 들어, 사람의 위치가 어딘지를 인식할 수 있다면, 보다 그 부분에 집중하여 자세나 동작 인식을 수행함으로써, 자세나 동작에 대한 인식 성능을 높일 수 있으며, 각 프레임 별 자세 인식을 통해 동작 인식 성능을 높이는 것도 가능할 수 있다. 이 경우, 사람의 위치는 제1 분류 기준이 될 수 있고, 자세는 제2 분류 기준이 될 수 있다. 이를 인식 대상의 자세 및 위치를 예측하기 위한 Top-Down Feedback이라고 명명하기로 한다.
구체적으로, 제1 분류기(110)는, 입력된 영상의 위치 특징 정보에 기초하여 입력된 영상에 포함된 찾고자 하는 대상(이하, 타겟 오브젝트)의 위치를 나타내는 후보 영역을 추출하여 제1 분류 결과로 출력하고, 제2 분류기는 제1 분류 결과로 출력된 후보 영역에 포함된 자세 특징 정보에 기초하여 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다.
예를 들어, 인식하고자 하는 영상이 입력되면 제1 분류기 및 제2 분류기는 Weak Prediction을 수행하여 자세 레이블과 위치 레이블을 각각 예측한다. 예측된 위치 레이블은 입력 영상의 어떤 부분에 타겟 오브젝트가 있는지를 나타내는 것으로, 입력 영상 내에 해당 부분만을 강조하는 방식을 통해 Top-Down Feedback을 주게 된다. Feedback을 반영한 영상은 다시 제2 분류기에 입력되어 제2 분류 결과를 업데이트할 수 있다.
이러한 계산 방식은 영상 내의 주변 배경을 무시하고 특정 영역에 집중함으로써 자세 인식 성능을 높이는 데에 도움을 준다. 반대로, 자세 인식 결과도 Top-Down Feedback을 통해 위치 인식 성능을 높이는 데에 도움을 줄 수 있다. 예를 들어, 자세 인식 결과의 Confidence Level이 낮은 경우, 위치 인식을 통해 집중한 후보 영역이 잘못된 영역일 가능성이 높다. 이 경우, Location-Feedback을 영상에 반영 시 높은 Variance를 주고 다시 넓은 영역을 처리하도록 만들어 위치 인식 성능을 개선할 수 있다. 이에 대한 구체적인 내용은 도 5 내지 도 6에서 후술하도록 한다.
한편, 제2 분류기(120)는, 제1 분류 결과로 출력된 후보 영역에 대해 탐색 윈도윙(Windowing)을 적용하여 뉴럴 네트워크를 통해 기 학습된 자세 특징 정보에 대응되는 정보가 위치하는 블럭을 탐색하고, 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다.
구체적으로, 제2 분류기(120)는 입력된 영상에 대해서, 영상의 전 범위를 예를 들어, 영상의 좌 상단에서 우 하단 방향으로 순차적으로 조사하여 타겟 오브젝트의 자세 특징 정보에 대응되는 정보를 검출할 수 있다. 이러한 전역 검색 방법을 통해 탐색 윈도우 영역을 지정할 수 있고, 이때 탐색 윈도우 영역의 크기는 예를 들어 64X64 등이 될 수 있다. 제2 분류기(120)는 취득한 영상을 여러 단계의 해상도를 가지는 영상 피라미드(Pyramid)를 구성하여 모든 해상도에 대하여 탐색 윈도우를 적용할 수 있고, 이렇게 얻은 탐색 윈도우 영역을 다수 개의 셀(Cell)로 구성된 예를 들어, 16X16 크기를 갖는 블럭으로 블럭화하여 처리할 수 있다.
즉, 본 발명의 일 실시 예에 따르면, 자세 및 위치에 대한 밀접한 연관성을 활용하여 특징 정보 및 인식 결과를 서로 공유함으로써 인식 성능이 개선된 복수의 인식 모델을 딥 러닝 기반 인식 시스템에 반영할 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 복수의 분류기에서 출력된 분류 결과를 공유하는 과정을 간략히 도시한 블럭도이다.
도 2에 따르면, 제2 분류기(120)에서 출력된 제2 분류 결과를 이용하여, 제1 분류기(110)에서 출력되는 제1 분류 결과를 재 출력할 수도 있다. 즉, 제2 분류 결과인 자세 인식 결과를 제1 분류기(110)에 재 입력하여 제1 분류 결과인 위치 인식 결과를 재 출력함으로써, 위치에 대한 인식 성능이 좀 더 개선될 수 있다.
예를 들어, 자세 인식 결과가 출력되었을 때, 출력된 자세 인식 결과가 자세에 대한 복수의 클래스 중 어느 클래스에도 속하지 않는 경우에는 위치 인식이 잘못되어 해당 위치를 기초로 한 자세 인식 결과에 오류가 생긴 경우라고 볼 수 있다. 따라서, 이러한 경우, 위치 인식을 수행하는 제1 분류기를 초기화하여 타겟 오브젝트에 대한 위치 인식을 재 수행할 수 있다.
이때, 제1 분류기는, 제2 분류 결과를 입력하여 제1 분류 기준에 따라 재 학습을 수행한 결과를 제1 분류 결과로 재 출력하여 이터레이션(Iteration) 학습을 수행할 수 있다. 즉, 여기서, 제1 분류기는 제2 분류 결과로 출력된 자세 정보를 이용하여 다시 타겟 오브젝트의 위치를 나타내는 후보 영역을 출력할 수 있다.
한편, 본 발명의 일 실시 예에 따른 인식 시스템(100)은 제2 분류기(120)의 출력에 대하여 제1 분류 기준 및 제2 분류 기준과 상이한 제3 분류 기준에 따라 학습을 수행하여 분류 결과를 출력하는 제3 분류기(130)를 더 포함할 수 있다. 여기서, 제3 분류 기준은 제2 분류 기준과 밀접한 연관성이 존재하며, 제2 분류 기준은 제3 분류 기준의 선결적 관계가 되는 기준이 된다.
예를 들어, 제1 분류 기준이 타겟 오브젝트의 위치, 제2 분류 기준이 자세라면 제3 분류 기준은 동작이 될 수 있다. 만약 뛰기, 걷기 등의 동작 클래스의 경우 손을 흔드는 등의 동작과는 달리 앉거나 누운 상태에서 수행하는 것이 불가능할 것이다. 만약 제2 분류 결과로서, 누운 자세가 출력된 경우에는, 제3 분류 결과로서 뛰기나 걷기 등의 동작 클래스는 인식 과정에서 미리 배제될 수 있을 것이다.
따라서, 제2 분류기가 분류한 각 영상 프레임의 인식 결과를 토대로 제3 분류기의 인식 결과를 평가하는 Post-Processing을 통해 성능을 향상시킬 수 있다. 즉, 자세 인식을 통해 알아낸 서기/앉기/눕기 등의 정보를 Committee 등의 Post-Processing 기법을 이용하여 제3 분류기(130)와 결합하면, 보다 정확한 인식 결과를 도출할 수 있다. 예를 들어, 제3 분류기(130)는 다음과 같은 방식으로 동작 인식 결과를 개선할 수 있다.
Figure pat00001
이와 마찬가지로, 제3 분류기로부터 출력된 제3 분류 결과가 걷기 등의 동작인 경우일때, 제2 분류 결과가 앉거나 누운 자세라면, 제2 분류 결과에 오류가 생긴 경우라고 볼 수 있다. 따라서, 이러한 경우, 제2 분류기를 초기화하여 타겟 오브젝트에 대한 자세 인식을 재 수행할 수 있다. 이와 같이, 제3 분류 결과 또한 제2 분류 결과와 유기적으로 결합될 수 있다.
도 3은 본 발명의 다른 실시 예에 따른, 타겟 오브젝트의 자세, 동작 및 위치를 인식하기 위한 인식 시스템의 구성을 도시한 블럭도이다.
인식 시스템은 크게 학습단(200)과 실행·출력단(100')으로 나뉘어진다. 타겟 오브젝트를 정확하게 인식하기 위해서는 먼저, 다양한 타겟 오브젝트의 형상, 자세 및 동작에 대한 방대한 데이터베이스가 구축되어야 하며, 이를 바탕으로, 특징 벡터가 추출되어 클래스가 분류됨으로써 타겟 오브젝트가 인식될 수 있다.
따라서, 수많은 학습 이미지 집합(201) 및 학습 동영상 집합(202)에 대하여 각 타겟 오브젝트에 대한 데이터 레이블링이 이루어진다. 데이터 레이블링은 데이터 레이블링 툴(203)에 의하여 수행될 수 있다. 데이터 레이블링 툴(203)은 딥 러닝(Deep Learning)을 통하여, 대량의 데이터들을 종합하여 분석하고 자동화된 데이터 레이블링을 수행할 수 있다. 예를 들어, 초기 학습에 사용되는 일부 데이터에 대해서만 지도학습(Supervised Learning)을 수행하고, 나머지 트레이닝 셋에 대해서는 비지도학습(Unsupervised Learning)을 진행하여 레이블을 예측할 수 있다.
데이터 레이블링이 이루어진 타겟 오브젝트 정보는 학습 데이터베이스(DB) 구축부(204)에 저장된다. 학습 DB 구축부(204)에는 실제 응용에 적용시 새로운 클래스에 대응하기 용이하도록, 소수의 수집된 데이터로부터 배경합성, 조명 변화, 각도 변화 등을 처리한 타겟 오브젝트 정보가 저장될 수 있다. 또는, 학습 DB 구축부(204)가 이를 스스로 처리하여 데이터베이스를 확장할 수도 있다.
특징 벡터 추출 학습부는 학습 DB 구축부(204)에 저장된 학습 데이터를 이용하여, 입력된 이미지(11)의 특징 벡터를 학습하며, 이로부터 위치 인식 모델 학습부, 자세 인식 모델 학습부 및 행동 인식 모델 학습부가 구성될 수 있다. 이들 학습부는 학습된 특징 벡터를 분석하여 위치가 어디인지 어떤 자세인지 및 어떤 동작을 수행하는지를 학습할 수 있다.
인식 시스템(100')에 이미지(11)가 입력되면, 입력된 이미지(11)의 특징 벡터를 학습하여 추출한다. 이 경우, 특징 벡터 추출 학습부는 특징 벡터 추출부(30'). 인식 시스템(100')에 동영상(12)이 입력되는 경우에는 시계열 window 추출부(13)에서 입력된 동영상(12)에 시계열적으로 윈도윙 기법을 적용하여, 각 프레임마다의 윈도우를 추출하며, 역시, 특징 벡터 추출 학습부를 통해, 입력된 동영상(12)의 특징 벡터를 학습하여 추출한다.
본 실시 예에서, 제1 분류기(110), 제2 분류기(120) 및 제3 분류기(130)는 각각 위치 인식부(110'), 자세 인식부(120') 및 행동 인식부(130')로 구현되었다. 추출된 특징 벡터를 기반으로, 각 학습부는 입력된 영상에서 타겟 오브젝트의 위치, 자세 및 행동을 학습하여 인식할 수 있다. 이 경우, 학습부는 각각 위치 인식부(110'), 자세 인식부(120') 및 행동 인식부(130')의 역할을 수행한다.
도 3에 도시된 바와 같이, 위치 인식 결과(115')는 자세 인식부(120')로 입력(피드백)되어, 위치 인식부(110')에서 인식된 위치에 해당하는 영역을 기초로 자세가 재 인식되고, 재 인식된 자세 인식 결과(125')가 재 출력될 수 있다. 재 출력된 자세 인식 결과(125')는 Post-Processing 기법에 의해 행동 인식 결과(135')와 결합되어 보다 정확한 행동 인식 결과(135')가 도출될 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 인식 시스템의 컨볼루션 뉴럴 네트워크(CNN)를 도시한 도면이다.
도 4에 도시된 바와 같이, 특징 추출부(30)에서 일어나는 특징 추출 과정과 제1 분류기(110) 및 제2 분류기(120)에 일어나는 분류 과정은 컨벌루션 뉴럴 네트워크(Convolutional Neural Network)에 의해서 수행된다.
본 실시 예의 딥 러닝 기반 인식 시스템(100)은 인간의 대뇌에서의 Two-Streams Hypothesis(What/Where Pathways)에 기반한 Deep Convolutional Neural Network를 구성하여 제1 분류기(110)의 위치 인식 및 제2 분류기(120)의 자세 인식의 동반 성능 향상을 추구한다.
영상(41)이 입력되면, 인식 시스템(100)의 제1 분류기(110) 및 제2 분류기(120)가 각각 타겟 오브젝트의 위치(42) 및 자세(43)를 각각 예측할 수 있다. 이와 같은 예측은 도 4에 도시된 바와 같이, 특징 추출부(30)의 특징 추출 과정 및 각 분류기(110, 120)의 분류과정을 통해 일어날 수 있다.
제1 분류 결과는, 입력 영상이 복수의 제1 컨벌루션 레이어에 순차적으로 적용되어 도출된 제1 값을 제1 분류기(110)가 제1 풀 커넥티드(Fully Connected) 레이어에 순차적으로 적용시켜 타겟 오브젝트의 위치를 나타내는 제1 분류 결과를 출력하는 과정으로 이루어진다.
특징 추출부(30)는 도 4에 도시된 바와 같이, 일반적으로 2쌍의 컨벌루션(Convolution)과 간축과정(Sub-sampling)의 계층적인 구조로 이루어져 있다. 예를 들어, 첫 번째 계층(1st stage)에서는 5X5 크기의 8개의 컨벌루션 필터 마스크를 가지고, 두 번째 계층(2nd stage)에서는 상대적으로 작은 3X3 크기의 16개 컨볼루션 필터 마스크를 가질 수 있다.
특징 추출부(30)는 연속되는 컨볼루션과 간축과정을 통해 미리 학습된 컨볼루션 필터 마스크에 따라 입력된 영상(41)에서의 특징을 추출한다. 이때의 각 과정에서의 출력 집합은 일반적으로 피쳐맵(Feature map)이라고 통칭된다.
도 4에 도시된 바와 같이, 먼저, 특징 추출부(30)에 40X30 크기의 영상(41)이 입력된다. 여기서, 전처리 과정에서 관심영역 설정 알고리즘에 의해 타겟 오브젝트일 수 있는 관심영역(ROI)이 미리 설정되고, 설정된 ROI가 특징 추출부(30)의 입력으로 주어질 수도 있다.
입력 영상(41)은 특징 추출의 안정성을 위해 미리 정규화 과정을 거칠 수 있으며, 정규화된 입력 영상은 예를 들어, 첫 번째 계층에서의 8개의 마스크와의 컨벌루션 과정을 거쳐 피쳐 맵으로 출력되고, 이 후, 간축과정을 거쳐 30X20크기의 피쳐 맵이 될 수 있다. 이러한 간축과정은 입력 영상에 대한 특징의 추출에 강인성을 더해줄 수 있다.
이와 같이, 두 번째 계층(2nd stage)에서 16개의 마스크에 대해 컨볼루션 과정을 거치고, 연속되는 간축과정으로 인해 최종 피쳐맵이 발생된다.
최종적으로 획득된 10X3의 크기를 갖는 16개의 피쳐맵은 은닉층을 갖는 뉴럴 네트워크의 입력으로 적용되어 일반적인 타겟 오브젝트의 위치 및 자세가 다양하고 복잡하더라도 효율적으로 분류될 수 있다. 이와 같은 구조에 의해 특징 추출부(30)로부터 타겟 오브젝트의 구별 가능한 특징들을 추출하고, 이러한 특징들에 의해 뉴럴 네트워크가 최적화되도록 학습을 진행할 수 있다.
한편, 제2 분류 결과 역시 동일한 과정을 통해 제1 분류 결과와 병렬적으로 산출될 수 있다. 이때, 제2 분류 결과는, 입력 영상이 복수의 제2 컨벌루션 레이어에 순차적으로 적용되어 도출된 제2 값에 제1 분류 결과가 피드백된 값을 제2 분류기(120)가 제2 풀 커넥티드(Fully Connected) 레이어에 순차적으로 적용시켜 타겟 오브젝트의 자세를 나타내는 제2 분류 결과를 출력하는 과정으로 이루어진다.
즉, 제2 분류기(120)는 제1 분류 결과, 즉 타겟 오브젝트의 위치를 기초로 하여 타겟 오브젝트의 자세에 대한 정확한 인식 결과를 도출할 수 있다.
도 5 및 도 6는 본 발명의 일 실시 예에 따른, 위치 인식 결과가 자세 인식에 있어 기초가 되는 과정을 도시한 도면이다.
도 5에 도시된 바와 같이, 입력되는 Input Xijk (1)은 여러 층(L개)으로 구성된 Convolution Layer를 통과하여 Abstract Representation Xijk (L)를 도출한다. 이 Representation은 다시 각각의 Fully-connected Layer를 통과하여 Pose-class Output과, Box-location Output을 출력한다.
도 6에 따르면, 이 상태의 Location Output은 Prior의 역할을 하여 다시 아래 층의 Layer로 Feedback된다.
즉, 제2 분류기(120)는 영상이 처음 주어졌을 때, 관심 대상(후보 영역)의 위치를 대략적으로 파악하고 이 영역에 집중하여 다시 저층위부터 계산하는 방식을 이용한다. 이때, 특정 영역을 강조하기 위해 Location Output 영역을 제외한 나머지 부분에 대하여 Low-Pass Filter를 적용시켜 Blurring 효과를 줄 수 있다. 이 경우 다음과 같은 과정이 수행될 수 있다.
Figure pat00002
Blurring된 이미지는 다시 상위 층으로 Propagation되어 수렴할 때까지 같은 과정을 반복한다. 이때, Blurring 효과의 정도(Filtering Bandwidth)는 자세 인식 결과의 Confidence(Entropy)에 따라 결정된다. Confidence가 낮은 경우, Blurring 효과를 낮추어 준다(Bandwidth ∝ H(C)).
이러한 과정은 제1 분류 결과인 타겟 오브젝트의 위치 정보와 제2 분류 결과인 타겟 오브젝트의 자세 정보가 일정한 값으로 수렴할 때까지 반복될 수 있다. 이러한 반복 학습을 통하여, 타겟 오브젝트의 위치, 자세 및 동작의 인식 성능이 향상될 수 있다.
도 7은 본 발명의 일 실시 예에 따른, 딥 러닝 기반 인식 시스템의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력한다. 이때, 입력된 영상의 위치 특징 정보에 기초하여 입력된 영상에 포함된 타겟 오브젝트의 위치를 나타내는 후보 영역을 추출하여 제1 분류 결과로 출력할 수 있다.
이 후, 제1 분류 결과에 대하여 제1 분류 기준과 상이하며, 제1 분류 기준을 선결적 관계로 하는 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력한다. 이때, 입력 영상에 대해 제2 분류 기준에 따라 학습을 수행하여 제1 분류 결과와 병렬적으로 분류 결과를 산출하고, 제1 분류 결과에 대해 학습을 재 수행하여, 재 수행된 학습 결과를 기초로, 산출된 분류 결과를 보정한 것을 제2 분류 결과로 출력할 수 있다. 이때, 제1 분류 결과로 출력된 후보 영역에 포함된 자세 특징 정보에 기초하여 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다.
또한, 제1 분류 결과로 출력된 후보 영역에 대해 탐색 윈도윙을 적용하여 뉴럴 네트워크를 통해 기 학습된 자세 특징 정보에 대응되는 정보가 위치하는 블럭을 탐색하여 후보 영역에 포함된 타겟 오브젝트의 자세를 제2 분류 결과로 출력할 수 있다. 또한, 제2 분류 결과를 입력받음으로써, 제1 분류 기준에 따라 재 학습을 수행한 결과를 제1 분류 결과로 재 출력하여 이터레이션 학습을 수행할 수 있다.
또한, 제1 분류 결과는, 입력 영상을 복수의 제1 컨벌루션 레이어에 순차적으로 적용시킨 제1 값을 도출하고, 도출된 제1 값을 제1 풀 커넥티드 레이어에 순차적으로 적용시켜 타겟 오브젝트의 위치를 나타내는 제1 분류 결과로 출력될 수 있다. 또한, 제2 분류 결과는, 타겟 오브젝트의 위치를 복수의 제2 컨벌루션 레이어를 순차적으로 통과시켜 적용시킨 제2 값을 도출하고, 도출된 제2 값을 제2 풀 커넥티드 레이어에 순차적으로 적용시켜 타겟 오브젝트의 자세를 나타내는 제2 분류 결과로 출력될 수 있다.
이후, 출력된 제2 분류 결과에 대하여 제1 분류 기준 및 제2 분류 기준과 상이하며 제2 분류 기준을 선결적 관계로 하는 제3 분류 기준에 따라 학습을 수행하여 제3 분류 결과를 더 출력할 수 있다. 제3 분류 결과는, 제2 분류 결과로 출력된 타겟 오브젝트의 자세 정보를 포함하는 복수의 영상에 포함된 동작 특징 정보에 기초하여 인식된 타겟 오브젝트의 동작이 제3 분류 결과로 출력될 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 딥 러닝 기반 인식 시스템의 각 인식 문제에 대한 인식 정확도를 높일 수 있다.
상술한 다양한 실시 예에 따른 딥 러닝 기반 인식 시스템의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 인식 시스템의 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력하는 단계 및, 제1 분류 결과에 대하여 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력하는 단계를 수행하고, 제1 분류 기준은 제2 분류 기준의 선결적 관계가 되는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 인식 시스템 110: 제1 분류기
120: 제2 분류기 130: 제3 분류기
10: 입력부 20: 전처리 수행부
30: 특징 추출부

Claims (16)

  1. 상이한 분류 기준에 따라 학습을 수행하는 복수의 분류기를 포함하는 딥 러닝(Deep learning) 기반 인식 시스템에 있어서,
    입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력하는 제1 분류기; 및
    상기 제1 분류 결과에 대하여 상기 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력하는 제2 분류기;를 포함하며,
    상기 제1 분류 기준은 상기 제2 분류 기준의 선결적 관계가 되는 기준에 있는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서,
    상기 제2 분류기는,
    상기 입력 영상에 대해 상기 제2 분류 기준에 따라 학습을 수행하여 상기 제1 분류 결과와 병렬적으로 분류 결과를 산출하고, 상기 제1 분류 결과에 대해 상기 학습을 재 수행하여, 상기 재 수행된 학습 결과를 기초로, 상기 산출된 분류 결과를 보정한 것을 상기 제2 분류 결과로 출력하는 것을 특징으로 하는 시스템.
  3. 제1항에 있어서,
    상기 제1 분류기는,
    상기 입력된 영상의 위치 특징 정보에 기초하여 상기 입력된 영상에 포함된 타겟 오브젝트의 위치를 나타내는 후보 영역을 추출하여 상기 제1 분류 결과로 출력하고,
    상기 제2 분류기는,
    상기 제1 분류 결과로 출력된 상기 후보 영역에 포함된 자세 특징 정보에 기초하여 상기 후보 영역에 포함된 타겟 오브젝트의 자세를 상기 제2 분류 결과로 출력하는 것을 하는 시스템.
  4. 제3항에 있어서,
    상기 제2 분류기는,
    상기 제1 분류 결과로 출력된 상기 후보 영역에 대해 탐색 윈도윙(Windowing)을 적용하여 뉴럴 네트워크(Neural Network)를 통해 기 학습된 자세 특징 정보에 대응되는 정보가 위치하는 블럭을 탐색하여 상기 후보 영역에 포함된 타겟 오브젝트의 자세를 상기 제2 분류 결과로 출력하는 것을 하는 시스템.
  5. 제3항에 있어서,
    상기 제1 분류기는,
    상기 제2 분류 결과를 입력하여 상기 제1 분류 기준에 따라 재 학습을 수행한 결과를 상기 제1 분류 결과로 재 출력하여 이터레이션 학습을 수행하는 것을 특징으로 하는 시스템.
  6. 제3항에 있어서,
    상기 제1 분류기는,
    상기 입력 영상이 복수의 제1 컨벌루션 레이어에 순차적으로 적용되어 도출된 제1 값을 제1 풀 커넥티드 레이어에 순차적으로 적용시켜 상기 타겟 오브젝트의 위치를 나타내는 상기 제1 분류 결과를 출력하고,
    상기 제2 분류기는,
    상기 입력 영상이 복수의 제2 컨벌루션 레이어에 순차적으로 적용되어 도출된 제2 값에 상기 제1 분류 결과가 피드백된 값을 제2 풀 커넥티드 레이어에 순차적으로 적용시켜 상기 타겟 오브젝트의 자세를 나타내는 제2 분류 결과를 재 출력하는 것을 특징으로 하는 시스템.
  7. 제1항에 있어서,
    상기 제2 분류기의 출력에 대하여 상기 제1 분류 기준 및 상기 제2 분류 기준과 상이한 제3 분류 기준에 따라 학습을 수행하여 분류 결과를 출력하는 제3 분류기;를 더 포함하고,
    상기 제2 분류 기준은 상기 제3 분류 기준의 선결적 관계가 되는 기준인 것을 특징으로 하는 시스템.
  8. 제7항에 있어서,
    상기 제3 분류기는,
    상기 제2 분류 결과로 출력된 타겟 오브젝트의 자세 정보를 포함하는 복수의 영상에 포함된 동작 특징 정보에 기초하여 상기 타겟 오브젝트의 동작을 상기 제3 분류 결과로 출력하는 것을 하는 시스템.
  9. 상이한 분류 기준에 따라 학습을 수행하는 복수의 분류기를 포함하는 딥 러닝(Deep learning) 기반 인식 시스템의 제어 방법에 있어서,
    입력 영상에 대해 제1 분류 기준에 따라 학습을 수행하여 제1 분류 결과를 출력하는 단계; 및
    상기 제1 분류 결과에 대하여 상기 제1 분류 기준과 상이한 제2 분류 기준에 따라 학습을 수행하여 제2 분류 결과를 출력하는 단계;를 포함하고,
    상기 제1 분류 기준은 상기 제2 분류 기준의 선결적 관계가 되는 기준에 있는 것을 특징으로 하는 제어 방법.
  10. 제9항에 있어서,
    상기 제2 분류 결과를 출력하는 단계는,
    상기 입력 영상에 대해 상기 제2 분류 기준에 따라 학습을 수행하여 상기 제1 분류 결과와 병렬적으로 분류 결과를 산출하는 단계; 및
    상기 제1 분류 결과에 대해 상기 학습을 재 수행하여, 상기 재 수행된 학습 결과를 기초로, 상기 산출된 분류 결과를 보정한 것을 상기 제2 분류 결과로 출력하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  11. 제9항에 있어서,
    상기 제1 분류 결과를 출력하는 단계는,
    상기 입력된 영상의 위치 특징 정보에 기초하여 상기 입력된 영상에 포함된 타겟 오브젝트의 위치를 나타내는 후보 영역을 추출하여 상기 제1 분류 결과로 출력하고,
    상기 제2 분류 결과를 출력하는 단계는,
    상기 제1 분류 결과로 출력된 상기 후보 영역에 포함된 자세 특징 정보에 기초하여 상기 후보 영역에 포함된 타겟 오브젝트의 자세를 상기 제2 분류 결과로 출력하는 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 제2 분류 결과를 출력하는 단계는,
    상기 제1 분류 결과로 출력된 상기 후보 영역에 대해 탐색 윈도윙을 적용하여 뉴럴 네트워크를 통해 기 학습된 자세 특징 정보에 대응되는 정보가 위치하는 블럭을 탐색하여 상기 후보 영역에 포함된 타겟 오브젝트의 자세를 상기 제2 분류 결과로 출력하는 것을 특징으로 하는 제어 방법.
  13. 제11항에 있어서,
    상기 제1 분류 결과를 출력하는 단계는,
    상기 제2 분류 결과를 입력하여 상기 제1 분류 기준에 따라 재 학습을 수행한 결과를 상기 제1 분류 결과로 재 출력하여 이터레이션 학습을 수행하는 것을 특징으로 하는 제어 방법.
  14. 제11항에 있어서,
    상기 제1 분류 결과를 출력하는 단계는,
    상기 입력 영상이 복수의 제1 컨벌루션 레이어에 순차적으로 적용되어 도출된 제1 값을 제1 풀 커넥티드 레이어에 순차적으로 적용시켜 상기 타겟 오브젝트의 위치를 나타내는 상기 제1 분류 결과를 출력하고,
    상기 제2 분류 결과를 출력하는 단계는,
    상기 입력 영상이 복수의 제2 컨벌루션 레이어에 순차적으로 적용되어 도출된 제2 값에 상기 제1 분류 결과가 피드백된 값을 제2 풀 커넥티드 레이어에 순차적으로 적용시켜 상기 타겟 오브젝트의 자세를 나타내는 상기 제2 분류 결과를 출력하는 것을 특징으로 하는 제어 방법.
  15. 제9항에 있어서,
    상기 출력된 제2 분류 결과에 대하여 상기 제1 분류 기준 및 상기 제2 분류 기준과 상이한 제3 분류 기준에 따라 학습을 수행하여 제3 분류 결과를 출력하는 단계;를 더 포함하고,
    상기 제2 분류 기준은 상기 제3 분류 기준의 선결적 관계가 되는 기준인 것을 특징으로 하는 제어 방법.
  16. 제15항에 있어서,
    상기 제3 분류 결과를 출력하는 단계는,
    상기 제2 분류 결과로 출력된 상기 타겟 오브젝트의 자세 정보를 포함하는 복수의 영상에 포함된 동작 특징 정보에 기초하여 상기 타겟 오브젝트의 동작을 상기 제3 분류 결과로 출력하는 것을 특징으로 하는 제어 방법.
KR1020150018145A 2015-02-05 2015-02-05 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 Withdrawn KR20160096460A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150018145A KR20160096460A (ko) 2015-02-05 2015-02-05 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150018145A KR20160096460A (ko) 2015-02-05 2015-02-05 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20160096460A true KR20160096460A (ko) 2016-08-16

Family

ID=56854452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150018145A Withdrawn KR20160096460A (ko) 2015-02-05 2015-02-05 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20160096460A (ko)

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038169A (ko) * 2016-10-06 2018-04-16 가톨릭대학교 산학협력단 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
WO2018084577A1 (en) * 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
KR20180053003A (ko) * 2016-11-11 2018-05-21 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치
KR20180057420A (ko) * 2016-11-22 2018-05-30 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR20180082680A (ko) * 2017-01-09 2018-07-19 한국전자통신연구원 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
KR20180120057A (ko) * 2017-04-26 2018-11-05 김정희 학습 데이터 전처리 방법 및 시스템
WO2019035639A1 (ko) * 2017-08-16 2019-02-21 재단법인 아산사회복지재단 딥러닝 기반의 패혈증 조기 감지방법 및 프로그램
KR20190018935A (ko) * 2017-08-16 2019-02-26 ㈜버틀러네트워크 컬링 경기 결과 예측 장치 및 방법
KR20190021095A (ko) * 2017-08-22 2019-03-05 주식회사 넥시스 이미지 분류 장치와 방법 및 이미지 분류를 위한 이미지 학습 장치
KR20190021809A (ko) * 2017-08-24 2019-03-06 주식회사 포스코건설 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치
KR20190022153A (ko) * 2017-08-25 2019-03-06 국방과학연구소 하이브리드 머신 캐릭터 기반의 기계학습 시스템 및 그 구현방법
KR20190028235A (ko) * 2017-09-08 2019-03-18 삼성전자주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
KR20190029083A (ko) * 2017-09-11 2019-03-20 삼성전자주식회사 신경망 학습 방법 및 이를 적용한 장치
KR20190030151A (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
KR20190043324A (ko) * 2017-10-18 2019-04-26 주식회사 넥슨코리아 이미지 프로세싱을 이용하여 게임 해킹 프로그램의 사용 여부를 판단하는 방법, 장치 및 컴퓨터 프로그램
KR20190048597A (ko) 2017-10-31 2019-05-09 국방과학연구소 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법
JP2019071057A (ja) * 2017-10-05 2019-05-09 株式会社ストラドビジョン 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ
KR20190051621A (ko) * 2017-11-07 2019-05-15 재단법인대구경북과학기술원 시맨틱 분할 맵을 이용한 영상 데이터 처리 장치 및 제어 방법
KR20190056792A (ko) 2017-11-17 2019-05-27 한국생산기술연구원 딥러닝 기반 얼굴 검출 및 감정 인식 시스템 및 방법
WO2019132588A1 (ko) * 2017-12-29 2019-07-04 (주)제이엘케이인스펙션 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
WO2019132589A1 (ko) * 2017-12-29 2019-07-04 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법
KR20190080818A (ko) 2017-12-28 2019-07-08 한국과학기술원 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치
WO2019164064A1 (ko) * 2018-02-26 2019-08-29 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
KR20190101043A (ko) * 2018-02-22 2019-08-30 한국과학기술원 동적인 피쳐 획득과 분류를 위한 공동 학습 프레임워크
KR20190101692A (ko) * 2018-02-23 2019-09-02 주식회사 삼알글로벌 학습 전이 기반의 비디오 감시 방법
KR20190105157A (ko) * 2018-02-20 2019-09-16 주식회사 에이아이트릭스 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법
US10449106B2 (en) 2017-02-21 2019-10-22 Samsung Electronics Co., Ltd. Method and apparatus for walking assistance
KR102045223B1 (ko) * 2019-05-03 2019-11-19 주식회사 크레스콤 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
KR20190130183A (ko) * 2018-04-16 2019-11-22 경북대학교 산학협력단 의약품 분류 장치, 이를 이용한 의약품 분류 방법 및 의약품 분류를 위한 학습 방법, 이를 수행하기 위한 기록매체
KR102053036B1 (ko) * 2019-02-28 2019-12-06 엘아이지넥스원 주식회사 딥 러닝 분석을 통한 표적 분류 방법 및 장치
WO2020013361A1 (ko) * 2018-07-11 2020-01-16 주식회사 아이센스 인공지능 딥러닝 학습을 이용한 생체측정물 농도 측정방법
WO2020027519A1 (ko) * 2018-08-02 2020-02-06 삼성전자 주식회사 영상 처리 장치 및 그 동작방법
KR102063859B1 (ko) * 2019-07-05 2020-02-11 주식회사 딥노이드 Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법
KR20200017598A (ko) * 2018-08-01 2020-02-19 가톨릭대학교 산학협력단 이중 머신 러닝 모델을 이용한 데이터 분류 방법 및 장치
KR102079281B1 (ko) * 2019-06-17 2020-02-19 영남대학교 산학협력단 실내외 환경 검출 방법 및 이를 수행하기 위한 장치 및 시스템
KR20200021733A (ko) * 2018-08-21 2020-03-02 주식회사 더마프로 딥러닝 기반 주름 평가 장치
KR20200028550A (ko) * 2018-09-06 2020-03-17 동국대학교 산학협력단 객체 인식을 통해 위급 상황을 판단하는 장치 및 방법
KR20200044227A (ko) * 2018-10-12 2020-04-29 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
KR102103280B1 (ko) * 2019-06-20 2020-06-01 주식회사 딥노이드 딥러닝 기반의 대장 질환 보조 진단 방법
KR102139582B1 (ko) 2019-12-05 2020-07-29 주식회사 인텔리빅스 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법
KR20200099271A (ko) * 2019-02-14 2020-08-24 엔에이치엔 주식회사 이미지의 태그어에 기반하여 모자이크 이미지를 생성해 제공하는 방법
KR20200140676A (ko) * 2019-06-07 2020-12-16 고려대학교 산학협력단 기호 인식 장치 및 방법
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
KR20210039572A (ko) * 2019-10-02 2021-04-12 주식회사 지앤아이티글로벌 신경망 모델을 이용한 지층 분류 방법 및 이를 수행하는 장치
KR102242011B1 (ko) * 2020-02-07 2021-04-20 부산대학교 산학협력단 딥러닝 기반의 축산물 이미지 등급 분류 장치
KR20210075225A (ko) * 2016-11-15 2021-06-22 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
KR20210074929A (ko) 2019-12-12 2021-06-22 손지환 딥러닝 기반 재활용 쓰레기 자동 분류 시스템
WO2021125521A1 (ko) * 2019-12-16 2021-06-24 연세대학교 산학협력단 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
CN113205133A (zh) * 2021-04-30 2021-08-03 成都国铁电气设备有限公司 一种基于多任务学习的隧道水渍智能识别方法
EP3734530A4 (en) * 2017-12-25 2021-08-18 YI Tunnel (Beijing) Technology Co., Ltd. BILLING METHOD, DEVICE AND SYSTEM
KR20210129874A (ko) * 2020-04-21 2021-10-29 한국전자통신연구원 촬영 영상 데이터의 분석을 위한 모델 학습 장치 및 방법, 그리고 이를 적용한 지능형 영상 촬영 장치
WO2021221247A1 (ko) * 2019-09-09 2021-11-04 주식회사 웨얼리 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램
KR20220015083A (ko) * 2020-07-30 2022-02-08 성균관대학교산학협력단 강인한 학습 및 인식을 위한 다단계 딥러닝 방법 및 이를 수행하는 장치
WO2022114639A1 (ko) * 2020-11-27 2022-06-02 부산대학교 산학협력단 다차원의 부분집합 연관 분석에 기반한 인공지능 학습 데이터셋 공정성을 보장하는 장치 및 이를 이용한 인공지능 학습 데이터셋 공정성을 보장하는 방법
KR20220085641A (ko) * 2020-12-15 2022-06-22 부경대학교 산학협력단 병렬 딥 컨볼루션 뉴럴 네트워크 기반의 영상 분류 장치 및 방법
KR102471214B1 (ko) * 2022-01-21 2022-11-28 퀀텀테크엔시큐 주식회사 IP-Cam 모니터링 방법 및 장치
KR20230025099A (ko) * 2021-08-13 2023-02-21 한국전자통신연구원 딥러닝 기반 의상 속성 분류 장치 및 방법
KR20230046027A (ko) 2021-09-29 2023-04-05 이상호 자율주행 로봇용 분리수거 시스템
US11665363B2 (en) 2020-11-26 2023-05-30 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature map information
CN117501317A (zh) * 2021-06-09 2024-02-02 京瓷株式会社 识别装置、终端装置、识别器构建装置、识别器修正装置、构建方法以及修正方法
WO2024038969A1 (ko) * 2022-08-19 2024-02-22 한국전자기술연구원 딥러닝 기반의 행동인식 장치 및 방법
KR20240059088A (ko) * 2022-10-27 2024-05-07 미소에이스 주식회사 디스플레이 제조 설비의 위치 결정 장치 및 방법
US11995539B2 (en) 2017-06-09 2024-05-28 Samsung Electronics Co., Ltd. Electronic apparatus and method for re-learning trained model
US12190548B2 (en) 2020-09-23 2025-01-07 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature information
US12373991B2 (en) 2020-10-07 2025-07-29 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature information

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038169A (ko) * 2016-10-06 2018-04-16 가톨릭대학교 산학협력단 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
WO2018084577A1 (en) * 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US12394189B2 (en) 2016-11-03 2025-08-19 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US11908176B2 (en) 2016-11-03 2024-02-20 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US11023731B2 (en) 2016-11-03 2021-06-01 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
KR20180053003A (ko) * 2016-11-11 2018-05-21 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치
US11797860B2 (en) 2016-11-15 2023-10-24 Magic Leap, Inc. Deep learning system for cuboid detection
KR20210075225A (ko) * 2016-11-15 2021-06-22 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
KR20230170119A (ko) * 2016-11-15 2023-12-18 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
US10102444B2 (en) 2016-11-22 2018-10-16 Lunit Inc. Object recognition method and apparatus based on weakly supervised learning
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR20180057420A (ko) * 2016-11-22 2018-05-30 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR20180082680A (ko) * 2017-01-09 2018-07-19 한국전자통신연구원 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
US10449106B2 (en) 2017-02-21 2019-10-22 Samsung Electronics Co., Ltd. Method and apparatus for walking assistance
KR20180120057A (ko) * 2017-04-26 2018-11-05 김정희 학습 데이터 전처리 방법 및 시스템
US11995539B2 (en) 2017-06-09 2024-05-28 Samsung Electronics Co., Ltd. Electronic apparatus and method for re-learning trained model
KR20190018935A (ko) * 2017-08-16 2019-02-26 ㈜버틀러네트워크 컬링 경기 결과 예측 장치 및 방법
WO2019035639A1 (ko) * 2017-08-16 2019-02-21 재단법인 아산사회복지재단 딥러닝 기반의 패혈증 조기 감지방법 및 프로그램
KR20190021095A (ko) * 2017-08-22 2019-03-05 주식회사 넥시스 이미지 분류 장치와 방법 및 이미지 분류를 위한 이미지 학습 장치
KR20190021809A (ko) * 2017-08-24 2019-03-06 주식회사 포스코건설 딥 러닝 기반 구조물 표면 열화 진단 방법 및 장치
KR20190022153A (ko) * 2017-08-25 2019-03-06 국방과학연구소 하이브리드 머신 캐릭터 기반의 기계학습 시스템 및 그 구현방법
KR20190028235A (ko) * 2017-09-08 2019-03-18 삼성전자주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
KR20190029083A (ko) * 2017-09-11 2019-03-20 삼성전자주식회사 신경망 학습 방법 및 이를 적용한 장치
WO2019054638A1 (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP2020536301A (ja) * 2017-09-13 2020-12-10 クレスコム カンパニー リミティッド 画像分析方法、装置及びコンピュータプログラム
KR20190030151A (ko) * 2017-09-13 2019-03-21 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
US11017255B2 (en) 2017-09-13 2021-05-25 Crescom Co., Ltd. Apparatus, method and computer program for analyzing image
US11551433B2 (en) 2017-09-13 2023-01-10 Crescom Co., Ltd. Apparatus, method and computer program for analyzing image
JP2019071057A (ja) * 2017-10-05 2019-05-09 株式会社ストラドビジョン 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ
KR20190043324A (ko) * 2017-10-18 2019-04-26 주식회사 넥슨코리아 이미지 프로세싱을 이용하여 게임 해킹 프로그램의 사용 여부를 판단하는 방법, 장치 및 컴퓨터 프로그램
KR20190048597A (ko) 2017-10-31 2019-05-09 국방과학연구소 딥 러닝을 이용한 이종 센서 정보 융합 장치 및 방법
KR20190051621A (ko) * 2017-11-07 2019-05-15 재단법인대구경북과학기술원 시맨틱 분할 맵을 이용한 영상 데이터 처리 장치 및 제어 방법
KR20190056792A (ko) 2017-11-17 2019-05-27 한국생산기술연구원 딥러닝 기반 얼굴 검출 및 감정 인식 시스템 및 방법
EP3734530A4 (en) * 2017-12-25 2021-08-18 YI Tunnel (Beijing) Technology Co., Ltd. BILLING METHOD, DEVICE AND SYSTEM
KR20190080818A (ko) 2017-12-28 2019-07-08 한국과학기술원 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치
WO2019132588A1 (ko) * 2017-12-29 2019-07-04 (주)제이엘케이인스펙션 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
WO2019132589A1 (ko) * 2017-12-29 2019-07-04 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법
KR20190105157A (ko) * 2018-02-20 2019-09-16 주식회사 에이아이트릭스 의약품 검색을 위한 낱알 식별 장치 및 낱알 식별 방법
KR20190101043A (ko) * 2018-02-22 2019-08-30 한국과학기술원 동적인 피쳐 획득과 분류를 위한 공동 학습 프레임워크
KR20190101692A (ko) * 2018-02-23 2019-09-02 주식회사 삼알글로벌 학습 전이 기반의 비디오 감시 방법
WO2019164064A1 (ko) * 2018-02-26 2019-08-29 (주)헬스허브 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
KR20190130183A (ko) * 2018-04-16 2019-11-22 경북대학교 산학협력단 의약품 분류 장치, 이를 이용한 의약품 분류 방법 및 의약품 분류를 위한 학습 방법, 이를 수행하기 위한 기록매체
KR20200006695A (ko) * 2018-07-11 2020-01-21 주식회사 아이센스 인공지능 딥러닝 학습을 이용한 생체측정물 농도 측정방법
JP2021529315A (ja) * 2018-07-11 2021-10-28 アイセンス，インコーポレーテッド 人工知能ディープラーニング学習を利用した生体測定物濃度測定方法
CN112105923A (zh) * 2018-07-11 2020-12-18 爱-森新株式会社 利用人工智能深度学习的生物测量对象浓度测量方法
WO2020013361A1 (ko) * 2018-07-11 2020-01-16 주식회사 아이센스 인공지능 딥러닝 학습을 이용한 생체측정물 농도 측정방법
CN112105923B (zh) * 2018-07-11 2024-01-09 爱-森新株式会社 利用人工智能深度学习的生物测量对象浓度测量方法
KR20200017598A (ko) * 2018-08-01 2020-02-19 가톨릭대학교 산학협력단 이중 머신 러닝 모델을 이용한 데이터 분류 방법 및 장치
US11961203B2 (en) 2018-08-02 2024-04-16 Samsung Electronics Co., Ltd. Image processing device and operation method therefor
WO2020027519A1 (ko) * 2018-08-02 2020-02-06 삼성전자 주식회사 영상 처리 장치 및 그 동작방법
KR20200021733A (ko) * 2018-08-21 2020-03-02 주식회사 더마프로 딥러닝 기반 주름 평가 장치
KR20200028550A (ko) * 2018-09-06 2020-03-17 동국대학교 산학협력단 객체 인식을 통해 위급 상황을 판단하는 장치 및 방법
KR20200044227A (ko) * 2018-10-12 2020-04-29 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
KR20200099271A (ko) * 2019-02-14 2020-08-24 엔에이치엔 주식회사 이미지의 태그어에 기반하여 모자이크 이미지를 생성해 제공하는 방법
KR102053036B1 (ko) * 2019-02-28 2019-12-06 엘아이지넥스원 주식회사 딥 러닝 분석을 통한 표적 분류 방법 및 장치
KR102045223B1 (ko) * 2019-05-03 2019-11-19 주식회사 크레스콤 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
KR20200140676A (ko) * 2019-06-07 2020-12-16 고려대학교 산학협력단 기호 인식 장치 및 방법
WO2020256228A1 (ko) * 2019-06-17 2020-12-24 영남대학교 산학협력단 실내외 환경 검출 방법 및 이를 수행하기 위한 장치 및 시스템
KR102079281B1 (ko) * 2019-06-17 2020-02-19 영남대학교 산학협력단 실내외 환경 검출 방법 및 이를 수행하기 위한 장치 및 시스템
KR102103280B1 (ko) * 2019-06-20 2020-06-01 주식회사 딥노이드 딥러닝 기반의 대장 질환 보조 진단 방법
KR102063859B1 (ko) * 2019-07-05 2020-02-11 주식회사 딥노이드 Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법
WO2021221247A1 (ko) * 2019-09-09 2021-11-04 주식회사 웨얼리 하이라키 구조의 인공지능 모델을 이용한 패션 이미지 분석 방법, 장치 및 컴퓨터프로그램
KR20210039572A (ko) * 2019-10-02 2021-04-12 주식회사 지앤아이티글로벌 신경망 모델을 이용한 지층 분류 방법 및 이를 수행하는 장치
KR102139582B1 (ko) 2019-12-05 2020-07-29 주식회사 인텔리빅스 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법
KR20210074929A (ko) 2019-12-12 2021-06-22 손지환 딥러닝 기반 재활용 쓰레기 자동 분류 시스템
WO2021125521A1 (ko) * 2019-12-16 2021-06-24 연세대학교 산학협력단 순차적 특징 데이터 이용한 행동 인식 방법 및 그를 위한 장치
KR102242011B1 (ko) * 2020-02-07 2021-04-20 부산대학교 산학협력단 딥러닝 기반의 축산물 이미지 등급 분류 장치
KR20210129874A (ko) * 2020-04-21 2021-10-29 한국전자통신연구원 촬영 영상 데이터의 분석을 위한 모델 학습 장치 및 방법, 그리고 이를 적용한 지능형 영상 촬영 장치
KR20220015083A (ko) * 2020-07-30 2022-02-08 성균관대학교산학협력단 강인한 학습 및 인식을 위한 다단계 딥러닝 방법 및 이를 수행하는 장치
KR102236615B1 (ko) * 2020-07-31 2021-04-06 주식회사 웨이센 복합 특성 분류와 공통 국소화를 위한 신경망 모델의 학습 방법 및 장치
US12190548B2 (en) 2020-09-23 2025-01-07 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature information
US12373991B2 (en) 2020-10-07 2025-07-29 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature information
US11665363B2 (en) 2020-11-26 2023-05-30 Electronics And Telecommunications Research Institute Method, apparatus, system and computer-readable recording medium for feature map information
WO2022114639A1 (ko) * 2020-11-27 2022-06-02 부산대학교 산학협력단 다차원의 부분집합 연관 분석에 기반한 인공지능 학습 데이터셋 공정성을 보장하는 장치 및 이를 이용한 인공지능 학습 데이터셋 공정성을 보장하는 방법
KR20220085641A (ko) * 2020-12-15 2022-06-22 부경대학교 산학협력단 병렬 딥 컨볼루션 뉴럴 네트워크 기반의 영상 분류 장치 및 방법
CN113205133A (zh) * 2021-04-30 2021-08-03 成都国铁电气设备有限公司 一种基于多任务学习的隧道水渍智能识别方法
CN113205133B (zh) * 2021-04-30 2024-01-26 成都国铁电气设备有限公司 一种基于多任务学习的隧道水渍智能识别方法
CN117501317A (zh) * 2021-06-09 2024-02-02 京瓷株式会社 识别装置、终端装置、识别器构建装置、识别器修正装置、构建方法以及修正方法
US11983248B2 (en) 2021-08-13 2024-05-14 Electronics And Telecommunications Research Institute Apparatus and method for classifying clothing attributes based on deep learning
KR20230025099A (ko) * 2021-08-13 2023-02-21 한국전자통신연구원 딥러닝 기반 의상 속성 분류 장치 및 방법
KR20230046027A (ko) 2021-09-29 2023-04-05 이상호 자율주행 로봇용 분리수거 시스템
KR102471214B1 (ko) * 2022-01-21 2022-11-28 퀀텀테크엔시큐 주식회사 IP-Cam 모니터링 방법 및 장치
WO2024038969A1 (ko) * 2022-08-19 2024-02-22 한국전자기술연구원 딥러닝 기반의 행동인식 장치 및 방법
KR20240059088A (ko) * 2022-10-27 2024-05-07 미소에이스 주식회사 디스플레이 제조 설비의 위치 결정 장치 및 방법

Similar Documents

Publication Publication Date Title
KR20160096460A (ko) 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
Qin et al. Pointdan: A multi-scale 3d domain adaption network for point cloud representation
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
Baccouche et al. Sequential deep learning for human action recognition
JP7007829B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6018674B2 (ja) 被写体再識別のためのシステム及び方法
Serpush et al. Complex human action recognition using a hierarchical feature reduction and deep learning-based method
CN106897738B (zh) 一种基于半监督学习的行人检测方法
Minhas et al. Incremental learning in human action recognition based on snippets
US20180157892A1 (en) Eye detection method and apparatus
CN104537647B (zh) 一种目标检测方法及装置
US8600108B2 (en) Data processing system and method
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
US9798923B2 (en) System and method for tracking and recognizing people
CN108154118A (zh) 一种基于自适应组合滤波与多级检测的目标探测系统及方法
WO2014205231A1 (en) Deep learning framework for generic object detection
Chen et al. Combining unsupervised learning and discrimination for 3D action recognition
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
Pavel et al. Object class segmentation of RGB-D video using recurrent convolutional neural networks
Rezaei et al. Moving object detection through robust matrix completion augmented with objectness
Kokkinos et al. Synergy between object recognition and image segmentation using the expectation-maximization algorithm
CN116935125B (zh) 通过弱监督实现的噪声数据集目标检测方法

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PC1203 Withdrawal of no request for examination

St.27 status event code: N-1-6-B10-B12-nap-PC1203

WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000