KR20200087310A - 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 - Google Patents

인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 Download PDF

Info

Publication number
KR20200087310A
KR20200087310A KR1020180171875A KR20180171875A KR20200087310A KR 20200087310 A KR20200087310 A KR 20200087310A KR 1020180171875 A KR1020180171875 A KR 1020180171875A KR 20180171875 A KR20180171875 A KR 20180171875A KR 20200087310 A KR20200087310 A KR 20200087310A
Authority
KR
South Korea
Prior art keywords
learning
image
unit
reading
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180171875A
Other languages
English (en)
Other versions
KR102859525B1 (ko
Inventor
송동호
인연진
김영필
Original Assignee
소프트온넷(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트온넷(주) filed Critical 소프트온넷(주)
Priority to KR1020180171875A priority Critical patent/KR102859525B1/ko
Publication of KR20200087310A publication Critical patent/KR20200087310A/ko
Application granted granted Critical
Publication of KR102859525B1 publication Critical patent/KR102859525B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법에 관한 것이다. 본 애노테이션 학습데이터 생성과 증강 시스템은, 딥러닝 학습을 시키려는 객체를 등록하고, 영상이미지에서 등록된 객체를 구별하여 객체종류, 객체영역을 등록하는 애노테이션을 통해 학습데이터를 생성하는 학습데이터 생성부; 상기 학습데이터를 입력으로 딥러닝 알고리즘을 통해 객체에 대한 딥러닝 학습을 진행하여 학습모델을 생성하는 딥러닝 학습부, 상기 딥러닝 학습부가 생성한 학습모델을 영상 판독모델로 선택하여 영상이미지상의 객체정보를 판독하는 딥러닝 판독부를 포함하는 것을 특징으로 한다. 이러한 구성에 의하여, 인공지능 영상 판독시스템을 딥러닝 학습시키기 위해 사용되는 학습데이터를 이미지 증강을 통해 자동으로 증강하여 학습데이터의 양을 충분히 확보할 수 있고, 영상이미지의 애노테이션을 통해 생성된 학습데이터를 이미지 증강하여 학습데이터의 양을 늘려줄 수 있다.

Description

인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법{SYSTEM AND METHOD FOR GENERATION AND AUGMENTATION OF ANNOTATION LEARNING DATA FOR DEEP LEARNING IN ARTIFICIAL INTELLIGENCE PICTURE READING}
본 발명은 주어진 학습 데이터를 이용하여 보다 다양하게 변화를 주어 보다 많은 양의 학습 데이터를 확보하는 학습데이터 증강 시스템 및 방법에 관한 것이다.
인공지능 영상 판독시스템에서 사용하는 딥러닝 알고리즘은 인간 뇌의 뉴런들이 모여 신호를 전달하는 프로세스를 모델링 하여 만든 알고리즘으로 인간의 뇌에서 진행되는 의사결정 과정을 모방한 인공신경망(Artificial Neural Network)구조를 통해 학습을 한다.
사람의 뇌를 구성하는 각 뉴런들은 다른 뉴런으로부터 입력을 받고, 뉴런에 있는 각 입력들은 시넵틱 가중치(synaptic weight)에 의해 출력이 조절된다. 인공 신경망은 이러한 뇌의 동작방법을 모방하여, 각각의 뉴런들은 전체 입력 값들을 모두다 결합하는 총합함수에서 임계함수(threshold function) 혹은 제한 함수(limiting function)에 의해 다른 출력을 전달할지 여부를 결정하는 구조로 구성되어 있다.
딥러닝은 사람이 코딩하지 않고, 수집된 수많은 데이터를 사용하여 주어진 입력(input)에 대해 올바른 출력(output)을 하도록 하는 머신러닝(Machine Learning)의 한 갈래로, 사람이 생각한 특징을 훈련하는 것이 아니라 데이터 자체의 중요한 특징을 기계 스스로 학습을 한다. 이때 딥러닝 학습은 인공신경망을 통한 기계 학습으로 진행한다.
이러한 딥러닝의 한 종류로 주로 영상과 음성에 좋은 성능을 보여주는 CNN(Convolutional Neural Network)은 기존의 영상처리 필터기능과 인공신경망을 결합시켜 판독 성능을 높여준 알고리즘으로 입력된 영상데이터를 회선(Convolutions)과 서브샘플링(sub-sampling)을 반복하여 데이터량을 줄이고 왜곡시켜 신경망에서 분류하는 방법을 사용한다.
기계학습에 의존하는 딥러닝 영상판독 시스템에서 풍부한 학습용 데이터를 확보하는 것은 높은 인식률을 얻기 위한 과정에서 가장 중요한 부분 중 하나이다.
통상의 학습데이터를 생성하는 방법은 영상이미지 한 개에 대하여 학습시키려는 물품을 객체로 등록하고 해당 객체에 대한 영상이미지상의 위치를 사람이 직접 사각형의 박스로 표시하는 수동 애노테이션을 거치는 것이 일반적이다. 하나의 객체(오브젝트)를 학습시키고 만족할 만한 판독률을 얻어내기 위해서는 최소 5천개 이상의 학습데이터가 필요하고, 수동 애노테이션을 통한 학습데이터 생성은 수작업으로 진행하기 때문에 비용과 시간이 많이 소요된다.
즉, 딥러닝 알고리즘을 통해 영상이미지의 정확한 판독을 위해서는 많은 양의 학습데이터가 필요하고, 영상이미지를 통해 학습데이터를 생성하기 위해서는 학습시키려는 객체에 대해 수작업을 통한 애노테이션 작업에 많은 시간과 비용이 소요되는 문제점이 있다.
따라서, 본 발명은 상기한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은, 인공지능 영상 판독시스템을 딥러닝 학습시키기 위해 사용되는 학습데이터를 이미지 증강을 통해 자동으로 증강하여 학습데이터의 양을 충분히 확보하는 학습데이터 증강 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 영상이미지의 애노테이션을 통해 생성된 학습데이터를 이미지 증강하여 학습데이터의 양을 늘려주는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 영상이미지의 수동 애노테이션 과정 없이 기존에 딥러닝 학습된 판독모델을 사용하여 영상이미지를 판독한 영상이미지상의 객체위치 및 영역정보를 재활용하여 학습데이터로 사용하는 자동 애노테이션을 이용하는 학습데이터 증강 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 영상이미지상의 객체가 애노테이션된 학습데이터를 이미지 증강하여 학습데이터를 증강하는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 영상이미지를 학습된 판독모델을 사용하여 판독한 영상이미지상의 객체위치 및 영역 정보를 재활용하여 학습데이터를 생성하는 자동 애노테이션을 이용하는 학습 데이터 증강 시스템 및 방법을 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 제1양태에 따른 구성은, 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성과 증강 시스템에 있어서, 딥러닝 학습을 시키려는 객체를 등록하고, 영상이미지에서 등록된 객체를 구별하여 객체종류, 객체영역을 등록하는 애노테이션을 통해 학습데이터를 생성하는 학습데이터 생성부; 상기 학습데이터를 입력으로 딥러닝 알고리즘을 통해 객체에 대한 딥러닝 학습을 진행하여 학습모델을 생성하는 딥러닝 학습부, 상기 딥러닝 학습부가 생성한 학습모델을 영상 판독모델로 선택하여 영상이미지상의 객체정보를 판독하는 딥러닝 판독부를 포함하는 것을 특징으로 한다.
여기서, 상기 학습데이터 생성부는, 딥러닝 학습시킬 객체를 등록하고 상기 영상이미지상에 수작업을 통한 애노테이션을 통해 학습시키려는 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 추가된 학습데이터를 생성하는 수동 애노테이션부; 및 상기 딥러닝 학습을 통해 생성된 판독모델을 애노테이션되지 않은 영상이미지 판독에 사용하여 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 영상이미지에 자동으로 추가된 학습데이터를 자동으로 생성하는 자동 애노테이션부;를 포함하는 것이 바람직하다.
상기 자동 애노테이션부는, 상기 딥러닝 판독부가 사용할 판독모델을 선택하고, 애노테이션되지 않은 영상이미지를 상기 딥러닝 판독부에 입력하여 객체정보를 판독하게 하고 영상이미지와 객체정보를 기반으로 학습데이터를 생성하는 것이 바람직하다.
상기 학습데이터 생성부는, 상기 수동 애노테이션부, 상기 자동 애노테이션부 중 하나 이상을 사용하여 생성된 학습데이터에서 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 이미지 증강부;를 포함하는 것이 바람직하다.
상기 딥러닝 학습부는, 딥러닝 알고리즘에 학습데이터를 입력하고 객체에 대한 딥러닝 학습을 수행하여 학습모델을 생성하는 영상 학습부; 상기 영상 학습부에 학습데이터의 학습시작 시간, 학습 반복횟수 중 하나 이상의 학습 스케줄을 설정하여 딥러닝 학습 스케줄을 관리하는 학습 스케줄부; 상기 영상 학습부가 딥러닝 학습을 통해 학습을 진행되는 상황을 알려주는 학습 모니터링부; 및 상기 영상 학습부가 딥러닝 학습을 통해 출력한 영상판독 학습모델, 학습에 사용된 학습데이터, 학습에 사용된 딥러닝 알고리즘 중 하나이상의 정보를 관리하는 학습모델 관리부;를 포함하는 것이 바람직하다.
상기 딥러닝 판독부는, 상기 학습데이터 생성부가 생성한 학습모델, 기존에 객체가 학습된 학습모델 중 하나를 딥러닝 영상판독을 위한 판독모델로 사용하여, 입력되는 영상이미지로부터 객체를 판독하여 상기 자동 애노테이션부에 객체정보를 제공하는 것이 바람직하다.
상기 딥러닝 판독부는, 영상 학습부가 생성한 학습모델을 영상판독을 위한 판독모델로 선택하고 영상이미지를 입력받아 영상이미지상에서 학습된 객체정보를 판독하는 영상 판독부;를 포함하는 것이 바람직하다.
상기 딥러닝 판독부는상기 영상 판독부의 판독률을 자동으로 평가하기 위한 테스트 데이터를 등록하고, 테스트 데이터에 포함된 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 관리하는 테스트세트 관리부; 상기 테스트세트 관리부가 관리하는 테스트 데이터의 입력을 받아 영상판독부가 영상판독을 통해 테스트 데이터의 영상이미지에서 객체정보를 판독한 결과와 테스트 데이터에 등록된 객체정보를 비교하여 판독률을 자동으로 측정하는 판독률 측정부;를 포함하는 것이 바람직하다.
상기의 목적을 달성하기 위한 본 발명의 제2양태에 따른 구성은, 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성과 증강 방법에 있어서, 학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제1단계; 딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계; 및 딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계;를 포함하는 것을 특징한다.
여기서, 상기 학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제2단계는, 수동 애노테이션부가 학습시킬 객체를 선정하고 선정된 객체가 포함된 영상이미지를 수집하고 분류하여 애노테이션을 위한 사전준비를 하는 단계; 수동 애노테이션부가 사전 준비된 영상이미지상에 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 표시하여 애노테이션한 학습데이터를 생성하는 단계; 및 이미지증강부가 상기 학습데이터의 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 단계를 포함하는 것이 바람직하다.
상기 딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계는, 학습스케줄부가 학습할 학습데이터, 학습반복횟수를 선택하여 영상학습부를 통해 딥러닝 학습을 진행 단계; 및 학습모니터링부가 영상학습부를 통해 학습이 정상적으로 진행되는 모니터링하고 그 결과를 모니터에 표시해 주는 단계를 포함하는 것이 바람직하다.
상기 딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계는, 영상 판독부가 학습된 판독모델을 사용하여 애노테이션되지 않은 영상이미지를 영상 판독하여 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 생성하는 단계; 및 자동 애노테이션부가 딥러닝 판독부가 생성한 객체정보와 판독에 사용된 영상이미지를 사용하여 학습데이터를 생성하는 단계를 포함하는 것이 바람직하다.
한편, 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성할 때 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하기 위해, 테스트세트 관리부가 영상 판독률 테스트를 위해 영상이미지와 영상이미지상의 객체정보를 사전에 테스트 데이터로 등록하여 관리하는 단계; 판독률 측정부가 테스트세트 관리부의 테스트 데이터를 입력받아 영상판독부가 판독한 객체정보와 테스트 데이터에 포함된 객체정보를 비교하여 판독모델을 자동으로 측정하는 단계; 및 영상판독부가 영상판독에 실패한 영상이미지를 테스트세트 관리부에 전달하여 영상이미지와 영상이미지상의 객체정보를 테스트 데이터로 등록하여 관리하는 단계를 더 포함하는 것이 바람직하다.
상기의 구성으로 이루어진 본 발명의 학습 데이터 증강 시스템 및 방법에 따르면, 인공지능 영상 판독시스템을 딥러닝 학습시키기 위해 사용되는 학습데이터를 이미지 증강을 통해 자동으로 증강하여 학습데이터의 양을 충분히 확보할 수 있고, 영상이미지의 애노테이션을 통해 생성된 학습데이터를 이미지 증강하여 학습데이터의 양을 늘려줄 수 있다.
또한, 본 발명에 의하면, 영상이미지의 수동 애노테이션 과정 없이 기존에 딥러닝 학습된 판독모델을 사용하여 영상이미지를 판독한 영상이미지상의 객체위치 및 영역정보를 재활용하여 학습데이터로 사용하는 자동 애노테이션을 이용하는 학습데이터 증강 시스템 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 영상이미지상의 객체가 애노테이션된 학습데이터를 이미지 증강하여 학습데이터를 증강할 수 있다.
또한, 본 발명에 의하면, 영상이미지를 학습된 판독모델을 사용하여 판독한 영상이미지상의 객체위치 및 영역 정보를 재활용하여 학습데이터를 생성하는 자동 애노테이션을 이용하는 학습 데이터 증강 시스템 및 방법을 제공할 수 있다.
도 1 인공지능 영상판독 딥러닝 학습을 위한 수동/자동 애노테이션을 통한 학습데이터 증강 시스템의 구성도,
도 2는 본 발명에 따른 학습데이터 생성부의 내부 구성도,
도 3은 본 발명에 따른 딥러닝 학습부의 내부 구성도,
도 4는 본 발명에 따른 영상 판독부의 내부 구성도,
도 5는 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 학습데이터 증강 및 자동 애노테이션 방법을 도시한 순서도,
도 6은 본 발명에 따른 영상이미지를 애노테이션하여 학습데이터를 생성하는 방법을 도시한 순서도,
도 7은 본 발명에 따른 학습데이터를 입력으로 딥러닝 학습을 통해 학습모델을 생성하는 방법을 도시한 순서도,
도 8은 본 발명에 따른 학습모델을 영상판독을 위한 판독모델로 사용하여 영상이미지를 학습데이터로 생성하는 방법을 도시한 순서도,
도 9 는 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법을 도시한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다. 본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
본 발명의 상기 목적, 기타 다른 목적 및 특징은 첨부된 아래의 도면과 연관된 바람직한 실시예를 상세로부터 명확하게 나타날 것이다.
도 1 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션을 통한 학습데이터 증강 시스템의 구성도이고, 도 2는 본 발명에 따른 학습데이터 생성부의 내부 구성도이고, 도 3은 본 발명에 따른 딥러닝 학습부의 내부 구성도이고, 도 4는 본 발명에 따른 영상 판독부의 내부 구성도이다.
먼저, 도 1을 참조하여 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션을 통한 학습데이터 증강 시스템의 구성 및 동작을 상세하게 설명한다.
본 발명은 영상판독 딥러닝 학습을 위해 영상이미지(3000)를 저장미디어 또는 유무선 네트워크(2000)를 통해 딥러닝 영상학습 시스템(1000)의 데이터 저장부(1400)에 입출력 관리부(1300)의 제어를 받아 수집한다. 사용자는 영상판독의 목적에 따라 학습할 객체를 학습데이터 생성부(1100)에 등록하고, 입출력 관리부(1300)는 데이터 저장부(1400)에 저장된 영상이미지(3000)를 모니터에 출력하고, 사용자는 모니터에 출력된 영상이미지(3000)상에 객체정보를 표시하는 애노테이션 작업을 진행하여 학습데이터를 생성한다.
딥러닝 학습부(1200)는 학습데이터 생성부(1100)가 생성한 학습데이터를 입력받아 딥러닝 영상판독을 위한 딥러닝 학습을 진행하고 학습된 결과로 학습모델을 생성한다. 이때 딥러닝 학습에 사용되는 알고리즘은 영상판독에서 높은 판독률을 보이는 CNN 알고리즘이 사용된다.
딥러닝 판독부(1500)는 딥러닝 학습부(1200)가 생성한 학습모델을 영상 판독모델로 선택하여 애노테이션되지 않은 영상이미지(3000)를 입력으로 영상이미지상의 객체정보를 판독하고 판독된 정보를 기반으로 학습데이터를 자동으로 생성하는 자동 애노테이션을 진행한다. 이때 딥러닝 판독부(1500)는 딥러닝 영상학습 시스템(1000)에 포함되지 않은 별도의 자동 애노테이션 시스템으로 분리되어 학습데이터를 자동으로 생성할 수 있다.
도 2에 도시된 바와 같이 학습데이터 생성부(1100)는 수작업을 통해 학습데이터를 생성하는 수동 애노테이션부(1110)과 기존에 학습된 판독모델을 사용하여 딥러닝 판독부(1500)의 영상판독을 통해 자동으로 학습데이터를 생성하는 자동 애노테이션부(1120)로 구분된다. 이때 수동 애노테이션부(1110)에서는 영상이미지(3000)상에 학습하려는 대상의 객체 이름, 아이디 중 하나이상을 사용하여 객체를 수작업을 통해 등록하고 수집한 영상이미지(3000)상에 객체영역을 구별한다. 이때 객체영역은 객체를 포함하는 사각형, 다각형, 객체의 외곽 중 하나이상을 사용하여 표시된 학습데이터를 생성한다. 학습데이터에는 하나이상의 영상이미지와 영상이미지에 포함된 객체정보를 포함하여 구성된다.
자동 애노테이션부(1120)는 딥러닝 판독부(1500)에 수동 애노테이션부(1110)에서 애노테이션되지 않은 영상이미지(3000)를 전달하고 딥러닝 판독부(1500)는 기존에 학습된 판독모델을 사용하여 영상이미지(3000)상의 객체정보를 판독하여 자동 애노테이션부(1120)에 전달하면 자동 애노테이션부(1120)는 전달받은 정보를 기반으로 학습데이터를 자동으로 생성한다. 생성된 학습데이터에 객체정보의 오류가 있다면 수동 애노테이션부(1110)를 통해 객체정보 수정 작업을 진행한다. 즉, 객체에 대해 기존에 학습된 학습모델이 있다면 자동 애노테이션부(1120)를 통해 학습데이터를 자동으로 생성하고, 객체에 대해 기존에 학습된 학습모델이 없다면 수동 애노테이션부(1110)를 통해 학습데이터를 수동으로 생성하여, 기존에 학습된 정보를 재활용하여 학습데이터 생성 효율을 높여준다.
이미지 증강부(1120)는 수동 애노테이션부(1110), 자동 애노테이션부(1120)중 하나 이상을 사용하여 생성된 학습데이터 영상이미지의 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도변경(Lighting condition), 배경 및 스타일 변경 중 하나이상을 사용하여 학습데이터를 증강한다.
이미지 증강방법에서 스케일링(Scaling)은 객체 이미지 크기의 변형을 통해 다양한 크기의 객체 이미지를 생성하여 외형은 동일하나 보이는 각도와 거리에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 크기조정(Resizing)은 객체 이미지내의 객체 비율 조정을 통한 외형의 변화된 이미지를 생성하여 외형은 비슷하나 보는 각도에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 위치변경(Translation)은 객체 이미지의 배경 및 위치를 변경하여 객체의 외형은 비슷하나 보는 위치에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 회전(Rotation)은 이미지를 회전하여 다양한 각도의 이미지를 생성하여 객체의 외형은 비슷하나 보는 각도에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 뒤집기(Flipping)는 객체의 상하 또는 좌우를 바꾸어 이미지를 생성하여 객체의 외형은 동일하나 보이는 각도와 방향에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 원근법 변환(Perspective Transform)은 객체의 보이는 입체(X축, Y축, Z축)방향의 각도 조정을 통해 이미지를 생성하여 외형은 비슷하나 보는 각도에 따라 다르게 보이는 객체 이미지 생성에 사용되고, 잡음(Noise)은 객체 이미지의 노이즈 조정을 통해 이미지를 생성하여 외형은 동일하나 객체의 외부 Texture의 정도를 여러 단계로 나누어 이미지 데이터를 생성하는데 사용되고, 조도변경(Lighting condition)은 객체 이미지의 밝기 및 조도 변경을 통한 이미지를 생성하여 빛의 밝기에 따라 여러 가지 색상 및 그림자를 포함한 이미지 데이터 생성에 사용된다.
도 3에 도시된 바와 같이 딥러닝 학습부(1200)의 영상학습부(1210)는 학습데이터 생성부(1100)가 생성한 학습데이터를 입력받아 학습 스케줄부(1220)가 스케줄링한 설정에 따라 딥러닝 알고리즘을 선택하여 학습을 진행하고 학습의 결과로 학습모델을 생성한다. 영상학습부(1210)의 학습 진행상황은 학습모니터링부(1230)에 의해 객체의 학습진행도가 표시되고 학습모델이 생성되면 학습모델관리부(1240)에 의해 학습에 사용된 학습데이터, 딥러닝 알고리즘, 학습모델 중 하나 이상의 정보를 가지고 관리된다. 특히 영상학습부(1210)에 의해 생성된 학습모델들 중에서 딥러닝판독부(1300)에 의해 영상판독에 사용된 학습모델은 학습모델 관리부(1240)에 의해 판독모델로 등록되어 영상 판독률정보와 같이 관리된다.
도 4 에 도시된 바와 같이 딥러닝판독부(1300)의 영상판독부(1310)는 학습모델 관리부(1240)에서 관리하는 학습모델들 중에서 판독모델을 선택하고 애노테이션되지 않은 영상이미지(3000)를 입력받아 학습된 객체의 종류와 객체영역을 판독한다. 영상판독부(1310)는 별도의 시스템으로 구별된 영상판독시스템으로 구성되어 사용될 수 있지만, 본 발명에서는 자동 애노테이션부(1120)의 요청에 따라 학습데이터를 자동으로 애노테이션하는 시스템으로 사용된다.
테스트세트 관리부(1320)는 판독모델의 영상 판독률을 자동으로 평가하기 위해 사전에 테스트 데이터를 등록하고, 테스트 데이터에 포함된 영상이미지(3000)상의 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 등록하여 관리한다. 테스트 데이터는 판독률 테스트를 위해서 별도로 구별한 하나이상의 영상이미지를 모아놓은 그룹으로 판독률 평가를 위한 객체정보와 같이 관리된다. 이때 영상판독부(1310)의 판독률이 높아야 자동 애노테이션부(1120)를 통해 자동으로 생성되는 학습데이터의 품질이 높아져서 수동 애노테이션부(1110)를 통한 수작업을 줄일 수 있다. 하지만 판독률에 대한 평가도 수작업을 통해 평가가 필요한데, 이러한 수작업을 통한 평가를 자동화하기 위해 테스트세트 관리부(1320)를 통해 딥러닝 영상판독에 실패 또는 오류가 있는 영상이미지를 테스트 데이터로 관리하여 판독률 측정부(1330)에서 판독률을 자동으로 측정한다.
판독률 측정부(1330)는 테스트세트 관리부(1320)의 테스트 데이터를 입력받아 학습모델관리부(1240)에 등록된 학습모델을 영상판독부(1310)의 판독모델로 선택하여 테스트 데이터에 포함된 각각의 영상이미지(3000)상에서 객체정보를 판독한 결과를 영상판독부(1310)로부터 전달받는다. 이때 판독률 측정부(1330)는 영상판독부(1310)를 통해 판독된 영상판독결과와 테스트 데이터에 등록 객체정보를 비교하여 판독모델의 판독률을 자동으로 측정한다. 이때 판독률이 일정비율을 넘기는 경우에만 해당 판독모델을 자동 애노테이션에서 사용한다. 테스트 데이터에는 하나이상의 영상이미지와 영상이미지에 포함된 객체정보를 포함하여 구성된다.
이하, 도 5 내지 도 8을 참조하여 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션을 통한 학습데이터 증강 방법 및 동작을 상세하게 설명한다.
도 5는 본 발명에 따른 인공지능 영상판독 딥러닝 학습을 위한 학습데이터 증강 및 자동 애노테이션 방법을 도시한 순서도이다.
도 5에 도시된 바와 같이, 학습데이터 생성부(1100)는 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지(3000)를 수집하여 영상이미지(3000)상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성한다(S100).
딥러닝 학습부(1200)는 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성한다(S200).
딥러닝 판독부(1300)는 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성한다(S300).
도 6은 본 발명에 따른 영상이미지를 애노테이션하여 학습데이터를 생성하는 방법을 도시한 순서도이다.
도 6을 참조하여 보다 구체적으로 설명하면, 학습데이터 생성부(1100)의 수동 애노테이션부(1110)는 학습시킬 객체를 선정하고 선정된 객체가 포함된 영상이미지(3000)를 수집하고 분류하여 애노테이션을 위한 사전준비를 한다(S110).
수동 애노테이션부(1110)는 사전 준비된 영상이미지(3000)상에 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 표시하여 애노테이션한 학습데이터를 생성한다(S120).
이미지증강부(1130)는 학습데이터의 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강한다(S130).
상술한 바와 같이, 딥러닝 학습부(1200)는 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성한다(S200).
도 7은 본 발명에 따른 학습데이터를 입력으로 딥러닝 학습을 통해 학습모델을 생성하는 방법을 도시한 순서도이다.
도 7에 보인 바와 같이, 학습스케줄부(1200)는 학습할 학습데이터, 학습반복횟수를 선택하여 영상학습부(1210)를 통해 딥러닝 학습을 진행한다(S210).
학습모니터링부(1230)는 영상학습부(1210)를 통해 학습이 정상적으로 진행되는 모니터링하고 그 결과를 모니터에 표시해 준다(S220).
상술한 바와 같이, 딥러닝 판독부(1300)는 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지(3000)에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부(1120)에 전달하여 학습데이터를 생성한다(S300).
도 8을 참조하여 보다 구체적으로 설명하면, 딥러닝 판독부(1300)의 영상 판독부(1310)는 학습된 판독모델을 사용하여 애노테이션되지 않은 영상이미지(3000)를 영상 판독하여 영상이미지(3000)상의 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 생성한다(S310).
학습데이터 생성부(1100)의 자동 애노테이션부(1120)는 딥러닝 판독부(1300)가 생성한 객체정보와 판독에 사용된 영상이미지(3000)를 사용하여 학습데이터를 생성한다(S320).
도 9는 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법을 도시한 순서도이다.
이하, 도 9를 참조하여 본 발명에 따른 자동 애노테이션의 성능을 높이기 위해 테스트세트를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하는 방법 및 동작을 상세하게 설명한다.
도 9에 도시된 바와 같이, 테스트세트 관리부(1320)는 영상 판독률 테스트를 위해 영상이미지와 영상이미지상의 객체정보를 사전에 테스트 데이터로 등록하여 관리한다(S410).
판독률 측정부(1330)는 테스트세트 관리부(1320)의 테스트 데이터를 입력받아 영상판독부가 판독한 객체정보와 테스트 데이터에 포함된 객체정보를 비교하여 판독모델을 자동으로 측정한다(S420).
영상판독부(1310)가 영상판독에 실패한 영상이미지를 테스트세트 관리부(1320)에 전달하여 영상이미지와 영상이미지상의 객체정보를 테스트 데이터로 등록하여 관리한다(S430).
1000: 딥러닝 영상학습 시스템 1100: 학습데이터 생성부
1110: 수동 애노테이션부 1120: 이미지 증강부
1130: 자동 애노테이션부 1200: 딥러닝 학습부
1210: 영상 학습부 1220: 학습 스케줄부
1230: 학습 모니터링부 1240: 학습모델 관리부
1300: 딥러닝 판독부 1310: 영상 판독부
1320: 테스트세트 관리부 1330: 판독률 측정부
1400: 입출력 관리부 1500: 데이터 저장부
2000: 유무선 네트워크 3000: 영상이미지

Claims (13)

  1. 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템에 있어서,
    딥러닝 학습을 시키려는 객체를 등록하고, 영상이미지에서 등록된 객체를 구별하여 객체종류, 객체영역을 등록하는 애노테이션을 통해 학습데이터를 생성하는 학습데이터 생성부;
    상기 학습데이터를 입력으로 딥러닝 알고리즘을 통해 객체에 대한 딥러닝 학습을 진행하여 학습모델을 생성하는 딥러닝 학습부,
    상기 딥러닝 학습부가 생성한 학습모델을 영상 판독모델로 선택하여 영상이미지상의 객체정보를 판독하는 딥러닝 판독부를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  2. 제1항에 있어서,
    상기 학습데이터 생성부는,
    딥러닝 학습시킬 객체를 등록하고 상기 영상이미지상에 수작업을 통한 애노테이션을 통해 학습시키려는 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 추가된 학습데이터를 생성하는 수동 애노테이션부; 및
    상기 딥러닝 학습을 통해 생성된 판독모델을 애노테이션되지 않은 영상이미지 판독에 사용하여 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보가 영상이미지에 자동으로 추가된 학습데이터를 자동으로 생성하는 자동 애노테이션부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  3. 제2항에 있어서,
    상기 자동 애노테이션부는,
    상기 딥러닝 판독부가 사용할 판독모델을 선택하고, 애노테이션되지 않은 영상이미지를 상기 딥러닝 판독부에 입력하여 객체정보를 판독하게 하고 영상이미지와 객체정보를 기반으로 학습데이터를 생성하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  4. 제1항에 있어서,
    상기 학습데이터 생성부는,
    상기 수동 애노테이션부, 상기 자동 애노테이션부 중 하나 이상을 사용하여 생성된 학습데이터에서 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 이미지 증강부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  5. 제1항에 있어서,
    상기 딥러닝 학습부는,
    딥러닝 알고리즘에 학습데이터를 입력하고 객체에 대한 딥러닝 학습을 수행하여 학습모델을 생성하는 영상 학습부;
    상기 영상 학습부에 학습데이터의 학습시작 시간, 학습 반복횟수 중 하나 이상의 학습 스케줄을 설정하여 딥러닝 학습 스케줄을 관리하는 학습 스케줄부;
    상기 영상 학습부가 딥러닝 학습을 통해 학습을 진행되는 상황을 알려주는 학습 모니터링부; 및
    상기 영상 학습부가 딥러닝 학습을 통해 출력한 영상판독 학습모델, 학습에 사용된 학습데이터, 학습에 사용된 딥러닝 알고리즘 중 하나이상의 정보를 관리하는 학습모델 관리부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  6. 제2항에 있어서,
    상기 딥러닝 판독부는, 상기 학습데이터 생성부가 생성한 학습모델, 기존에 객체가 학습된 학습모델 중 하나를 딥러닝 영상판독을 위한 판독모델로 사용하여, 입력되는 영상이미지로부터 객체를 판독하여 상기 자동 애노테이션부에 객체정보를 제공하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  7. 제6항에 있어서,
    상기 딥러닝 판독부는,
    영상 학습부가 생성한 학습모델을 영상판독을 위한 판독모델로 선택하고 영상이미지를 입력받아 영상이미지상에서 학습된 객체정보를 판독하는 영상 판독부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  8. 제6항에 있어서,
    상기 딥러닝 판독부는상기 영상 판독부의 판독률을 자동으로 평가하기 위한 테스트 데이터를 등록하고, 테스트 데이터에 포함된 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 관리하는 테스트세트 관리부;
    상기 테스트세트 관리부가 관리하는 테스트 데이터의 입력을 받아 영상판독부가 영상판독을 통해 테스트 데이터의 영상이미지에서 객체정보를 판독한 결과와 테스트 데이터에 등록된 객체정보를 비교하여 판독률을 자동으로 측정하는 판독률 측정부;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템.
  9. 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법에 있어서,
    학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제1단계;
    딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계; 및
    딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법.
  10. 제9항에 있어서
    상기 학습데이터 생성부가 학습시킬 객체를 선정하여 등록하고 학습에 필요한 영상이미지를 수집하여 영상이미지상에 객체정보를 표시하는 애노테이션을 진행하여 학습데이터를 생성하는 제2단계에서,
    수동 애노테이션부가 학습시킬 객체를 선정하고 선정된 객체가 포함된 영상이미지를 수집하고 분류하여 애노테이션을 위한 사전준비를 하는 단계;
    수동 애노테이션부가 사전 준비된 영상이미지상에 객체종류, 객체개수, 객체영역 중 하나이상을 포함한 객체정보를 표시하여 애노테이션한 학습데이터를 생성하는 단계; 및
    이미지증강부가 상기 학습데이터의 애노테이션된 객체영역을 스케일링(Scaling), 크기조정(Resizing), 위치변경(Translation), 회전(Rotation), 뒤집기(Flipping), 원근법 변환(Perspective Transform), 잡음(Noise), 조도 변경(Lighting condition), 배경 및 스타일 변경 중 하나 이상을 사용하여 학습데이터를 증강하는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법.
  11. 제9항에 있어서,
    상기 딥러닝 학습부가 상기 학습데이터를 입력으로 딥러닝 알고리즘을 사용하여 학습을 진행하고 학습을 통해 영상 판독에 사용할 학습모델을 생성하는 제2단계에서,
    학습스케줄부가 학습할 학습데이터, 학습반복횟수를 선택하여 영상학습부를 통해 딥러닝 학습을 진행 단계; 및
    학습모니터링부가 영상학습부를 통해 학습이 정상적으로 진행되는 모니터링하고 그 결과를 모니터에 표시해 주는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법.
  12. 제9항에 있어서,
    상기 딥러닝 판독부가 상기 학습모델을 판독모델로 선정하여 입력된 영상이미지에 대한 영상판독을 진행하고 판독을 통해 얻은 객체정보를 자동 애노테이션부에 전달하여 학습데이터를 생성하는 제3단계에서,
    영상 판독부가 학습된 판독모델을 사용하여 애노테이션되지 않은 영상이미지를 영상 판독하여 영상이미지상의 객체종류, 객체개수, 객체영역 중 하나 이상을 포함한 객체정보를 생성하는 단계; 및
    자동 애노테이션부가 딥러닝 판독부가 생성한 객체정보와 판독에 사용된 영상이미지를 사용하여 학습데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법.
  13. 제9항에 있어서,
    인공지능 영상판독 딥러닝 학습을 위한 수동자동 애노테이션 학습데이터 생성할 때 자동 애노테이션의 성능을 높이기 위해 테스트 데이터를 사용해 영상판독률을 자동으로 측정하고 테스트 데이터를 업데이트하기 위해,
    테스트세트 관리부가 영상 판독률 테스트를 위해 영상이미지와 영상이미지상의 객체정보를 사전에 테스트 데이터로 등록하여 관리하는 단계;
    판독률 측정부가 테스트세트 관리부의 테스트 데이터를 입력받아 영상판독부가 판독한 객체정보와 테스트 데이터에 포함된 객체정보를 비교하여 판독모델을 자동으로 측정하는 단계; 및
    영상판독부가 영상판독에 실패한 영상이미지를 테스트세트 관리부에 전달하여 영상이미지와 영상이미지상의 객체정보를 테스트 데이터로 등록하여 관리하는 단계를 포함하는 것을 특징으로 하는 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 방법.
KR1020180171875A 2018-12-28 2018-12-28 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법 Active KR102859525B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171875A KR102859525B1 (ko) 2018-12-28 2018-12-28 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171875A KR102859525B1 (ko) 2018-12-28 2018-12-28 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200087310A true KR20200087310A (ko) 2020-07-21
KR102859525B1 KR102859525B1 (ko) 2025-09-16

Family

ID=71832714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171875A Active KR102859525B1 (ko) 2018-12-28 2018-12-28 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102859525B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215899B1 (ko) * 2020-08-18 2021-02-16 그린캣소프트(주) 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치
KR20220019432A (ko) * 2020-08-10 2022-02-17 국방과학연구소 물체인식 학습용 이미지 데이터 증강 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20220030680A (ko) 2020-09-03 2022-03-11 (주)아크릴 인공지능 비전문가를 위한 인공지능 서비스 제공 시스템 및 방법
KR102393801B1 (ko) 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR20220094066A (ko) * 2020-12-28 2022-07-05 주식회사 마크애니 노이즈를 이용한 학습 데이터 증강 방법 및 장치
KR102419579B1 (ko) 2021-12-27 2022-07-11 주식회사 딥노이드 지적 재산권 침해 여부를 판별하기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
WO2022239977A1 (ko) * 2021-05-10 2022-11-17 현대자동차주식회사 M2m 시스템에서 데이터를 증강하기 위한 방법 및 장치
KR20230030259A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
KR20240013924A (ko) * 2022-07-21 2024-01-31 한국전력공사 전력설비 결함 진단 시스템 및 방법
KR20240059088A (ko) * 2022-10-27 2024-05-07 미소에이스 주식회사 디스플레이 제조 설비의 위치 결정 장치 및 방법
US12026231B2 (en) 2020-11-06 2024-07-02 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Burr Settles, "Active Learning Literature Survey," Computer Sciences Technical Report 1648, University of Wisconsin-Madison (2009.01.09.)* *
Connor Shorten, and Taghi M. Khoshgoftaar, "A survey on Image Data Augmentation for Deep Learning," Journal of Big Data (2019.07.06.)* *
Luke Taylor, and Geoff Nitschke, "Improving Deep Learning with Generic Data Augmentation," 2018 IEEE Symposium Series on Computational Intelligence (SSCI) (2018.11.18.)* *
Michael Desmond et al., "Semi-Automated Data Labeling," NeurIPS 2020 Competition and Demonstration Track (2020.12.06.)* *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220019432A (ko) * 2020-08-10 2022-02-17 국방과학연구소 물체인식 학습용 이미지 데이터 증강 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102215899B1 (ko) * 2020-08-18 2021-02-16 그린캣소프트(주) 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치
KR20220030680A (ko) 2020-09-03 2022-03-11 (주)아크릴 인공지능 비전문가를 위한 인공지능 서비스 제공 시스템 및 방법
US12026231B2 (en) 2020-11-06 2024-07-02 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor
KR20220094066A (ko) * 2020-12-28 2022-07-05 주식회사 마크애니 노이즈를 이용한 학습 데이터 증강 방법 및 장치
US12598450B2 (en) 2021-05-10 2026-04-07 Hyundai Motor Company Method and device for augmenting data in M2M system
WO2022239977A1 (ko) * 2021-05-10 2022-11-17 현대자동차주식회사 M2m 시스템에서 데이터를 증강하기 위한 방법 및 장치
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR20230030259A (ko) * 2021-08-25 2023-03-06 금오공과대학교 산학협력단 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
KR102393801B1 (ko) 2021-12-27 2022-05-03 주식회사 딥노이드 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR102419579B1 (ko) 2021-12-27 2022-07-11 주식회사 딥노이드 지적 재산권 침해 여부를 판별하기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
KR20240013924A (ko) * 2022-07-21 2024-01-31 한국전력공사 전력설비 결함 진단 시스템 및 방법
KR20240059088A (ko) * 2022-10-27 2024-05-07 미소에이스 주식회사 디스플레이 제조 설비의 위치 결정 장치 및 방법

Also Published As

Publication number Publication date
KR102859525B1 (ko) 2025-09-16

Similar Documents

Publication Publication Date Title
KR20200087310A (ko) 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법
CN116959099B (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN109886153B (zh) 一种基于深度卷积神经网络的实时人脸检测方法
KR102503116B1 (ko) 인공지능 머신러닝 학습을 위한 데이터셋 자동 생성 장치와 그의 제어 방법
KR102762939B1 (ko) 수술용 트레이와 그 위에 포함된 아이템의 동적 식별을 위한 시스템 및 방법
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
CN109782902A (zh) 一种操作提示方法及眼镜
CN110136101A (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
CN109934182A (zh) 对象行为分析方法、装置、电子设备及计算机存储介质
CN114303117B (zh) 使用离轴相机的眼睛跟踪和注视估计
WO2023007958A1 (ja) データ作成装置、記憶装置、データ処理システム、データ作成方法、及びプログラム
CN119004195B (zh) 基于姿势识别的智能投影方法、系统、介质及程序产品
CN119048854A (zh) 基于图像识别和自然语言处理的文物分类鉴定系统及方法
CN120997886B (zh) 基于注意力机制的视觉-文本跨模态大熊猫行为识别方法
KR20210019182A (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
Yang et al. A serial dual-channel library occupancy detection system based on Faster RCNN
CN120126187A (zh) 一种遮挡感知笼养鸡检测方法
JP2020086716A (ja) 画像表示装置、学習装置、撮像システム、画像表示方法、および学習方法
CN109711467A (zh) 数据处理装置及方法、计算机系统
Cai et al. Sheep face detection and disease prevention based on convolutional neural network
CN117894057B (zh) 用于情感障碍辅助诊断的三维数字人脸处理方法与装置
CN118506146B (zh) 高识别准确率的黑色烟雾识别及展示方法
Irhamsyah et al. Real time chest X-ray interpretation applying vision transformer for tuberculosis detection
CN121565453A (zh) 一种基于多模态混合模型的学龄前儿童变应性鼻炎筛查方法及装置
CN121767563A (zh) 学生群体心理状态的动态可视化方法、装置、设备及介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

F11 Ip right granted following substantive examination

Free format text: ST27 STATUS EVENT CODE: A-2-4-F10-F11-EXM-PR0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)