KR20200079013A - 상관필터를 이용한 공중표적 추적방법 및 그 시스템 - Google Patents

상관필터를 이용한 공중표적 추적방법 및 그 시스템 Download PDF

Info

Publication number
KR20200079013A
KR20200079013A KR1020180168461A KR20180168461A KR20200079013A KR 20200079013 A KR20200079013 A KR 20200079013A KR 1020180168461 A KR1020180168461 A KR 1020180168461A KR 20180168461 A KR20180168461 A KR 20180168461A KR 20200079013 A KR20200079013 A KR 20200079013A
Authority
KR
South Korea
Prior art keywords
frame
tracking
information
feature information
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180168461A
Other languages
English (en)
Other versions
KR102190297B1 (ko
Inventor
선선구
이의혁
조병래
이정수
신완순
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020180168461A priority Critical patent/KR102190297B1/ko
Publication of KR20200079013A publication Critical patent/KR20200079013A/ko
Application granted granted Critical
Publication of KR102190297B1 publication Critical patent/KR102190297B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시 예는, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계를 포함하는 상관필터를 이용한 공중표적 추적방법을 개시한다.

Description

상관필터를 이용한 공중표적 추적방법 및 그 시스템 {Method for tracking air-targets using correlation filter and system thereof}
본 발명은 상관필터를 이용한 공중표적 추적방법 및 그 시스템에 관한 발명으로서, 보다 구체적으로는, 공중표적의 움직임의 변화가 크거나, 장시간 공중표적을 추적하는 경우에 추적오차가 점점 커지는 현상을 해소하기 위한 상관필터를 이용한 공중표적 추적방법 및 그 시스템에 관한 것이다.
최근 영상에 포함되어 있는 이동물체에 대한 추적 방법 중에서 높은 추적 성능을 나타내는 방법으로서, 상관필터인 KCF(Kernelized Correlation Filter) 또는 MOSSE(Minimum Output Sum of Squared Error)필터를 사용하여 추적기를 구현하는 방법이 있다.
도 1은 종래에 알려진 방법에 따라서 공중표적을 추적하는 방법의 일 예의 흐름도를 도시한 도면이다.
설명의 편의를 위해서, 이하에서는, 종래에 알려진 방법에 따라서 공중표적을 추적하는 방법을 구현하는 시스템을 구시스템으로 호칭하기로 한다.
먼저, 구시스템은 영상의 제2프레임으로부터 셀을 기반으로 특징정보를 추출한다(S110).
이어서, 구시스템은 추출된 특징정보를 패스트 푸리에 트랜스폼(FFT)으로 주파수영역으로 변환한다(S120).
구시스템은 제2프레임의 특징정보에 제1프레임의 특징정보를 부가한다(S130). 여기서, 특징정보의 부가는 주파수 영역에서의 연산으로서 컨볼루션(convolution)연산으로 처리될 수 있다.
구시스템은 제1프레임의 특징정보가 부가된 제2프레임의 특징정보에 인버스 패스트 푸리에 트랜스폼을 적용한다(S140).
구시스템은 상관필터기반 추적기로 영상데이터의 셀 별로 신뢰도를 산출한다(S150).
구시스템은 셀 위치를 픽셀 위치로 변환하여 추적점을 추정하고(S160), 추정된 추점점을 출력하고 추정된 추적점을 다음 프레임의 특징정보에 부가한다(S170).
위와 같이, 종래의 방법에 따라서 상관필터를 이용하여 추적기를 구현하는 경우, 움직임의 변화가 크지 않고, 단시간동안 공중표적(air-targets)을 추적할 때에는 큰 오차 없이 동작하지만, 추적 시간이 길어지거나, 추적 중 표적의 형상변경이 심할 경우, 또는 장애물등으로 인해 표적의 가려짐이 생길 경우에 추적하는 도중에 드리프트(drift: 추적 오차가 점차 커지는 현상)가 발생하여, 최종적으로 추적을 실패하는 문제점이 있다.
또 다른 한계점으로서, 상관필터 기반의 추적기는 추적 정확도가 셀의 크기에 따라 한 픽셀에서 수 픽셀의 정확도를 가져서 정교하고 지속적인 추적이 어려운 점이 있다.
1. 대한민국 등록특허공보 제10-1837407호 (2018.03.12 공고) 2. 대한민국 공개특허공보 제10-2011-0113948호 (2011.10.19 공개) 3. 대한민국 등록특허공보 제10-1394164호 (2014.05.16 공고)
본 발명이 해결하고자 하는 기술적 과제는 공중표적을 장기간 추적하거나, 잦은 움직임을 보이는 공중표적을 추적함에 있어서 드리프트 현상을 최소화하고 높은 추적정밀도를 갖는, 상관필터를 이용한 공중표적 추적방법 및 그 추적시스템을 제공하는 데에 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 방법은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 방법은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 실시 예에 따른 방법은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계;상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계; 및 상기 산출된 신뢰도의 최대값이 상기 제1임계값보다 더 크거나 상기 제1임계값과 같으면, 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 시스템은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 및 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 시스템은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 및 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 일 실시 예에 따른 시스템은, 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부; 상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부; 상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리부; 및 상기 산출된 신뢰도의 최대값이 상기 제1임계값보다 더 크거나 상기 제1임계값과 같으면, 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정부를 포함한다.
본 발명의 일 실시 예는 상기 방법을 구현시키기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체를 제공할 수 있다.
본 발명에 따르면, 공중표적 형상의 변화가 클 경우, 클러터에 의한 표적 가림이 발생할 경우 및 추적 시간이 길 경우에 상관필터 기반의 추적기에서 추적점 드리프트가 발생하는 현상을 최소화할 수 있다.
또한, 본 발명에 따르면, 상관필터 기반의 추적기의 추적정밀도 향상을 위해 2차보간법(quadratic interpolation)을 이용하여 추적결과를 서브픽셀 수준의 정밀도로 추정할 수 있다.
또한, 본 발명에 따르면, 상관필터에 의한 추적점 추정시 서브픽셀 수준 추적점 추정 방법을 적용하고 추적점으로 추정된 상관필터의 최대 신뢰도가 어느 임계치 미만일 경우 드리프트를 줄이기 위한 임계치설정법을 동시에 적용하여 추적 정밀도를 더욱 향상시킬 수 있다.
그 외에도, 본 발명에서는 상관필터 및 영상데이터를 특별히 한정하지 않으므로, 모든 상관필터 기반 추적기에 응용가능하고, 영상센서(가시광센서, IR, SWIR 등)의 종류에도 제한받지 않는다.
도 1은 종래에 알려진 방법에 따라서 공중표적을 추적하는 방법의 일 예의 흐름도를 도시한 도면이다.
도 2는 본 발명에 따른 공중표적 추적시스템의 일 예의 블록도를 도시한 도면이다.
도 3은 극대점추정부가 2차보간법을 수행하여 추적점을 결정하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 추적방법의 일 예의 흐름도를 도시한 도면이다.
도 5는 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.
도 6은 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.
도 7은 공중표적을 추적하는 상황에서 드리프트 현상에 의해서 공중표적에 대한 추적에 실패한 경우의 일 예를 도식적으로 나타낸 도면이다.
도 8은 공중표적을 추적하는 상황에서 본 발명에 따라 드리프트 현상이 최소화되면서 공중표적에 대한 추적에 성공한 경우의 일 예를 도식적으로 나타낸 도면이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 2는 본 발명에 따른 공중표적 추적시스템의 일 예의 블록도를 도시한 도면이다.
도 2를 참조하면, 본 발명에 따른 공중표적 추적시스템(200)은 특징정보추출부(210), 특징정보부가부(230), 신뢰도산출부(250), 임계값비교처리부(270) 및 극대점추정부(290)를 포함하는 것을 알 수 있다. 실시 예에 따라서, 임계값비교처리부(270) 및 극대점추정부(290) 중 어느 하나는 생략될 수도 있다.
또한, 본 발명에 따른 공중표적 추적시스템(200)에 포함되는 특징정보추출부(210), 특징정보부가부(230), 신뢰도산출부(250), 임계값비교처리부(270) 및 극대점추정부(290)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 특징정보추출부(210), 특징정보부가부(230), 신뢰도산출부(250), 임계값비교처리부(270) 및 극대점추정부(290)는 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
특징정보추출부(210)는 영상데이터로부터 적어도 하나 이상의 픽셀을 포함하는 셀을 기반으로 제2프레임에서의 특징정보를 추출한다. 영상데이터는 유선 또는 무선으로 연결되어 있는 카메라(미도시)로부터 수신되는 영상데이터일 수도 있고, 검증용으로 데이터베이스(미도시)에 미리 저장되어 있던 영상데이터일 수도 있다. 영상데이터는 촬영장치의 기본적인 성능에 따라 보장되는 해상도로 촬영된 일반적인 데이터로서, 정지영상이 아니라 복수의 프레임으로 구성되어 있는 동영상을 의미한다. 여기서, 제2프레임은 영상데이터를 구성하는 여러 가지 프레임 중에서 특정한 프레임을 지칭하는 것으로서, 후술하는 제1프레임보다 시간적으로 이후에 위치하는 프레임이라는 의미로 "제2"라는 수식어를 포함한다.
영상데이터는 영상을 촬영하는 카메라에 의해 생성되는 데이터로서, 그 카메라의 고유한 성능 및 그 카메라를 사용하는 사용자의 임의의 설정값에 따라서 해상도가 미리 결정되는 정보이다. 예를 들어, 영상데이터가 640*480 해상도로 촬영되었다면, 그 영상데이터는 307,200개의 픽셀(pixel)로 구성된 영상데이터로 볼 수 있다. 셀(cell)은 적어도 하나 이상의 픽셀(pixel)을 포함하는 군집단위로서, 후술하는 일련의 과정이 빠르게 처리될 수 있도록 적어도 하나의 픽셀을 포함한다.
특징정보추출부(210)는 영상데이터를 복수의 셀로 구분한 후에 특징점을 추출하는 방식으로, 영상데이터로부터 특징정보를 추출할 수 있으며, 추출된 특징정보를 연산하기 용이한 주파수영역의 정보로 변환할 수 있다. 일 예로서, 특징정보추출부(210)는 영상데이터의 특징정보를 추출한 후, 패스트 푸리에 변환(FFT)을 통해서 특징정보를 주파수영역에 대한 정보로 가공할 수 있다.
특징정보부가부(230)는 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 추적점정보가 존재하면 특징정보에 추적점정보를 부가한다. 여기서, 제1프레임은 제2프레임보다 더 이전 시점에 대한 프레임을 의미하는 것으로서, 제2프레임보다 더 먼저 위치하고 있는 프레임을 통칭한다. 제1프레임은 특정한 고정된 시점의 프레임 하나를 의미할 수도 있고, 제2프레임의 시점보다 더 앞선 몇 개의 시점의 프레임들을 총칭할 수도 있다. 예를 들어, 제2프레임이 고정된 t시점에서의 프레임이라면 제1프레임은 t-1시점에서의 프레임이 될수도 있고, t-4시점부터 t-1시점까지의 프레임들을 모두 의미할 수도 있다. 위와 같은 정의에 따라서, 제1프레임에서의 추적점정보 또한, t-4시점부터 t-1시점까지의 프레임들의 추적점정보를 각각 구해서 가중치합(weighted sum)을 한 값일 수도 있다.
특징정보부가부(230)는 제1프레임에서의 추적점정보가 존재하면, 제2프레임의 특징정보에 추적점정보를 부가한다. 제2프레임에서의 특징정보가 패스트 푸리에 변환에 의해서 주파수영역에 대한 정보라면, 제1프레임에서의 추적점정보도 같은 영역의 정보로서 부가될 수 있다. 주파수영역에서의 연산과정에 대해서는 널리 알려져 있는 방법에 의하므로, 이하에서는 생략하기로 한다.
신뢰도산출부(250)는 추적점정보가 부가된 특징정보를 상관필터 기반 추적기로 추적하여 특징정보의 신뢰도를 셀 별로 산출한다.
선택적 일 실시 예로서, 상관필터는 한 개의 셀에 가로 4개, 세로 4개의 픽셀을 포함하는 것으로 설정된 KCF(Kernelized Correlation Filter)일 수 있다. 또한, 다른 선택적 일 실시 예로서, 상관필터는 한 개의 셀에 한 개의 픽셀을 포함하는 것으로 설정된 MOSSE(Minimum Output Sum of Squared Error)필터일 수도 있다.
신뢰도산출부(250)는 제2프레임에서의 특징정보를 구성하는 모든 셀에 대해서 신뢰도를 산출하고 나서, 산출된 셀 별 신뢰도를 후술하는 임계값비교처리부(270) 또는 극대점추정부(290)에 전달하게 된다. 또한, 신뢰도산출부(250)는 특징정보부가부(230)에서 수행된 패스트푸리에 변환을 해제하기 위한 역패스트 푸리에 변환(IFFT)을 수행할 수 있다. 패스트 푸리에 변환 및 역패스트 푸리에 변환은 종래에 알려진 방법이므로, 이에 대한 구체적인 설명은 생략하기로 한다.
임계값비교처리부(270)는 신뢰도산출부(250)가 산출한 셀 별 신뢰도를 수신하고, 그 중에서 가장 최대값을 파악한다. 임계값비교처리부(270)는 신뢰도의 최대값이 기설정된 제1임계값(first threshold value)보다 더 작으면, 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 제2프레임에서의 추적점을 결정한다. 여기서, 제1임계값은 실험적, 경험적, 수학적으로 결정된 값으로서, 임계값비교처리부(270)에 미리 저장되어 있는 값으로 정의된다.
임계값비교처리부(270)는 신뢰도의 최대값이 산출된 셀을 파악한 후, 셀에 포함되어 있는 픽셀 중에서 최대값의 신뢰도에 해당하는 픽셀을 특정한다. 임계값비교처리부(270)는 그 픽셀을 중심으로 일정한 범위를 지정하여, 관심영역으로 설정한다. 임계값비교처리부(270)는 설정된 관심영역을 기설정된 제2임계값(second threshold value)을 기초로 하여 추가적으로 분석함으로써, 제2프레임에서의 추적점을 결정할 수 있다. 여기서, 제2임계값은 제1임계값과 마찬가지로, 실험적, 경험적, 수학적으로 결정된 값으로서, 임계값비교처리부(270)에 미리 저장되어 있는 값이다.
임계값비교처리부(270)가 결정하는 제2프레임에서의 추적점이란, 본 발명에 따른 시스템이 제2프레임에 해당하는 시점에서 공중표적이 영상데이터의 제2프레임 구간에서 그 추적점의 위치에 존재하는 것으로 추정하는 위치를 의미한다. 즉, 본 발명에 따른 시스템이 동작하기에 앞서, 제1프레임의 시점에서 공중표적이 어디에 위치하고 있는지 본 발명에 따른 추적시스템(200)은 파악한 상태에서, 제2프레임의 시점에서 공중표적이 어디에 위치하고 있는지 알 수 없으므로, 이를 추정한 값이 제2프레임의 추적점이 된다. 본 발명에 따른 시스템에 의해서, 제2프레임에서의 추적점이 올바르게 추정되는 것이 반복된다면, 종래의 기술과 달리 드리프트(drift)가 발생되지 않고, 공중표적을 정확하게 추적(tracking)할 수 있게 된다. 본 발명에 따른 가시적인 효과에 대해서는 도 7 및 도 8을 통해 후술하기로 한다.
선택적 일 실시 예로서, 임계값비교처리부(270)는 제2프레임에서의 추적점을 선정하기 위해서 다음와 같은 과정을 거칠 수 있다.
먼저, 임계값비교처리부(270)는 셀 별로 신뢰도가 산출되고 나면, 최대값의 신뢰도를 갖는 셀을 파악하고, 셀에 포함되어 있는 픽셀을 중심으로 관심영역을 설정한다.
이어서, 임계값비교처리부(270)는 제2프레임의 영상데이터에서, 관심영역으로 설정된 부분의 정규화(normalization)를 수행하고, 제2임계값을 기준으로 이진화(binarization)를 수행한다.
임계값비교처리부(270)는 제2임계값을 기준으로 이진화처리된 관심영역에 대해서 닫기(closing)연산을 수행한다. 닫기 연산은 형태학(morphology) 연산방식의 일종으로서, 팽창(dilation)을 적용하여 결과를 얻은 후에 축소(erosion)를 적용하는 과정을 거치는 특징이 있다. 이 때, 임계값비교처리부(270)는 구조요소(structure element)로서, 5*5 정사각형을 이용할 수 있다.
임계값비교처리부(270)에 의해 닫기 연산이 수행되면, 분리된 물체를 채워주는 효과가 발생되지만, 물체의 원래크기는 보존되므로, 관심영역에서 공중표적을 식별하기가 보다 더 용이해지는 효과가 있다.
임계값비교처리부(270)는 닫기 연산이 수행되면, 오브젝트 라벨링(object labeling)을 수행하고, 최대크기를 갖는 오브젝트를 선정하게 된다. 최종적으로 임계값비교처리부(270)는 그 선정된 오브젝트를 에어싸고 있는 사각형의 중심을 추적점으로 선정한다.
위와 같이, 임계값비교처리부(270)는 제1임계값에 의해 관심영역으로 설정된 부분을 제2임계값을 기초로 일련의 과정을 거쳐서 제2프레임의 추적점을 선정할 수 있으며, 위와 같은 과정을 거치게 되면, 공중표적의 속도나 추적시간의 길이와 상관없이 공중표적 추적율이 극대화되고, 드리프트 현상이 발생되지 않는다.
전술한 예와 또 다른 선택적 일 실시 예로서, 신뢰도산출부(250)로부터 최대값의 신뢰도를 전달받은, 극대점추정부(290)는 2차보간법을 기초로 하여 제2프레임에서의 추적점을 추정할 수도 있다.
보다 구체적으로, 극대점추정부(290)는 2차보간법(quadratic interpolation)을 수행한 결과로서, 영상데이터의 제2프레임의 특징정보의 신뢰도의 극대점을 추정하고, 추정된 극대점을 기초로 하여 제2프레임에서의 추적점을 결정할 수 있다. 본 선택적 일 실시 예에 따라서, 제2프레임에서의 추적점이 결정되는 경우, 임계값비교처리부(270)는 추적시스템(200)에서 생략될 수 있다.
도 3은 극대점추정부가 2차보간법을 수행하여 추적점을 결정하는 과정을 설명하기 위한 도면이다.
먼저, 신뢰도산출부(250)에 의해서, 영상데이터의 제2프레임에서의 특징정보가 상관필터 기반의 추적기에 의해 추적되어, 셀 별로 신뢰도가 산출되었다고 가정하고, 상관필터로서 KCF가 사용되었다고 가정한다. 여기서, KCF는 한 개의 셀에 가로 4개, 세로 4개의 픽셀을 포함하는 것으로 설정되어 있고, 도 3에서는 설명의 편의를 위해서, 최대 신뢰도 기준 위치와 그 기준 위치의 주변의 8개의 셀들만이 표현된 것으로 본다.
극대점추정부(290)는 신뢰도산출부(250)로부터 신뢰도가 최대값인 셀에 대한 정보를 전달받는다. 도 3에서 신뢰도가 최대값인 셀의 좌표는 (x0, y0)이라고 가정한다. 극대점추정부(290)는 신뢰도가 최대값인 셀(이하, "대상셀")의 좌표가 파악되면, 그 셀 및 그 셀에 인접해있는 셀들의 좌표를 이용하여, 2차보간법을 수행한다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
수학식 1 내지 수학식 6은 극대점추정부(290)가 2차보간법을 수행하는 과정에서 사용하는 수학식을 의미한다. 수학식 1 내지 수학식 6에서, x0는 대상셀의 x좌표, xp는 대상셀의 x좌표보다 1만큼 큰 x좌표, xm은 대상셀의 x좌표보다 1만큼 작은 x좌표,
Figure pat00007
x는 대상셀의 x좌표에 보정되는 x변화량, xe는 해당 픽셀에서의 신뢰도의 극대점으로서, 대상셀의 x좌표에 보정되는 x변화량인
Figure pat00008
x을 더한 x좌표를 의미한다. 전술한 예시에서, xe는 픽셀 내부에서의 좌표값이므로, 서브픽셀(sub-pixel)수준의 보정이라고 볼 수 있으며, 소숫점으로 좌표가 표현될 수 있다.
마찬가지로, 수학식 1 내지 수학식 6에서, y0는 대상셀의 y좌표, yp는 대상셀의 y좌표보다 1만큼 큰 y좌표, ym은 대상셀의 y좌표보다 1만큼 작은 y좌표,
Figure pat00009
y는 대상셀의 y좌표에 보정되는 y변화량, ye는 해당 픽셀에서의 신뢰도의 극대점으로서, 대상셀의 y좌표에 보정되는 y변화량인
Figure pat00010
y을 더한 y좌표를 의미한다. 또한, 수학식 3 및 수학식 6에서, (Xp, Yp)는 이전 프레임인 제1프레임에서의 추적점이고, (Xc, Yc)는 현재 프레임인 제2프레임에서의 추적점을 의미하고, c1은 한 셀에서의 픽셀 수이므로, 본 선택적 일 실시 예에서는 4가 된다.
결국, 극대점추정부(290)는 전술한 수학식 1 내지 수학식 6을 기초로 하여, 2차보간법을 수행함으로써, 제2프레임에서의 추적점인 (Xc, Yc)을 추정해낼 수 있고, 그 추적점은 x좌표 및 y좌표에서의 신뢰도의 극대점이 반영된 값이라고 볼 수 있다.
또 다른 선택적 일 실시 예로서, 본 발명에 따른 추적시스템(200)은 전술한 임계값비교처리부(270) 및 극대점추정부(290)를 모두 포함할 수도 있다. 본 발명에 따른 추적시스템(200)에 포함된 신뢰도산출부(250)가 제2프레임의 특징정보의 신뢰도를 셀 별로 산출하고 나면, 임계값비교처리부(270)는 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작은 경우에 한해, 관심영역을 설정하고 제2임계값을 기초로 제2프레임에서의 추적점을 결정할 수 있고, 신뢰도의 최대값이 기설정된 제1임계값보다 더 크거나, 제1임계값과 동일할 경우에는 극대점추정부(290)가 2차보간법을 이용하여, 제2프레임에서의 추적점을 산출할 수 있다.
본 선택적 일 실시 예에 따르면, 상관필터에 의한 추적점 추정시 서브픽셀 수준의 추적점 추정 방법을 적용하고, 추적점으로 추정된 상관필터의 최대 신뢰도가 제1임계값미만일 경우, 드리프트를 줄이기 위한 방법을 이용함으로써, 공중표적에 대한 추적 정밀도를 현저하게 향상시킬 수 있게 된다.
도 4는 본 발명에 따른 추적방법의 일 예의 흐름도를 도시한 도면이다.
도 4는 도 2에 따른 추적시스템(200)에 의해 구현될 수 있으므로, 이하에서는 도 2를 참조하여 설명하기로 하며, 도 2에서 설명한 내용과 중복되는 설명은 생략하기로 한다.
특징정보추출부(210)는 영상데이터의 제2프레임으로부터 셀을 기반으로 특징정보를 추출한다(S410). 이어서, 특징정보추출부(210)는 추출된 특징정보를 FFT를 이용하여 주파수영역으로 변환한다(S420).
특징정보부가부(230)는 제2프레임의 특징정보에 제1프레임의 특징정보를 부가한다(S430).
특징정보부가부(230)는 제1프레임의 특징정보가 부가된 제2프레임의 특징정보에 IFFT를 적용한다(S440).
신뢰도산출부(250)는 상관필터기반 추적기로 셀 별로 신뢰도를 산출한다(S450).
임계값비교처리부(270)는 신뢰도의 최대값이 제1임계값보다 작은지 여부를 판단하고(S460), 신뢰도의 최대값이 제1임계값보다 작지 않으면, 셀 위치를 픽셀위치로 변환하여 추적점을 추정한다(S470). 단계 S470은 배경기술에서 설명한 단계 S160과 동일한 과정을 통해 진행된다.
임계값비교처리부(270)는 신뢰도의 최대값이 제1임계값 미만이라면, 신뢰도의 크기를 기준으로 관심영역을 설정한 후, 제2임계값을 기초로 하는 임계값설정방법을 통해서 추적점을 결정하게 된다(S480).
임계값비교처리부(270)는 추정된 추적점을 출력하고, 추정된 추적점이 다음 프레임(제3프레임)의 추적점정보로서 부가될 수 있도록 처리한다(S490). 여기서, 제3프레임은 제2프레임의 다음 프레임을 의미한다.
도 5는 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.
도 5는 도 2에 따른 추적시스템(200)에 의해 구현될 수 있으므로, 이하에서는 도 2를 참조하여 설명하기로 하며, 도 2에서 설명한 내용과 중복되는 설명은 생략하기로 한다.
특징정보추출부(210)는 영상데이터의 제2프레임으로부터 셀을 기반으로 특징정보를 추출하고(S510), 추출된 특징정보를 FFT를 이용하여 주파수영역으로 변환한다(S520).
특징정보부가부(230)는 제2프레임의 특징정보에 제1프레임의 특징정보를 부가하고(S530), 특징정보부가부(230)는 제1프레임의 특징정보가 부가된 제2프레임의 특징정보에 IFFT를 적용한다(S540).
신뢰도산출부(250)는 상관필터기반 추적기로 셀 별로 신뢰도를 산출한다(S550).
극대점추정부(290)는 서브픽셀 추적점 추정방식을 통해서 추적점을 추정한다(S560). 여기서, 서브픽셀 추적점 추정방식은 전술한 수학식 1 내지 수학식 6을 사용하는 2차보간법을 의미한다.
극대점추정부(290)는 추정된 추적점을 출력하고, 추정된 추적점이 제3프레임의 특징정보에 추적점정보로서 부가될 수 있도록 특징정보부가부(230)에 전달한다.
도 6은 본 발명에 따른 추적방법의 다른 일 예의 흐름도를 도시한 도면이다.
도 6은 도 2에 따른 추적시스템(200)에 의해 구현될 수 있으므로, 이하에서는 도 2를 참조하여 설명하기로 하며, 도 2에서 설명한 내용과 중복되는 설명은 생략하기로 한다.
도 6에서 단계 S610 내지 S650은 전술한 단계 S510 내지 S550와 동일하게 진행된다(S610 내지 S650).
임계값비교처리부(270)는 제2프레임의 셀 별 신뢰도의 최대값이 제1임계값미만인지 판단하고(S660), 제2프레임의 셀 별 신뢰도의 최대값이 제1임계값미만인 경우, 신뢰도의 크기를 기준으로 관심영역을 설정 후, 임계값설정방법을 통해서 추적점을 추정한다(S680).
임계값비교처리부(270)는 제2프레임의 셀 별 신뢰도의 최대값이 제1임계값미만이 아닌 경우, 극대점추정부(290)가 서브픽셀 추적점 추정방식을 통해서 추적점을 추정할 수 있도록 제어한다(S670). 여기서, 서브픽셀 추적점 추정방식은 전술한 수학식 1 내지 수학식 6을 사용하는 2차보간법을 의미한다.
임계값비교처리부(270) 또는 극대점추정부(290)는 추정된 추적점을 출력하고, 추정된 추적점이 다음 프레임(제3프레임)의 추적점정보로서 부가될 수 있도록 처리한다(S490). 여기서, 제3프레임은 제2프레임의 다음 프레임을 의미한다.
도 7은 공중표적을 추적하는 상황에서 드리프트 현상에 의해서 공중표적에 대한 추적에 실패한 경우의 일 예를 도식적으로 나타낸 도면이다.
도 7은, 가시광영상에서 KCF 알고리즘에 의한 추적결과로서, 드리프트가 발생하여 70번째 프레임에서 실제 표적위치와 추적결과가 멀어져있는 것을 도시하고 있다. 도 7의 상단, 가시광영상에서 빨간색 십자선은 추적결과, 빨간색 원은 실제표적, 하늘색 사각형은 추적결과를 중심으로 선택된 표적영역을 의미한다.
도 7의 하단은 드리프트 현상에 의해서 추적결과가 실제 표적의 위치간의 거리편차가 프레임의 숫자가 커지면 커질수록 함께 커지는 것을 직관적으로 나타낸다.
도 8은 공중표적을 추적하는 상황에서 본 발명에 따라 드리프트 현상이 최소화되면서 공중표적에 대한 추적에 성공한 경우의 일 예를 도식적으로 나타낸 도면이다.
도 8은, 가시광영상에서 KCF 알고리즘에 의한 추적결과로서, 드리프트가 최소화되면서 660번째 프레임에서도 실제 표적위치와 추적결과가 거의 일치하는 것을 도시하고 있다. 도 8의 상단, 가시광영상에서 빨간색 십자선이 실제표적의 중심과 큰 오차없이 중첩되어 나타나는 것을 알 수 있다.
도 8의 하단은 드리프트 현상이 최소화됨에 따라서, 추적결과가 실제 표적의 위치간의 거리편차가 프레임의 숫자가 커지더라도 일정한 범위내에서 진동하는 것을 직관적으로 나타낸다.
본 발명에 따르면, 공중표적 형상의 변화가 클 경우, 클러터에 의한 표적 가림이 발생할 경우 및 추적 시간이 길 경우에 상관필터 기반의 추적기에서 추적점 드리프트가 발생하는 현상을 최소화할 수 있다.
또한, 본 발명에 따르면, 상관필터 기반의 추적기의 추적정밀도 향상을 위해 2차보간법(quadratic interpolation)을 이용하여 추적결과를 서브픽셀 수준의 정밀도로 추정할 수 있다.
또한, 본 발명에 따르면, 상관필터에 의한 추적점 추정시 서브픽셀 수준 추적점 추정 방법을 적용하고 추적점으로 추정된 상관필터의 최대 신뢰도가 어느 임계치 미만일 경우 드리프트를 줄이기 위한 임계치설정법을 동시에 적용하여 추적 정밀도를 더욱 향상시킬 수 있다.
그 외에도, 본 발명에서는 상관필터 및 영상데이터를 특별히 한정하지 않으므로, 모든 상관필터 기반 추적기에 응용가능하고, 영상센서(가시광센서, IR, SWIR 등)의 종류에도 제한받지 않는다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (13)

  1. 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계;
    상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계;
    상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및
    상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계를 포함하는 상관필터를 이용한 공중표적 추적방법.
  2. 제1항에 있어서,
    상기 상관필터는,
    한 개의 셀에 가로 4개, 세로 4개의 픽셀을 포함하는 것으로 설정된 KCF(Kernelized Correlation Filter)인 것을 특징으로 하는 상관필터를 이용한 공중표적 추적방법.
  3. 제1항에 있어서,
    상기 상관필터는,
    한 개의 셀에 한 개의 픽셀을 포함하는 것으로 설정된 MOSSE(Minimum Output Sum of Squared Error)필터인 것을 특징으로 하는 상관필터를 이용한 공중표적 추적방법.
  4. 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계;
    상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계;
    상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계; 및
    상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정단계를 포함하는 상관필터를 이용한 공중표적 추적방법.
  5. 제4항에 있어서,
    상기 극대점추정단계는,
    상기 2차보간법을 수행한 결과로서, 상기 특징정보의 신뢰도의 극대점을 추정하고, 상기 추정된 극대점을 기초로 상기 제2프레임에서의 추적점을 결정하는 것을 특징으로 하는 상관필터를 이용한 공중표적추적방법.
  6. 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 정보추출단계;
    상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 정보부가단계;
    상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출단계;
    상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리단계; 및
    상기 산출된 신뢰도의 최대값이 상기 제1임계값보다 더 크거나 상기 제1임계값과 같으면, 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정단계를 포함하는 상관필터를 이용한 공중표적 추적방법.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체.
  8. 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부;
    상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부;
    상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 및
    상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리부를 포함하는 상관필터를 이용한 공중표적 추적시스템.
  9. 제8항에 있어서,
    상기 상관필터는,
    한 개의 셀에 가로 4개, 세로 4개의 픽셀을 포함하는 것으로 설정된 KCF(Kernelized Correlation Filter)인 것을 특징으로 하는 상관필터를 이용한 공중표적 추적시스템.
  10. 제8항에 있어서,
    상기 상관필터는,
    한 개의 셀에 한 개의 픽셀을 포함하는 것으로 설정된 MOSSE(Minimum Output Sum of Squared Error)필터인 것을 특징으로 하는 상관필터를 이용한 공중표적 추적시스템.
  11. 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부;
    상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부;
    상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부; 및
    상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정부를 포함하는 상관필터를 이용한 공중표적 추적시스템.
  12. 제11항에 있어서,
    상기 극대점추정부는,
    상기 2차보간법을 수행한 결과로서, 상기 특징정보의 신뢰도의 극대점을 추정하고, 상기 추정된 극대점을 기초로 상기 제2프레임에서의 추적점을 결정하는 것을 특징으로 하는 상관필터를 이용한 공중표적 추적시스템.
  13. 영상데이터로부터 적어도 하나 이상의 픽셀(pixel)을 포함하는 셀(cell)을 기반으로 제2프레임에서의 특징정보를 추출하는 특징정보추출부;
    상기 제2프레임보다 더 이전 시점에 대한 제1프레임에서의 추적점정보가 존재하는지 파악하고, 상기 추적점정보가 존재하면 상기 특징정보에 상기 추적점정보를 부가하는 특징정보부가부;
    상기 추적점정보가 부가된 상기 특징정보를 상관필터 기반 추적기로 추적하여, 상기 특징정보의 신뢰도를 셀별로 산출하는 신뢰도산출부;
    상기 산출된 신뢰도의 최대값이 기설정된 제1임계값보다 더 작으면, 상기 최대값이 산출된 픽셀을 중심으로 관심영역을 설정하고, 상기 설정된 관심영역을 기설정된 제2임계값을 기초로 하여 분석하여 상기 제2프레임에서의 추적점을 결정하는 임계값비교처리부; 및
    상기 산출된 신뢰도의 최대값이 상기 제1임계값보다 더 크거나 상기 제1임계값과 같으면, 상기 추적기로 추적한 결과와 상기 산출된 신뢰도를 기초로 하여 2차보간법(quadratic interpolation)을 수행하여 상기 제2프레임에서의 추적점을 결정하는 극대점추정부를 포함하는 상관필터를 이용한 공중표적 추적시스템.
KR1020180168461A 2018-12-24 2018-12-24 상관필터를 이용한 공중표적 추적방법 및 그 시스템 Active KR102190297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180168461A KR102190297B1 (ko) 2018-12-24 2018-12-24 상관필터를 이용한 공중표적 추적방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168461A KR102190297B1 (ko) 2018-12-24 2018-12-24 상관필터를 이용한 공중표적 추적방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20200079013A true KR20200079013A (ko) 2020-07-02
KR102190297B1 KR102190297B1 (ko) 2020-12-11

Family

ID=71599751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168461A Active KR102190297B1 (ko) 2018-12-24 2018-12-24 상관필터를 이용한 공중표적 추적방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102190297B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937061A1 (en) * 2020-07-07 2022-01-12 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company System and method for detecting and tracking an object
CN116740621A (zh) * 2023-08-14 2023-09-12 中国科学院长春光学精密机械与物理研究所 一种非接触式呼吸检测方法、设备及介质
KR102921823B1 (ko) * 2025-08-14 2026-02-06 주식회사 키프코우주항공 표적 추적 정보 처리 장치, 표적 추적 정보 처리 방법 및 표적 추적 정보 처리하는 프로그램을 저장하는 저장매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222143A (ja) * 1993-12-18 1995-08-18 Eastman Kodak Co 画像間の大域変位の検出方法
KR20110113948A (ko) 2010-04-12 2011-10-19 전남대학교산학협력단 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법
KR20130134163A (ko) * 2012-05-30 2013-12-10 삼성테크윈 주식회사 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
KR101394164B1 (ko) 2013-01-17 2014-05-16 국방과학연구소 영상추적기를 위한 초해상도 기반의 고정밀 영상추적방법 및 이를 이용한 고정밀 영상추적장치
KR101837407B1 (ko) 2017-11-03 2018-03-12 국방과학연구소 영상 기반 표적 추적 장치 및 추적 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222143A (ja) * 1993-12-18 1995-08-18 Eastman Kodak Co 画像間の大域変位の検出方法
KR20110113948A (ko) 2010-04-12 2011-10-19 전남대학교산학협력단 객체집합 갱신을 이용한 평균이동 알고리즘기반의 객체 추적방법
KR20130134163A (ko) * 2012-05-30 2013-12-10 삼성테크윈 주식회사 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
KR101394164B1 (ko) 2013-01-17 2014-05-16 국방과학연구소 영상추적기를 위한 초해상도 기반의 고정밀 영상추적방법 및 이를 이용한 고정밀 영상추적장치
KR101837407B1 (ko) 2017-11-03 2018-03-12 국방과학연구소 영상 기반 표적 추적 장치 및 추적 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937061A1 (en) * 2020-07-07 2022-01-12 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company System and method for detecting and tracking an object
US11961274B2 (en) 2020-07-07 2024-04-16 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company System and method for detecting and tracking an object
US12277744B2 (en) 2020-07-07 2025-04-15 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company System and method for detecting and tracking an object
CN116740621A (zh) * 2023-08-14 2023-09-12 中国科学院长春光学精密机械与物理研究所 一种非接触式呼吸检测方法、设备及介质
CN116740621B (zh) * 2023-08-14 2023-10-31 中国科学院长春光学精密机械与物理研究所 一种非接触式呼吸检测方法、设备及介质
KR102921823B1 (ko) * 2025-08-14 2026-02-06 주식회사 키프코우주항공 표적 추적 정보 처리 장치, 표적 추적 정보 처리 방법 및 표적 추적 정보 처리하는 프로그램을 저장하는 저장매체

Also Published As

Publication number Publication date
KR102190297B1 (ko) 2020-12-11

Similar Documents

Publication Publication Date Title
EP3542304B1 (en) System and method for object tracking
EP3651055B1 (en) Gesture recognition method, apparatus, and device
KR101681538B1 (ko) 영상 처리 장치 및 방법
EP2710554B1 (en) Head pose estimation using rgbd camera
EP2858008B1 (en) Target detecting method and system
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
KR102474837B1 (ko) 전경 추출 방법 및 장치
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
CN108229475A (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
KR20200079013A (ko) 상관필터를 이용한 공중표적 추적방법 및 그 시스템
JP6558831B2 (ja) オブジェクト追跡装置、方法およびプログラム
US20250014190A1 (en) Method and non-transitory computer-readable storage medium for detecting one or more occluded areas of a scene
US11107223B2 (en) Image detection device, image detection method and storage medium storing program
KR101784620B1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
KR20210142518A (ko) 동적 물체 탐지 방법 및 장치
US12511829B2 (en) Map generation apparatus, map generation method, and non-transitory computer-readable medium storing program
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
CN119722738A (zh) 目标跟踪方法和装置
WO2018179119A1 (ja) 映像解析装置、映像解析方法および記録媒体
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
CN113642546B (zh) 一种多人脸跟踪方法及系统
KR20150130032A (ko) 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6