KR20200078843A

KR20200078843A - 객체 추적 장치를 위한 영상 필터

Info

Publication number: KR20200078843A
Application number: KR1020180168101A
Authority: KR
Inventors: 이상설; 이은총; 장성준
Original assignee: 전자부품연구원
Priority date: 2018-12-24
Filing date: 2018-12-24
Publication date: 2020-07-02
Anticipated expiration: 2038-12-24
Also published as: KR102289536B1

Abstract

하드웨어의 복잡도를 줄이고 내부 메모리 공유를 통해 전체 하드웨어 사이즈를 줄이면서 Latency를 최소화 하기 위한 방안으로, 히스토그램 필터를 적용할 때 누적되는 Bin의 개수를 계산하지 않고 미리 계산된 LUT(Look Up Table)를 사용하여 실시간으로 Histogram modeling을 수행하는 하드웨어가 제공된다. 본 발명의 실시예에 따른 히스토그램 필터 모델링 방법은 입력 영상에서 특징 정보를 생성하는 히스토그램 필터 모델을 생성하는 단계; 입력 영상에서의 객체 추적 결과에 따라 히스토그램 필터 모델을 학습하는 단계;를 포함한다.
이에 의해,Histogram을 3차원으로 확장함에 있어 증가하는 메모리 사용량을 50% 감소시킬 수 있고, 연산 복잡도가 높은 나눗셈기를 사용하지 않아 하드웨어의 복잡도 및 Latency가 감소되며, 일부 연산을 LUT로 대체하여 종래 기술에 비해 Histogram modeling 결과의 빠른 획득이 가능하게 된다.

Description

객체 추적 장치를 위한 영상 필터{Image Filter for Object Tracking Device}

본 발명은 비전 영상 처리 및 시스템 SoC 기술에 관한 것으로, 더욱 상세하게는 입력 영상을 이용하여 객체 추적을 위한 알고리즘인 히스토그램 필터(Histogram Filter)의 하드웨어 구조 설계 방법에 관한 것이다.

종래의 기술은 객체 추적을 위해 히스토그램 필터를 적용하는데 있어 3차원 Histogram을 사용하는 경우 보다 정확한 객체의 위치 추정이 가능하다고 되어 있다.

히스토그램 필터는 입력된 8비트 영상을 16개의 Bin으로 분류하고 내부 또는 외부 저장 공간에 저장 한 뒤에 해당 데이터를 불러들여 분류된 Bin의 개수를 업데이트 하는 과정을 전체 영상에 대해 반복 수행한다. 전체 영상에 대한 Bin 카운트가 완료되면 각 Bin의 전체 평균을 계산한다.

그러나 하드웨어의 특성상 Bin 개수 업데이트를 위하여 반복 연산을 수행을 위하여 반복적으로 내/외부 저장 공간에 데이터를 저장함에 따른 데이터 처리량이 늘어나고, 반복 연산으로 인해 처리 시간이 오래 걸린다. 이는 하드웨어 구현 시에 해당 매번 메모리 Read/Write 과정이 필요하게 되어 고속 처리를 할 수 없는 형태가 된다.

또한 16개의 Bin 기준으로 3채널 Histogram을 구현하는 경우 16x16x16x17x2 이상의 데이터 요구 및 반복 덧셈 연산을 필요하게 되어 해당 데이터를 저장하는 메모리 공간 및 연산량이 크며, 데이터를 불러들일 때 Bandwidth가 많이 필요하게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 하드웨어의 복잡도를 줄이고 내부 메모리 공유를 통해 전체 하드웨어 사이즈를 줄이면서 Latency를 최소화 하기 위한 방안으로, 히스토그램 필터를 적용할 때 누적되는 Bin의 개수를 계산하지 않고 미리 계산된 LUT(Look Up Table)를 사용하여 실시간으로 Histogram modeling을 수행하는 하드웨어를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 히스토그램 필터 모델링 방법은 입력 영상에서 특징 정보를 생성하는 히스토그램 필터 모델을 생성하는 단계; 입력 영상에서의 객체 추적 결과에 따라 히스토그램 필터 모델을 학습하는 단계;를 포함한다.

생성 단계는, 개별 bin의 발생 확률을 미리 계산하여 구성한 LUT를 이용하는 것일 수 있다.

생성 단계는, 개별 bin의 개수를 계산하지 않을 수 있다.

각 bin의 연산 결과에 따라 확률을 업데이트 할 수 있다.

개별 bin의 발생 확률은, 입력 영상 사이즈에 의해 결정되는 것일 수 있다.

히스토그램 필터 모델은, 3차원 히스토그램 필터 모델일 수 있다.

생성 단계는, bin의 개수를 전체 화소수로 나누지 않을 수 있다.

본 발명의 다른 측면에 따르면, 입력 영상에서 특징 정보를 생성하는 히스토그램 필터 모델을 생성하고, 입력 영상에서의 객체 추적 결과에 따라 히스토그램 필터 모델을 학습하는 것을 특징으로 하는 히스토그램 필터가 제공된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, Histogram을 3차원으로 확장함에 있어 증가하는 메모리 사용량을 50% 감소시킬 수 있고, 연산 복잡도가 높은 나눗셈기를 사용하지 않아 하드웨어의 복잡도 및 Latency가 감소되며, 일부 연산을 LUT로 대체하여 종래 기술에 비해 Histogram modeling 결과의 빠른 획득이 가능하게 된다.

도 1은 본 발명의 일 실시예에 따른 히스토그램 필터의 세부 블럭도,
도 2는 객체 추적 방법의 전체적인 과정을 나타낸 흐름도,
도 3은 종래의 1D 히스토그램 필터 모델 생성 방법의 설명에 제공되는 흐름도,
도 4는 본 발명의 일 실시예에 따른 3D 히스토그램 필터 모델 생성 방법의 설명에 제공되는 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, 객체 추적 장치를 위한 영상 필터 구조, 구체적으로 입력 영상을 이용하여 객체 추적을 위한 알고리즘인 히스토그램 필터(Histogram Filter)의 하드웨어 구조를 설계하는 방법을 제시한다.

본 발명의 실시예에 따른 히스토그램 필터는 Bin의 개수를 카운트 하지 않고, 나눗셈기를 배제하고 평균값을 연산하며, 대량의 메모리 데이터가 요구되는 연산에서 고속 처리 및 메모리 절약이 가능하다.

도 1은 본 발명의 일 실시예에 따른 히스토그램 필터의 세부 블럭도이다. 본 발명의 실시예에 따른 히스토그램 필터는, 도 1에 도시된 바와 같이, 전경 마스크(ForeGround Mask)(110), 배경 마스크(BackGround Mask)(120), 확률맵 생성기(130), 특징정보 생성기(140), 적분 확률맵 생성기(150) 및 특징 리사이저(160)를 포함하여 구성된다.

도 2는 객체 추적 방법의 전체적인 과정을 나타낸 흐름도이다. 도 2의 좌측에 도시된 바와 같이, 객체 추적을 위해, 히스토그램 필터 특징을 추출을 하고, 그 결과로부터 추적하고자 하는 물체의 위치를 추정한다.

히스토그램 필터 특징을 추출하기 위해, 먼저, 전경 마스크(110)는 입력 영상에서 전경 부분을 추출하고, 배경 마스크(120)는 입력 영상에서 배경 부분을 추출한다. 그러면, 특징정보 생성기(140)가 전경과 배경의 특징 정보를 생성하고, 확률맵 생성기(130)가 전경과 배경의 확률맵을 생성한다. 적분 확률맵 생성기(150)는 특징정보 생성기(140)와 확률맵 생성기(130)에서 생성된 정보들을 이용하여 적분 확률맵을 생성하고, 특징 리사이저(160)는 정규화를 수행한다.

이 과정에서 사용되는 특징 정보는 사전에 학습된 히스토그램 필터 모델에 의해 생성되는데, 도 2의 우측에 도시된 바와 같이, 추적 결과에 따라 히스토그램 필터 모델 학습이 다시 수행되고, 객체 추적이 실행되는 동안 히스토그램 필터 특징 추출과 히스토그램 필터 모델 생성 및 학습 과정이 반복 수행된다.

도 3은 종래의 1D 히스토그램 필터 모델 생성 방법의 설명에 제공되는 흐름도이다.

히스토그램 필터 모델을 생성하기 위해, 도 3에 도시된 바와 같이, Bin의 level을 16으로 정하는 경우 bin 값의 범위는 0~15사이의 자연수 값을 가지게 되고, 이미지 내의 전체 화소를 bin으로 변환한 후, 각 level에 해당하는 bin의 개수를 연산한 뒤에 저장한다.

bin의 개수 연산이 종료된 뒤에는 각 level에 해당하는 bin의 개수를 전체 화소수로 나누어 최종적인 히스토그램 필터를 위한 확률을 구하고 저장한 뒤에 모델링을 종료 한다.

이에 따라, 아래의 수학식 1에 의해 결정되는 필요한 메모리의 크기는 데이터 크기를 17 비트로 할당하는 경우 16*17*2가 된다.

[수학식 1]

(bin level)*(데이터 사이즈)*(Storage + 히스토그램 필터 model)

한편, 1D 히스토그램 필터를 bin level과 데이터의 크기를 고정한 채 3D로 확장하는 경우에는, 아래의 수학식 2로 결정되는 필요로 하는 메모리의 크기는 16*16*16*17*2 가 되어 215배가 증가하게 되며 하드웨어의 사이즈가 크게 증가하게 된다.

[수학식 2]

(bin level ch1)*(bin level ch2)*(bin level ch3)*(데이터 사이즈)*(Storage + 히스토그램 필터 model)

이에 따라, 본 발명의 실시예에서는 도 4에 제시된 히스토그램 필터 모델링을 제시한다. 도 4는 본 발명의 일 실시예에 따른 3D 히스토그램 필터 모델 생성 방법의 설명에 제공되는 흐름도이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 히스토그램 필터 모델링에서는, 개별 bin의 개수를 계산하지 않고 개별 bin의 발생 확률을 미리 계산하여 LUT로 구성한 다음, 각 bin의 연산 결과에 따라 바로 확률을 업데이트 한다. 이에 의해, 낭비되는 메모리를 50% 줄였습니다.

bin의 발생 확률을 미리 계산이 가능한 이유는, 모델링 과정에서 각 bin의 발생 확률은 입력되는 영상 사이즈에 의해 결정되기 때문입니다. 예를 들어 영상 사이즈가 32*32인 경우 단일 bin의 발생 확률은 1/32*32, 약 0.0009766입니다.

영상 사이즈가 64*64이고 이때, 10이라는 bin의 개수를 계산하였더니 15였다면 도 3 과 같은 방법대로 수행을 한 경우, 10이라는 bin의 모델링 결과는 15/(32*32), 약 0.01465 이다. 이 값은 앞서 말한 0.0009766을 15번 더한 값인 0.014649와 크게 다르지 않다.

지금까지, 히스토그램 필터 모델링 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

위 실시예에서는, 히스토그램 필터를 적용할 때, 누적되는 Bin의 개수를 계산하지 않고 미리 계산된 LUT(Look Up Table)를 사용하여 실시간으로 히스토그램 모델링을 수행하는 하드웨어를 제시하여, 종래 기술과 비교하여 하드웨어의 복잡도를 줄이고 내부 메모리 공유를 통해 전체 하드웨어 사이즈를 줄이면서 Latency를 최소화 하였다.

이에 의해, 히스토그램을 3차원으로 확장함에 있어 증가하는 메모리 사용량을 50% 감소시켰고, 연산 복잡도가 높은 나눗셈기를 사용하지 않아 하드웨어의 복잡도 및 Latency를 감소시켰으며, 일부 연산을 LUT로 대체하여 종래 기술에 비해 히스토그램 모델링 결과의 빠른 획득을 가능하게 하였다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 전경 마스크
120 : 배경 마스크
130 : 확률맵 생성기
140 : 특징정보 생성기
150 : 적분 확률맵 생성기
160 : 특징 리사이저

Claims

입력 영상에서 특징 정보를 생성하는 히스토그램 필터 모델을 생성하는 단계;
입력 영상에서의 객체 추적 결과에 따라 히스토그램 필터 모델을 학습하는 단계;를 포함하는 것을 특징으로 하는 히스토그램 필터 모델링 방법.
청구항 1에 있어서,
생성 단계는,
개별 bin의 발생 확률을 미리 계산하여 구성한 LUT를 이용하는 것을 특징으로 하는 히스토그램 필터 모델링 방법.
청구항 2에 있어서,
생성 단계는,
개별 bin의 개수를 계산하지 않는 것을 특징으로 하는 히스토그램 필터 모델링 방법.
청구항 2에 있어서,
각 bin의 연산 결과에 따라 확률을 업데이트 하는 것을 특징으로 하는 히스토그램 필터 모델링 방법.
청구항 2에 있어서,
개별 bin의 발생 확률은,
입력 영상 사이즈에 의해 결정되는 것을 특징으로 하는 히스토그램 필터 모델링 방법.
청구항 5에 있어서,
히스토그램 필터 모델은,
3차원 히스토그램 필터 모델인 것을 특징으로 하는 히스토그램 필터 모델링 방법.
청구항 2에 있어서,
생성 단계는,
bin의 개수를 전체 화소수로 나누지 않는 것을 특징으로 하는 히스토그램 필터 모델링 방법.
입력 영상에서 특징 정보를 생성하는 히스토그램 필터 모델을 생성하고, 입력 영상에서의 객체 추적 결과에 따라 히스토그램 필터 모델을 학습하는 것을 특징으로 하는 히스토그램 필터.