KR100856474B1 - 영상 흔들림 보정방법 - Google Patents

Abstract

본 발명은 외부적 환경으로 인한 영상의 흔들림 현상과 원거리 줌인 영상의 떨림 현상에 대한 영상 안정화를 위한 방법이다. 이 방법은 기존의 흔들림 보정 방법인 위상 상관법과 광류법의 장단점을 상호 보완하고 혼용하여 영상을 안정화 시켜 흔들림 없는 일정 영역을 기준 화면에 출력시키는 방법이다. 이 방법은 단일 영역의 처리만으로 형성된 위상상관 공간상에서 특이 픽셀의 처리만으로 구성된 의사 움직임 벡터의 방향과 위치 정보로부터 해당 탐색영역을 설정하여 보정 파라미터를 빠르고 정확하게 추정하는 방식이다. 이 방법을 적용하면 다중 영역으로부터 위상 상관 영역을 구할 필요 없이 단일 영역의 위상 상관만으로 정확한 보정 파라미터의 추정이 가능하며, 특이 픽셀의 광류계산에 의한 처리 속도를 감안하더라도 빠르고 정확한 추정이 가능하게 된다.

영상, 흔들림, 안정화, 위상 상관, 광류, 특이 화소

Description

영상 흔들림 보정방법{Stabilizing method for shaking video image}

본 발명은 영상 흔들림 보정방법에 관한 것으로, 특히 외부적 환경으로 인한 영상의 흔들림 현상과 원거리 줌인 영상의 떨림 현상에 대한 영상 안정화 방법에 관련한다.

최근 디지털 영상처리 기술이 발전함에 따라 영상 안전화 시스템(DIS : Digital Image Stabilization) 시스템을 위한 다양한 방법들에 대한 연구가 진행되고 있다. 그 중에서 불안정한 카메라 고정 장치에 의한 진동 혹은 손떨림에 의한 영상의 흔들림 현상, 광학 혹은 디지털 줌에 의해 원거리 피사체를 확대할 경우 증폭되어 발생하는 떨림현상 그리고 차량의 내부와 같은 불안정한 환경에서 발생하는 흔들림 현상은 주관적, 객관적 양면에서 동영상의 품질을 떨어트리는 주요 요인으로 디지털 영상 안정화를 위한 중요한 연구 주제 중의 하나이다.

특히, 실외 감시 시스템 혹은 도로 교통 모니터링과 같이 실외에 설치된 비디오 감시 시스템의 경우, 카메라는 건물 외벽, 육교, 다리 혹은 전용 지지대에 고정된다. 그러나 이러한 카메라 고정 장치는 여러 가지 외부 상황에 의하여 흔들릴 수 있다. 카메라 고정 장치에 가해지는 외부적인 상황으로는 심한 바람에 의한 흔 들림이 가장 큰 원인이 되고, 특히 다리의 경우에는 많은 교통량이 주요 원인이 되는데, 이러한 외부 환경적 원인으로 인하여 고정 장치는 시간이 경과함에 따라 반드시 헐거워지는 특성을 가지게 된다.

또한, 고배율 줌인(zoom in) 렌즈가 부착된 카메라의 경우, 고배율로 원거리의 영상을 실시간으로 감시하는 환경의 경우에도 비주기적인 미세한 떨림 현상이 발생하게 된다. 이러한 원격 감시 환경에서 발생하는 떨림 현상은 감시자의 시각적인 피로감을 야기할 뿐만 아니라 대상 목표물에 대한 안정적인 감시에 방해요소로 작용하게 된다.

종래의 보정기술은 각속도 센서에 의한 떨림 검출을 기계적인 촬상 광학계의 제어에 의해 실현되었다. 이 방법은 보정 메커니즘의 증가로 소형, 경량화를 요구하는 제품의 추세에는 부적합하다.

반면, 영상 안정화 시스템은 단지 영상의 디지털 신호처리에 의해 떨림량을 검출하고 영상 특성을 식별하여 적응적으로 시스템을 제어하는 LSI에 의해 떨림 현상을 보정하게 된다. 현재 사용되고 있는 대표적인 떨림 보정 방법에는 위상상관법(phase correlation)과 광류법(optical flow)이 사용되고 있다.

위상 상관법은 급격하게 변하는 불연속적인 흔들림과 프레임 전체의 천이량을 추정하는데 우수한 성능을 보이는 반면에, 광류법은 천천히 변하는 연속적인 흔들림과 픽셀단위 움직임에 우수한 성능을 보인다.

일반적으로 흔들림 보정 알고리즘은 흔들림 보정 파라미터를 연속적인 두 프레임간의 지역화소 움직임 벡터(LMV; Local Motion Vectors)로부터 프레임 움직임 벡터(FMV; Frame Moving Vectors)를 추정하는 방식으로 얻는다. 움직임 추정과 보상 기술은 동영상 압축의 기반 기술이기도 하며, 움직임 추정의 경우에는 블록 매칭(block matching) 알고리즘(BMA), 기울기 매칭(Gradient Matching) 알고리즘(GMA), 위상 상관 등이 사용되고 있다. 여기서, 위상 상관법은 FMV를 추정하기에 적합한 반면, 광류법은 LMV를 추정하기에 적합하다.

위상 상관을 이용하여 안정화된 영상을 얻기 위해서는 고속 푸리에 변환 알고리즘을 이용한다. 이 알고리즘은 원 영상에서 2 ^N ×2 ^N 크기의 일정 영역을 취하여 고속 푸리에 변환한 스펙트럼과 기준 영상에 대한 스펙트럼의 상호전력스펙트럼을 구하고 이를 다시 고속 역푸리에 변환한 공간 영역 결과로부터 피크치의 최대값을 탐색하여 얻어진 위치가 천이 성분에 해당하는 보정 파라미터로 결정하는 절차를 거친다.

그러나, 단일 영역만을 취하여 위상상관을 적용할 경우에는 간헐적으로 오추정이 발생하게 된다. 오추정이 발생하는 원인은 위상상관 이론과는 달리 실제 영상에서는 전후 프레임간의 영상이 잡음 등으로 인하여 위상상관의 결과 공간에서 단일한 스파이크성 피크를 얻기가 어렵기 때문이다. 이러한 오추정으로 인한 잘못된 영상보정은 영상의 흔들림에 대한 시각적인 피로감을 방지하고자 하는 흔들림 영상의 안정화 목적에 부합되지 않는 문제점으로 정밀한 추정 방법이 요구된다.

이러한 문제를 해결하기 위하여 단일 영역을 취하지 않고 여러 개의 후보 영역을 취하여 각각의 위상상관 결과 공간으로부터 얻은 각 후보 피크에서 가장 큰 피크값의 위치를 보정 파라미터로 결정하는 방법을 일반적으로 사용하고 있다.

그러나, 이 방법을 적용할 경우에는 단일 영상을 취하여 분석하는 경우보다는 안정된 추정이 실현되지만 오추정에 대한 완전한 대책이 될 수 없다. 더욱이 이 방법은 원 영상에서 취해진 다중 영역으로부터 푸리에와 역푸리에 변환을 행하여 형성된 공간 영역 전체에서 피크치의 최대값을 각각 탐색하여야 하므로 실시간 처리를 요구하는 시스템에서 지연요소로 작용하게 된다.

광류법을 이용할 경우에도 전체 영상 픽셀에 대한 광류를 계산할 경우에는 많은 처리 시간이 요구되므로 실시간 처리에 부적합하다. 광류법에 대한 기술적 과제로는 최대한 빠르게 광류를 추정하는 방법에 관한 문제이다.

따라서, 본 발명의 목적은 빠르게 추정하여 얻어진 안정된 보정 파라미터를 이용하여 영상 흔들림을 보정하는 방법을 제공하는 것이다.

상기한 목적은, 위상상관법에 의하여 기준 영상의 기준 프레임과 현재 프레임에 대한 위상 상관을 구하여 위상 상관 공간을 형성하는 단계, 여기서, 상기 위상 상관은 푸리에 변환의 천이 특성(shift property)에 기반하며; 상기 기준 영상에서 특이 픽셀을 선택하는 단계; 상기 선택된 특이 픽셀에 대한 움직임 벡터를 광류법을 이용하여 계산하는 단계; 상기 계산된 특이 픽셀의 움직임 벡터로부터 그 벡터들의 평균 방향과 벡터의 평균 크기를 구하는 단계; 상기 움직임 벡터에 관련하여 상기 구해진 평균 방향 정보와 크기 정보로부터 단일 영역에 대하여 처리된 상기 위상상관 공간에서 탐색 영역을 설정하는 단계; 상기 설정된 탐색 영역에서 최대 피크값을 구하고 그 위치를 보정 파라미터로 결정하는 단계; 및 상기 현재 프레임에 상기 결정된 보정 파라미터를 적용하여 안정화된 프레임으로 출력하는 단계를 포함하는 영상 흔들림 보정방법에 의해 달성된다.

바람직하게, 상기 특이 픽셀을 선택하는 단계 방법은, 상기 기준 영상의 에지 정보를 추출하여 그 값을 마스크로 설정하는 단계; 및 해당 마스크 영역에 대하여 현재 영상의 픽셀 광도의 변화량을 크기순으로 정렬하고 그 결과 중에서 동일한 광도변화를 이루는 픽셀중 가장 밝은 값을 가지는 픽셀을 모두 선택하는 단계를 포 함할 수 있다.

또한, 바람직하게, 상기 특이 픽셀의 선택은 최초 프레임에서만 선택되고, 상기 기준 프레임이 변경될 경우에만 수될 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따르면 여러 가지의 이점이 있다.

먼저, 영상의 흔들림 보정을 위하여 프레임 전체의 움직임 벡터(FMV)를 추정하기에 적합한 위상 상관법과 지역화소의 움직임 벡터(LMV)를 추정하기에 적합한 광류법을 혼합함으로써 계산량을 줄이면서 큰 흔들림의 보정에 잘 추종하면서, 작은 흔들림의 미세 보정의 정확한 추종에도 효과적이다. 따라서, 휴전선, 군, 경찰 시설의 울타리 경비용 영상 감시 시스템이나, 해안 경비 등의 원거리 확대 영상의 흔들림 보정에 사용될 수 있다.

종래의 위상 상관법 만을 이용한 흔들림 보정과 비교할 때 실용상 1/10의 계산량으로도 구현가능하다.

또한, 견고하게 고정된 카메라나 렌즈는 매우 강건하여 그 흔들림이 매우 미세하므로 어떤 물리적인 수단으로도 감지하기 어렵지만, 이 경우에도 1000배 이상 줌인한 영상물은 여전히 흔들림이 나타나는 것이 일반적이다. 본 발명에 따르면, 이런 영상물의 흔들림 보정은 디지털 신호처리에 의한 본 발명의 방법이 강력한 해결 수단이 된다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

일반적인 카메라 떨림 보정은 자리로 센서(gyro sensor)를 이용하는 하드웨어 종속적인 방법을 사용하고 있으나, 본 발명에서는 비디오 영상 안정화를 위하여 외부 원인으로 인한 카메라 흔들림으로 발생된 영상, 또는 원거리 줌인 영상의 떨림 현상을 영상 처리 기법을 통하여 소프트웨어적으로 처리한다. 구체적으로, 본 발명은 블록 매칭 알고리즘(BMA)와 기울기 매칭 알고리즘(GMA)을 포함하는 광류법을 이용하여 지역화소 움직임 벡터(LMV)를 추정하는 방법과 위상 상관을 이용하여 프레임 움직임 벡터(FMV)를 추정하는 방법을 혼용하는 하이브리드 방법으로 FMV를 빠르게 추정하고 얻어진 보정 파라미터로 영상을 보정한다.

이에 따라, 출력 동영상에서 일정한 목표물에 카메라가 전혀 흔들리지 않는 것처럼 일정한 초점을 가지는 안정화된 출력 동영상을 얻게 된다.

도 1은 본 발명에 따른 보정방법을 설명하는 플로차트이다.

먼저, 위상상관법에 의하여 흔들림 보정을 위한 기준영상인 기준 프레임과 현재 프레임에 대한 위상 상관을 구하여 위상 상관 공간을 형성한다(단계 S1). 이 과정에서 기존의 위상상관법의 오추정 대책으로 마련되어 적용되고 있는 다중 영역 처리가 불필요하며 단일 영역 처리만을 수행한다.

위상 상관에 의한 보정 파라미터 추정은 푸리에 변환의 천이 특성(shift property)에 기반한 알고리즘이다. 푸리에 변환의 천이 특성은 좌표 상에서의 두 함수의 천이가 푸리에 영역에서 선형 위상차로 변환된다는 것이다.

즉, f _k 와 f _{k ＋1}이 2차원 평면상에서 t(t _x , t _y )만큼 천이된 2차원 영상이라면, f _k (x, y)와 f _{k ＋1}(x, y)은 식(1)과 같은 관계를 가진다.

푸리에 천이 특성에 의하여 이 두 함수의 푸리에 변환은 식(2)로 표현된다.

F _k (u＋v)와 F _{k ＋ 1}(u, v)는 복소수이므로, 상호전력스펙트럼(CPS: cross power spectrum) 을 구하여 영상의 천이 성분을 분리한다.

여기서, F ^* _{k ＋ 1}(u, v)는 F _{k ＋1}(u, v)의 공액복소수이다.

천이성분만을 얻기 위해서 식(3)을 역푸리에 변환하면, 식(4)과 같이 2차원 좌표축상 t(t _x , t _y )에서 임펄스를 이루는 천이값이 얻어진다.

이어, 기준 영상에서 특이 픽셀을 선택한다(단계 S2).

특이 픽셀의 선택 방법은 기준 영상의 에지 정보를 추출하여 그 값을 마스크로 설정한다. 그리고 해당 마스크 영역에 대하여 현재 영상의 픽셀 광도의 변화량을 크기순으로 정렬하고, 그 결과 생성된 정렬값 중에서 동일한 광도 변화를 이루는 픽셀중 가장 밝은 값을 가지는 픽셀을 모두 선택하여 특이 픽셀로 구성한다.

이러한 특이 픽셀의 선택 절차는 매 프레임 수행되는 절차가 아니라, 최초 프레임에서만 선택되며, 기준 프레임이 변경될 경우에만 수행되는 과정이다. 또한 기존의 정해진 배치에 의한 대표점 매칭법(예를 들어, 국내 등록특허 제94465호)과는 달리 그 배치가 정해져 있지 않으며 기준 프레임의 영상 내용에 따라 다른 특이픽셀이 선택된다. 이 과정에서 에지정보는 특이 픽셀을 구성하기 위한 마스크를 구성하는데에만 이용된다. 이 방법은 기존의 에지정보로부터 움직임 벡터를 검출하는 방법보다 그 신뢰도 면에서 위치변화에 강인한 특성을 갖는 방법이다.

다음, 도 2와 같이 선택된 특이 픽셀에 대한 움직임 벡터를 광류법을 이용하여 빠르게 구한다(단계 S3).

동영상에서 광류법을 적용하여 움직임 벡터를 추정하는 방법은 움직임 객체에 의해 형성되는 광도패턴의 이동으로 표현가능하다. 광류는 현재 프레임과 이전 프레임 간에 고정된 크기의 윈도우내의 밝기의 자승합을 광도에 대한 매칭 기준으로 정의하고, 프레임 간의 변위는 구해진 자승합이 최소가 되는 방식으로 광도의 흐름을 추정하는 방법이다. 일반적으로 Lucas와 Kanade가 제안한 광류계산법을 많이 사용하고 있다.

구체적으로, 이 방법은 시간 t 에서, 영상의 한 점 (x, y)에 대한 광도를 I(x, y, t) 라고 하고, 시간 t＋δ t 에서 δx, δy, δt 만큼의 천이가 존재한다면 그 광도는 I(x＋δx, y＋δy, t＋δt) 로 표현되며 식(5)과 같은 관계를 가진다.

연속 영상에 대하여 광도 I(x, y, t)의 변화가 아주 작다고 가정하면, 테일 러 급수를 가지는 다음 식(6)으로 표현될 수 있다.

여기서, H.O.T. 는 고차항의 아주 작은 값이므로 무시할 수 있으므로, 식(6)에서

이 된다.

여기서, u =

, v =

, I _x =

, I _y =

, I _t =

이며 u와 v는 광류 벡터 구성성분들로 속도벡터(velocity vector)에 해당하며, 식(7)과 같이 표현된다.

Lucas 와 Kanade는 작은 영역 B에 소속된 픽셀에 대한 움직임 벡터는 동일하다는 가정 하에 u, v을 계산하였다.

즉, 영역 B에 대한 광류 방정식의 자승오차 E는 식(8)과 같이 정의하면,

식(8)의 x, y에 대한 편미분식은 식(9), (10)와 같이 된다.

식(9)과 (10)를 식(11)과 같은 2x2 행렬식으로 계산하면 u, v를 얻을 수 있 다.

식(10)의 2x2 행렬식을 선형시스템으로 해석하면 2x2행렬식에 의해 움직여지는 픽셀에 대해서 속도 벡터 u, v을 x, y축에 나타냄으로서 광류의 흐름이 나타나게 된다.

도 3은 Lucas와 Kanade이 광류를 얻기 위하여 제안한 광류모델 블록도이다.

이 모델에서는 입력 비디오 영상에 대한 차후 기울기(gradient) 계산 과정에서 발생할 수 있는 에러를 줄이기 위해 전 처리 과정으로 입력영상에 가우시안 필터를 사용하여 스무딩 전처리를 행한다. 이렇게 스무딩된 입력영상은 시간과 공간 축에 대하여 3차원으로 확장하여 기울기 연산을 실시한다.

도 4는 3차원으로 확장하여 I _x 축과 I _y 축과 I _t 축에 관해서 기울기 연산 과정중 I _x 축에 관하여 기울기 연산 과정의 예를 보여주고 있다. 또한, 도 5는 I _y 축에 관하여 기울기 처리 과정의 예를 보여주고 있고, 도 6은 I _t 축에 관하여 기울기 처리 과정의 예를 보여주고 있다.

기울기 처리시 1x5 크기의 다음과 같은 커널을 사용하게 된다.

1x5 kernel ={ -1 8 0 -8 1 }

입력 프레임의 중간 프레임을 설정하여 이전 프레임과 이후 프레임에 관하여 가중값으로 Lucas와 Kanade가 제안한 0.75를 사용한다. 이와 같은 방식으로 I _x , I _y , I _t 의 3차원 기울기를 계산함으로써 I _x , I _y , I _t , I ² _x , I ² _y , I _x I _y , t와 I _y I _t 를 구하게 된다.

다음, 도 7을 참조하면, 단계 S3에서 계산된 특이 픽셀(도 7에서 빨간색 점으로 표시)의 움직임 벡터로부터 그 벡터들의 평균 방향과 벡터의 평균 크기를 구하여 탐색 영역을 결정한다(단계 S4와 S5).

이어, 얻어진 평균 방향 정보와 크기 정보로부터 단계 1에서 단일 영역에 대하여 처리된 위상상관 공간의 중심으로부터 구해진 평균방향으로 구해진 크기만큼 탐색영역을 설정한다. 이때 탐색영역의 크기는 구해진 크기 정보에 비례하여 설정한다. 이 방법은 빠른 탐색을 위하여 탐색영역을 축소하는 방법으로 제안한 것이다(단계 S6).

이후, 설정된 탐색영역에서 최대 피크값을 구하고 그 위치를 보정 파라미터로 결정한다(단계 S7).

탐색영역에서 최대 피크값은 기준 비디오 영상 대비 현재 비디오 영상 프레임의 흔들림 현상에 기인한 천이량을 나타낸다.

이어 현재 프레임에 결정된 보정 파라미터를 적용하여 안정화된 프레임으로 출력한다(단계 S8).

즉, 모든 경우에서 카메라의 떨림에 의한 영상위치의 천이는 전체 픽셀에서 상하좌우 동일한 크기로 천이가 발생하므로 얻어진 보정 파라미터는 해당 영상 프레임 전체 픽셀에 동일한 값으로 적용되어 보상이 이루어지며 그 결과로 이전 프레 임과 동일한 위치에 놓인 흔들임 없는 영상이 재구성된다.

이상에서 설명한 바와 같이, 본 발명에서 제안하는 위상상관과 광류법을 혼용하는 하이브리드 방법에 의하면, 위상상관에 의하여 안정된 보정 파라미터를 얻기 위한 대책으로 여러 개의 영역을 취하여 분석할 필요가 없으며, 단일 영역만으로 안정된 위상상관 적용이 가능하다. 따라서 위상상관에 의한 영상 안정화의 단점으로 지적된 간헐적인 오추정이 완전히 해결될 수 있다. 또한 단일 영역만을 이용한다는 점과 광류법에 의한 기준 프레임에 대하여 최초에 선택된 특이 픽셀의 움직임 벡터만으로 탐색 영역을 한정한다는 점에서 빠르고 정확한 프레임 움직임 벡터 천이 성분 추정이 가능하다.

도 1은 본 발명에 따른 보정방법을 설명하는 플로차트이다.

도 2는 광류 분석에 의한 움직임 벡터의 방향과 크기 의사추정을 설명하는 사진이다.

도 3은 Lucas와 Kanade이 광류를 얻기 위하여 제안한 광류모델 블록도이다.

도 4는 I _x (2.2)에 관한 기울기 연상과정의 예를 보여준다.

도 5는 I _y 축에 관하여 기울기 처리 과정의 예를 보여주고 있다.

도 6은 I _t 축에 관하여 기울기 처리 과정의 예를 보여주고 있다.

도 7은 탐색 구간의 설정을 설명하고 있는 도면이다.

Claims (3)

1. 위상상관법에 의하여 기준 영상의 기준 프레임과 현재 프레임에 대한 위상 상관을 구하여 위상 상관 공간을 형성하는 단계, 여기서, 상기 위상 상관은 푸리에 변환의 천이 특성(shift property)에 기반하며;

   상기 기준 영상에서 특이 픽셀을 선택하는 단계;

   상기 선택된 특이 픽셀에 대한 움직임 벡터를 광류법을 이용하여 계산하는 단계;

   상기 계산된 특이 픽셀의 움직임 벡터로부터 그 벡터들의 평균 방향과 벡터의 평균 크기를 구하는 단계;

   상기 움직임 벡터에 관련하여 상기 구해진 평균 방향 정보와 크기 정보로부터 단일 영역에 대하여 처리된 상기 위상상관 공간에서 탐색 영역을 설정하는 단계;

   상기 설정된 탐색 영역에서 최대 피크값을 구하고 그 위치를 보정 파라미터로 결정하는 단계; 및

   상기 현재 프레임에 상기 결정된 보정 파라미터를 적용하여 안정화된 프레임으로 출력하는 단계를 포함하는 것을 특징으로 하는 영상 흔들림 보정방법.
2. 청구항 1에 있어서,

   상기 특이 픽셀을 선택하는 단계 방법은,

   상기 기준 영상의 에지 정보를 추출하여 그 값을 마스크로 설정하는 단계; 및

   해당 마스크 영역에 대하여 현재 영상의 픽셀 광도의 변화량을 크기순으로 정렬하고 그 결과 중에서 동일한 광도변화를 이루는 픽셀중 가장 밝은 값을 가지는 픽셀을 모두 선택하는 단계를 포함하는 것을 특징으로 하는 영상 흔들림 보정방법.
3. 청구항 2에 있어서,

   상기 특이 픽셀의 선택은 최초 프레임에서만 선택되고, 상기 기준 프레임이 변경될 경우에만 수행되는 것을 특징으로 하는 영상 흔들림 보정방법.

Images