KR100772405B1

KR100772405B1 - 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템

Info

Publication number: KR100772405B1
Application number: KR1020060028421A
Authority: KR
Inventors: 지 쥬; 김영택
Original assignee: 삼성전자주식회사
Priority date: 2005-09-27
Filing date: 2006-03-29
Publication date: 2007-11-01
Anticipated expiration: 2026-03-29
Also published as: KR20070035405A

Abstract

본 발명은 전역 움직임을 추정하고 시간 필터링(temporal filtering)의 전체적인 이득을 조정하는 개선된 시간 잡음 감쇄 방법과 시스템(temporal noise reduction method and system)에 관한 것이다. 시간 잡음 감쇄 기법은 현재 잡음이 섞인 입력 영상 프레임과 메모리에 저장되어 있는 이전의 필터링된 영상 프레임, 두개의 영상 프레임에 적용된다. 이러한 방법에 있어서 우선 잡음의 분산/표준편차를 추정하기 위하여 잡음 추정이 먼저 이루어진다. 그런 다음, 잡음이 섞인 현재 입력 영상 프레임의 픽셀들과 이전의 잡음 감쇄된 영상 프레임의 대응하는 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터들을 얻기 위해 움직임 추정이 적용된다. 상기 움직임 벡터를 통해 영상 시퀀스의 카메라 움직임을 추정하기 위해 전역 움직임 추정(global motion estimation)이 이루어진다. 신뢰할 수 있는 전역 움직임 추정이 이루어지면, 추정된 잡음 레벨의 조정을 통해 시간 필터링의 전체 이득이 감소된다. 따라서 움직임 번짐(motion blur)은 방지된다.

전역 움직임, 잡음 감쇄, 움직임 벡터, 움직임 추정, 잡음 감쇄

Description

전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상 처리 시스템{Methods for adaptive noise reduction based on global motion estimation and video processing system therefore}

도 1은 전역 움직임 추정(global motion estimation)에 근거한 시간 잡음 감쇄 방법(method of temporal noise reduction)의 일 실시예를 도시하는 플로우차트.

도 2는 전역 움직임 추정에 근거한 시간 잡음 감쇄 시스템의 일 실시예의 기능 블록 다이어 그램.

도 3(a)-(d)는 본 발명의 잡음 레벨 조정 파라미터(noise level adjustment parameters) 계산의 예들.

본 발명은 일반적으로는 영상 처리, 그리고 보다 더 상세히는 영상 시퀀스(video sequence)의 잡음 감쇄(noise reduction)에 관한 발명이다.

텔레비젼 수상기와 같은 많은 영상 디스플레이 시스템(video display system)에서, 잡음 감쇄에 의한 영상 개선(video enhancement)은 영상 디스플레이 에서 필수적인 무잡음 영상 시퀀스(noise-free video sequence)를 얻기 위해 실행된다. 다양한 잡음 감쇄 방법이 개발되었으나, 그러한 방법들은 프레임에 불필요한 아티팩트(artifacts)를 도입하기 때문에 매우 소수만이 실제 제품에서 사용된다. 대부분의 기존 잡음 감쇄 방법은 공간(2차원) 잡음 감쇄(spatial noise reduction), 시간 잡음 감쇄(temporal noise reduction), 그리고 3차원(3D) 잡음 감쇄 (즉, 2차원과 시간 잡음 감쇄의 조합) 3개의 범주로 구분될 수 있다.

공간 잡음 감쇄는 현재 영상 프레임의 모든 픽셀을 작은 로컬 윈도우(a small local window)으로 나누어 필터링하는 것이다. 그러한 필터는 보통 커넬(kernel)에 근거한 컨벌루션(convolution) 필터로 취급된다. 이러한 필터의 예로 민(mean) 필터, 가우시안(gaussian) 필터, 미디언(median) 필터 그리고, 시그마(sigma) 필터가 있다. 민(mean) 필터는 영상을 부드럽게 하고 잡음을 감쇄시키는데 있어서 가장 간단하고 직관적인 방법으로, 작은 공간창의 평균값이 여과된 결과로 계산된다. 일반적으로, 간단한 구현을 위해 3X3 정방형 커넬(kernel)이 사용된다. 그러나, 민(mean) 필터는 심각한 영상의 번짐을 발생시킨다.

가우시안 필터링(Gaussian filtering)은 잡음을 제거하기 위해 "종형(bell-shaped)" 커넬을 사용한다. 가우시안 필터링은 작은 공간창 내의 픽셀의 가중 평균 실행을 의미한다. 그러나, 가우시안 필터링도 번짐현상을 야기한다.(번짐의 심각도는 가우시안(Gaussian) 분포의 표준편차를 조절하여 제어할 수 있다.)

미디언 필터링(Median filtering)은 비선형적인 방법이다. 그것은 작은 공간창내의 픽셀들을 나열하고, 필터링된 결과로서 이들의 중앙값을 취한다. 미디 언(Median) 필터는 새로운 비현실적인 픽셀값을 발생시키지 아니하고 선명한 경계를 유지한다. 또한, 고르지 못한(aliasing) 픽셀의 값은 필터링된 결과에 영향을 미치지 않을 것이다. 그러나, 입력 픽셀의 개수가 증가함에 따라, 픽셀을 정열하는데 필요한 계산에 소모되는 비용이 실제적인 구현을 하기에는 너무 비싸진다.

그러한 문제를 해결하기 위해, 몇몇의 에지-오리엔티드 공간 필터링 알고리즘(edge-oriented spatial filtering algorithms)이 개발되어왔다. 그러나, 이러한 알고리즘(algorithms)은 고가의 장비를 요구하고, 특히 잡음이 섞인 영상에서 경계탐지(edge-detection)가 실패하였을 경우, 아티팩트(artifacts)를 야기한다. 다른 알고리즘은 영상을 주파수 축에서 변환하여 고주파 성분을 감쇄시킨다. 영상의 세밀한 부분 또한 고주파 성분이기 때문에, 그러한 방법 또한 화면을 번지게 한다.

시간 잡음 감쇄는 먼저 현재 영상 프레임과 그것들의 이웃하는 프레임 사이의 움직임 정보를 검사한다. 픽셀들을 움직임 영역과 비움직임 영역으로 구분한다. 비움직임 영역에서 필터는 시간축을 따라 현재 프레임과 이웃하는 프레임의 픽셀들을 적용된다. 움직임 영역에서 시간 필터는 움직임 번짐을 피하기 위해 작동하지 않는다. 일반적으로 시간 잡음 감쇄는 세밀한 부분과 경계를 유지하는데 공간 잡음 감쇄보다 좋다. 그러나 필터링의 성능이 움직임 검출의 정확성에 의존한다. 만약 움직임 검출에 실패하면 움직임의 번짐이 발생한다. 그러한 단점은 시간 잡음 감쇄의 적용을 제한한다.

따라서, 움직임의 번짐을 줄이기 위한 잡음 감쇄 방법과 시스템이 요구된 다.

상기와 같은 문제를 해결하기 위해, 본 발명은 전역 움직임을 추정하고, 시간 필터링의 전체 이득을 조정하는 개선된 시간 잡음 감쇄 방법과 시스템(improved temporal noise reduction method and system)을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따르면, 시간 잡음 감쇄는 잡음이 섞인 현재 입력 영상 프레임과 메모리에 저장되어 있는 이전의 필터링된 영상 프레임(previous filtered frame), 2개의 영상 프레임에 적용된다. 본 발명의 방법에서는 입력 영상 시퀀스(sequence)의 잡음 분산과 표준편차를 추정하기 위해 잡음 추정이 우선 실행된다. 그런 다음, 잡음이 섞인 현재의 프레임의 픽셀들과 이전의 잡음 감쇄된 프레임의 대응하는 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 움직임 추정이 실행된다. 상기 움직임 벡터에서 영상 시퀀스의 카메라 움직임을 추정하기 위해 전역 움직임 추정이 실행된다. 신뢰할 수 있는 전역 움직임 벡터(reliable global motion vector)가 얻어지면, 시간 필터링(temporal fitering)의 전체적인 이득은 상기 추정된 잡음 레벨을 조정하기 위해 감소하게 된다. 따라서, 움직임 번짐은 방지된다.

이하 본 발명의 여러 실시예, 특성 그리고 장점을 첨부된 도면에 의거하여 보다 상세히 설명하고자 한다.

도 1은 잡음이 섞인 현재 입력 영상 프레임(current input noisy video frame)과 이전의 잡음 감쇄된 프레임에 움직임 추정을 적용하는 단계(10); 상기 잡음이 섞인 현재 입력 영상 프레임의 픽셀들과 대응하는 상기 이전의 잡음 감쇄된 프레임의 픽셀들 사이에 상대적인 움직임을 나타내는 움직임 벡터를 얻는 단계(12); 영상 시퀀스의 카메라 움직임(camera motion)을 추정하기 위해 상기 움직임 벡터를 사용하여 전역 움직임 추정을 실행하는 단계(14); 움직임에 의한 번짐을 줄이기 위해 잡음 레벨(level)을 조정하는 단계(16); 그리고 잡음이 섞인 상기 현재 입력 영상 프레임과 이전의 잠음 감쇄된 프레임에, 잡음 감쇄 출력 프레임을 만들기 위해, 상기 추정된 전역 움직임을 이용해 시간 잡음 감쇄를 적용하는 단계를 포함하는 본 발명 방법 실시예의 예시 플로우차트(example flowchart)를 도시한다. 상기 단계들은 영상 시퀀스에서 다음에 들어오는 오는 프레임들에 대해 반복되어 적용된다.

도 2는 본 발명의 실시예에 따라 상기방법을 구현한 움직임 보상 시간 잡음 감쇄 시스템(motion-compensated temporal noise reduction system)(100)을 기능 블록 다이어그램(functional block diagram)으로 도시한 예이다. 시간 잡음 감쇄 문제와 상기 본 발명의 시스템 실시예를 도 2에 체계적으로 도시하기 위해 '

'를 't'시점에서의 상기 입력 영상 프레임이라 하고, 세로 좌표를 i, 가로 좌표

를 j라 할 때

를 좌표 (i,j)에 대응하는 픽셀값이라 한다. 입력 영상 시퀀스에 부가적, 독립적으로 동일하게 분포하는 잡음으로서 분산

를 갖는 영(zero) 평균 가우시안(Gaussian) 잡음이 발생한다고 가정하면 상기

픽셀은 다음과 같이 표시된다.

`,

여기서

는 잡음의 방해가 없는 본래의 픽셀값을 나타내고

는 가우시안 분포의 잡음 성분을 나타낸다.

도 2에 도시된 상기 시스템(100)은 잡음 추정기(noise estimation module) (102), 움직임 추정기(motion estimation module)(104), 전역 움직임 추정기(global motion estimation module)(106), 잡음 레벨 조정기(noise level adjustment midule)(108), 메모리(memory)(110) 그리고 움직임 보상 시간 필터(motion-compensated temporal filtering module)(112)로 구성된다.

상기 잡음 추정기(102)는 입력 영상 시퀀스 g의 잡음의 분산(variance)/표준편차(standard deviation)를 추정한다. 움직임 추정기(104)는 잡음이 섞인 현재 프레임

의 픽셀들과 이에 대응하는 잡음 감쇄된 프레임

의 픽셀들 간의 상대적인 움직임을 나타내는 움직임 벡터들을 추정한다. 상기 움직임 벡터를 통해서 상기 전역 움직임 추정기(106)는 영상 시퀀스의 카메라 움직임을 추정한다. 만약 신뢰할 수 있는 전역 움직임이 추정되면, 상기 잡음 레벨 조정기(108)는 잡음의 분산/표준편차를 조정하여, 잡음 감쇄된 프레임

를 생성하는 상기 움직임 보상 시간 필터(112)에서 잡음 감쇄가 적게 일어나도록 한다. 따라서, 더 적은 움직임 번짐이 발생하게 된다. 상기 메모리(110)은 다음에 오는 프레임을 위해 이전의 잡음 감쇄된 프레임으로서 상기 잡음 감쇄된 프레임

를 저장한다.

상기 잡음 추정기(102)는 영상 시퀀스의 잡음 분산과 잡음 표준편차

를 추정한다. 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 번호 10/991,265 "영상 시퀀스로부터 잡음 분산을 추정하는 방법(Methods to estimate noise variance from a video sequence)"과 미국 특허출원 번호 11/100,369 "시간 잡음 추정의 신뢰도 추정(Reliability estimation of temporal noise estimation)", 미국 특허출원번호 11/187,528 "영상 시퀀스로부터 분산을 추정하는 확장된 방법(Extended method to estimate noise variance from a video sequence)" 은 이러한 잡음 추정기(102)의 예들을 제공한다. 참조문헌에 기재된 잡음 추정기(102)의 실시예에 의하면, 잡음 추정기(102)는 우선 잡음이 섞인 현재 프레임

와 이전의 잡음이 섞인 프레임의

을 비교하여 두 개의 연속적인 프레임 내 로컬 윈도우(local window) 상에서의 차이를 계산하여 이미지 구조를 제거한다. 그런 다음, 로컬 차의 분포도(distribution of local difference)로부터 잡음의 분산/표준 편차를 추정한다. 이 분야에서 통상의 기술을 가진 자는 로컬 차를 구하는 방법에 있어서 MAE(mean absolute error), MSE(mean square error), DLM(difference of local mean) 또는 다른 방법 적용과 이의 변형이 가능하다.

상기 움직임 추정기(104)는 잡음이 섞인 현재 프레임

의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임

의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 추정한다. 움직임 추정 방법과 관련하여 제한이 없다. 상기 움직임 추정의 하나의 예로서, 프레임 내의 정해진 검색 범위(search area)의 모든 로케이션(location)을 검색하고, 매칭 레지듀얼 에러(matching residual error)가 최소화되는 위치를 선택하는 풀서치 블록 매칭 알고리즘(full search block matching algorithm)이 있다. 이 분야에서 통상의 기술을 가진 자에게 알려진 바와 같이 세단계 서칭(three step searching), 다이아몬드 서칭(diamond searching), 계층적/다분해 움직임 추정(hierarchical/multi-resolution motion estimation), 오브젝트 베이스 움직임 추정(object-based motion estimation) 등과 같은 다른 움직임 추정 방법이 사용될 수도 있다.

상기 전역 움직임 추정기(global motion estimation module)(106)는 먼저 상기 움직임 추정기(104)에서 추정된 움직임 벡터의 히스토그램(histogram)을 계산한다. 상기 히스토그램에서 가장 많이 세어진 움직임 벡터가 전역 움직임 벡터로 선택된다. 상기 전역 움직임 벡터를

라 하고, 선택된 전역 움직임벡터의 카운트(count) 값을

라고 하자.

이 모든 움직임벡터의 세어진 횟수라고 할 때, 파라미터(parameter)

는

로 계산된다. 파라미터

가 클수록, 더 많은 블록들/픽셀들이 전역 움직임을 따르고, 상기 전역 움직임 벡터

는 더 신뢰할 수 있게 된다. 그런 다음 상기 전역 움직임 벡터

와 상기 파라미터

는 전역 움직임 추정기(106)에 의해 잡음 레벨 조정기(noise level adjustment module)(108)로 전달된다.

상기 잡음 레벨 조정기(108)는 우선 상기 전역 움직임 벡터

를 검사한다. 만약 전역 움직임 벡터

가 영(zero)이라면, 카메라의 움직임이 없는 것을 나타내고 잡음 레벨 조정기(108)는 아무런 조정도 실행하지 않는다. 만약 상기 전역 움직임 벡터

가 영(zero)이 아니라면 추정된 잡음의 표준 편차

는

로 조정된다.

도 3 (a) - (d)는 조정 파라미터(adjustment parameter)

의 예를 도시한다.

과

를

을 만족하는 두 임계치라고 한다. 만약

이면 검출된 카메라의 움직임은 신뢰할 수 없는 것이고, 화면에 전역 움직임(gloabal motion)은 없는 것으로 추정된다. 따라서

가 1.0으로 설정되고, 아무런 조정도 실행되지 않는다. 만약

이면 검출된 카메라 움직임은 매우 신뢰할 수 있는 것이고,

는

을 만족하는 상수

로 설정된다. 만약

이면,

는 도 3(a)에 도시된 바와 같이

에 대하여 선형적인(linearly) 값을 가질 수 있고, 도 3 (b)-(d)에 도시된 바와 같이 비선형적으로 보간된(non-linearly interpolated) 값을 가질 수도 있다.

에 따라 단순 감소하기만 한다면 (monotonically decreasing)

가 보간되는 방법에 대한 제한은 없다.

상기 잡음 레벨 조정기(108)에 의해 결정된 조정된 잡음 레벨(즉, 조정된 추정 잡음의 표준편차

)은 움직임 보상 시간 필터(motion-compensated temporal filtering module)(112)에 공급된다. 조정된 잡음 레벨

에 근거하여, 움직임 보상 시간 필터(112)는 잡음 감쇄된 프레임

를 얻기 위해 현재 프레임

와 이전의 필터링 된 프레임

에 움직임 보상 시간 필터링을 수행한다. 본 명세서에 참조로서 삽입되며, 공통 양도된 미국 특허출원 출원번호 11/106,998 "움직임 보상 시간 잡음 감쇄 방법(A method of motion compensated temporal noise reduction"과 2004년 미국 특허출원 출원번호 11/025,173 "비디오 시퀀스에서의 시간 잡음 감쇄 방법(A method of temporal noise reduction in video sequence)"은 이러한 움직임 보상 시간 필터(112)의 예들을 제공한다. 참조문헌에 기재된 움직임 보상 시간 필터(112)의 실시예에 따르면, 움직임 보상 시간 필터(112)는

로 표시되는 현재의 잡음이 있는 프레임 및

로 표시되는 메모리에서 읽혀지는 이전의 필터된 프레임 상에 시간축을 따라 필터링하는데, 이때 움직임 벡터를 이용하여, 비-움직임 영역에 있는 픽셀들은 시간축을 따라 필터링되는 반면, 움직임 영역에 있는 픽셀들은 필터링되지 않는다. 또한, 또다른 실시예에 따르면, 비-움직임 영역에서의 고품질의 필터링된 프레임과 움직임 영역에서의 필터링을 스위치 오프(switching off)함으로써 야기되는 필터링되지 않는 프레임과의 비대칭성을 해결하고자, 잡음이 섞인 현재 프레임의 픽셀들과 이전의 잡음 감쇠된 프레임에 있어서 대응하는 픽셀들의 가중치 평균을 계산함으로써 움직임 보상 시간 필터링을 할 수 있다. 상기 기재한 잡음 감쇄를 잡음-적응성(noise-adaptive)이라 한다. 만약 검출된 잡음 레벨이 더 높으면, 더 많은 잡음 감쇄가 수행된다. 만약 상기 전역 움직임 벡터가 신뢰할 수 있는 것으로 추정되고, 잡음 레벨이 잡음 레벨 조정기(108)에서 감소된다면, 더 적은 잡음 감쇄가 움직임 번짐을 방지하기 위해 수행될 것이다.

이 분야에서 통상의 기술을 가진 자는 본 발명이 프로그레시브와 인터레이스 영상(progressive and interlaced videos) 모두에 사용될 수 있다는 것을 알 수 있다. 인터레이스 영상의 홀수와 짝수 영역은 두개의 별개 프로그레시브 영상 시퀀스(progressive video sequence)로 처리될 수 있다; 또는 두개의 영역이 처리되기 전에 하나의 프레임으로 병합(merged into a single frame)될 수 있다.

이상 도면과 명세서에 최적 실시예들이 개시되었다.; 그러나 다른 실시예들도 가능하며, 청구된 발명의 사상이나 범위는 상기 기재한 최적 실시예의 상세한 설명에 한정되어서는 안 된다.

일 실시예에 있어서, 본 발명은 전역 움직임을 추정하고, 시간 필터링의 전 체 이득을 조정하여 개선된 시간 잡음 감쇄 방법과 시스템을 제공한다.

본 발명의 일 실시예에 있어서 시간 잡음 감쇄는 잡음이 섞인 현재 프레임과 메모리에 저장되어 있는 이전의 필터링된 프레임, 두개의 영상 프레임들에 적용된다. 이 방법에서는 우선 입력 영상 시퀀스의 잡음 분산/표준편차를 추정하기 위하여 잡음 추정이 실행된다. 그 다음, 잡음이 섞인 현재 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 움직임 추정이 적용된다. 상기 움직임 벡터로부터 영상 시퀀스의 카메라 움직임을 추정하기 위하여 전역 움직임 추정이 적용된다. 신뢰할 수 있는 전역 움직임이 얻어지면, 시간 필터링의 전체 이득은 추정된 잡음 레벨을 감소시키기 위해 조정된다. 움직임 번짐은 이와 같은 방법으로 방지된다.

Claims

영상 프레임 시퀀스의 영상 잡음 감쇄 방법에 있어서,

잡음이 섞인 현재 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 상기 현재 잡음이 섞인 영상 프레임과 상기 이전의 잡음 감쇄된 프레임에 움직임 추정을 실행하는 단계와;

상기 움직임 벡터를 이용해 영상 시퀀스의 전역 움직임 벡터를 추정하기 위해 전역 움직임 추정을 실행하는 단계와;

상기 전역 움직임 벡터에 근거하여 잡음 감쇄된 프레임 출력을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제1항에 있어서,

잡음 감쇄된 영상 프레임
출력을 결정하기 위해 상기 추정된 전역 움직임 벡터를 이용하여 잡음이 섞인 현재 영상 프레임
와 이전의 잡음 감쇄된 영상 프레임
에 시간적 잡음 감쇄를 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제2항에 있어서,

상기 전역 움직임 벡터가 신뢰할 수 있는지를 결정하여, 만약 그렇다면, 추정된 잡음 레벨을 조정함으로써 상기 시간 필터링의 전체 이득을 줄여 움직임 번짐을 줄이는 단계를 더 포함하는 것을 특징으로 하는 영상 시퀀스의 영상 잡음 감쇄 방법.
제1항에 있어서, 상기 전역 움직임 추정을 실행하는 단계는:

상기 움직임 벡터의 히스토그램을 계산하는 단계와;

상기 히스토그램을 이용하여 상기 영상 시퀀스의 전역 움직임 벡터를 추정하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제4항에 있어서, 상기 전역 움직임 추정을 실행하는 단계는

상기 히스토그램에서 최대 카운트 값을 가진 움직임 벡터를 상기 전역 움직임 벡터로 선택하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제5항에 있어서, 상기 전역 움직임 추정을 실행하는 단계는

상기 히스토그램에서 선택된 상기 전역 움직임 벡터
의 카운트 값을
라 하고, 전체 움직임 벡터의 카운트 값를
이라고 할 때, 파라미터
를
로 계산하는 단계를 더 포함하며, 상기 파라미터
가 더 커질수록 더 많은 픽셀들이 전역 움직임을 따르고 상기 전역 움직임 벡터
가 더 신뢰할 수 있음을 의미하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제6항에 있어서,

움직임 번짐을 줄이기 위하여 상기 파라미터
에 근거하여 잡음 레벨 조정을 실행 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제7항에 있어서,

상기 파라미터
에 근거하여 상기 전역 움직임 벡터가 신뢰할 수 있는지 결정하고 만약 그렇다면 조정 파라미터를 이용하여 상기 추정된 잡음 레벨을 조정함으로써 시간 필터링의 전체 이득을 줄여 움직임 번짐을 줄이는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제8항에 있어서, 만약 상기 전역 움직임 벡터
가 영(zero)이라면, 카메라 움직임이 없음을 의미하고 따라서 아무런 조정도 수행하지 않는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제9항에 있어서,
를 조정된 추정 잡음의 표준 편차라고 하고,
를 조정 파라미터라 할 때, 만약 상기 전역 움직임 벡터
가 영(zero)이 아니라면, 상기 추정된 잡음의 표준편차
를
에 의해 조정하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제10항에 있어서,
과
가
을 만족하는 임계치일 때,

만약
이면 검출된 전역 움직임 벡터는 신뢰할 수 없는 것을 나타내고, 아무런 조정도 실행되지 않도록
를 1로 설정하는 단계;

만약
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
를
을 만족하는 미리 정의된
로 설정하는 단계;

만약
이면,
의 단순 감소 함수를 이용하여
를 보간하는 단계를 포함하는 조정 파라미터
를 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
영상 프레임 시퀀스의 영상 잡음 감쇄를 위한 영상 처리 시스템에 있어서,

입력 영상 시퀀스 g의 잡음 레벨을 추정하는 잡음 추정기;

잡음이 섞인 상기 현재 프레임 g의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임
의 픽셀들간의 상대적인 움직임을 나타내는 움직임 벡터를 추정하는 움직임 추정기;

상기 움직임 벡터를 이용하여 상기 영상 시퀀스의 전역 움직임 추정하고, 상기 전역 움직임 벡터의 신뢰도를 추정하는 전역 움직임 추정기;

상기 전역 움직임 벡터의 상기 신뢰도에 근거하여 잡음 레벨을 조정하는 잡음 레벨 조정기;

잡음이 섞인 상기 현재 입력 영상 프레임을 상기 조정된 잡음 레벨에 의해 필터링하는 움직임 보상 시간 필터를 포함하는 것을 특징으로 하는 영상 처리 시스템.
제12항에 있어서,

상기 추정된 전역 움직임을 이용하여 잡음이 섞인 상기 현재 입력 영상 프레임
와 상기 이전의 잡음 감쇄된 영상 프레임
에 시간 잡음 감쇄를 수행함으로써, 잡음 감쇄된 프레임
출력을 결정하는 잡음 감쇄기를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
제13항에 있어서,

상기 추정된 전역 움직임이 신뢰할 수 있는지 결정하고, 만약 그렇다면, 상기 추정된 잡음 레벨을 조정하여 상기 시간 필터링의 전체이득을 감소시켜 움직임 번짐을 감소시키는 수단을 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
제12항에 있어서, 상기 전역 움직임 추정기는

움직임 벡터의 히스토그램을 구하고, 히스토그램에 근거하여 영상 시퀀스의 전역 움직임 벡터를 추정하는 것을 특징으로 하는 영상 처리 시스템.
제15항에 있어서, 상기 전역 움직임 추정기는

상기 히스토그램에서 최대 카운트 값을 가진 움직임 벡터를 전역 움직임 벡터로 선택하기 위하여 상기 히스토그램을 사용하는 것을 특징으로 하는 영상 처리 시스템.
제16항에 있어서, 상기 전역 움직임 추정기는

상기 히스토그램에서 선택된 상기 전역 움직임 벡터
의 카운트 값을
라 하고, 전체 움직임 벡터의 카운트 값를
이라고 할 때, 파라미터
를
로 계산하며, 상기 파라미터
가 더 커질수록 더 많은 픽셀 들이 전역 움직임을 따르고 상기 전역 움직임 벡터
가 더 신뢰할 수 있음을 의미하는 것을 특징으로 하는 영상 처리 시스템.
제17항에 있어서, 상기 잡음 레벨 조정기는

움직임 번짐을 줄이기 위하여 상기 파라미터
에 근거하여 잡음 레벨 조정을 수행하는 것을 특징으로 하는 영상 처리 시스템.
제18항에 있어서, 상기 잡음 레벨 조정기는

상기 파라미터
에 근거하여 전역 움직임 벡터가 신뢰할 수 있는지 결정하고, 만약 그렇다면, 조정 파라미터를 이용하여 상기 추정된 잡음 레벨을 조정함으로써 시간 필터링의 전체 이득을 줄여 움직임 번짐을 줄이는 것을 특징으로 하는 영상 처리 시스템.
제19항에 있어서, 상기 잡음 레벨 조정기는

만약 상기 전역 움직임 벡터
가 영(zero)이라면, 카메라 움직임이 없음을 의미하고 따라서 아무런 조정도 수행하지 않는 것을 특징으로 하는 영상 처리 시스템.
제20항에 있어서, 상기 잡음 레벨 조정기는

를 조정된 추정 잡음의 표준 편차라고 하고,
를 조정 파라미터라 할 때, 만약 상기 전역 움직임 벡터
가 영(zero)이 아니라면, 잡음의 표준편차
를
에 의해 조정하는 것을 특징으로 하는 영상 처리 시스템.
제21항에 있어서,
과
가
을 만족하는 임계치일 때, 상기 잡음 레벨 조정기는

만약
이면 검출된 전역 움직임 벡터는 신뢰할 수 없는 것을 나타내고, 아무런 조정도 실행되지 않도록
를 1로 설정하고;

만약
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
를
을 만족하는 미리 정의된
로 설정하고;

만약
이면,
의 단순 감소 함수를 이용하여
를 보간하여 조정 파라미터
를 결정하는 것을 특징으로 하는 영상 처리 시스템.
영상 프레임 시퀀스의 영상 잡음 감쇄 방법에 있어서,

영상 시퀀스에서 잡음 레벨을 추정하는 단계와;

현재 잡음이 섞인 프레임의 픽셀들과 이에 대응하는 이전의 잡음 감쇄된 프레임의 픽셀들 사이의 상대적인 움직임을 나타내는 움직임 벡터를 얻기 위해 잡음이 섞인 현재 영상 프레임과 이전의 잡음 감쇄된 프레임에 움직임 추정을 실행하는 단계와;

상기 움직임 벡터를 이용하여 영상 시퀀스의 전역 움직임 벡터를 추정하고, 전역 움직임 벡터의 신뢰도를 계산하는 단계와;

상기 전역 움직임 벡터의 신뢰도에 근거하여 잡음 레벨을 조정하는 단계와;

잡음 감쇄된 프레임을 생성하기 위해 상기 조정된 잡음 레벨을 이용하여 움직임 보상 시간 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제23항에 있어서,
과
가
을 만족하는 임계치일 때,상기 잡음 레벨 조정 단계는 ,

만약
이면 검출된 카메라의 움직임은 신뢰할 수 없는 것을 나타내고, 화면의 전역 움직임이 없으므로, 아무런 조정이 실행되지 않도록
를 1로 설정하고;

만약
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
를
을 만족하는 미리 정의된
로 설정하고;

만약
이면,
의 단순 감소 함수를 이용하여
를 보간하는 단계를 포함하는 조정 파라미터
를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 잡음 감쇄 방법.
제20항에 있어서,
과
가
을 만족하는 임계치일 때, 상기 잡음 레벨 조정기는

만약
이면 검출된 카메라의 움직임은 신뢰할 수 없는 것을 나타내고, 화면의 전역 움직임이 없으므로, 아무런 조정이 실행되지 않도록
를 1로 설정하고;

만약
이면 검출된 전역 움직임 벡터는 매우 신뢰할 수 있는 것을 나타내고,
는
을 만족하는 미리 정의된
로 설정하고;

만약
이면,
의 단순 감소 함수를 이용하여
를 보간하여 조정 파라미터
를 결정하는 것을 특징으로 하는 영상 처리 시스템.