KR100683060B1

KR100683060B1 - 영상 프레임의 블록화 현상 제거 장치 및 그 방법

Info

Publication number: KR100683060B1
Application number: KR1020050059691A
Authority: KR
Inventors: 김병규; 김선태; 송석규; 마평수
Original assignee: 한국전자통신연구원
Priority date: 2004-12-08
Filing date: 2005-07-04
Publication date: 2007-02-15
Anticipated expiration: 2025-07-04
Also published as: KR20060064487A

Abstract

본 발명은 디코딩된 영상 프레임의 블록화 현상 제거 장치 및 그 방법에 관한 것이다.

본 발명에 따른 영상 프레임의 블록화 현상 제거 방법은 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 단계, 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 단계, 및 상기 분류 결과에 따라 상이한 필터링을 수행하는 단계를 포함한다.

본 발명의 구성에 따르면, 객체 에지 정보를 선택적으로 보존함으로써 향상된 화질의 영상을 제공할 수 있다.

블록화, 에지, 필터

Description

영상 프레임의 블록화 현상 제거 장치 및 그 방법 {DEVICE AND METHOD FOR DEBLOCKING OF VIDEO FRAME}

도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 도시한 블록도이다.

도 2는 본 발명의 실시예에 따른 디블록킹 필터를 도시한 블록도이다.

도 3은 본 발명의 실시예에 따른 에지 특성 판별 방법을 도시한 흐름도이다.

도 4는 균일 영역(homogenous region) 내의 블록 경계에서 발생하는 블록화 현상을 간략히 도시한 도면이다.

도 5는 디코딩된 영상 데이터 내의 블록 에지와 객체 에지를 도시한 도면이다.

도 6은 본 발명의 실시예에 따른 영상 데이터의 선택적 필터링 방법을 도시한 흐름도이다.

종래 대부분의 영상 데이터 부호화 방법은 영상 프레임을 블록 단위로 처리 한다. 특히, MPEG(moving picture experts group), H.264 등 영상 데이터에 관한 부호화 표준들에 따르면 블록 단위로 부호화가 수행된다. 즉, 영상 프레임의 부호화 과정에서는 프레임을 블록 단위로 분할하고, 분할된 블록 단위로 각각 개별적인 데이터 처리가 이루어지므로, 블록 경계의 윤곽선의 존재로 인한 블록킹 결점(blocking artifact)이 발생하는 블록화 현상이 야기되어 영상의 화질 열화 및 사용자의 시각적 불편이 초래되는 문제가 발생한다.

이러한 블록화 현상은 분할된 블록 간의 상관관계를 고려하지 않은 부호화 및 양자화 과정에 기인한 저주파 성분 정보의 손실에 기인하는 것으로서, 부호화된 후 복호화 과정을 거쳐 재현된 영상 프레임에 압축되지 않은 원래의 영상 프레임에는 존재하지 않았던 고주파 영역, 즉 에지 영역이 발생되는 현상을 말한다. 블록화 현상은 인접 화소 간의 연속성을 파괴시키므로, 일반적으로 저대역 필터(lowpass filter)를 이용하여 고주파 영역을 평활화(smoothing)시켜 블록화 현상을 제거하는 디블록킹(deblocking) 처리가 이루어져 왔다.

저대역 필터링을 이용한 디블록킹 처리 이외에도, 하나의 블록 내의 화소들을 블록 내부 화소와 블록 경계 화소의 두 종류로 분류하고, 이에 따라서 저대역 필터링의 강도를 다르게 하는 방법이 제안되어 있다. 또한, 블록 경계에 해당하는 화소 중 경계 값의 차가 어떤 임계값보다 큰 화소의 집합을 선택하고, 여기에 서로 값이 상쇄될 수 있도록 설정된 가상의 영상 프레임을 적절하게 삽입하여 전체 화소값들을 부드럽게 변경시킴으로써, 시각적인 불연속성을 감소시키게 하는 다른 형태의 저대역 필터링도 제안되어 있다.

그러나, 전술한 종래의 블록화 현상 제거 기법들은 블록의 경계에 나타나는 시각적 불연속성을 감소시켜 줄 수 있으나, 블록의 경계 영역 주변에 위치하는 사람 또는 사물의 윤곽선에 의하여 발생하는 고주파 성분 즉, 객체 에지(object edge)의 정보도 함께 평활화(smoothing)시키게 되어, 전체 영상의 화질이 오히려 열화되는 문제가 있었다.

즉, 블록화 현상의 제거를 위한 필터링을 수행하기 위해서는 먼저 블록화 현상이 발생된 영역을 정확히 파악해 내는 것이 중요하다. 그렇지 않을 경우 원래의 영상 프레임에 존재하는 에지 영역 즉, 객체 에지(object edge)를 블록화 현상에 의해 생긴 것으로 판단하여 제거함으로써 필터링 수행 후의 화질이 오히려 저하되는 결과를 가져올 수 있기 때문이다.

본 발명이 이루고자 하는 기술적 과제는 블록 기반으로 부호화된 영상 프레임을 복원함에 있어서, 영상 내의 객체 에지를 보존하고, 블록화 현상을 효과적으로 제거할 수 있는 영상 프레임의 선택적 필터링 장치 및 그 방법을 제공하는 것이다.

이러한 과제를 해결하기 위해, 본 발명의 한 특징에 따르면, 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 단계, 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블 록 에지 화소 중의 하나로 분류하는 단계, 및 상기 분류 결과에 따라 상이한 필터링을 수행하는 단계를 포함하는 영상 프레임의 블록화 현상 제거 방법이 제공된다.

여기서, 상기 화소 분류 단계는 상기 화소의 에지 응답의 크기와 미리 설정된 임계값을 비교하여, 상기 임계값이 큰 경우에는 상기 화소를 비에지 화소로 분류한다. 그리고, 상기 에지 응답의 크기가 큰 경우에는 상기 화소의 에지 방향이 0° 또는 90°에 해당하는지의 여부를 판단하여, 상기 에지 방향이 0° 또는 90°가 아닌 경우, 상기 화소를 객체 에지 화소로 분류하고, 상기 에지 방향이 0° 또는 90°에 해당하는 경우, 상기 화소의 에지 위치 정보를 이용하여 상기 화소가 블록 경계 영역에 존재하는 지의 여부를 판단하여, 상기 화소가 블록 경계 영역에 위치하면 블록 에지 화소로 분류한다.

본 발명의 다른 특징에 따르면, 블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 화소 정보 추출부, 상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 에지 판별부, 및 상기 화소 분류 결과에 따라 상이한 필터링을 수행하는 필터부를 포함하는 영상 프레임의 블록화 현상 제거 장치가 제공된다.

본 발명의 또 다른 특징에 따르면, 전술한 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상 세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 동영상 부호화 장치를 도시한 블록도이다. 도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 동영상 부호화 장치는 변환기(110), 양자화기(120), 역양자화기(131), 역변환기(132), 프레임 메모리(133), 움직임 보상기(134), 가산기(135), 움직임 추정기(140), 감산기(150), 엔트로피 부호화기(160), 및 디블록킹 필터(200)를 포함한다. 이 때, 도 1의 동영상 부호화 장치는 H.264 방식의 부호화 장치일 수 있다.

매크로 블록 단위로 입력되는 영상 프레임은 변환기(110)에서 미리 설정된 방식에 따라 변환된 후 양자화기(120)에서 양자화된다. 이 때, 변환기(110)에서 사용되는 영상 데이터 변환 기법은 이산 코사인 변환(discrete cosine transform, DCT) 또는 이산 웨이브릿 변환(discrete wavelet transform, DWT) 기법일 수 있다.

양자화기(120)로부터 출력된 양자화된 영상 프레임은 역양자화기(131)와 역변환기(132)를 거쳐 복호화되고, 복호화된 데이터는 가산기(135)로 입력된다.

가산기로부터 출력된 복호화된 데이터는 디블록킹 필터(200)에서 화소 정보 추출, 에지 특성 판별 및 판별 결과에 따른 선택적 필터링을 거쳐 실제의 이미지로 복원되어 프레임 메모리(133)에 저장된다. 여기서, 프레임 메모리(133)에 저장된 복원된 영상 프레임은 움직임 추정을 위한 참조 영상으로 제공될 수 있다. 디블록킹 필터(200)에서 이루어지는 에지 판별 결과에 따른 필터링에 대해서는 아래에서 상세히 설명한다.

움직임 추정기(140)는 현재 입력되는 매크로 블록 단위의 영상 프레임에 대하여 프레임 메모리(133)에 저장된 참조 영상 중 적어도 하나의 영상을 제공받아 움직임 추정을 수행하여, 움직임 벡터(motion vector), 참조 영상을 나타내는 인덱스(index) 및 블록 모드를 포함하는 움직임 데이터를 출력한다.

움직임 보상기(134)는 움직임 추정기(140)로부터 입력된 움직임 데이터에 따라, 프레임 메모리(133)에 저장된 참조 영상으로부터 현재 입력된 매크로 블록에 대응하는 매크로 블록 단위의 영상 프레임을 추출하여 출력한다. 움직임 보상기(134)로부터 출력된 데이터는 가산기(135)로 입력되어, 가산기(135)의 타단에서 입력되는 복호화된 데이터를 실제의 이미지로 복원하여 디블록킹 필터(200)로 전송하여, 블록킹 결점을 제거하는 처리가 이루어질 수 있도록 한다.

감산기(150)는 동영상 부호화 장치로 입력된 매크로 블록에 대하여 프레임 간 예측 부호화(interframe predictive coding)가 이루어지는 경우, 움직임 보상기(134)로부터 입력 매크로 블록에 대응하는 참조 영상 내의 매크로 블록을 입력받아 입력 매크로 블록과의 차분 연산을 수행하여 잔차 신호(residual signal)을 출력한다. 출력된 잔차 신호는 다시 변환기(110) 및 양자화기(120)를 거쳐 변환 및 양자화되고 엔트로피 부호화기(160)에 의해 엔트로피 부호화되어 NAL(network abstraction layer) 유닛 데이터의 형태로 출력된다.

엔트로피 부호화기(160)로부터 출력된 영상 프레임 데이터는 비트 레이트(bit rate)를 조절하기 위하여 버퍼(미도시)에 일시 저장된 후 출력될 수 있다.

도 1에 도시된 동영상 부호화 장치 내에서 역양자화기(131), 역변환기(132), 프레임 메모리(133), 움직임 보상기(134), 가산기(135) 및 디블록킹 필터(200)는 동영상 부호화 장치 내에서 부호화된 영상 데이터를 복호화하는 디코더(130)를 형성한다.

도 2는 본 발명의 실시예에 따른 디블록킹 필터(200)를 도시한 블록도이며, 도 3은 도 2의 에지 판별부(220)에서 이루어지는 에지 특성 판별 과정을 도시한 흐름도이다. 도 2에 나타낸 바와 같이, 디블록킹 필터(200)는 화소 정보 추출부(210), 에지 판별부(220), 및 필터부(230)를 포함하며, 필터부(230)는 저대역 필터(231) 및 적응 필터(232)를 포함한다. 본 발명의 실시예에서는 기존의 블록화 현상 제거 기법들에 있어서, 원래의 영상 내에 존재하는 블록의 경계(boundary) 주위에 위치된 객체들의 에지 정보가 블록 경계 영역의 에지 정보와 함께 저대역 필터링됨으로써, 에지 정보가 열화되어 화질이 오히려 악화되는 현상을 방지하기 위하여 디코딩된 원시 영상 데이터를 분석하여 각 화소들에 포함된 에지 특성 정보를 추출해 내고, 이를 기초로 하여 선택적 필터링이 이루어진다.

화소 정보 추출부(210)는 역변환 및 역양자화를 거친 원시 영상 데이터 내의에지 화소를 판별하기 위한 전단계로서, 화소에 포함된 에지 정보를 에지 검출자(edge detector)를 이용하여 추출한다. 에지 검출자는 소벨(Sobel) 에지 검출자 및 캐니(Canny) 에지 검출자를 비롯하여 일반적으로 사용되고 있는 에지 검출자 중 어떠한 것이라도 사용 가능하다. 화소 정보 추출부(210)에서는 화소 특성의 판별에 사용되는 에지 정보를 효과적으로 파악하기 위하여 아래의 세 가지의 화소 정보들을 추출한다.

1. 에지 응답의 크기(M)

디코딩된 원시 영상 데이터에 에지 검출자를 적용시킨 응답 크기의 절대치로 정의할 수 있으며, 아래의 수학식 1을 통하여 얻을 수 있다.

수학식 1에서 (i,j)는 디코딩되어 입력되는 블록 단위의 데이터 내의 임의의 화소의 위치를 의미하며, M(i,j)는 해당 화소의 에지 응답의 크기를 나타낸다. f(i,j)는 입력된 원시 영상 내의 임의의 화소에 대한 밝기, 휘도, 색상 등을 나타내는 화소값을 의미하는 것으로서, f(i,j)가 나타내는 값은 동영상 부호화 장치가 적용되는 기기 등의 특성 및 그 운용 정책(operation policy)에 따라 적절히 선택되어 이용될 수 있다.

또한, K(m,n)은 2차원 에지 검출 연산자를 나타내는 것으로서, (m,n)은 에지 검출에 이용되는 에지 마스크 내부의 인덱스로서 미분 연산자이다. 에지는 영상의 농담과 색의 급격한 변화가 있는 부분이므로 함수의 변화분을 취하는 미분 연산이 윤곽선의 추출에 사용될 수 있으므로, 일반적으로 에지 검출자는 미분 필터의 일종이다. 즉, 영상에서 가로축 및 세로축을 따라서 밝기 값의 변화율, 즉 미분값이 큰 화소가 바로 에지가 되는 것이다. 이러한 성질을 이용하기 위하여 에지의 검출 은 미분 연산자로 구성된 3×3 크기의 마스크를 영상 데이터 내의 특정한 하나의 화소를 기준으로 하여 적용시킴으로써 이루어진다. 예를 들어, 소벨 에지 연산자를 이용할 수 있으며, 소벨 에지 연산자는 각각 9개의 미분 연산자로 구성된 수평 방향의 에지 검출을 위한 에지 마스크 및 수직 방향의 에지 검출은 위한 에지 마스크의 2 종류의 에지 마스크를 디코딩된 영상 데이터에 적용한다. 소벨 에지 마스크 내의 미분 연산자 성분은 아래의 표 1 및 표 2와 같으며, 각각 제2행 제2열의 성분이 수평 방향 및 수직 방향의 에지 성분을 검출하기 위한 대상 화소에 매칭되는 미분 연산자이다.

수평 에지 검출자

-1	0	1
-2	0	2
-1	0	1

수직 에지 검출자

-1	-2	-1
0	0	0
1	2	1

2. 에지 방향(θ)

화소 내에 포함된 수직 방향 성분과 수평 방향 성분의 비를 의미하며, 특정한 하나의 화소를 중심으로 하여 에지 검출자를 적용한 결과 얻을 수 있는 에지 검출자의 수평축과 수직축에 대한 각각의 응답 성분인

와

를 이용하는 아래의 수학식 2를 이용하여 정의한다.

여기서,

는 수평 에지 검출자를 영상 데이터에 적용한 값이다. 특정한 하나의 화소를 중심으로 하는 3×3 화소 블록에 표 1에 나타낸 바와 같은 수평 방향의 소벨 에지 검출자를 이용하는 경우를 예를 들어 설명한다. 화소 정보 추출부(210)로 입력된 원시 디코딩 데이터 내의 3×3 블록의 화소 성분을 제1행부터 아래 방향으로 각각 [a,b,c], [d,e,f], [g,h,k]라 한다면, 화소 정보를 추출하고자 하는 대상 화소인 (i,j) 화소는 블록 중심에 위치한 'e' 값을 갖는 화소가 되며, 이 때의

는 {((-1)×a)+(0×b)+(1×c)+((-2)×d)+(0×e)+(2×f)+((-1)×g)+(0×h)+(1×k)}의 값을 갖게 된다.

성분도 표 2에 나타낸 수직 방향의 소벨 에지 검출자를 이용하여 같은 방법으로 구할 수 있다.

이러한 방법으로 구한

,

와 수학식 2를 이용하여 얻은 θ(i,j) 성분이 0° 또는 90°에 해당하는 경우에는 해당 화소가 수평축 방향 또는 수직축 방향의 성분을 포함하고 있으므로, 블록의 경계 영역 또는 객체의 모서리 부분에 해당하는 것으로 판단할 수 있다.

3. 에지 위치([i,j])

에지 위치 정보인 [i,j]는 디코딩되어 화소 정보 추출부(210)로 입력된 블록 단위의 영상 데이터의 수직축과 수평축에 대한 좌표값으로 정의되며, 이러한 위치 정보를 이용하여 화소가 블록의 경계 영역에 해당하는지의 여부를 판단할 수 있다.

에지 판별부(220)는 화소 정보 추출부(210)에서 추출해 낸 상기의 세 종류의 화소 정보 즉, 에지 응답 크기(M), 에지 방향(θ) 및 에지 위치 정보([i,j])를 이용하여 화소가 에지 영역에 해당하는지의 여부를 판단한다. 영상 데이터는 에지 정보를 가진 화소들과 에지 정보가 없는 화소들의 집합이므로 에지 정보를 추출하는 과정에서는 에지 정보를 전혀 갖지 않는 균일한 영역의 화소들도 존재하게 된다. 즉, 에지 판별부(220)는 입력된 영상 데이터를 균일 영역에 해당하는 비에지 화소(non-edge pixel), 사람 또는 사물의 윤곽선에 해당하는 객체 에지 화소(object edge pixel) 및 블록 단위의 부호화 과정에서 분할된 경계 영역에 해당하는 블록 에지 화소(block edge pixel)의 세 종류로 분류하여 블록화 현상을 발생시키는 화소와 이에 해당되지 않는 에지 정보를 포함하는 화소들을 분류하여 객체의 에지 정보가 보존되도록 하는 선택적인 필터링이 이루어질 수 있도록 한다.

이하, 도 3에 도시된 에지 판별 과정을 참조하여 화소 특성 판별 방법에 대하여 자세히 설명한다.

에지 특성의 판별을 위하여 화소 정보 추출부(210)가 에지 검출자를 이용하여 얻어낸 세 종류의 화소 정보들 즉, 에지 응답의 크기(M), 에지 방향(θ) 및 에지 위치([i,j]) 정보가 에지 판별부(220)로 입력되면, 에지 판별부(220)는 임의의 화소에 대한 에지 특성 판별을 개시한다(S310).

우선, 에지 판별부(220)는 선택된 화소의 에지 응답 크기(M)가 사람 또는 사 물의 윤곽선이 존재하지 않는 비교적 균일한 영역 내의 화소에 해당하는 것으로 판단할 수 있는 것으로 미리 설정된 임계값 이하의 값에 해당하는 경우에는 비에지 화소인 것으로 판단하여 별도의 처리 과정 없이 그대로 필터부(230)로 화소 데이터를 전송한다(S320,S360). 도 4에는 균일 영역(homogeneous region) 내에서 발생된 블록화 현상을 나타내었다. 도 4에서 하나의 격자는 하나의 화소를 나타내며, 4×4 블록 단위로 디코딩되도록 설정된 경우를 도시한 것이다. 일반적인 디블록킹 처리에 있어서, 그 대상이 되는 영역은 단위 블록의 경계 영역인 'A'선을 중심으로 양 방향 각각 2 화소씩에 해당하는 영역이므로, 'X' 표시된 영역이 수직 에지 처리를 위한 대상이 되는 디블록킹 대상 화소 영역에 해당한다. 도 4에 도시된 바와 같이, 블록 경계에서는 에지 응답의 크기가 급격히 변화하는 특징이 나타나므로, 에지 판별부(220)는 동영상 부호화 장치에 입력되는 영상 프레임의 특성에 따라 임계값을 설정하여 블록 에지 화소의 판단에 이용한다.

반면, 선택된 화소의 에지 응답의 크기(M)가 미리 설정된 임계값 보다 큰 경우에는 해당 화소는 객체 에지 화소 또는 블록 에지 화소에 해당하므로, 에지 방향(θ)이 수평축 방향 또는 수직축 방향에 해당하는지의 여부를 판단한다(S330). 도 4에 나타낸 바와 같이 각 단위 블록의 경계 영역에 위치하는 블록 에지 화소는 수평축 방향 또는 수직축 방향만으로 에지 성분을 갖기 때문에 θ가 0° 또는 90°인지의 여부를 판단한다.

선택된 화소가 축 방향의 에지 성분을 갖는 것으로 판단된 경우에는 블록 에지 화소일 가능성이 높지만, 에지 판별부(220)는 보다 정확한 판단을 위하여 화소 정보 추출부(210)에서 얻은 에지 위치 정보([i,j])를 이용하여 화소가 블록 경계 영역에 해당하는지의 여부를 판단하여, 블록 경계 영역에 해당하는 경우에는 해당 화소는 블록 에지 화소인 것으로 판단하고, 별도의 데이터 처리 없이 필터부(230)로 출력한다(S340,S360). 이는 θ가 0° 또는 90°에 해당하더라도, 사물의 윤곽선 즉 객체 에지에 해당하는 화소가 존재할 수 있으므로, 이러한 화소들이 블록 에지로 판단되어 저대역 필터를 통하여 필터링됨으로써 오히려 화질이 열화되는 현상을 방지하기 위한 것이다.

선택된 화소가 축 방향의 에지 성분을 갖지 않고(S330), 축 방향의 에지 성분을 갖더라도 블록 경계 영역에 위치하지 않는 경우에는(S340), 에지 판별부(220)는 해당 화소를 객체 에지 화소인 것으로 판단하고, 객체 에지임을 나타내는 별도의 식별부호를 부가하는 처리를 거쳐 필터부로 출력한다(S350,S360).

도 5에 이와 같은 블록 에지 화소와 객체 에지 화소의 예를 나타내었다. 도 4에 도시된 내용으로부터 알 수 있는 바와 같이 일반적인 디블록킹 처리에 있어서는, 'B' 선을 기준으로 하는 두 개의 단위 블록에 있어서, 'X', 'O', '△' 표시된 영역이 모두 블록킹 현상의 제거를 위한 디블록킹 대상 화소 영역에 해당하게 된다. 그러나 본 발명의 실시예에서는 'O' 표시된 영역은 수평축 또는 수직축 방향의 에지 성분을 갖는 객체의 윤곽선 영역, 즉 객체 에지 화소로 판별되어 디블록킹 대상 화소에 해당되지 않는 것으로 분류된다. 그리고 '△' 표시된 영역은 객체 내부의 비교적 균일한 영역에 해당되는 화소들로서 비에지 화소에 해당한다.

에지 응답의 크기와 에지 방향 성분만을 가지고 화소의 특성을 판별하는 경 우에는 도 5에 도시된 영역에 해당하는 객체 에지 화소가 블록 에지 화소로 분류되어 저대역 필터링 처리를 거치게 되는 문제가 발생할 수 있으므로, 본 발명에서는 에지 위치 정보를 부가적으로 이용하여 화소의 특성을 판별한다.

H.264 방식에서는 4×4 블록 단위로 부호화 및 복호화가 이루어지므로, 하나의 단위 블록 내에서 에지 위치값이 [1,1], [1,2] 등의 블록 경계 영역에 위치하는지의 여부를 확인하여 블록 에지 화소를 판단한다. 다른 부호화 방식을 이용할 경우에는 복호화의 기준이 되는 블록 단위가 달라질 수 있으며, 이에 따라 블록 경계 영역에 해당하는 것으로 판단하는 기준이 되는 에지 위치값 또한 변경될 수 있다.

필터부(230)는 저대역 필터(231)와 적응 필터(232)를 포함한다. 저대역 필터(231)는 블록 에지 화소에 대한 블록킹 결점(blocking artifact)를 감소시켜 블록화 현상을 제거한다. 저대역 필터(231)에는 에지 판별부(220)에서 비에지 화소 또는 블록 에지 화소인 것으로 판단된 화소가 입력되고 이에 대한 저대역 필터링이 이루어진다. 저대역 필터(231)로 입력된 비에지 화소는 고주파 영역을 거의 포함하고 있지 않으므로, 저대역 필터링을 거치게 되더라도 화소 정보가 손상되지 않는다. 저대역 필터(231)로는 H.264 표준에서 규정하고 있는 인루프 디블록킹 필터(in-loop deblocking filter)가 이용될 수 있다.

적응 필터(232)는 에지 판별부(220)에서의 분류 결과, 객체 에지 화소인 것으로 판단된 화소에 대한 선택적 필터링을 수행한다. 적응 필터(232)는 객체 에지 화소의 정보를 보존하기 위한 것으로서, 에지 판별부(220)로부터 입력된 디코딩 데이터 중 객체 에지 화소임을 나타내는 식별부호가 부가된 화소들만을 선택적으로 필터링한다. 적응 필터(232)는 객체 에지 정보가 손실되는 것을 방지하기 위한 것이므로, 이득이 1인 전대역 통과 필터(all pass filter)를 사용할 수 있으며, 에지 성분을 강화하기 위해 사용되는 샤프닝 필터(sharpening filter)를 이용할 수도 있다.

본 발명의 실시예에서는 비에지 화소가 저대역 필터(231)로 입력되어 처리되는 것으로 설명하였지만, 적응 필터(232)로 입력되어 처리될 수도 있다.

블록 단위로 압축된 영상 프레임이 역양자화 및 역변환 과정을 통하여 원시 디코딩 데이터로 변환된다(S610).

화소 정보 추출부(210)는 원시 디코딩 데이터를 전송받아 에지 특성을 갖는 화소의 판별을 위하여 사용되는 세 종류의 화소 정보 즉, 에지 응답 크기(M), 에지 방향(θ) 및 에지 위치([i,j]) 정보를 추출한다(S620).

에지 판별부(220)는 화소 정보 추출부(210)에서 얻어진 화소 정보를 기초로 하여 도 3에 도시된 과정에 따라 응답 크기, 에지 방향 및 에지 위치 정보를 순차적으로 이용하여 원시 디코딩 데이터 내에 포함된 화소를 비에지 화소, 블록 에지 화소 및 객체 에지 화소로 각각 분류하고, 객체 에지 화소에는 별도의 식별부호를 부가한다(S630).

필터부(230)는 에지 판별부(220)로부터 입력된 화소에 식별부호가 부가되어 있는지의 여부를 판단하여 해당 화소가 객체 에지 화소인 경우에는 적응 필터(232) 를 이용하여 필터링한다(S640,S642). 반면, 화소가 객체 에지 화소가 아닌 경우에는 저대역 필터(231)를 통하여 고주파 영역 성분을 제거하는 디블록킹 처리를 수행한다(S640,S641).

두 종류의 필터에서 별도의 처리 과정을 거친 화소들은 합성 과정을 거쳐 하나의 영상 프레임으로 출력된다(S650). 이 때, 원래의 영상에 존재하는 객체 에지를 보존하기 위하여 아래의 수학식 3을 이용하여 영상 프레임 내의 화소들을 합성 및 복원하여 출력할 수 있다.

수학식 3에서

는 적응 필터(232)에서 출력된 영상 데이터를,

는 저대역 필터(231)에서 출력된 영상 데이터를 의미한다. 그리고, a 및 b는 영상 데이터에 적용되는 가중치로서, 동영상 부호화 장치가 적용되는 기기의 특성, 입력된 영상 프레임의 특성 등에 따라 변경되어 적용될 수 있는 값이다. 즉, 수학식 3은 영상 프레임에 대한 가중치화된 평균을 구하는 식으로서, (a+b)가 '1'이 되는 값들을 적용할 수도 있다. 예를 들어, 비에지 화소나 블록 에지 화소에 대해서는 a를 0으로 설정함으로써, 종래의 디블록킹 기법을 그대로 적용하도록 하고, 객체 에지 화소에 대해서는 b의 값을 0.7 내지 1로 설정하여 줄 수 있다. 수학식 3을 통하여 저대역 필터링 효과를 가지는 디블록킹 효과보다는 원영상의 에지를 강조하는 처리를 함으로써 에지 화소의 일률적인 디블록킹 처리로 인하여 화질이 열화되 는 것을 방지할 수 있다.

본 발명의 실시예에서는 필터부(230) 내의 두 종류의 필터에 모든 화소값이 입력되도록 설정하고, 객체 에지 화소에 별도의 식별부호를 부가하여 식별부호가 있는 화소는 적응 필터(232)에서 처리되는 것으로 설명하였지만, 에지 판별부(220)에서 객체 에지 화소인 것으로 판단된 화소는 적응 필터(232)로만 입력되고 이외의 화소는 저대역 필터(231)로 입력되어 처리되도록 제어할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범우에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

이와 같이 본 발명의 실시예에 의하면, 영상 프레임 내의 화소 정보를 이용하여 화소의 특성을 판별하고, 이를 통하여 객체의 윤곽선 영역에 해당하는 화소를 분류하고 선택적으로 필터링함으로써 화질의 열화를 방지할 수 있다.

또한, 블록 경계 결점을 효과적으로 제거하면서 원 영상이 가진 자연적인 객체 에지 성분은 선택적으로 보존함으로써 시각적으로 더욱 선명한 영상으로 복원할 수 있다.

Claims

블록 단위로 디코딩된 영상 프레임의 블록화 현상을 제거하기 위한 필터링 방법에 있어서,

상기 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 포함하는 화소 정보를 추출하는 단계;

상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 단계; 및

상기 분류 결과에 따라 상이한 필터링을 수행하는 단계를 포함하는 영상 프레임의 블록화 현상 제거 방법.
제1항에 있어서,

상기 에지 응답의 크기는 상기 화소에 에지 검출자를 적용한 응답 크기의 절대치인 영상 프레임의 블록화 현상 제거 방법.
제2항에 있어서,

상기 에지 응답의 크기는

((i,j) : 임의의 화소의 위치, M(i,j) : 해당 화소의 에지 응답의 크기,

f(i,j) : 해당 화소의 화소값, K(m,n) : 2차원 에지 검출 연산자)

로부터 도출되는 영상 프레임의 블록화 현상 제거 방법.
제1항에 있어서,

상기 에지 방향 정보는 상기 화소에 에지 검출자를 적용하여 얻은 수직 방향 성분과 수평 방향 성분의 비의 역탄젠트인 영상 프레임의 블록화 현상 제거 방법.
제1항에 있어서,

상기 에지 위치는 상기 화소가 포함된 블록 내의 상대적인 위치를 좌표로 나타낸 값인 영상 프레임의 블록화 현상 제거 방법.
제1항 내지 제5항 중 어느 하나의 항에 있어서,

상기 에지 검출자는 소벨 에지 검출자(Sobel edge detector) 또는 캐니 에지 검출자(Canny edge detector)인 영상 프레임의 블록화 현상 제거 방법.
제1항 내지 제5항 중 어느 하나의 항에 있어서,

상기 화소 분류 단계는

상기 화소의 에지 응답의 크기와 미리 설정된 임계값을 비교하여, 상기 임계값이 큰 경우에는 상기 화소를 비에지 화소로 분류하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.
제7항에 있어서,

상기 화소 분류 단계는

상기 에지 응답의 크기가 큰 경우에는 상기 화소의 에지 방향이 0° 또는 90°에 해당하는지의 여부를 판단하여, 상기 에지 방향이 0° 또는 90°가 아닌 경우, 상기 화소를 객체 에지 화소로 분류하는 단계; 및

상기 에지 방향이 0° 또는 90°에 해당하는 경우, 상기 화소의 에지 위치 정보를 이용하여 상기 화소가 블록 경계 영역에 존재하는 지의 여부를 판단하여, 상기 화소가 블록 경계 영역에 위치하면 블록 에지 화소로 분류하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.
제8항에 있어서,

상기 에지 방향이 0° 또는 90°에 해당하는 경우,

상기 화소의 에지 위치가 블록 경계 영역에 해당하지 않는 것으로 판단되면, 상기 화소를 객체 에지 화소로 판단하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.
제9항에 있어서,

상기 필터링 단계는

상기 디코딩된 영상 프레임 내의 화소 중 비에지 화소 및 블록 에지 화소로 분류된 화소를 저대역 필터링하는 영상 프레임의 블록화 현상 제거 방법.
제9항에 있어서,

상기 필터링 단계는

상기 디코딩된 영상 프레임 내의 화소 중 객체 에지 화소로 분류된 화소는 전대역 필터 또는 샤프닝 필터로 필터링하는 영상 프레임의 블록화 현상 제거 방법.
제9항에 있어서,

상기 디코딩된 영상 프레임 내의 화소 중 객체 에지 화소로 분류된 화소에 식별부호를 부가하는 단계를 더 포함하는 영상 프레임의 블록화 현상 제거 방법.
블록 단위로 디코딩된 영상 프레임 내의 임의의 화소에 에지 검출자를 적용하여 에지 응답의 크기, 에지 방향 정보 및 에지 위치 정보를 추출하는 화소 정보 추출부;

상기 추출된 화소 정보를 이용하여 상기 화소를 비에지 화소, 객체 에지 화소 및 블록 에지 화소 중의 하나로 분류하는 에지 판별부; 및

상기 화소 분류 결과에 따라 상이한 필터링을 수행하는 필터부를 포함하는 영상 프레임의 블록화 현상 제거 장치.
제13항에 있어서,

상기 필터부는

상기 비에지 화소 및 상기 블록 에지 화소에 포함된 고주파 성분을 제거하는 저대역 필터; 및

상기 객체 에지 화소의 에지 정보를 유지하는 필터링을 수행하는 적응 필터를 포함하는 영상 프레임의 블록화 현상 제거 장치.
제14항에 있어서,

상기 적응 필터는 전대역 필터 또는 샤프닝 필터 중에서 선택되어 이용되는 영상 프레임의 블록화 현상 제거 장치.