KR20140072938A - 화면 내 예측을 위한 적응적 참조 픽셀 필터링 방법 및 장치 - Google Patents

Abstract

본 발명은 비디오 코덱의 화면 내 예측에서 주변의 참조 샘플에 적응적으로 필터링을 수행하는 방법 및 장치에 관한 것이다. 해당 복호화 방법은 참조 샘플을 도출하는 단계; 참조 샘플을 패딩하는 단계; 적응적으로 참조 샘플을 필터링하는 단계; 필터링된 참조 픽셀을 사용하여 화면 내 예측을 수행하는 단계를 포함한다.

Description

화면 내 예측을 위한 적응적 참조 픽셀 필터링 방법 및 장치 {METHOD AND APPARATUS FOR ADAPTIVE FILTERING OF REFERENCE PIXELS FOR INTRA PREDICTION}

본 발명은 영상 처리 기술에 관한 것으로써, 보다 상세하게는 비디오 압축 기술에서 화면 내 예측의 성능을 향상시키는 방법 및 장치에 관한 것이다.

최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라, MPEG-2 Video, H.264/AVC 코덱을 공동으로 표준화 했던 MPEG과 VCEG은 2010년부터 새로운 비디오 압축 기술에 대한 공동 표준화를 진행하고 있다. MPEG과 VCEG은 새로운 표준 기술 개발을 위하여 JCT-VC(Joint Collaborative Team on Video Coding)를 구성하였으며, 현재 JCT-VC를 통하여 HEVC(High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 개발하고 있다. 이러한 HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 약 50% 이상의 압축 효율 향상을 목표로 표준화를 진행하고 있으며, Full-HD와 4K급의 해상도의 영상을 지원하고 있다.

비디오 코덱에서 화면 내 예측 기술은 부호화하려는 블록의 주변에 위치하는 복호화된 픽셀을 사용한다. 화면 내 예측에서는 주변의 복호화된 픽셀에 디블록킹 필터, 샘플 적응적 오프셋 등의 인-루프 필터가 적용되지 않은 픽셀을 사용하기 때문에 참조 픽셀의 양자화 에러로 인하여 화면 내 예측의 성능이 저하될 수 있다.

본 발명은 화면 내 예측을 수행하기 전에 주변에 위치하는 복호화된 참조 픽셀들에 적응적으로 필터링을 수행함으로써 화면 내 예측의 성능을 향상시키는 것을 목적으로 한다.

상기 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 적응적 참조 픽셀 필터랑 방법 및 장치는 참조 샘플을 도출하는 단계; 참조 샘플 영역에서 픽셀 단위로 패딩을 수행하는 단계; 참조 샘플 영역에 대하여 적응적으로 참조 샘플을 필터링하는 단계; 필터링이 수행된 참조 픽셀을 사용하여 화면 내 예측을 수행하는 단계를 포함한다.

본 발명의 일 실시 예에 따르면, 참조 샘플 도출부와 참조 샘플 패딩부에서 현재 부호화할 블록의 주변 픽셀들을 예측 값으로 사용하게 함으로써 화면 내 예측의 성능을 향상시킬 수 있다.

또한, 본 발명의 일 실시예에 따르면, 적응적 참조 샘플 필터링부에서는 픽셀 단위로 에러의 형태를 분류하고 에러 특성에 따라 필터링을 다르게 적용함으로써 참조 샘플에서의 에러를 효과적으로 감소시킬 수 있다.

도 1은 본 발명이 적용되는 영상 복호화 장치의 제1 실시 예에 따른 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 참조 샘플 도출부에서 샘플의 도출 범위를 설명하기 위한 개념도이다.
도 3은 도 1에 도시된 참조 샘플 패딩부에서 블록 주변의 모든 픽셀들이 참조가 불가능한 경우에 대한 패딩 방법을 설명하는 개념도이다.
도 4a는 도 1에 도시된 참조 샘플 패딩부에서 블록의 왼쪽에서 가장 아래쪽에 위치하는 픽셀이 참조 불가능한 경우에 대한 패딩 방법을 설명하기 위한 개념도이다.
도 4b는 도 1에 도시된 참조 샘플 패딩부에서 블록의 왼쪽 경계에 위치하는 일부 픽셀이 참조 불가능한 경우에 대한 패딩 방법을 설명하기 위한 또 다른 개념도이다.
도 4c는 도 1에 도시된 참조 샘플 패딩부에서 블록의 위쪽 경계에 위치하는 일부 픽셀이 참조 불가능한 경우에 대한 패딩 방법을 설명하기 위한 또 다른 개념도이다.
도 5는 도 1에 도시된 적응적 참조 샘플 필터링부의 흐름도이다.
도 6은 도 5에 도시된 에지 카테고리 판단의 동작을 설명하기 위한 개념도이다.
도 7은 도 5에 도시된 필터 선택 과정의 동작을 설명하기 위한 개념도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 영상 복호화 장치의 제1 실시 예에 따른 구성을 나타내는 블록도이다.

도 1를 참조하면, 상기 영상 복호화 장치(100)는 참조 샘플 도출부(110), 참조 샘플 패딩부(120), 적응적 참조 샘플 필터링부(130), 화면 내 예측 수행부(140)를 포함한다.

참조 샘플 도출부(110)는 화면 내 예측을 수행하는 경우 부호화 또는 복호화하려는 블록의 주변에 위치하는 참조 샘플 (픽셀)을 도출한다.

참조 샘플 패딩부(120)는 참조 샘플 도출부(110)에서 도출된 픽셀을 사용하여 일부 참조 영역에서 비 도출된 샘플들에 대하여 정해진 규칙에 따라 주변의 픽셀 값으로 대체한다.

적응적 참조 샘플 필터링부(130)는 참조 샘플 패딩부(120)를 거쳐 준비된 각 참조 샘플들에 대하여 해당 픽셀을 중심으로 에지 카테고리를 분리하고, 각 카테고리 별로 필터를 선택적으로 적용하여 참조 샘플에 필터링을 수행한다.

화면 내 예측 수행부(140)는 적응적 참조 샘플 필터링부(130)를 거쳐 필터링이 적용된 참조 샘플들을 사용하여 화면 내 예측을 수행한다.

도 2는 도 1에 도시된 참조 샘플 도출부에서 샘플의 도출 범위를 설명하기 위한 개념도이다.

도 2를 참조하면, 도 1에 도시된 참조 샘플 도출부(110)는 부호화/복호화 하려는 블록의 크기가 N×N (200)인 경우 해당 블록의 주변에 위치하는 {2N×1} (210) 영역과 {1×(2N+1)} (220) 영역에 위치하는 픽셀에 대하여 도출한다. 참조 샘플 도출부(110)에서는 도출 영역에 일부 픽셀이 프레임 경계인 경우에는 해당 영역의 픽셀에 대해서는 도출할 수 없다. 또한, 도출 영역의 일부 픽셀이 부호화/복호화하려는 블록(200)과 다른 슬라이스 또는 타일에 위치하는 경우 해당 영역의 픽셀에 대해서는 도출할 수 없다.

도 3은 도 1에 도시된 참조 샘플 패딩부에서 블록 주변의 모든 픽셀들이 참조가 불가능한 경우에 대한 패딩 방법을 설명하는 개념도이다.

도 3를 참조하면, 참조 샘플 패딩부(120)는 부호화/복화화 하려는 블록 (300) 주변의 샘플 도출 범위의 모든 픽셀들이 (310) 참조가 불가능한 경우에는 해당 픽쳐에 대한 비트 심도의 절반 값(DC)으로 픽셀들을 패딩한다.

도 4a는 도 1에 도시된 참조 샘플 패딩부에서 블록의 왼쪽에서 가장 아래쪽에 위치하는 픽셀(400)이 참조 불가능한 경우에 대한 패딩 방법을 설명하기 위한 개념도이다.

도 4a를 참조하면, 참조 샘플 패딩부(120)는 부호화/복호화하려는 블록의 왼쪽에서 가장 아래쪽에 위치하는 참조 영역의 픽셀 (400)이 참조가 불가능한 경우에 그 위에 위치하는 픽셀로부터 화살표 방향으로 이동하면서 가장 처음으로 참조 가능한 픽셀값(410)으로 대체한다.

도 4b는 도 1에 도시된 참조 샘플 패딩부에서 왼쪽 경계에 위치하는 일부 픽셀이 참조 불가능한 경우에 대한 패딩 방법을 설명하기 위한 또 다른 개념도이다.

도 4b는 참조하면, 참조 샘플 패딩부(120)는 부호화/복호화하려는 블록의 왼쪽에 위치하는 픽셀들 (415) 중 참조가 불가능한 픽셀 (420)에 대해서는 해당 픽셀의 아래쪽으로 위치하는 픽셀(430)로 대체한다.

도 4c는 도 1에 도시된 참조 샘플 패딩부에서 블록의 위쪽 경계에 위치하는 일부 픽셀이 참조 불가능한 경우에 대한 패딩 방법을 설명하기 위한 또 다른 개념도이다.

도 4c를 참조하면, 참조 샘플 패딩부(120)는 부호화/복호화하려는 블록의 위쪽에 위치하는 픽셀들 (435) 중 참조가 불가능한 픽셀 (440)에 대해서는 해당 픽셀의 왼쪽에 위치하는 픽셀(450)로 대체한다.

도 5는 도 1에 도시된 적응적 참조 샘플 필터링부의 흐름도이다.

도 5를 참조하면, 적응적 참조 샘플 필터링부(130)는 참조 영역의 각 픽셀에 대하여 에지 카테고리를 판단(510)을 수행한다. 필터 선택(520) 단계에서는 정해진 카테고리에 따라 필터를 선택한다. 각 픽셀에 대해서 필터가 선택된 후에는 픽셀 기반 필터링(530) 단계에서 참조 영역의 픽셀에 대한 필터링이 수행된다.

도 6은 도 5에 도시된 에지 카테고리 판단(510)의 동작을 설명하기 위한 개념도이다.

도 6을 참조하면, 참조 영역의 픽셀에 대한 에지 카테고리 판단(510)은 현재 픽셀(600)을 기준으로 참조 영역에서 인접하는 두 픽셀을 추가하여 총 3개의 픽셀로 이루어진 픽셀 집합(605)을 사용한다. 픽셀 집합(605)에서 현재 픽셀(600)을 기준으로 좌,우에 위치하는 픽셀이 모두 현재 픽셀보다 크거나 작은 경우는 카테고리A(610)에 해당한다. 현재 픽셀(600) 값과 오른쪽 픽셀 값이 같고, 왼쪽에 위치하는 픽셀보다는 작거나 큰 경우 카테고리B(620)에 해당한다. 현재 픽셀(600) 값이 왼쪽 픽셀 값과 같고, 오른쪽에 위치하는 픽셀보다는 크거나 작은 경우 카테고리C(630)에 해당한다. 현재 픽셀(600)을 기준으로 에지 카테고리를 판단할 때 카테고리A(610), 카테고리B(620), 카테고리C(630)에 해당하지 않는 그 외의 경우에는 카테고리D(640)에 해당한다.

에지 카테고리 판단 과정에서는 도 2에 도시된 참조 영역의 픽셀 중 왼쪽 가장 아래쪽의 픽셀은 아래쪽에 더 이상 참조 영역이 존재하지 않기 때문에 해당 위치에서는 카테고리를 판단하지 않는다. 유사하게 도 2에 도시된 참조 영역의 픽셀 중 위쪽에서 가장 오른쪽에 위치하는 픽셀은 오른쪽에 더 이상 참조 영역이 존재하지 않기 때문에 해당 위치에서는 카테고리를 판단하지 않는다.

도 7은 도 5에 도시된 필터 선택 과정(520)의 동작을 설명하기 위한 개념도이다.

도 7을 참조하면, 필터 선택의 과정(520)은 도 6의 에지 카테고리 판단 동작의 결과에 따라 이루어진다. 예를 들어, 첫 번째 픽셀 집합(700)은 카테고리A에 해당하므로 필터 계수 {1,2,1}/4를 선택한다. 마찬가지로 두 번째 픽셀 집합(710)은 카테고리A에 해당하므로 동일한 필터 계수를 선택한다. 추가로 카테고리A,B,C에 해당하지 않는 픽셀 집합에 대해서도 필터 계수 {1,2,1}/4가 선택된다.

세 번째 픽셀 집합(720)과 네 번째 픽셀 집합(730)은 카테고리B에 해당하므로 필터 계수 {2,1,1}/4를 선택한다. 이때 픽셀 집합의 가장 왼쪽의 픽셀을 기준으로 차례로 2/4, 1/4, 1/4의 가중치가 사용된다.

다섯 번째 픽셀 집합(740)과 여섯 번째 픽셀 집합 (750)은 카테고리C에 해당하므로 필터 계수 {1,1,2}/4를 선택한다. 이때 픽셀 집합의 가장 왼쪽의 픽셀을 기준으로 차례로 1/4, 1/4, 2/4의 가중치가 사용된다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (1)

1. 비디오 코덱에서 화면 내 예측을 수행할 때 참조 픽셀에 대한 필터링을 수행하는 방법으로써, 부호화/복호화하려는 블록의 주변에 위치하는 참조 샘플을 도출하는 단계; 참조 영역의 샘플에 대하여 패당하는 단계; 픽셀 단위로 카테고리를 판단하여 카테고리 별로 필터를 선택하고 선택된 필터를 사용하여 참조 샘플에 필터링을 수행하는 단계; 필터링된 참조 픽셀을 사용하여 화면 내 예측을 수행하는 단계를 포함하는 방법 및 장치
   

Images