KR102555352B1 - 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 - Google Patents
인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 Download PDFInfo
- Publication number
- KR102555352B1 KR102555352B1 KR1020227026128A KR20227026128A KR102555352B1 KR 102555352 B1 KR102555352 B1 KR 102555352B1 KR 1020227026128 A KR1020227026128 A KR 1020227026128A KR 20227026128 A KR20227026128 A KR 20227026128A KR 102555352 B1 KR102555352 B1 KR 102555352B1
- Authority
- KR
- South Korea
- Prior art keywords
- reference sample
- intra prediction
- sample
- current block
- prediction mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 인트라 예측 방법 및 이를 이용하는 장치에 관한 것으로서, 본 발명에 따른 인트라 예측 방법은 현재 블록에 대한 예측 모드로서 현재 예측 모드를 유도하는 단계, 상기 현재 블록의 주변 샘플들을 가용 참조 샘플로 구성하는 단계, 상기 가용 참조 샘플을 필터링하는 단계 및 상기 필터링된 수정 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하며, 상기 필터링 단계에서는, 상기 현재 예측 모드의 예측 방향에 위치하는 가용 참조 샘플 및 상기 현재 예측 모드의 예측 방향에 인접한 소정 개수의 가용 참조 샘플을 이용하여 필터링을 수행할 수 있다.
Description
본 발명은 영상 정보 처리 방법 및 장치에 관한 것으로서, 더 구체적으로는 영상 정보의 인트라 예측 과정에서 수행되는 주변 샘플들에 대한 필터링 방법과 이를 이용하는 장치에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다. 따라서, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 화면 간 예측과 화면 내 예측을 이용할 수 있다.
인터(inter) 예측에서는 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하며, 인트라(intra) 예측에서는 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측한다.
인터 예측 및 인트라 예측 외에도, 조명 변화 등에 의한 화질의 열화를 방지하기 위한 가중치 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 영상 정보의 효율적인 처리를 위해 이용되고 있다.
본 발명의 목적은 효과적인 영상 압축 기술과 이를 이용한 장치를 제공하는 것이다.
본 발명의 다른 목적은 예측 효율을 증가시킬 수 있는 인트라 예측 방법 및 이를 이용하는 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 복원 영상의 아티팩트를 줄일 수 있도록 인트라 예측 과정에서 주변 참조 샘플에 필터링을 적용하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 주변 참조 샘플을 현재 블록의 인트라 예측 모드에 따라서 필터링하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 주변 참조 샘플에 대한 필터링 적용 여부를 현재 블록의 사이즈 및 인트라 예측 모드에 따라서 결정하는 방법 및 이를 이용하는 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 필터링의 대상이 되는 주변 참조 샘플들을 특정하여 인트라 예측 과정의 복잡도를 줄이는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 인트라 예측 전에 필터링이 적용되지 않는 경우에 대해서 예측 후 필터링을 적용하여 아티팩트를 줄이는 방법 및 장치를 제공하는 것이다.
(1) 본 발명의 일 실시형태는 인트라 예측 방법으로서, 현재 블록에 대한 예측 모드로서 현재 예측 모드를 유도하는 단계, 상기 현재 블록의 주변 샘플들을 가용 참조 샘플로 구성하는 단계, 상기 가용 참조 샘플을 필터링하는 단계 및 상기 필터링된 수정 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하며, 상기 필터링 단계에서는, 상기 현재 예측 모드의 예측 방향에 위치하는 가용 참조 샘플 및 상기 현재 예측 모드의 예측 방향에 인접한 소정 개수의 가용 참조 샘플을 이용하여 필터링을 수행할 수 있다.
(2) (1)에 있어서, 상기 필터링 단계에서는, [1 2 1]의 필터링 계수를 가지는 3 탭 필터를 가용 참조 샘플에 적용할 수 있다.
(3) (1)에 있어서, 상기 필터링 단계에서는, 상기 현재 예측 모드의 예측 방향에 위치하는 제1 가용 참조 샘플, 상기 제1 가용 참조 샘플의 좌측에 위치하는 제2 가용 참조 샘플 및 상기 제1 가용 참조 샘플의 우측에 위치하는 제3 가용 참조 샘플에 대하여 3 탭의 필터를 이용한 필터링을 적용하여, 상기 제1 가용 참조 샘플의 위치에 수정 참조 샘플을 생성할 수 있다.
(4) (1)에 있어서, 상기 현재 예측 모드는 수직 예측 모드의 우측으로 8번째 예측 방향을 가지는 예측 모드, 수직 예측 모드의 좌측으로 8번째 예측 방향을 가지는 예측 모드 또는 수평 예측 모드의 하측으로 8번째 예측 방향을 가지는 예측 모드 중 어느 하나일 수 있다.
(5) (1)에 있어서, 상기 필터링 단계에서는, 상기 현재 예측 모드에서 이용 가능한 가용 참조 샘플만을 필터링할 수도 있다.
(6) (5)에 있어서, 상기 현재 예측 모드가 수직 예측 모드의 오른쪽 예측 방향을 갖는 경우에는, 상기 현재 블록의 상측 및 상우측 가용 참조 샘플들과 상기 현재 블록의 좌상단에 인접한 가용 참조 샘플만을 필터링할 수도 있다.
(7) (5)에 있어서, 상기 현재 예측 모드가 수직 예측 모드의 왼쪽 예측 방향을 갖거나 수평 예측 모드의 윗쪽 방향인 예측 방향을 가지는 경우에는, 상기 현재 블록의 상측 및 좌측 가용 참조 샘플들과 상기 현재 블록의 좌상단에 인접한 가용 참조 샘플만을 필터링할 수도 있다.
(8) (5)에 있어서, 상기 현재 예측 모드가 수평 예측 모드의 아래쪽 예측 방향을 가지는 경우에는, 상기 현재 블록의 좌측 및 좌하측 가용 참조 샘플들과 상기 현재 블록의 좌상단에 인접한 가용 참조 샘플만을 필터링할 수도 있다.
(9) (1)에 있어서, 상기 현재 블록의 사이즈 및 상기 현재 예측 모드에 따라서 상기 필터링 단계의 적용 여부를 결정할 수 있다.
(10) (9)에 있어서, 상기 필터링 단계가 적용되지 않은 경우에, 상기 예측 샘플은 상기 가용 참조 샘플을 기반으로 생성할 수 있으며, 상기 가용 참조 샘플 및 상기 예측 샘플 중 상기 가용 참조 샘플과 인접하는 예측 샘플에 대해서 2탭의 필터를 이용한 스무딩을 적용할 수 있다.
(11) 본 발명의 다른 실시형태는 부호화 장치로서, 현재 블록에 대한 예측을 수행하고 예측 블록을 생성하는 예측부 및 상기 예측 및 예측 블록에 대한 정보를 부호화하는 엔트로피 부호화부를 포함하며, 상기 예측부는 상기 현재 블록 주변의 가용 참조 샘플들에 대한 필터링을 수행하고, 필터링된 가용 참조 샘플을 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있으며, 상기 가용 참조 샘플에 대한 필터링은 상기 현재 블록의 인트라 예측 모드의 예측 방향에 위치하는 가용 참조 샘플 및 상기 현재 예측 모드의 예측 방향에 인접한 소정 개수의 가용 참조 샘플에 3 탭 필터를 적용하는 것일 수 있다.
(12) (11)에 있어서, 상기 3 탭 필터는 [1 2 1]의 필터 계수를 가질 수 있다.
(13) 본 발명의 또 다른 실시형태는 복호화 장치로서, 부호화기로부터 수신한 정보를 엔트로피 복호화하는 엔트로피 복호화부 및 상기 엔트로피 복호화된 정보를 기반으로 현재 블록에 대한 예측을 수행하는 예측부를 포함하며, 상기 예측부는, 상기 현재 블록 주변의 가용 참조 샘플들에 대한 필터링을 수행하고, 필터링된 가용 참조 샘플을 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있으며, 상기 가용 참조 샘플에 대한 필터링은 상기 현재 블록의 인트라 예측 모드의 예측 방향에 위치하는 가용 참조 샘플 및 상기 현재 예측 모드의 예측 방향에 인접한 소정 개수의 가용 참조 샘플에 3 탭 필터를 적용하는 것일 수 있다.
(14) (13)에 있어서, 상기 3 탭 필터는 [1 2 1]의 필터 계수를 가질 수 있다.
본 발명에 다르면, 인트라 예측의 효율을 증가시키고 복원 영상의 품질을 높일 수 있다.
본 발명에 따르면, 복원된 영상에 나타날 수 있는 아티팩트를 인트라 예측 과정에서 제거할 수 있다.
본 발명에 따르면, 현재 블록의 사이즈, 인트라 예측 모드 등에 따라서 주변 블록의 필터링 여부를 적응적으로 결정할 수 있다.
본 발명에 따르면, 필터링 대상이 되는 주변 샘플을 인트라 예측 모드에 따라서 특정함으로써 인트라 예측의 복잡도를 줄일 수 있다.
본 발명에 따르면, 인트라 예측 전에 참조 샘플에 대한 필터링이 적용되지 않는 경우에도, 예측 후처리 과정을 적용하여 아티팩트를 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화기를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 3은 인트라 예측에 사용되는 예측 모드를 개략적으로 나타낸 것이다.
도 4는 인트라 예측 모드들을 개략적으로 나타낸 다른 도면이다.
도 5는 좌하측 픽셀을 상단으로 투영하여 참조 픽셀로 이용하는 방법을 개략적으로 설명하는 도면이다.
도 6은 인트라 예측 모드에 따라서 참조 픽셀을 필터링하고, 필터링된 픽셀을 이용하여 인트라 예측을 수행하는 방법의 일 예를 개략적으로 나타낸 것이다.
도 7은 본 발명이 적용되는 시스템에서 CRSI를 적용하는 대상을 특정하는 일 예를 개략적으로 나타낸 것이다.
도 8은 본 발명이 적용되는 시스템에서 수직+8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 9는 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 10은 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 11은 본 발명이 적용되는 시스템에서 수평+8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 12는 본 발명이 적용되는 시스템에서 수직+8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 13은 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 다른 일 예를 개략적으로 설명하는 도면이다.
도 14는 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 또 다른 예를 개략적으로 설명하는 도면이다.
도 15는 본 발명이 적용되는 시스템에서 수평+8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 16은 인트라 예측 과정에서 참조 픽셀의 값을 현재 블록의 픽셀 값으로 가져오는 예측 전에 MDIS를 적용하여 참조 픽셀을 필터링하는 것을 개략적으로 설명하기 위한 도면이다.
도 17은 본 발명이 적용되는 시스템에서 현재 블록에 대한 인트라 예측 모드에 따라서 필터링된 뒤에 참조 픽셀로서 이용되는 현재 블록의 주변 샘플들을 개략적으로 나타낸 것이다.
도 18은 본 발명이 적용되는 시스템에서, 현재 블록의 인트라 예측 모드에 따라 필터링 되는 주변 샘플들을 개략적으로 설명하는 도면이다.
도 19는 표 7 및 표 9에 나타난 인트라 예측 모드와 인트라 예측 순서 및 인트라 예측 각도의 매핑 관계를 개략적으로 도시한 것이다.
도 20은 현재 블록의 인트라 예측 모드가 수직 모드, 수평 모드 및 DC 모드인 경우에 대하여, 현재 블록의 주변 샘플 중 MDIS의 필터링 대상이 되는 샘플을 개략적으로 나타낸 것이다.
도 21은 현재 블록의 인트라 예측 모드가 각도 예측 모드인 경우에 대하여, 현재 블록의 주변 샘플 중 MDIS의 필터링 대상이 되는 샘플을 개략적으로 나타낸 것이다.
도 22는 본 발명이 적용되는 시스템에서, 현재 블록의 주변 샘플들 중에서 인트라 예측 모드에 따라 필터링되는 샘플들을 개략적으로 나타낸 것이다.
도 23은 3 탭의 필터를 이용하여 MDIS를 적용하는 방법을 개략적으로 설명하는 도면이다.
도 24는 현재 블록이 DC 모드인 경우에 필터링을 적용하는 방법을 개략적으로 설명하는 도면이다.
도 25는 본 발명이 적용되는 시스템에서, MDTF를 적용하는 예를 현재 블록의 인트라 예측 모드에 따라서 개략적으로 설명하는 도면이다.
도 26은 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 설명하는 도면이다.
도 27은 본 발명이 적용되는 시스템에서 복호화기의 동작을 개략적으로 설명하는 도면이다.
도 28은 본 발명이 적용되는 시스템에서 현재 블록에 대한 복호화기의 예측 수행 단계 중 인트라 예측 동작을 개략적으로 설명하는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 3은 인트라 예측에 사용되는 예측 모드를 개략적으로 나타낸 것이다.
도 4는 인트라 예측 모드들을 개략적으로 나타낸 다른 도면이다.
도 5는 좌하측 픽셀을 상단으로 투영하여 참조 픽셀로 이용하는 방법을 개략적으로 설명하는 도면이다.
도 6은 인트라 예측 모드에 따라서 참조 픽셀을 필터링하고, 필터링된 픽셀을 이용하여 인트라 예측을 수행하는 방법의 일 예를 개략적으로 나타낸 것이다.
도 7은 본 발명이 적용되는 시스템에서 CRSI를 적용하는 대상을 특정하는 일 예를 개략적으로 나타낸 것이다.
도 8은 본 발명이 적용되는 시스템에서 수직+8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 9는 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 10은 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 11은 본 발명이 적용되는 시스템에서 수평+8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 12는 본 발명이 적용되는 시스템에서 수직+8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 13은 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 다른 일 예를 개략적으로 설명하는 도면이다.
도 14는 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 또 다른 예를 개략적으로 설명하는 도면이다.
도 15는 본 발명이 적용되는 시스템에서 수평+8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 16은 인트라 예측 과정에서 참조 픽셀의 값을 현재 블록의 픽셀 값으로 가져오는 예측 전에 MDIS를 적용하여 참조 픽셀을 필터링하는 것을 개략적으로 설명하기 위한 도면이다.
도 17은 본 발명이 적용되는 시스템에서 현재 블록에 대한 인트라 예측 모드에 따라서 필터링된 뒤에 참조 픽셀로서 이용되는 현재 블록의 주변 샘플들을 개략적으로 나타낸 것이다.
도 18은 본 발명이 적용되는 시스템에서, 현재 블록의 인트라 예측 모드에 따라 필터링 되는 주변 샘플들을 개략적으로 설명하는 도면이다.
도 19는 표 7 및 표 9에 나타난 인트라 예측 모드와 인트라 예측 순서 및 인트라 예측 각도의 매핑 관계를 개략적으로 도시한 것이다.
도 20은 현재 블록의 인트라 예측 모드가 수직 모드, 수평 모드 및 DC 모드인 경우에 대하여, 현재 블록의 주변 샘플 중 MDIS의 필터링 대상이 되는 샘플을 개략적으로 나타낸 것이다.
도 21은 현재 블록의 인트라 예측 모드가 각도 예측 모드인 경우에 대하여, 현재 블록의 주변 샘플 중 MDIS의 필터링 대상이 되는 샘플을 개략적으로 나타낸 것이다.
도 22는 본 발명이 적용되는 시스템에서, 현재 블록의 주변 샘플들 중에서 인트라 예측 모드에 따라 필터링되는 샘플들을 개략적으로 나타낸 것이다.
도 23은 3 탭의 필터를 이용하여 MDIS를 적용하는 방법을 개략적으로 설명하는 도면이다.
도 24는 현재 블록이 DC 모드인 경우에 필터링을 적용하는 방법을 개략적으로 설명하는 도면이다.
도 25는 본 발명이 적용되는 시스템에서, MDTF를 적용하는 예를 현재 블록의 인트라 예측 모드에 따라서 개략적으로 설명하는 도면이다.
도 26은 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 설명하는 도면이다.
도 27은 본 발명이 적용되는 시스템에서 복호화기의 동작을 개략적으로 설명하는 도면이다.
도 28은 본 발명이 적용되는 시스템에서 현재 블록에 대한 복호화기의 예측 수행 단계 중 인트라 예측 동작을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 'PU'라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 'TU'라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 'CU'라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 화면 간 예측인지 화면 내 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
화면 간 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 화면 내 예측을 통해서는 현재 픽처 내의 화소 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
화면 간 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 정수 화소 샘플 단위로 선택할 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록을 생성한다. 화면 내 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 예측 블록은 1/2 화소 샘플 단위와 1/4 화소 샘플 단위와 같이 정수 이하 샘플 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 화소 이하의 단위로 표현될 수 있다. 예컨대 휘도 화소에 대해서는 1/4 화소 단위로, 색차 화소에 대해서는 1/8 화소 단위로 표현될 수 있다.
화면 간 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 부호화되어 복호화기에 전달된다.
화면 내 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.
화면 내 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플레이너 모드(Planar 모드)을 포함할 수 있다.
화면 내 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다. 이때, 현재 블록은 예측이 수행되는 변환 유닛일 수 있다. 한편, 본 명세서에서 픽셀을 이용한다는 것은 해당 픽셀의 정보, 예컨대 픽셀값 등을 이용한다는 것을 의미할 수 있다. 다만, 설명의 편의를 위해, '픽셀의 정보를 이용한다' 혹은 '픽셀 값을 이용한다'는 표현을 '픽셀을 이용한다'고 간단하게 나타낼 수도 있음에 유의한다. 인트라 예측의 구체적인 방법은 후술하는 바와 같다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 화면 간 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 화면 내 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 코딩 유닛에 대해서만 NxN의 PU를 이용하도록 정하거나 화면 내 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m＜1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
또한, 엔트로피 부호화부(130)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 화면 간 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 화면 간 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 부호화기에서 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 'VLC' 라 함)가 사용된 경우에, 엔트로피 복호화부(210)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 복호화부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행된 양자화 결과에 대해, 부호화기의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(225)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽처 내의 화소 정보를 기초로 예측 블록을 생성하는 화면 내 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 화면 간 예측을 수행할 수 있다. 이때, 영상 부호화기에서 제공된 현재 PU의 화면 간 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
현재 블록이 인트라 예측을 이용하여 부호화된 경우에, 복호화기는 현재 블록이 속하는 예측 유닛에 대한 인트라 예측 모드를 유도하고, 유도한 인트라 예측 모드를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 복호화기는 현재 블록의 주변 블록(혹은 주변 샘플)이 인트라 예측 모드에 이용할 수 있는 블록인지를 확인하고, 현재 블록의 예측에 이용할 참조 블록 혹은 참조 픽셀을 구성한다. 현재 블록의 인트라 예측에 이용될 수 있는 참조 블록 혹은 참조 픽셀을 후보 참조 블록 혹은 후보 참조 픽셀이라고 지칭할 수도 있다. 인트라 예측을 거쳐서 복원된 픽처에는 디블록킹 필터링, SAO, 적응적 루프 필터링 등이 적용됨으로써 원본 픽처에 가까운 픽처가 출력될 수 있다.
인트라 예측 과정에서, 복호화기는 우선, 현재 블록에 I_PCM이 적용되었는지를 판단할 수 있다. 예컨대, I_PCM이 적용되었는지를 지시하는 플래그 pcm_flag를 통해서 현재 블록에 I_PCM이 적용되었는지를 판단할 수 있다. 부호화기가 전송한 pcm_flag의 값이 1인 경우에는 현재 블록에 I_PCM이 적용된 것으로 판단하고, 현재 블록의 샘플의 복원할 수 있다. 부호화기에서 PCM(Pulse Coding Modulation)이 적용되는 블록의 샘플값은 예측, 변환, 엔트로피 코딩 등을 거치지 않고 복호화기에 전달된다. 따라서, 부화하기에서는 복호화기에서 전달된 정보에 따라서 현재 블록을 복호화할 수 있다.
현재 블록에 PCM이 적용되지 않은 경우(I_PCM)에, 복호화기는 현재 블록이 더 분할되는지를 판단한다. 예컨대, 현재 블록의 분할 여부를 지시하는 플래그 IntraSplitFlag을 통해서 복호화기는 현재 블록의 추가 분할 여부를 판단할 수 있다. 복호화기는 현재 블록(예컨대, 부호화 유닛)의 추가 분할 여부를 판단해서, 더 이상 분할하지 않고 예측이 수행될 수 있는 대상 블록(예컨대, 예측 유닛 또는 변환 유닛)을 특정할 수 있다. 예컨대, 현재 부호화 유닛이 분할하지 않는 경우(IntraSplitFlag=0)에는 현재 부호화 유닛을 예측 유닛으로 하여 예측을 수행하며, 현재 부호화 유닛이 분할하는 경우(IntraSplitFlag=1)에는 현재 부호화 유닛을 분할한 블록을 기반으로 하여 예측을 수행할 수 있다.
도 3은 인트라 예측에 사용되는 예측 모드를 개략적으로 나타낸 것이다. 도 3을 참조하면, 인트라 예측 모드는 참조하는 샘플(참조 픽셀)의 위치에 따른 예측 방향을 가질 수 있다. 수직 모드 또는 수평 모드를 기준으로 각 모드의 순서가 정해지며, 발생 빈도에 따라서 소정의 모드 값이 할당될 수 있다. 예컨대, 블록 내의 숫자는 해당 방향의 예측 모드에 할당된 모드 인덱스(혹은 모드 넘버)의 일 예이다. 도 3에 도시된 예측 모드 외에도, 예측 방향을 가지지 않는 예측 모드가 인트라 예측에 사용될 수 있다.
도 4는 인트라 예측 모드들을 개략적으로 나타낸 다른 도면이다. 도 4에서는 도 3과 달리, 수평 모드 또는 수직 모드를 기준으로 각 모드를 나타내지 않고, 해당 모드의 발생 빈도 순으로 결정된 모드 인덱스로 각각의 모드를 나타내고 있다. 예측 모드에 인덱스를 할당하는 한 방법으로서, 예측 모드의 발생 빈도에 따라서 인덱스를 할당하는 방법을 생각할 수 있다. 도 4에 도시된 모드 인덱스를 참조하면, 예측 방향을 가지지 않는 인트라 예측 모드로서, 모드 인덱스 0인 플레이너 모드, 모드 인덱스 3인 DC 모드가 있으며, 크로마 샘플의 경우에 루마 샘플의 인트라 모드를 기반으로 인트라 예측 모드를 결정하는 Intra_FromLuma 모드의 경우에는 모드 인덱스 35를 지정할 수 있다. 그 외, 방향성을 가지는 예측 모드의 인덱스는 도 4와 같이 도시될 수 있다.
표 1은 도 4에 도시된 바와 같이 인트라 예측 모드의 인덱스를 할당하는 경우를 할당되는 인덱스를 개략적으로 정리한 것이다.
표 2은 인트라 예측 모드 중 예측 방향을 가지는 예측 모드에 인덱스를 할당하는 예를 개략적으로 나타낸 것이다.
IntraPredAngleID는 기준이 되는 예측 모드, 예컨대 Intra_Vertical, Intra_Horizontal을 기준으로 좌 또는 상(마이너스)측으로의 순서, 우 또는 하(플러스)측의 순서에 따라서 인덱스를 부여하고 있다.
표 1에서는 DC 모드에 인트라 예측 모드 인덱스 2를 부여하는 등 도 3 및 도 4와는 상이하게 인덱스를 할당한 예를 나타내고 있다.
표 3은 도 3에 도시된 인트라 예측 모드와 인트라 예측 모드 인덱스에 따라서, 인트라 예측 모드 중 예측 방향을 가지는 예측 모드에 인덱스를 할당하는 예를 개략적으로 나타낸 것이다.
예측이 수행되는 현재 블록은 상좌측(top-left) 픽셀의 위치에 의해 특정할 수 있다. 예컨대, 현재 픽처의 상좌측 루마 샘플에 대한 현재 블록(예측 대상 블록)의 상좌측 루마 샘플의 위치를 (xB, yB)를 특정할 수 있다.
복호화기는 주변 블록 혹은 주변 샘플의 예측 모드를 특정하고 이를 기반으로 현재 블록의 인트라 모드를 유도할 수 있다. 이를 위해서 현재 블록의 주변 블록에 대한 인트라 예측 모드(intraPredMode)가 특정될 수 있다. 현재 블록이 현재 픽처의 위쪽 가장자리 혹은 좌측 가장자리에 위치하는 경우에 있어서 현재 블록의 위쪽 블록와 좌측 블록과 같이 현재 블록의 인트라 예측에 이용할 수 없는(not available) 블록의 인트라 예측 모드는 -1의 값을 지정할 수 있다. 현재 블록의 주변 블록 중 인트라 모드가 아닌 블록에 대해서는 DC 모드를 지정할 수 있다. 그 외의 경우에는 해당 블록에 사용된 인트라 예측 모드를 가지고 해당 주변 블록의 인트라 예측 모드를 특정할 수 있다.
한편, 예측 유닛의 사이즈가 아주 크거나 작은 경우에는 전체 인트라 예측 모드를 모두 사용할 필요가 없으므로, 일부의 예측 모드만을 사용할 수도 있다.
표 4는 도 3 또는 도 4와 같은 인트라 예측 모드들 중에서, 예측 유닛의 사이즈에 따라서 사용될 수 있는 루마 샘플에 대한 인트라 예측 모드의 개수를 나타낸 것이다.
표 4를 참조하면, 예측 유닛의 사이즈가 8x8인 경우(log2PUSize=3), 예측 유닛의 사이즈가 16x16인 경우(log2PUSize=4), 예측 유닛의 사이즈가 32x32인 경우(log2PUSize=5)에는 전체 예측 모드 중 어느 하나가 현재 모드에 이용될 수 있으며, 예측 유닛의 사이즈가 4x4인 경우(log2PUSize=2)와 예측 유닛의 사이즈가 64x64인 경우(log2PUSize=6)인 경우에는 일부 인트라 예측 모드 중에서 어느 하나가 현재 블록에 사용될 수 있다. 예컨대, 예측 유닛의 사이즈가 4x4인 경우에는 18개의 인트라 예측 모드 중에서 어느 하나가 현재 블록에 적용될 수 있으며, 예측 유닛의 사이즈가 64x64인 경우에는 4개의 인트라 예측 모드 중에서 어느 하나가 현재 블록에 적용될 수 있다.
상술한 바와 같이, 현재 블록에 대한 예측 모드는 주변 블록의 예측 모드로부터 유도될 수 있으므로, 사이즈에 따라서 일부의 인트라 예측 모드만 사용하는 경우에는, 주변 블록의 인트라 예측 모드를 현재 블록에서 사용할 수 있는 인트라 예측 모드로 매핑할 필요가 있다. 이때, 예측 모드가 결정되는 현재 블록은 상술한 바와 같이 예측 유닛일 수 있다.
표 5는 현재 블록에서 모든 인트라 예측 모드가 사용되지 않는 경우에, 주변 블록의 인트라 예측 모드를 현재 블록에서 사용되는 인트라 예측 모드로 매핑하는 예를 개략적으로 나타낸 것이다.
예컨대, 현재 블록에 적용할 수 있는 예측 모드의 개수가 4인 경우에는 mapItraPredMode4[value]를 통해, 주변 블록의 예측 모드 값(value)에 대응하는 인트라 예측 모드가 현재 블록에 대하여 해당 주변 블록에서 이용될 수 있는 예측 모드로 특정될 수 있다.
또한, 현재 블록에 적용할 수 있는 예측 모드의 개수가 18인 경우에는 mapItraPredMode10[value]를 통해, 주변 블록의 예측 모드 값(value)에 대응하는 인트라 예측 모드가 현재 블록에 대하여 해당 주변 블록에서 이용될 수 있는 예측 모드로 특정될 수 있다.
그 외의 경우에는, 해당 주변 블록의 인트라 예측 모드를 현재 블록의 인트라 예측에서 이용할 수 있는 인트라 예측 모드로 특정한다.
복호화기는 현재 블록이 이용할 수 있는 주변 블록의 특정된 인트라 예측 모드들 중에서 후보 모드들을 구성할 수 있다. 후보 모드들은 가장 확률적으로 높은 발생 빈도를 가지는 모드들로 구성할 수 있다. 설명의 편의를 위해, 후보 모드들을 MPM(Most Probable Mode)라고 부른다. MPM은 소정의 개수만큼 선택될 수 있으며, 예컨대, 2개의 MPM인 선택될 수 있다.
MPM은 부호화기에서의 예측 과정을 통해 결정되고, MPM에 관한 정보가 복호화기에 전달될 수도 있다. 또는 MPM이 어떤 인트라 예측 모드인지에 관한 정보를 부호화기와 복호화기가 미리 공유하고 있을 수도 있다.
2개의 MPM을 선택하는 예에서, 복호화기는 두 개의 MPM이 동일한 경우에는 소정의 다른 예측 모드, 예컨대 0 또는 3 등의 인덱스에 대응하는 인트라 예측 모드를 MPM으로 설정할 수도 있다.
*복호화기는 부호화기로부터 수신한 정보를 기반으로 이전에 복호화된 주변 블록의 인트라 예측 모드 중 어느 하나를 현재 블록에 적용할 것인지를 결정할 수 있다. 예컨대, 부호화기에서의 예측 결과를 기반으로, 부호화기는 prev_intra_pred_flag[xB][yB]와 같이 (xB, yB)를 커버하는 블록에 대하여 주변 블록의 인트라 예측 모드 중 어느 하나를 적용할 것인지를 지시하는 플래그를 복호화기에 전달할 수 있다. 부호화기로부터 수신한 prev_intra_pred_flag[xB][yB]의 값이 1인 경우에, 복호화기는 후보 인트라 예측 모드 중 어느 모드를 적용할 것인지를 지시하는 정보에 따라서 현재 블록에 대한 예측 모드를 결정할 수 있다. 예컨대, 부호화기는 mpm_idx[xB][yB]를 통해서 (xB, yB)를 커버하는 현재 블록에 적용할 인트라 예측 모드로서의 MPM을 지시할 수 있다.
prev_intra_pred_flag[xB][yB]의 값이 0인 경우에, 복호화기는 MPM이 아닌 다른 모드들 중에서 현재 블록에 적용할 인트라 예측 모드를 결정할 수 있다. 현재 블록에 적용할 인트라 예측 모드는 부호화기로부터 지시될 수 있다. 부호화기는 rem_intra_pred_mode 등과 같은 신택스 요소를 통해, MPM이 아닌 나머지 모드들 중에서 현재 블록에 적용할 인트라 예측 모드를 지시할 수 있다. 이때, 모드 지시 정보(rem_intra_pred_mode)는 MPM을 제외한 모드들을 기반으로 부호화되므로, MPM과의 대소관계를 판단하여 현재 블록에 적용할 인트라 예측 모드를 특정할 수도 있다.
예컨대, 두 MPM 중 작은 MPM을 MPM1이라고 하고, 큰 MPM을 MPM2라고 하자. rem_intra_pred_mode의 값이 MPM1보다 더 작은 경우에는 rem_intra_pred_mode의 값이 지시하는 인트라 예측 모드를 그대로 현재 블록에 적용할 수 있다. rem_intra_pred_mode의 값이 MPM1의 값보다 크거나 같고, MPM2보다 작은 경우에는 rem_intra_pred_mode이 지시하는 인트라 예측 모드에 1을 더한 모드를 현재 블록에 적용할 수 있다. 또한, rem_intra_pred_mode이 MPM2보다 큰 경우에는 rem_intra_pred_mode이 지시하는 인트라 예측 모드에 2를 더한 모드를 현재 블록에 적용할 수 있다.
현재 블록의 인트라 예측 모드가 결정되면, 현재 블록의 예측 샘플들은 인트라 예측 모드의 방향에 위치하는 주변 픽셀(참조 픽셀)로 채워진다. 예컨대, 현재 블록에 대한 인트라 예측 모드가 수직 모드인 경우, 현재 블록 내 (x, y) 위치의 예측 샘플은 (x, -1)의 위치, 즉 현재 블록의 상단에 인접하고 있는 참조 픽셀로 채워진다. 또한, 현재 블록에 대한 인트라 예측 모드가 수평 모드인 경우, 현재 블록 내 (x, y) 위치의 예측 샘플은 (-1, y)의 위치, 즉 현재 블록의 좌측에 인접하고 있는 참조 픽셀로 채워진다.
수직 모드와 수평 모드 이외 예측 방향을 가지는 인트라 예측 모드의 경우에도, 현재 블록의 인트라 예측 모드의 방향에 따라서, 대응하는 참조 픽셀로 예측 샘플을 채울 수 있다.
이때, 좌측 및 좌하측에 인접하는 픽셀의 경우에는 이를 상단으로 투영하여 참조 픽셀로 이용할 수도 있다.
도 5는 좌하측 픽셀을 상단으로 투영하여 참조 픽셀로 이용하는 방법을 개략적으로 설명하는 도면이다. 도 5를 참조하면, NxN 사이즈의 현재 블록(500)의 좌측 및 좌하측에 인접하는 2N 길이의 샘플들(510)의 위치가 현재 픽셀(500)의 상측 및 상우측 참조 픽셀들(510) 열에 투영된 픽셀들(530)을 구성할 수 있다. 이때, 2N+1 길이의 상측 및 상우측 픽셀들(520)과 2N 길이의 상좌측 픽셀들(530)으로 구성된 4N+1 길이의 픽셀 열(array)을 설명의 편의를 위해 주 참조 열(main reference array)이라고 한다. 복호화기는 필요한 경우, 예를 들어 좌하측 픽셀들이 아직 복호화되지 않은 경우에는, 상술한 주 참조 열을 구성해서 현재 블록에 대한 인트라 예측을 수행할 수 있다.
한편, 주변 블록의 픽셀 중 적어도 하나가 이용 가능하지 않은 불가용(not available) 픽셀인 경우에는 다른 주변 픽셀들을 이용하여 불가용 픽셀을 다른 픽셀들을 이용하여 대체한 후에 참조 픽셀로서 이용할 수 있다. 예컨대, 현재 블록의 주변 픽셀 중 어느 하나가 인트라 예측 모드로 예측되지 않았고, 현재 블록이 인트라 예측 모드만 적용되도록 한정된 경우에는, 해당 주변 픽셀의 픽셀값을 다른 픽셀들을 이용하여 대체(substitution)할 수 있다.
*예컨대, 주변의 픽셀이 모두 이용할 수 없는 픽셀인 경우에는, 하나 더 낮은 비트뎁스의 값들로 주변 픽셀들을 대체할 수 있다.
주변 픽셀들 중 어느 하나가 이용할 수 없는 불가용(not available) 픽셀인 경우에는 주변 블록들 중에서 가용(available) 픽셀을 검색하여, 불가용 픽셀을 대체하도록 할 수 있다. 예컨대, 불가용 픽셀을 기준으로 적어도 하나의 방향으로 검색을 수행할 수 있으며, 특정 검색 방향에서 먼저 검색되는 가용 픽셀을 해당 방향의 대체 픽셀 후보로 결정할 수 있다. 가용한 대체 픽셀 후보가 복수의 검색 방향에서 각각 검색되는 경우에는, 두 픽셀 후보의 조합으로 불가용 픽셀을 대체할 수 있다. 예컨대, 두 후보가 각각 q와 r이라고 할 때, ((q+r+1)＞＞1)의 값으로 불가용 픽셀을 대체할 수 있다. 또한, 가용한 대체 픽셀이 한 방향에서만 검색된 경우에는, 검색된 가용 픽셀 후보로 불가용 픽셀을 대체할 수 있다.
상술한 바와 같이, 복호화기는 불가용 픽셀들을 대체하여, 현재 블록의 예측 샘플을 생성하기 위한 참조 픽셀을 모두 구성할 수 있다. 복호화기는 구성된 참조 픽셀들을 이용하여 현재 블록의 인트라 예측 모드에 따라서 현재 블록에 대한 예측 샘플을 생성할 수 있다.
복호화기는 또한, 예측 성능을 높이기 위해, 참조 픽셀들에 대하여 필터링을 적용한 후에, 필터링된 참조 픽셀들을 이용하여 현재 블록에 대한 예측 샘플을 생성하도록 할 수 있다.
도 6은 인트라 예측 모드에 따라서 참조 픽셀을 필터링하고, 필터링된 픽셀을 이용하여 인트라 예측을 수행하는 방법의 일 예를 개략적으로 나타낸 것이다. 도 6을 참조하면, 굵은 화살표로 표시된 예측 모드를 제외한 다른 예측 모드들의 경우에는, 예측 방향 근처의 두 픽셀을 바이리니어(bilinear) 인터폴레이션(interpolation)한 샘플을 이용하여 현재 블록의 예측 샘플을 생성한다.
이에 반하여, 화살표 방향의 인트라 예측 모드, 예컨대 도 3의 예에서 도시된 인트라 예측 모드 인덱스를 이용하여 도시된 도 6에서는 인덱스 0, 1, 3, 4, 9로 표시되는 인트라 예측 모드의 경우에는 인터폴레이션 없이 해당 예측 방향의 참조 픽셀을 그대로 복사하여 현재 블록에 대한 예측 샘플의 블록(예측 블록)을 생성한다. 그 결과, 도 6에서 굵은 화살표로 표시된 예측 방향의 인트라 예측 모드를 적용하는 경우에는 복원된 출력 영상에서 아티팩트가 발생할 수 있다.
도 6의 예에서는, 도 3의 예에 따른 인트라 예측 모드의 인덱스를 사용하였으나, 상술한 바와 같이, 인트라 예측 모드의 인덱스는 인트라 예측 모드의 방향과 특성을 고려하여 특정 인트라 예측 모드를 지시하기 위한 것으로서 다양한 방법으로 할당될 수 있다. 예컨대, 도 4의 예에 도시된 인트라 예측 모드의 인덱스를 따르는 경우에, 도 6에 도시된 굵은 화살표 방향의 인트라 예측 모드는 인트라 예측 모드 인덱스 1, 2, 4, 7, 10을 가진다.
따라서, 혼동의 우려를 없애기 위해, 기준 인트라 예측 모드로부터 몇 번째 인트라예측 모드인지에 따라서 해당 인트라 예측 모드를 지시할 수도 있다. 예컨대, 도 6에서 인트라 예측 모드 인덱스 0과 1을 각각 기준 인트라 예측 모드로서 수직 모드와 수평 모드라고 나타낼 수 있다. 인덱스 3의 인트라 예측 모드는 수직 모드로부터 우측으로 8번째 모드이므로 수직+8(Ver+8)로 나타내고, 인데스 4의 인트라 예측 모드는 수직 모드로부터 좌측으로 8번째 모드이므로 수직-8(Ver-8)로 나타낼 수 있다. 또한, 좌하단의 예측 모드(인트라 예측 모드 인덱스 9)의 경우에는, 수평 모드로부터 아래로 8번째 모드이므로 수평+8(Hor+8)로 나타낼 수 있다.
한편, 본 발명이 적용되는 복호화기에서는 상술한 아티팩트의 발생을 방지하기 위해, 특정 예측 방향에 대하여 인터폴레이션을 적용하여 예측 샘플을 생성할 수 있다. 여기서는 '인터폴레이션'이라고 표현하였으나, 이는 설명의 편의를 위한 것으로서, 참조 픽셀로 이용하기 위해 현재 블록의 주변 블록에 필터링을 적용하는 것임을 감안하여, '필터링' 또는 '스무딩(smoothing)'이라고 할 수도 있다. 상술한 바와 같이, 인트라 예측 모드를 유도하는 단위는 부호화 유닛일 수 있고, 인트라 예측을 수행하는 단위는 변환 유닛일 수 있다. 따라서, 여기서 설명하는 주변 샘플의 필터링에 관한 내용에서 '현재 블록'은 변환 유닛일 수 있으며, 필터링을 적용하는 주변 샘플들은 변환 유닛의 주변 샘플들일 수 있다.
앞서 설명한 바와 같이, 본 발명에서는 특정 예측 방향에 위치하는 참조 픽셀에 대하여, 참조 픽셀로서 이용하기 전에 필터링을 적용할 수 있다.
예컨대, 현재 블록의 샘플 c(xc)에 r(xr)의 픽셀이 참조 픽셀로서 이용되는 경우를 가정하자. 여기서 xc와 xr은 각각 해당 픽셀의 위치를 특정한다. 복호화기는 r(xr)의 주변 픽셀인 r(xr-1), r(xr-2), ..., r(xr+1), r(xr+2) 중 소정의 픽셀을 이용한 필터링을 통해 r(xr)의 값을 수정(modify)한 rm(xr)을 생성할 수 있다. c(xc)에는 필터링에 의해 수정된 rm(xr)의 값이 복사된다.
여기서, xc 또는 xr은 픽셀의 위치를 나타내기 위한 값으로서, 특별히 수평 방향의 좌표 혹은 수직 방향의 좌표를 나타내지는 않는다. 다만, 설명의 편의를 위해, 상술한 xc 또는 xr이 수평 방향의 좌표(x축 좌표)를 나타낸다고 가정을 하면, 수직 방향에 대해서도 아래와 같이 동일하게 본 발명이 적용될 수 있다.
예컨대 현재 블록의 샘플 c(yc)에 r(yr)의 픽셀이 참조 픽셀로서 이용되는 경우를 가정하자. 여기서 yc와 yr은 각각 해당 픽셀의 위치를 특정한다. 복호화기는 r(yr)의 주변 픽셀인 r(yr-1), r(yr-2), ..., r(yr+1), r(yr+2) 중 소정의 픽셀을 이용한 필터링을 통해 r(yr)의 값을 수정(modify)한 rm(yr)을 생성할 수 있다. c(yc)에는 필터링에 의해 수정된 rm(yr)의 값이 복사된다.
이하, 상술한 바와 같이, 참조 픽셀로서 이용하기 위해 주변 블록을 필터링하는 방법을 설명의 편의를 위해 'CRSI(Conditional Reference Sample Interpolation: 조건부 참조 샘플 인터폴레이션)' 혹은 'MDIS(Mode Dependent Intra Smoothing)'이라고 한다. 여기서, 조건부라 함은 후술하는 바와 같이, CRSI가 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라서 적용될 수 있다는 것을 의미한다.
CRSI를 적용하는 경우에는, 현재 블록의 인트라 예측 모드 방향을 따라서, 예측 대상 픽셀을 지나는 방향에 위치하는 참조 픽셀과 그 주위의 픽셀을 이용하여 인터폴레이션을 수행한다.
상술한 바와 같이, CRSI는 특정 예측 방향에 대하여 적용할 수 있다. 이때, CRSI를 적용하는 특정 예측 방향으로서, 예컨대, 수직+8, 수직-8, 수평+8 방향을 고려할 수 있다.
도 7은 본 발명이 적용되는 시스템에서 CRSI를 적용하는 대상을 특정하는 일 예를 개략적으로 나타낸 것이다. 도 7의 예에서는 수직+8, 수직-8, 수평+8의 인트라 예측 모드에 대하여 CRSI를 적용한다.
도 8은 본 발명이 적용되는 시스템에서 수직+8 모드에 대하여 CRSI를 적용하는 것을 개략적으로 설명하는 도면이다. 도 8에서는 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 두 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 8의 예에서, CRSI를 적용하지 않는 경우에는, 인트라 예측 모드의 방향(화살표)를 따라서 현재 블록의 샘플 c(x-1)에 참조 픽셀 r(x)를 복사한다. 이때, x-1, x 등은 픽셀의 위치를 특정한다.
이에 반하여, 본 발명에 따라서 CRSI를 적용하는 경우에는 참조 픽셀 r(x)를 주변 두 개의 참조 픽셀 r(x-1) 및 r(x+1)을 이용한 인터폴레이션을 통해서 참조 픽셀의 픽셀값을 수정한다. 즉, 도 8의 예에서는 3 탭 필터를 이용하여 참조 픽셀에 대한 스무딩을 수행한다. 이때, 필터의 계수는 소정의 정해진 필터 계수가 이용될 수 있다. 또한, 예측의 효과 및 아티팩트 제거의 효과를 높이기 위해 필터 계수를 적응적으로 결정할 수도 있다.
도 8을 참조하면, 수직+8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(x-1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(x)이다. 따라서, 참조 픽셀 r(x)는 r(x-1) 및 r(x+1)을 이용한 인터폴레이션을 통해서 수정된다. 3 탭 필터의 계수로서, [1 2 1]을 사용하는 경우에 참조 픽셀 r(x)가 인터폴레이션(필터링)에 의해 수정된 rm(x)를 수학식 1과 같이 생성할 수 있다.
따라서, 수직+8의 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(x-1)은 rm(x)를 복사하여 수학식 2와 같은 값을 가지게 된다.
도 9는 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다. 도 9에서도 현재 블록의 상측에 위치하는 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 두 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 9를 참조하면, 수직-8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(x+1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(x)이다. 3 탭 필터의 계수로서, [1 2 1]을 사용하는 경우에 수학식 3과 같이 수정된 rm(x)를 생성할 수 있다.
따라서, 현재 블록에 수직-8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(x+1)은 rm(x)를 복사하여 수학식 4와 같은 값을 가지게 된다.
한편, 도 7을 참조하면, 수직-8의 인트라 예측 모드에 있어서 참조되는 주변 샘플들은 상측의 주변 샘플들뿐만 아니라, 좌측의 주변 샘플들일 수도 있다.
도 10은 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다. 도 10에서도 현재 블록의 좌측에 위치하는 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 두 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
앞서, 상술한 바와 같이, 수학식 1 내지 4에서 x는 픽셀의 위치를 나타내기 위한 값으로서, 특별히 수평 방향의 좌표 혹은 수직 방향의 좌표를 나타내지는 않는다. 다만, 설명의 편의를 위해, 수학식 1 내지 4에서의 x가 수평 방향의 좌표(x축 좌표)를 나타낸다고 가정을 하면, 수직 방향(y 축 방향)에 대해서도 동일하게 본 발명이 적용될 수 있다.
도 10을 참조하면, 수직-8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(y+1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(y)이다. 3 탭 필터의 계수로서, [1 2 1]을 사용하는 경우에 수학식 5와 같이 수정된 rm(y)를 생성할 수 있다.
따라서, 현재 블록에 수직-8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(y+1)은 rm(y)를 복사하여 수학식 6과 같은 값을 가지게 된다.
도 11은 본 발명이 적용되는 시스템에서 수평+8 모드에 대하여 CRSI를 적용하는 예를 개략적으로 설명하는 도면이다. 도 11에서도 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 두 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 11을 참조하면, 수평+8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(y-1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(y)이다. 3 탭 필터의 계수로서, [1 2 1]을 사용하는 경우에 수학식 7과 같이 수정된 rm(y)를 생성할 수 있다.
따라서, 현재 블록에 수평+8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(y-1)은 rm(y)를 복사하여 수학식 6과 같은 값을 가지게 된다.
3탭의 필터를 이용하는 상술한 방법을 필터링 탭수를 확장하여 적용할 수도 있다. 예컨대, 인트라 예측 모드의 방향 주위에 위치하는 다섯 개의 픽셀을 이용한 인터폴레이션을 통해서 참조 픽셀을 수정하고, 수정된 참조 픽셀을 예측 모드의 방향에 따라서 현재 블록의 픽셀에 복사할 수 있다.
도 12는 본 발명이 적용되는 시스템에서 수직+8 모드에 대하여 CRSI를 적용하는 예를 개략적으로 설명하는 도면이다. 도 12에서는 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 4 개의 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 12를 참조하면, 수직+8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(x-1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(x)이다. 5 탭 필터의 계수로서, [1 2 4 2 1]을 사용하는 경우에 수학식 9와 같이 수정된 rm(x)를 생성할 수 있다.
따라서, 도 12와 같이 현재 블록에 수직+8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(x-1)은 rm(x)를 복사하여 수학식 10과 같은 값을 가지게 된다.
도 13은 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 일 예를 개략적으로 설명하는 도면이다. 도 13에서는 현재 블록의 상측에 위치하는 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 4 개의 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 13을 참조하면, 수직-8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(x+1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(x)이다. 5 탭 필터의 계수로서, [1 2 4 2 1]을 사용하는 경우에 수학식 11과 같이 수정된 rm(x)를 생성할 수 있다.
따라서, 도 13과 같이 현재 블록에 수직+8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(x+1)은 rm(x)를 복사하여 수학식 12와 같은 값을 가지게 된다.
도 14는 본 발명이 적용되는 시스템에서 수직-8 모드에 대하여 CRSI를 적용하는 다른 예를 개략적으로 설명하는 도면이다. 도 14에서는 현재 블록의 좌측에 위치하는 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 4 개의 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 14를 참조하면, 수직-8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(y+1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(y)이다. 5 탭 필터의 계수로서, [1 2 4 2 1]을 사용하는 경우에 수학식 13과 같이 수정된 rm(y)를 생성할 수 있다.
따라서, 도 14와 같이 현재 블록에 수직-8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(y+1)은 rm(y)를 복사하여 수학식 14와 같은 값을 가지게 된다.
도 15는 본 발명이 적용되는 시스템에서 수평+8 모드에 대하여 CRSI를 적용하는 예를 개략적으로 설명하는 도면이다. 도 15에서도 대상 참조 픽셀 및 대상 참조 픽셀과 인접하는 두 참조 픽셀을 이용하여 CRSI를 수행하는 예를 설명하고 있다.
도 15를 참조하면, 수평+8의 인트라 예측 모드에 대해서, 현재 블록의 픽셀 c(y-1)을 지나는 예측 방향이 지시하는 참조 픽셀은 r(y)이다. 5 탭 필터의 계수로서, [1 2 4 2 1]을 사용하는 경우에 수학식 15와 같이 수정된 rm(y)를 생성할 수 있다.
따라서, 도 15와 같이 현재 블록에 수직-8의 인트라 예측 모드가 적용되는 경우에, 현재 블록의 픽셀 c(y-1)은 rm(y)를 복사하여 수학식 16과 같은 값을 가지게 된다.
상술한 수학식 1 내지 16의 예에서는 현재 블록의 픽셀들 중에서, 주변 샘플에 인접한 경계에 위치하며 인트라 예측 모드의 예측 방향에 있는 픽셀이 필터링된 주변 샘플(수정된 참조 샘플)의 값으로 예측되는 예를 설명하였으나, 이는 본 발명의 이해를 돕기 위해 예측 대상을 해당 픽셀로 하여 설명한 것으로, 본 발명은 이에 한정되지 않는다. 일반적인 인트라 예측 방법과 같이, 현재 블록 내 다른 픽셀들 역시 인트라 예측 방향에 따라서 동일한 방법으로, 수정된 참조 샘플을 기반으로 예측될 수 있다.
상술한 수학식 1 내지 16의 예에서는 CRSI에 이용하는 필터의 계수(가중치)가 소정의 정해진 값, 예컨대 3 탭 필터의 경우에 필터 계수 [1 2 1], 라운딩 오프셋(rounding offset) 2 그리고 나누기의 크기 2를 가지는 경우를 설명하였고, 5 탭 필터의 경우에는 필터 계수 [1 2 4 2 1], 라운딩 오프셋 5, 나누기의 크기 10을 가지는 경우를 설명하였다. 일반적으로 라운딩 오프셋은 나누기(또는 쉬프트) 크기의 절반에 해당한다.
이와 관련하여, [1 2 1]/[1 2 4 2 1] 이외에 다른 필터 계수(가중치)를 가지는 필터를 CRSI에 사용하는 방법을 고려할 수도 있다. 예컨대, 필터 계수를 적응적으로 결정할 수도 있다. 이때, 적응적으로 결정된 필터 계수(가중치)의 값은 부호화기에서 결정되어 복호화기로 전달될 수 있다. 또한, 복호화기가 주위 픽셀들 혹은 콘텍스트를 이용하여 필터 계수(가중치)를 유도할 수도 있다.
주변의 픽셀을 이용하여 필터 계수를 유도하는 방법의 일 예로서, 복원된 영상을 분석하여 참조 픽셀들 간의 샘플 값 차이가 소정의 기준치보다 더 크다면 상술한 샘플 스무딩 필터(CRSI)의 필터 계수에 변화를 줄 수 있다. 예컨대, 필터값의 차이가 큰 경계 너머의 픽셀들에는 작은 가중치(weight)를 주고 나머지 픽셀들에는 큰 가중치를 주어서 예측 샘플을 구할 수 있다.
또한, 상술한 CRSI에서 참조 픽셀의 인터폴레이션에 이용할 인접 픽셀이 없는 경우를 고려할 수 있다. 예컨대, 현재 블록의 사이즈가 nSxnS인 경우에, r(x)=r(nS)이거나, r(y)=r(nS)인 경우에는 CRSI를 적용하지 않고, r(x) 또는 r(y)를 참조 픽셀로 이용할 수도 있다.
도 4를 참조할 때, 지금까지는 인트라 예측 모드가 4, 7, 10인 경우에 CRSI를 적용하는 것을 설명하였으나, 본 발명은 이에 한정되지 않으며, 각 인트라 예측 모드에 대하여 동일한 방법으로 CRSI를 적용하여 예측을 수행할 수 있다.
한편, 복호화기의 인트라 예측 과정에서 CRSI를 적용할 것인지는 현재 블록의 사이즈 및/또는 현재 블록의 인트라 예측 모드를 더 고려하여 결정될 수도 있다. 예컨대, 현재 블록의 사이즈와 인트라 예측 모드에 따라서 CRSI의 적용 여부를 결정할 수 있다. 다양한 인트라 예측 모드와 블록 사이즈에 대하여 CRSI 적용 여부를 판단하기 위해, 일종의 테이블을 이용할 수도 있다. CRSI를 적용할 것인지 즉 참조 픽셀에 대하여 필터링을 할 것인지를 나타내는 값으로서, 예컨대 필터를 적용하는지 적용하지 않는지를 필터 타입으로 나누어 표시하는 intraFilterType와 같은 정보를 구성하고, intraFilterType의 값이 1인 경우에는 CRSI를 적용하며 intraFilterType의 값이 0인 경우에는 CRSI를 적용하지 않도록 할 수 있다. 이때, intraFilterType의 값을 현재 블록의 사이즈와 인트라 예측 모드마다 결정할 수 있다.
이때, 상술한 바와 같이, 인트라 예측 모드 (인덱스) 4, 7, 10에 대해서 CRSI를 적용할지를 현재 블록의 사이즈에 따라서 표 6의 예와 같이 결정할 수 있다.
표 6의 예는 너무 작은 블록 또는 너무 큰 블록에는 CRSI를 적용하지 않는다는 기준을 적용하여 CRSI 적용 여부를 결정한 예로 볼 수도 있다.
*한편, 지금까지 설명의 편의를 위해 도면과 함께 x 좌표와 y 좌표 중 어느 하나만을 고려하여 참조 픽셀에 CRSI를 적용하는 것을 설명하였으나, x, y 좌표를 함께 표시하여 참조 픽셀에 CRSI를 적용하는 것을 설명할 수도 있다. 수학식 17은 3 탭필터를 적용하는 경우에 관하여, 수학식 1, 3, 5 및 7에 기술된 내용을 정리한 것이다. 수학식 17에서는 설명의 편의를 위해 현재 블록 내 좌상단 픽셀의 위치를 (0, 0)으로 설정하며, 현재 블록의 사이즈를 nS x nS라고 가정한다.
수학식 17에서, 인터폴레이션에 이용할 참조 픽셀의 좌우 혹은 상하 픽셀이 없는 경우에는, 앞서 설명한 바와 같이 해당 참조 픽셀을 그대로 이용할 수 있다. 따라서, rm(nS*2-1, -1) = r(nS*2-1, -1)이고, rm(-1, nS*2-1) = r(-1, nS*2-1)인 것으로 설정할 수 있다.
또한, 현재 블록의 좌상단에 인접한 참조 픽셀 r(-1, -1)의 경우에는, r(-1, -1)의 우측 픽셀r(0, -1)과 하측 픽셀 r(-1, 0)을 이용하여 수학식 18과 같이 필터링될 수 있다.
지금까지 설명한 CRSI는 인트라 예측 모드에 따라서 참조 픽셀에 대한 스무딩을 수행한다는 점에서 MDIS(Mode Dependent Intra Smoothing)이라고도 할 수 있다. 인트라 예측을 수행하기 전에, 현재 블록의 주변 샘플들을 상술한 바와 같이 MDIS를 적용하여 필터링 하는데, 전체 4N+1의 참조 픽셀을 모두 필터링 한다.
도 16은 앞서 설명한 바와 같이, 인트라 예측 과정에서 참조 픽셀의 값을 현재 블록의 픽셀 값으로 가져오는 예측 전에 MDIS를 적용하여 참조 픽셀을 필터링하는 것을 개략적으로 설명하기 위한 도면이다.
도 16을 참조하면, NxN 사이즈의 현재 블록(1600) 주변에 있는 참조 픽셀로서, 상측 및 상우측의 2N 길이 샘플들(1610)과 좌측 및 좌하측의 2N 길이 샘플들(1620) 그리고 현재 블록(1600)와 상좌측에 인접하는 샘플이 앞서 설명한 바와 같이 예측 전에 필터링되는 대상 픽셀들이다.
하지만, 실제 인트라 예측 과정에서는, 4N+1 개의 주변 샘플들 중에서 일부만이 현재 블록의 인트라 예측 모드에 따라서 참조 블록으로 이용될 뿐이다. 따라서, 현재 블록의 인트라 예측 모드와 상관없이 전체 주변 블록을 모두 필터링하는 경우에는 복호화 복잡도를 크게 증가시킬 수 있다. 이와 관련하여, 현재 블록의 주변 샘플들 중에서 현재 블록에 대한 인트라 예측 모드에 대응하여 소정의 샘플들만을 필터링하는 방법을 고려할 수 있다.
도 17은 본 발명이 적용되는 시스템에서 현재 블록에 대한 인트라 예측 모드에 따라서 필터링된 뒤에 참조 픽셀로서 이용되는 현재 블록의 주변 샘플들을 개략적으로 나타낸 것이다. 도 17을 참조하면, 인트라 예측 모드가 수직 모드의 우측 방향인 경우(1710)에는 17A에 도시된 바와 같이 현재 블록(1740)에 대하여 상측에 위치하는 주변 샘플들(1745A) 및 상좌측에 위치하는 주변 샘플들(1745B)이 현재 블록(1740)의 예측에 이용된다.
인트라 예측 모드가 수직 모드인 경우에는 17B에 도시된 바와 같이 현재 블록(1750)에 대하여 상측에 위치하는 주변 샘플들(1755)이 현재 블록(1750)의 예측에 이용된다.
인트라 예측 모드가 수직 모드의 좌측 및 수평 모드의 상측 방향인 경우(1720)에는 17C에 도시된 바와 같이 현재 블록(1760)에 대하여 상측에 위치하는 주변 샘플들(1765A), 좌측에 위치하는 주변 샘플들(1765B) 그리고 현재 블록(1760)의 상좌측에 인접하는 주변 샘플이 현재 블록(1760)의 예측에 이용된다.
인트라 예측 모드가 수평 모드인 경우에는 17D에 도시된 바와 같이 현재 블록(1770)에 대하여 좌측에 위치하는 주변 샘플들(1775)이 현재 블록(1770)의 예측에 이용된다.
또한, 인트라 예측 모드가 수평 모드의 하측 방향인 경우(1730)에는 17E에 도시된 바와 같이 현재 블록(1780)에 대하여 좌측에 위치하는 주변 샘플들(1785A), 좌하측에 위치하는 주변 샘플들(1785B) 그리고 현재 블록(1780)의 상좌측에 인접하는 주변 샘플이 현재 블록(1780)의 예측에 이용된다.
따라서, 도 17을 참조하면, 실제 인트라 예측에 참조 픽셀로서 이용되는 주변 샘플의 개수는 전체 주변 샘플 개수의 절반보다도 적다. 따라서, 현재 블록의 인트라 예측 모드를 고려하여 현재 블록의 주변 샘플에 대한 필터링을 수행함으로써 MDIS의 복잡도를 크게 줄일 수 있다.
본 발명에 따르면, 현재 블록의 인트라 예측 모드에 따라서 주변 샘플들 중 일부만을 MDIS를 적용하여 필터링할 수도 있다. 이때, 상술한 바와 같이, 참조 픽셀 열인 주 참조 열(main reference array)이 인트라 예측 모드(intraPredMode)에 따라서 설정될 수도 있다.
도 18은 본 발명이 적용되는 시스템에서, 현재 블록의 인트라 예측 모드에 따라 필터링 되는 주변 샘플들을 개략적으로 설명하는 도면이다.
도 18(a)를 참조하면, 현재 블록의 인트라 예측 모드가 수직 모드인 경우에, 현재 블록(1810)의 상측에 있는 샘플들(1915)이 필터링의 대상이 된다.
도 18(b)를 참조하면, 현재 블록의 인트라 예측 모드가 수평 모드인 경우에, 현재 블록(1820)의 좌측에 있는 샘플들(1825)이 필터링의 대상이 된다.
도 18(c)를 참조하면, 현재 블록(1830)에 대한 인트라 예측 모드의 예측 방향이 수직 모드의 우측 방향인 경우에, 현재 블록(1830)의 상측에 위치하는 주변 샘플들(1835A), 상우측에 위치하는 주변 샘플들(1835B) 그리고 현재 블록(1830)의 상좌측에 인접하는 주변 샘플이 필터링의 대상이 된다.
도 18(d)를 참조하면, 현재 블록(1840)에 대한 인트라 예측 모드의 예측 방향이 수평 모드의 하측 방향인 경우에, 현재 블록(1840)의 좌측에 위치하는 주변 샘플들(1845A), 좌하측에 위치하는 주변 샘플들(1845B) 그리고 현재 블록(1840)의 상좌측에 인접하는 주변 샘플이 필터링의 대상이 된다.
또한, 도 18(e)를 참조하면, 현재 블록(1850)에 대한 인트라 예측 모드의 예측 방향이 수직 모드의 좌측 또는 수평 모드의 상측 방향인 경우에, 현재 블록(1850)의 상측에 위치하는 주변 샘플들(1855A), 좌측에 위치하는 주변 샘플들(1855B) 그리고 현재 블록(1850)의 상좌측에 인접하는 주변 샘플이 필터링의 대상이 된다.
따라서, 현재 블록이 NxN 사이즈라면, 전체 주변 샘플을 필터링하는 경우에는 현재 블록의 인트라 예측 모드가 DC 모드인 경우를 제외하고, 4N+1 개의 주변 샘플에 대한 필터링이 수행된다. 반면에 본 발명에 따라서 도 18과 같이 현재 블록의 인트라 예측 모드를 고려하여 필터링 대상을 설정하는 경우에는, 현재 블록의 인트라 예측 모드가 수평 모드 혹은 수직 모드인 경우에 N 개의 주변 샘플만을 필터링하면 되고, 현재 블록의 인트라 예측 모드가 수평 모드 또는 수직 모드가 아닌 경우에도 최대 2N+1 개의 주변 샘플만을 필터링하면 된다. 따라서, 전체 주변 샘플을 필터링하는 경우와 비교하여 필터링 회수가 절반 정도 줄어들게 된다.
한편, 인트라 예측에 있어서, 복호화된 인트라 예측 모드(intraPredMode)는 인트라 예측 순서(intraPredOrder) 및 인트라 예측 각도(intraPredAngle)에 매핑된다.
표 7은 인트라 예측 모드를 인트라 예측 순서에 매핑하는 것을 개략적으로 나타낸 것이다.
인트라 예측 모드로서, 플래이너 모드를 고려하여, 표 7의 대응 관계는 표 8과 같이 나타낼 수도 있다.
표 9는 인트라 예측 모드를 인트라 예측 각도에 매핑하는 것을 개략적으로 나타낸 것이다.
도 19는 표 7 및 표 9에 나타난 인트라 예측 모드(intraPredMode)와 인트라 예측 순서(intraPredOrder) 및 인트라 예측 각도(intraPredAngle)의 매핑 관계를 개략적으로 도시한 것이다.
도 18에서 설명한 바와 같이, 본 발명이 적용되는 시스템에서는 현재 블록의 주변 샘플들 중에서 현재 블록의 인트라 예측에 참조 샘플로서 이용될 수 있는 일부 샘플들만을 MDIS의 필터링 대상으로 할 수 있다.
도 20은 현재 블록의 인트라 예측 모드가 수직 모드, 수평 모드 및 DC 모드인 경우에 대하여, 현재 블록의 주변 샘플 중 MDIS의 필터링 대상이 되는 샘플을 개략적으로 나타낸 것이다.
도 20(a)는 현재 블록의 인트라 예측 모드가 수직 모드인 경우에 대한 것이다. 도 20(a)를 참조하면, 현재 블록(2010)의 인트라 예측 모드가 수직 모드인 경우에, 현재 블록(2010)의 상측에 있는 주변 샘플들(2015)이 필터링의 대상이 된다.
도 20(b)는 현재 블록의 인트라 예측 모드가 수평 모드인 경우에 대한 것이다. 도 20(b)를 참조하면, 현재 블록(2020)의 인트라 예측 모드가 수평 모드인 경우에, 현재 블록(2020)의 상측에 있는 주변 샘플들(2025)이 필터링의 대상이 된다.
도 20(c)는 현재 블록의 인트라 예측 모드가 DC 모드인 경우에 대한 것이다. 도 20(c)를 참조하면, 현재 블록(2030)의 인트라 예측 모드가 DC 모드인 경우에는, 현재 블록(2030)의 주변 샘플들에 대하여 필터링을 적용하지 않는다.
수직 모드, 수평 모드, DC 모드 등을 제외한 나머지 모드, 예컨대 소위 '방향성 예측'을 수행하는 각도 예측(angular prediction) 모드의 경우에도 동일한 방식으로 필터링의 대상이 되는 주변 샘플을 정할 수 있다.
도 21은 현재 블록의 인트라 예측 모드가 각도 예측 모드인 경우에 대하여, 현재 블록의 주변 샘플 중 MDIS의 필터링 대상이 되는 샘플을 개략적으로 나타낸 것이다.
도 21(a)는 현재 블록에 대한 인트라 예측 오더가 18보다 작으며, 현재 블록에 대한 인트라 예측 각도가 0보다 작은 경우에 대한 것이다. 도 19를 참조하면, 도 21(a)의 경우는, 현재 블록의 인트라 예측 모드 방향이 수직 모드의 좌측 방향인 경우를 나타낸다.
도 21(a)를 참조하면, 현재 블록의 인트라 예측 모드 방향이 수직 모드의 좌측 방향인 경우에는, 현재 블록(2110)의 좌측 주변 샘플들(2115A), 상측 주변 샘플들(2115B) 그리고 현재 블록(2110)의 좌상측에 인접한 주변 샘플이 필터링의 대상이 된다.
도 21(b)는 현재 블록에 대한 인트라 예측 오더가 18보다 작으며, 현재 블록에 대한 인트라 예측 각도가 0보다 큰 경우에 대한 것이다. 도 19를 참조하면, 도 21(b)의 경우는, 현재 블록의 인트라 예측 모드 방향이 수직 모드의 우측 방향인 경우를 나타낸다.
도 21(b)를 참조하면, 현재 블록의 인트라 예측 모드 방향이 수직 모드의 우측 방향인 경우에는, 현재 블록(2120)의 상측 주변 샘플들(2125A), 상우측 주변 샘플들(2125B) 그리고 현재 블록(2120)의 좌상측에 인접한 주변 샘플이 필터링의 대상이 된다.
도 21(c)는 현재 블록에 대한 인트라 예측 오더가 18보다 크거나 같으며, 현재 블록에 대한 인트라 예측 각도가 0보다 작은 경우에 대한 것이다. 도 19를 참조하면, 도 21(c)의 경우는, 현재 블록의 인트라 예측 모드 방향이 수평 모드의 상측 방향인 경우를 나타낸다.
도 21(c)를 참조하면, 현재 블록의 인트라 예측 모드 방향이 수평 모드의 상측 방향인 경우에는, 현재 블록(2130)의 좌측 주변 샘플들(2135A), 상측 주변 샘플들(2135B) 그리고 현재 블록(2130)의 좌상측에 인접한 주변 샘플이 필터링의 대상이 된다.
도 21(d)는 현재 블록에 대한 인트라 예측 오더가 18보다 크거나 같으며, 현재 블록에 대한 인트라 예측 각도가 0보다 큰 경우에 대한 것이다. 도 19를 참조하면, 도 21(d)의 경우는, 현재 블록의 인트라 예측 모드 방향이 수평 모드의 하측 방향인 경우를 나타낸다.
도 21(d)를 참조하면, 현재 블록의 인트라 예측 모드 방향이 수평 모드의 하측 방향인 경우에는, 현재 블록(2140)의 좌측 주변 샘플들(2145A), 좌하측 주변 샘플들(2145B) 그리고 현재 블록(2140)의 좌상측에 인접한 주변 샘플이 필터링의 대상이 된다.
상술한 도 20 및 도 21의 내용을 정리하면 도 22와 같다.
도 22는 본 발명이 적용되는 시스템에서, 현재 블록의 주변 샘플들 중에서 인트라 예측 모드에 따라 필터링되는 샘플들을 개략적으로 나타낸 것이다.
도 22를 참조하면, 인트라 예측 모드가 수직 모드의 우측 방향인 경우(2210)에는 22A에 도시된 바와 같이 현재 블록(2240)에 대하여 상측에 위치하는 주변 샘플들(2245A) 및 상좌측에 위치하는 주변 샘플들(2245B)이 현재 블록(2240)의 예측에 이용된다.
인트라 예측 모드가 수직 모드인 경우에는 22B에 도시된 바와 같이 현재 블록(2250)에 대하여 상측에 위치하는 주변 샘플들(2255)이 현재 블록(2250)의 예측에 이용된다.
인트라 예측 모드가 수직 모드의 좌측 및 수평 모드의 상측 방향인 경우(2220)에는 22C에 도시된 바와 같이 현재 블록(2260)에 대하여 상측에 위치하는 주변 샘플들(2265A), 좌측에 위치하는 주변 샘플들(2265B) 그리고 현재 블록(2260)의 상좌측에 인접하는 주변 샘플이 현재 블록(2260)의 예측에 이용된다.
인트라 예측 모드가 수평 모드인 경우에는 22D에 도시된 바와 같이 현재 블록(2270)에 대하여 좌측에 위치하는 주변 샘플들(2275)이 현재 블록(2270)의 예측에 이용된다.
인트라 예측 모드가 수평 모드의 하측 방향인 경우(2230)에는 22E에 도시된 바와 같이 현재 블록(2280)에 대하여 좌측에 위치하는 주변 샘플들(2285A), 좌하측에 위치하는 주변 샘플들(2285B) 그리고 현재 블록(2280)의 상좌측에 인접하는 주변 샘플이 현재 블록(2280)의 예측에 이용된다.
한편, 앞서 설명한 바와 같이, MDIS(CRSI)를 적용하는 경우에는, 현재 블록의 인트라 예측 모드와 사이즈에 따라서 현재 블록의 주변 샘플들을 필터링할 것인지 결정할 수 있다.
표 6에 관한 설명에서 언급한 바와 같이, 테이블을 이용하여 현재 블록의 사이즈와 인트라 예측 모드별로 현재 블록의 주변 샘플에 대하여 필터링을 적용할 것인지를 결정할 수 있다. 이때, 상술한 바와 같이, 필터링을 적용할지를 나타내는 소정의 정보를 구성하고 해당 정보의 값에 따라서 필터링 여부를 판단할 수 있다. 예를 들어, 필터링 여부를 결정하는 필드값으로서, 표 6에서 사용한 intraFilterType을 이용할 수 있다. intraFilterType를 이용하는 경우에는, 표 6에서 설명한 바와 같이, intraFilterType의 값이 1인 경우에 필터링을 적용하고, intraFilterType의 값이 0인 경우에 필터링을 적용하지 않는다.
표 10은 현재 블록이 속하는 예측 유닛의 사이즈와 인트라 예측 모드에 따라서 필터링 여부를 결정하는 방법을 개략적으로 나타낸 일 예이다. 표 6의 경우와 달리, 표 10에서는 전체 인트라 예측 모드에 대한 경우를 나타내고 있다.
표 10에서는 도 3에 도시된 인트라 예측 모드를 따라서 플래이너 모드를 고려하지 않은 경우를 설명하고 있다. 따라서, 방향성이 없는 인트라 예측 모드(DC 모드, 플래이너 모드, 크로마 샘플에 대한 루마 참조 모드)를 모두 고려하고, 수직 모드, 수직+1 내지 수직+8 모드, 수직-1 내지 수직-8 모드, 수평 모드, 수평+1 내지 수평 +8 모드, 수평-1 내지 수평-7 모드를 모두 고려한 예로서, 표 11의 예와 같이 필터링 적용 여부를 판단하는 방법을 생각할 수도 있다.
*표 10 또는 표 11을 참조하면, 현재 블록이 속하는 예측 유닛의 사이즈 및 인트라 예측 모드에 대응하는 intraFilterType의 값이 1인 경우에는 필터링 즉, MDIS를 현재 블록의 주변 샘플에 대하여 적용한다. MDIS에 의해 현재 블록의 주변 참조 샘플들을 스무딩함으로써, 인트라 예측의 성능을 향상 시킬 수 있다. 이때, 필터링(MDIS)는 앞서 설명한 바와 같이 3 탭 필터 또는 5 탭 필터 등을 이용하여 수행될 수 있다.
현재 블록이 속하는 예측 유닛의 사이즈 및 인트라 예측 모드에 대응하는 intraFilterType의 값이 0인 경우에는 현재 블록의 주변 샘플에 필터링을 적용하지 않는다.
도 23은 3 탭의 필터를 이용하여 MDIS를 적용하는 방법을 개략적으로 설명하는 도면이다. 도 23을 참조하면, 현재 블록(2310)의 주변 샘플들(2320, 2330)은 3 탭 필터를 이용하여 스무딩된다. 스무딩의 적용 시기, 즉 MDIS의 적용 시기는 앞서 설명한 바와 같이, 참조 샘플의 대체(substitution) 이후, 예측에 의해 현재 블록 내 픽셀 값을 참조 픽셀 값으로 채우기 전이다.
3 탭 필터로 MDIS를 적용하는 경우에는, 필터링 대상 주변 샘플의 좌우 샘플 혹은 상하 샘플을 이용하여 인터폴레이션(필터링)한다. 예컨대, 대상 주변 샘플(2340b) 혹은 대상 주변 픽셀(2340b)을 필터링하는 경우에는, 좌우의 샘플(2340a, 2340c)과 대상 주변 샘플(2340b)에 3 탭 필터를 적용할 수 있다. 이때, 필터링 계수의 일 예로서, 도시된 [1 2 1]을 이용할 수 있다. 대상 주변 샘플(2350b)을 필터링하는 경우라면, 상하의 샘플(2350a, 2350c)과 대상 주변 샘플(2350b)에 3 탭 필터를 적용할 수 있다. 이때, 필터링 계수의 일 예로서, 도시된 [1 2 1]을 이용할 수 있다.
하지만, 방향성이 없는 인트라 예측 모드, 예컨대 DC 모드의 경우에는 다른 타입의 스무딩을 적용할 수 있다. 예컨대, 표 10 또는 표 11을 참조할 때, DC 모드의 경우에는 스무딩을 적용하지 않는다. 도 3의 인트라 모드 인덱싱을 기반으로 하는 표 10의 경우, DC 모드인 IntraPredMode 2에 대한 intraFilterType의 값이 0이며, 도 4의 인트라 모드 인덱싱을 기반으로 하는 표 11의 경우에도, DC 모드인 IntraPredMode 3에 대한 intraFilterType의 값이 0인 것을 볼 수 있다.
따라서, DC 모드의 경우에는 인트라 예측 전, 즉 현재 블록의 픽셀 값을 예측에 의해 채우기 전에 MDIS와 같은 스무딩을 수행하지는 않지만, 블록 경계의 불연속을 최소화하기 위해 필터링을 적용하는 것을 고려할 수 있다.
도 24는 현재 블록이 DC 모드인 경우에 필터링을 적용하는 방법을 개략적으로 설명하는 도면이다. 도 24를 참조하면, 예측한 현재 블록(2410)의 샘플(2440b, 2450b)과 현재 블록의 주변 샘플(2440a, 2450a)에 대하여 2 탭 필터를 적용한다. 예컨대, 현재 블록(2410) 상측의 주변 샘플들(2430)을 필터링하는 경우에는, 주변 샘플(2440a) 및 주변 샘플(2440a)과 수평 방향(x 축 방향)으로 동일한 위치에 인접하는 현재 블록의 픽셀(2440b)에 2 탭 필터를 적용할 수 있다. 현재 블록(2410) 좌측의 주변 샘플들(2420)을 필터링하는 경우에는, 주변 샘플(2450a) 및 주변 샘플(2450a)과 수직 방향(y 축 방향)으로 동일한 위치에 인접하는 현재 블록의 픽셀(2450b)에 2 탭 필터를 적용할 수 있다.
이때, 적용되는 필터링 계수의 예로서 도시된 바와 같은 [2 8]을 사용할 수 있으나, 본 발명은 이에 한정되지 않는다. 예컨대, 필터링 계수는 주변 콘텍스트를 이용하여 적응적으로 결정될 수도 있고, 부호화기에서 결정되어 필터링 계수에 관한 정보가 복호화기로 전달될 수도 있다.
설명의 편의를 위해, 도 23에서 설명한 바와 같은 DC 모드에 적용되는 2 탭 필터링을 MDTF(Mode Dependent Two-tap Filtering)이라고 한다.
본 발명에서는, 현재 블록의 인트라 예측 모드가 DC 모드인 경우뿐만 아니라, MDIS가 적용되지 않는 다른 경우에 대해서도 MDTF를 적용함으로써 블록 경계의 불연속을 효과적으로 처리할 수 있다. MDTF는 MDIS가 적용되지 않는 경우에 적용된다. 따라서, 표 10 또는 표 11을 통해서 현재 블록의 사이즈 및 인트라 예측 모드를 고려하여 MDTF의 적용 여부가 결정될 수 있다.
이하, MDTF를 적용하는 방법을 구체적으로 설명한다.
MDTF
적용 방법 1
MDTF를 적용하는 한 방법으로서, MDIS가 적용되지 않는 모든 경우에 MDTF를 적용하는 방법을 고려할 수 있다. 예컨대, 표 10 또는 표 11에서 intraFilterType의 값이 0인 경우에 MDTF를 적용한다. 다만, 현재 블록 주변의 모든 샘플들에 대해서 MDTF를 적용하는 것이 아니라, 현재 블록의 인트라 예측 모드에 따라서 현재 블록의 상측 주변 픽셀들 또는 좌측 주변 픽셀들에 대해서만 적용할 수도 있다. 혹은 실제로 현재 블록의 인트라 예측에 이용되는 주변 참조 픽셀들에 대해서만 적용할 수도 있다.
도 25는 본 발명이 적용되는 시스템에서, MDTF를 적용하는 예를 현재 블록의 인트라 예측 모드에 따라서 개략적으로 설명하는 도면이다.
*도 25(a)는 현재 블록(2510)의 인트라 예측 모드가 수직 모드인 경우에 대한 MDFT의 적용 예이다. 표 10 또는 표 11을 참조할 때, 수직 모드에 대해서는 MDIS를 적용하지 않는다. 도 25(a)를 참조하면, 현재 블록(2510)의 인트라 예측 모드가 수직 모드인 경우에, 현재 블록의 인트라 예측에 이용되는 상측 주변 샘플들(2515)에 대하여 MDFT를 적용한다. 따라서, 주변 샘플(2520a)과 현재 블록의 픽셀(2520b)에 대하여 2 탭 필터링이 수행된다. 도 25(a)의 예에서는 필터링 계수로서 [2 8]을 적용하는 경우를 도시하고 있다.
도 25(b)는 현재 블록(2530)의 인트라 예측 모드가 수평 모드인 경우에 대한 MDFT의 적용 예이다. 표 10 또는 표 11을 참조할 때, 수평 모드에 대해서는 MDIS를 적용하지 않는다. 도 25(b)를 참조하면, 현재 블록(2530)의 인트라 예측 모드가 수평 모드인 경우에, 현재 블록의 인트라 예측에 이용되는 좌측 주변 샘플들(2535)에 대하여 MDFT를 적용한다. 따라서, 주변 샘플(2540a)과 현재 블록의 픽셀(2540b)에 대하여 2 탭 필터링이 수행된다. 도 25(b)의 예에서도 필터링 계수로서 [2 8]을 적용하는 경우를 도시하고 있다.
도 25(c)는 현재 블록(2550)의 인트라 예측 모드가 방향성을 가지는 모드로서 MDIS가 적용되지 않는 경우에 대한 적용 예이다. 도 25(a)를 참조하면, 도시된 인트라 예측 방향에 의할 때, 현재 블록(2550)의 상측 주변 샘플(2560)과 좌측 주변 샘플(2555)가 모두 현재 블록(2550)의 인트라 예측에 이용될 수 있으므로, 현재 블록의 상측 주변 샘플(2560)과 좌측 주변 샘플(2555)에 대하여 MDFT를 적용한다. 따라서, 주변 샘플(2565a)과 현재 블록의 픽셀(2565b)에 대하여, 그리고 주변 샘플(2570a)과 주변 샘플(2570b)에 2 탭 필터링이 수행된다. 도 25(c)의 예에서는 필터링 계수로서 [2 8]을 적용하는 경우를 도시하고 있다.
따라서, 도 25의 실시예에 따르면, 표 10 및 표 11에서 intraFilterType의 값을 새롭게 정의할 수 있다. 예컨대, intraFilterType의 값이 0인 경우에는 현재 블록 내외부의 경계 픽셀들에 대하여 2 탭의 필터링을 적용하는 것을 지시하고, intraFilterType의 값이 1인 경우에는 참조 샘플들 간에 필터링을 적용하는 것을 지시하도록 정의할 수 있다. 이때, 현재 블록 내외부의 경계 픽셀에 대한 2 탭의 필터링은 상술한 MDTF일 수 있고, 참조 샘플들 간의 필터링은 [1 2 1]의 필터 계수를 가지는 3 탭 필터의 MDIS일 수 있다.
MDTF
적용 방법 2
도 25의 실시예와 달리, 표 10 또는 표 11에서 intraFilterType의 값이 0인 경우에는 MDTF를 적용하고, intraFilterType의 값이 1인 경우에는 MDIS와 MDTF를 선택적으로 적용하는 방법을 생각할 수 있다. 예컨대, intraFilterType의 값이 1인 경우에, 부호화기는 1 비트의 플래그를 전송하여, MDTF를 적용할 것인지 MDIS를 적용할 것인지를 지시할 수 있다. 참조 샘플들 간에 필터링을 적용할 것인지 DC 모드에 적용하는 2 탭 필터를 적용할 것인지를 지시하도록 할 수 있다. 이때, MDIS의 경우에는 필터 계수 [1 2 1]의 3 탭 필터가 사용될 수 있고, MDTF의 경우에는 필터 계수 [2 8]의 2 탭 필터가 사용될 수 있다.
MDTF
적용 방법 3
상술한 적용 방법들과 달리, 표 10과 표 11에서 MDIS가 적용되지 않는 모든 경우에 MDTF를 적용하지 않고, 현재 블록의 인트라 예측 모드가 소정의 인트라 예측 모드에 해당하는 경우에만 MDTF를 적용하도록 할 수 있다.
예컨대, 표 10과 표 11에서 intraFilterType의 값이 0인 경우로서, 현재 블록의 인트라 예측 모드가 수직 모드, 수평 모드 그리고 방향성이 없는 모드(예컨대, DC 모드 또는 플래이너 모드)인 경우에만 MDTF를 적용하도록 할 수 있다.
한편, MDTF 적용 방법 1과 2에서, 현재 블록의 인트라 예측 모드가 수직 모드 또는 수평 모드가 아니고 각도 예측 모드인 경우에, MDTF의 필터링이 적용되는 주변 샘플의 위치는 현재 블록 내의 대상 픽셀(target pixel)과 동일한 수평 위치(x축상 위치) 또는 동일한 수식 위치(y축상 위치)가 아니라, 상우측(top-right) 또는 상좌측(top-left)의 위치일 수 있다.
도 26은 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 설명하는 도면이다. 도 26을 참조하면, 부호화기는 현재 블록에 대한 예측을 수행한다(S2610). 부호화기는 현재 블록에 대하여 인트라 예측 혹은 인터 예측을 적용할 수 있다. 예측은 현재 블록의 파티션 사이즈, 슬라이스 타입 등을 고려하여 수행될 수 있다.
부호화기는 인트라 예측을 수행하는 과정에서 CRSI(MDIS)를 적용하는 경우에, CRSI(MDIS)에 대한 필터링 계수를 결정하고 결정된 필터링 계수에 관한 정보를 복호화기에 전달할 수도 있다. 필터링 계수에 관한 정보를 전달하지 않는 경우에, 복호화기는 상술한 바와 같이, 콘텍스트 정보로부터 필터링 계수를 유도할 수도 있다. 또한, 부호화기와 복호화기 사이에 필터링 계수가 이미 결정되어 있다면, 부호화기는 별도로 필터링 계수에 관한 정보를 전송하지 않을 수 있다.
부호화기는 현재 블록의 예측 결과를 엔트로피 부호화한다(S2620). 엔트로피 부호화에는 상술한 바와 같이, CABAC, CAVLC 등의 방법을 이용할 수 있으며, 각 예측 모드 혹은 예측 타입의 발생 빈도를 고려하여 코드워드를 할당할 수도 있다.
부호화기는 엔트로피 부호화된 정보를 시그널링한다(S2620). 예측 모드에 관한 정보를 시그널링하는 방법으로서, 특정 예측 모드/예측 타입의 적용 여부를 별도의 정보, 예컨대 플래그를 이용하여 시그널링하는 방법이 이용될 수도 있고, 예측 타입에 포함되는 각 요소(element)를 한번에 조인트 코딩한 뒤, 여러 예측 모드 중에서 어떤 예측 모드가 적용되는지를 시그널링할 수도 있다.
예측 타입/예측 모드의 발생 빈도를 고려하여 코드워드를 할당하는 방법 및 예측에 관한 정보를 시그널링하는 방법의 구체적인 내용은 상술한 바와 같다.
도 27은 본 발명이 적용되는 시스템에서 복호화기의 동작을 개략적으로 설명하는 도면이다. 도 27을 참조하면, 복호화기는 부호화기로부터 정보를 수신한다(S2710). 부호화기로부터 수신하는 정보는 비트스트림에 포함되어 전달될 수 있으며, 현재 블록의 예측에 관한 정보를 포함한다.
이어서, 복호화기는 엔트로피 복호화를 수행하여 필요한 정보를 추출할 수 있다(S2720). 복호화기는 추출한 정보를 기반으로, 예측 타입(PCM, 인터 예측, 인트라 예측) 중 어떤 예측 타입이 현재 블록에 적용되는지, 인트라 예측이 적용된다면 어떤 모드가 현재 블록에 적용되었는지를 결정할 수 있다. 예측 모드를 결정하는 방법은 상술한 바와 같다.
복호화기는 현재 블록에 대한 예측을 수행한다(S2730). 복호화기는 현재 블록의 예측 모드에 따라서 예측을 수행한다. 복호화기가 현재 블록의 예측 모드에 따라서 예측을 수행하는 구체적인 방법은 상술한 바와 같다.
복호화기는 예측된 결과를 기반으로 현재 블록의 영상을 복원한다(S2740).
도 28은 본 발명이 적용되는 시스템에서 현재 블록에 대한 복호화기의 예측 수행 단계 중 인트라 예측 동작을 개략적으로 설명하는 순서도이다.
도 28을 참조하면, 복호화기는 현재 블록의 예측 모드를 유도한다(S2810). 현재 블록의 예측 모드는 주변 블록으로부터 선택되는 소정 개수의 MPM 중에서 결정될 수도 있고, 부호화기가 별도로 전송하는 잔여 모드들 중에서 결정될 수도 있다.
복호화기는 현재 블록의 주변 샘플들의 가용성을 판단하고, 불가용 샘플에 대한 참조 샘플 대체를 수행한다(S2820). 복호화기는 현재 블록의 주변 샘플들 중에 이용할 수 없는 어드레스에 위치하는 샘플이 존재하는 경우에는 해당 샘플을 현재 블록의 인트라 예측에 이용할 수 없는 샘플(불가용 샘플)이라고 판단한다. 또한, 현재 블록이 인트라 예측 모드만으로 예측되고, 현재 블록의 주변 샘플들 중에 인트라 예측 모드가 아닌 모드로 예측된 샘플이 존재하는 경우에는, 해당 샘플을 현재 블록의 인트라 예측에 이용할 수 없는 샘플이라고 판단한다. 복호화기는 불가용 샘플들을 가용 샘플(available sample)을 이용하여 대체하는 참조 샘플 대체(reference sample substitution)를수행한다. 구체적인 방법은 앞서 설명한 바와 같다. 복호화기는 참조 샘플 대체를 통해서, 현재 블록의 인트라 예측에 이용될 참조 샘플을 구성할 수 있다.
이어서, 복호화기는 주변 샘플에 대한 필터링을 수행한다(S2830). 필터링은 현재 블록의 인트라 예측 모드에 따라서, 인트라 예측 모드의 방향에 인접하는 소정 개수의 주변 샘플을 이용하여 수행될 수 있다. 필터링에 이용되는 주변 샘플의 개수는 미리 정해져 있을 수도 있고, 필터링에 이용되는 주변 샘플의 개수에 관한 정보가 부호화기로부터 복호화기로 전달될 수도 있다. 또한, 필터링에 사용되는 필터링 계수 역시 미리 정해져 있을 수도 있고, 복호화기가 콘텍스트로부터 유도할 수도 있으며, 필터 계수에 관한 정보가 부호화기로부터 복호화기에 전달될 수도 있다. 아울러, 현재 블록의 인트라 예측 모드에 따라서, 인트라 예측에 이용될 수 있는 주변 샘플들만을 한정하여 필터링을 수행할 수도 있다. 복호화기는 현재 블록의 사이즈와 인트라 예측 모드 등에 따라서 선택적으로 필터링을 수행할 수도 있다. 필터링을 수행하는 경우에, 복호화기는 현재 블록의 인트라 예측에 사용될 수정된 ㅏ 참조 샘플을 구성할 수 있다.
복호화기는 예측 샘플을 생성한다(S2840). 복호화기는 현재 블록의 인트라 예측 모드에 따라서, 예측 방향에 위치하는 (수정된) 참조 샘플을 현재 블록의 픽셀 위치에 복사함으로써 예측 샘플을 생성하는 예측을 수행한다.
한편, 복호화기는 생성된 예측 샘플에 대하여, 설명한 바와 같이 2 탭의 DC 필터링(MDTF)을 적용할 수도 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어"있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.
Claims (8)
- 현재 블록에 대한 인트라 예측 모드를 결정하되, 상기 인트라 예측 모드는 복수의 방향성 인트라 예측 모드들을 포함하는 인트라 예측 모드들 중 하나이고, 상기 현재 블록에 대한 상기 인트라 예측 모드는 좌상단 대각 방향성 인트라 예측 모드 또는 수평 인트라 예측 모드 중 적어도 하나로 유도된 단계;
상기 현재 블록의 주변 참조 샘플들을 도출하는 단계;
상기 주변 참조 샘플들을 필터링하는 단계;
상기 필터링된 주변 참조 샘플들 중 적어도 하나를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계; 및
상기 현재 블록에 대한 예측 정보를 포함하는 비트스트림을 생성하는 단계를 포함하며,
상기 필터링 단계에서는, 상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 참조 샘플 및 상기 제1 주변 참조 샘플에 인접한 소정 개수의 주변 참조 샘플을 이용하여 필터링이 수행되고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 상측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 좌측에 위치하는 제2 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 우측에 위치하는 제3 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(x)는 상기 제1 주변 참조 샘플의 샘플 값, r(x-1)은 상기 제2 주변 참조 샘플의 값, r(x+1)은 상기 제3 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제4 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제5 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제4 주변 참조 샘플의 값, r(y+1)은 상기 제5 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 수평 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제6 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제7 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제6 주변 참조 샘플의 값, r(y+1)은 상기 제7 주변 참조 샘플의 샘플 값을 나타내는 것을 특징으로 하는 영상 인코딩 방법. - 제1항에 있어서, 상기 필터링 단계에서는,
상기 인트라 예측 모드에서 이용 가능한 주변 참조 샘플만을 필터링하는 것을 특징으로 하는 영상 인코딩 방법. - 제1항에 있어서, 상기 현재 블록의 사이즈 및 상기 인트라 예측 모드에 따라서 상기 필터링 단계의 적용 여부를 결정하는 것을 특징으로 하는 영상 인코딩 방법.
- 제3항에 있어서, 상기 필터링 단계가 적용되지 않은 경우에, 상기 예측 샘플은 상기 주변 참조 샘플들을 기반으로 생성하며,
상기 예측 샘플이 상기 주변 참조 샘플들 중 적어도 하나와 인접하는 경우 상기 예측 샘플에 2탭의 필터를 이용한 스무딩을 적용하는 것을 특징으로 하는 영상 인코딩 방법. - 디지털 저장 매체로서, 청구항 1항에 기재된 영상 인코딩 방법에 의해 인코딩된 비디오 비트스트림이 저장된, 디지털 저장 매체.
- 비트스트림을 통하여 현재 블록에 대한 예측 정보를 획득하는 단계;
상기 예측 정보를 기반으로 상기 현재 블록에 대한 인트라 예측 모드를 도출하되, 상기 인트라 예측 모드는 복수의 방향성 인트라 예측 모드들을 포함하는 인트라 예측 모드들 중 하나이고, 상기 현재 블록에 대한 상기 인트라 예측 모드는 좌상단 대각 방향성 인트라 예측 모드 또는 수평 인트라 예측 모드 중 적어도 하나로 유도된 단계;
상기 현재 블록의 주변 참조 샘플들을 도출하는 단계;
상기 주변 참조 샘플들을 필터링하는 단계; 및
상기 필터링된 주변 참조 샘플들 중 적어도 하나를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하며,
상기 필터링 단계에서는, 상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 참조 샘플 및 상기 제1 주변 참조 샘플에 인접한 소정 개수의 주변 참조 샘플을 이용하여 필터링이 수행되고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 도출되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 상측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 좌측에 위치하는 제2 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 우측에 위치하는 제3 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(x)는 상기 제1 주변 참조 샘플의 샘플 값, r(x-1)은 상기 제2 주변 참조 샘플의 값, r(x+1)은 상기 제3 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 도출되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제4 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제5 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제4 주변 참조 샘플의 값, r(y+1)은 상기 제5 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 수평 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제6 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제7 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제6 주변 참조 샘플의 값, r(y+1)은 상기 제7 주변 참조 샘플의 샘플 값을 나타내는 것을 특징으로 하는 영상 디코딩 방법. - 컴퓨터 판독 가능한 디지털 저장 매체로서, 상기 디지털 저장 매체는 특정 방법에 의하여 생성된 비트스트림을 저장하고, 상기 특정 방법은,
현재 블록에 대한 인트라 예측 모드를 결정하되, 상기 인트라 예측 모드는 복수의 방향성 인트라 예측 모드들을 포함하는 인트라 예측 모드들 중 하나이고, 상기 현재 블록에 대한 상기 인트라 예측 모드는 좌상단 대각 방향성 인트라 예측 모드 또는 수평 인트라 예측 모드 중 적어도 하나로 유도된 단계;
상기 현재 블록의 주변 참조 샘플들을 도출하는 단계;
상기 주변 참조 샘플들을 필터링하는 단계;
상기 필터링된 주변 참조 샘플들 중 적어도 하나를 기반으로 상기 현재 블록에 대한 예측 샘플을 생성하는 단계; 및
상기 현재 블록에 대한 예측 정보를 포함하는 상기 비트스트림을 생성하는 단계를 포함하며,
상기 필터링 단계에서는, 상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 참조 샘플 및 상기 제1 주변 참조 샘플에 인접한 소정 개수의 주변 참조 샘플을 이용하여 필터링이 수행되고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 상측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 좌측에 위치하는 제2 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 우측에 위치하는 제3 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(x)는 상기 제1 주변 참조 샘플의 샘플 값, r(x-1)은 상기 제2 주변 참조 샘플의 값, r(x+1)은 상기 제3 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제4 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제5 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제4 주변 참조 샘플의 값, r(y+1)은 상기 제5 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 수평 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제6 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제7 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제6 주변 참조 샘플의 값, r(y+1)은 상기 제7 주변 참조 샘플의 샘플 값을 나타내는 것을 특징으로 하는 디지털 저장 매체. - 영상에 대한 데이터 전송 방법에 있어서,
현재 블록에 대한 예측 정보를 포함하는 영상 정보의 비트스트림을 획득하는 단계;
상기 예측 정보를 포함하는 상기 영상 정보의 상기 비트스트림을 포함하는 상기 데이터를 전송하는 단계를 포함하되,
상기 예측 정보는 상기 현재 블록에 대한 예측 샘플을 생성하는 인트라 예측 과정을 기반으로 생성되고,
상기 예측 샘플은 상기 현재 블록에 대한 인트라 예측 모드를 결정하고, 상기 현재 블록의 주변 참조 샘플들을 도출하고, 상기 주변 참조 샘플들을 필터링하여 도출된 상기 필터링된 주변 참조 샘플들 중 적어도 하나를 기반으로 생성되되,
상기 인트라 예측 모드는 복수의 방향성 인트라 예측 모드들을 포함하는 인트라 예측 모드들 중 하나이고, 상기 현재 블록에 대한 상기 인트라 예측 모드는 좌상단 대각 방향성 인트라 예측 모드 또는 수평 인트라 예측 모드 중 적어도 하나로 유도되고,
상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 참조 샘플 및 상기 제1 주변 참조 샘플에 인접한 소정 개수의 주변 참조 샘플을 이용하여 상기 필터링이 수행되고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 상측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 좌측에 위치하는 제2 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 우측에 위치하는 제3 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(x)는 상기 제1 주변 참조 샘플의 샘플 값, r(x-1)은 상기 제2 주변 참조 샘플의 값, r(x+1)은 상기 제3 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 좌상단 대각 방향성 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제4 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제5 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제4 주변 참조 샘플의 값, r(y+1)은 상기 제5 주변 참조 샘플의 샘플 값을 나타내고,
상기 인트라 예측 모드가 상기 수평 인트라 예측 모드로 유도되고, 상기 제1 주변 참조 샘플이 상기 현재 블록의 좌측에 위치하는 경우, 상기 제1 주변 참조 샘플, 상기 제1 주변 참조 샘플의 상측에 위치하는 제6 주변 참조 샘플 및 상기 제1 주변 참조 샘플의 하측에 위치하는 제7 주변 참조 샘플을 이용하여 다음 수학식을 기반으로 상기 제1 주변 참조 샘플에 대한 필터링된 샘플 값이 도출되고,
여기서, 상기 r(y)는 상기 제1 주변 참조 샘플의 샘플 값, r(y-1)은 상기 제6 주변 참조 샘플의 값, r(y+1)은 상기 제7 주변 참조 샘플의 샘플 값을 나타내는 것을 특징으로 하는 데이터 전송 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237023411A KR102696949B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US42119110P | 2010-12-08 | 2010-12-08 | |
| US61/421,191 | 2010-12-08 | ||
| US201161475223P | 2011-04-13 | 2011-04-13 | |
| US201161475225P | 2011-04-13 | 2011-04-13 | |
| US61/475,225 | 2011-04-13 | ||
| US61/475,223 | 2011-04-13 | ||
| PCT/KR2011/009494 WO2012078001A2 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020217026999A KR102427824B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217026999A Division KR102427824B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237023411A Division KR102696949B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220110339A KR20220110339A (ko) | 2022-08-05 |
| KR102555352B1 true KR102555352B1 (ko) | 2023-07-13 |
Family
ID=46207623
Family Applications (10)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187030212A Active KR102030136B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020247027410A Pending KR20240128140A (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020137014828A Active KR101855269B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020217002355A Active KR102295680B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020227026128A Active KR102555352B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020207024065A Active KR102209697B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020237023411A Active KR102696949B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020187012312A Active KR101912307B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020217026999A Active KR102427824B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020197028954A Active KR102148422B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187030212A Active KR102030136B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020247027410A Pending KR20240128140A (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020137014828A Active KR101855269B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020217002355A Active KR102295680B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Family Applications After (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207024065A Active KR102209697B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020237023411A Active KR102696949B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020187012312A Active KR101912307B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020217026999A Active KR102427824B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR1020197028954A Active KR102148422B1 (ko) | 2010-12-08 | 2011-12-08 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (11) | US9100621B2 (ko) |
| EP (1) | EP2651137A4 (ko) |
| KR (10) | KR102030136B1 (ko) |
| CN (5) | CN103339943B (ko) |
| WO (1) | WO2012078001A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230107723A (ko) * | 2010-12-08 | 2023-07-17 | 엘지전자 주식회사 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화장치 |
Families Citing this family (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110113561A (ko) * | 2010-04-09 | 2011-10-17 | 한국전자통신연구원 | 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치 |
| KR20110123651A (ko) | 2010-05-07 | 2011-11-15 | 한국전자통신연구원 | 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법 |
| RU2562432C2 (ru) | 2010-11-26 | 2015-09-10 | Нек Корпорейшн | Устройство видеокодирования, устройство видеодекодирования, способ видеокодирования, способ видеодекодирования и программа |
| JP5341277B2 (ja) | 2011-02-22 | 2013-11-13 | パナソニック株式会社 | 画像符号化方法および画像符号化装置 |
| KR102112241B1 (ko) | 2011-02-22 | 2020-05-19 | 타지반 투 엘엘씨 | 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치 |
| WO2012134046A2 (ko) | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
| CN107071411B (zh) | 2011-04-25 | 2020-08-28 | Lg电子株式会社 | 一种由解码设备和编码设备执行的帧内预测方法 |
| KR101383775B1 (ko) | 2011-05-20 | 2014-04-14 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
| US9762900B2 (en) * | 2011-06-17 | 2017-09-12 | Lg Electronics Inc. | Method and apparatus for encoding/decoding video in intra prediction mode |
| KR20120140181A (ko) * | 2011-06-20 | 2012-12-28 | 한국전자통신연구원 | 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치 |
| WO2013011659A1 (ja) | 2011-07-19 | 2013-01-24 | パナソニック株式会社 | フィルタ方法、動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化装置及び動画像符号化復号装置 |
| EP2745519B1 (en) * | 2011-08-17 | 2017-09-27 | MediaTek Singapore Pte Ltd. | Method and apparatus for intra prediction using non-square blocks |
| ES2816567T3 (es) * | 2011-10-24 | 2021-04-05 | Innotive Ltd | Método y aparato para decodificar modo de intra-predicción |
| WO2013109867A1 (en) * | 2012-01-19 | 2013-07-25 | Futurewei Technologies, Inc. | Simplification of mode dependent intra smoothing |
| GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| KR20140016823A (ko) * | 2012-07-24 | 2014-02-10 | 한국전자통신연구원 | 영상의 복호화 방법 및 이를 이용하는 장치 |
| CN105308970B (zh) * | 2013-04-05 | 2018-11-23 | 三星电子株式会社 | 针对整数像素的位置对视频进行编码和解码的方法和设备 |
| US10602155B2 (en) * | 2013-04-29 | 2020-03-24 | Intellectual Discovery Co., Ltd. | Intra prediction method and apparatus |
| WO2015001700A1 (ja) * | 2013-07-01 | 2015-01-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化方法、及び、画像符号化装置 |
| US10313682B2 (en) * | 2013-08-26 | 2019-06-04 | Qualcomm Incorporated | Determining regions when performing intra block copying |
| CN107534780A (zh) * | 2015-02-25 | 2018-01-02 | 瑞典爱立信有限公司 | 视频中的帧间画面的编码和解码 |
| ES2719132B1 (es) * | 2015-08-28 | 2020-05-05 | Kt Corp | Procedimiento y dispositivo para procesar señales de vídeo |
| US10574984B2 (en) * | 2015-09-10 | 2020-02-25 | Lg Electronics Inc. | Intra prediction method and device in video coding system |
| WO2017052272A1 (ko) * | 2015-09-23 | 2017-03-30 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인트라 예측 방법 및 장치 |
| US10721492B2 (en) * | 2015-09-23 | 2020-07-21 | Lg Electronics Inc. | Intra prediction method and device in image coding system |
| US10750167B2 (en) * | 2015-10-22 | 2020-08-18 | Lg Electronics, Inc. | Intra-prediction method and apparatus in video coding system |
| EP3376764A4 (en) * | 2015-11-12 | 2019-12-04 | LG Electronics Inc. | METHOD AND DEVICE FOR COEFFICIENT-INDUCED INTRAPREDICATION IN A BILDCODING SYSTEM |
| KR102367708B1 (ko) * | 2015-11-17 | 2022-02-24 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 코딩 방법 및 장치 |
| KR102345475B1 (ko) * | 2016-01-05 | 2022-01-03 | 한국전자통신연구원 | 잔차 신호에 대한 예측 방법 및 장치 |
| WO2017131233A1 (ja) * | 2016-01-28 | 2017-08-03 | 日本放送協会 | 符号化装置、復号装置及びプログラム |
| US10390021B2 (en) * | 2016-03-18 | 2019-08-20 | Mediatek Inc. | Method and apparatus of video coding |
| EP3298783B1 (en) | 2016-04-15 | 2020-11-18 | Magic Pony Technology Limited | Motion compensation using temporal picture interpolation |
| EP3298786A1 (en) * | 2016-04-15 | 2018-03-28 | Magic Pony Technology Limited | In-loop post filtering for video encoding and decoding |
| CN114189678A (zh) * | 2016-04-26 | 2022-03-15 | 英迪股份有限公司 | 图像解码方法、图像编码方法以及传输比特流的方法 |
| CN113810698B (zh) * | 2016-04-29 | 2025-09-09 | 世宗大学校产学协力团 | 用于对图像信号进行编码和解码的方法和装置 |
| WO2017209328A1 (ko) * | 2016-06-03 | 2017-12-07 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 방법 및 장치 |
| US10735720B2 (en) * | 2016-06-24 | 2020-08-04 | Kt Corporation | Method and apparatus for processing video signal |
| ES2800551B2 (es) * | 2016-06-24 | 2023-02-09 | Kt Corp | Método y aparato para tratar una señal de vídeo |
| CN114339225B (zh) * | 2016-09-05 | 2024-06-04 | 罗斯德尔动力有限责任公司 | 图像编码和解码装置及比特流存储介质和发送装置 |
| CN116437079A (zh) | 2016-09-20 | 2023-07-14 | 株式会社Kt | 对视频进行解码和编码的方法以及传输方法 |
| EP3300362A1 (en) * | 2016-09-27 | 2018-03-28 | Thomson Licensing | Method for improved intra prediction when reference samples are missing |
| WO2018062880A1 (ko) * | 2016-09-30 | 2018-04-05 | 엘지전자(주) | 영상 처리 방법 및 이를 위한 장치 |
| KR20190052128A (ko) | 2016-10-04 | 2019-05-15 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
| CN118694924A (zh) | 2016-10-04 | 2024-09-24 | Lx 半导体科技有限公司 | 图像编码/解码方法和图像数据的发送方法 |
| US10958903B2 (en) * | 2016-10-04 | 2021-03-23 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding/decoding image and recording medium storing bit stream |
| JP6913749B2 (ja) * | 2016-10-11 | 2021-08-04 | エルジー エレクトロニクス インコーポレイティド | 映像コーディングシステムにおいてイントラ予測による映像デコーディング方法及び装置 |
| CN116886897A (zh) * | 2017-01-16 | 2023-10-13 | 世宗大学校产学协力团 | 影像解码/编码方法以及传送比特流的方法 |
| US11284076B2 (en) * | 2017-03-22 | 2022-03-22 | Electronics And Telecommunications Research Institute | Block form-based prediction method and device |
| US10951908B2 (en) | 2017-05-24 | 2021-03-16 | Lg Electronics Inc. | Method and device for decoding image according to intra prediction in image coding system |
| AU2018276649B2 (en) | 2017-05-31 | 2020-12-24 | Lg Electronics Inc. | Method and device for performing image decoding on basis of intra prediction in image coding system |
| WO2019035658A1 (ko) * | 2017-08-17 | 2019-02-21 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| WO2019078686A1 (ko) * | 2017-10-20 | 2019-04-25 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| GB2567863A (en) * | 2017-10-27 | 2019-05-01 | Sony Corp | Image data encoding and decoding |
| JP7005854B2 (ja) * | 2017-11-07 | 2022-01-24 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオ符号化のためのインター予測装置の補間フィルタ及び方法 |
| CN118301342A (zh) * | 2017-11-22 | 2024-07-05 | 英迪股份有限公司 | 用于解码图像的方法、用于编码图像的方法和非暂态存储介质 |
| CN116366843A (zh) * | 2018-03-09 | 2023-06-30 | 韩国电子通信研究院 | 使用样点滤波的图像编码/解码方法和设备 |
| WO2019203559A1 (ko) * | 2018-04-17 | 2019-10-24 | 엘지전자 주식회사 | 영상 코딩 시스템에서 리그레션 모델 기반 필터링을 사용하는 영상 디코딩 방법 및 장치 |
| CN112954349B (zh) * | 2018-06-21 | 2024-08-23 | 株式会社Kt | 用于处理视频信号的方法和设备 |
| US10284866B1 (en) * | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| CN111543061B (zh) * | 2018-09-16 | 2024-08-20 | 华为技术有限公司 | 用于预测的方法和装置 |
| MX2021005901A (es) * | 2018-11-21 | 2021-06-23 | Huawei Tech Co Ltd | Metodo y dispositivo de intraprediccion. |
| CN116456083B (zh) * | 2018-12-25 | 2026-04-07 | Oppo广东移动通信有限公司 | 解码预测方法、装置及计算机存储介质 |
| WO2020168508A1 (zh) * | 2019-02-21 | 2020-08-27 | 富士通株式会社 | 参考像素的自适应滤波方法及装置、电子设备 |
| WO2020171647A1 (ko) * | 2019-02-21 | 2020-08-27 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치 |
| CN109982075B (zh) * | 2019-03-21 | 2022-11-08 | 南京威翔科技有限公司 | 一种基于fpga的帧内预测通用角度方法 |
| KR20250037598A (ko) * | 2019-03-23 | 2025-03-17 | 엘지전자 주식회사 | 영상 코딩 시스템에서의 인트라 예측 기반 영상 코딩 |
| WO2020256483A1 (ko) * | 2019-06-21 | 2020-12-24 | 삼성전자 주식회사 | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
| CN117061735A (zh) * | 2019-06-21 | 2023-11-14 | 华为技术有限公司 | 用于几何分割模式的色度样本权重推导 |
| CN112437298B (zh) * | 2019-08-26 | 2026-01-09 | 北京三星通信技术研究有限公司 | 编解码方法及装置 |
| KR20220047824A (ko) * | 2019-09-19 | 2022-04-19 | 엘지전자 주식회사 | 참조 샘플 필터링을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
| CN110944211B (zh) * | 2019-11-15 | 2022-07-08 | 腾讯科技（深圳）有限公司 | 用于帧内预测的插值滤波方法、装置、介质及电子设备 |
| WO2021110568A1 (en) * | 2019-12-05 | 2021-06-10 | Interdigital Vc Holdings France, Sas | Intra sub partitions for video encoding and decoding combined with multiple transform selection, matrix weighted intra prediction or multi-reference-line intra prediction |
| JP7152444B2 (ja) * | 2020-04-30 | 2022-10-12 | 華為技術有限公司 | ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置 |
| CN111787334B (zh) * | 2020-05-29 | 2021-09-14 | 浙江大华技术股份有限公司 | 一种用于帧内预测的滤波方法，滤波器及装置 |
| WO2022197135A1 (ko) | 2021-03-19 | 2022-09-22 | 현대자동차주식회사 | 분할된 서브블록의 적응적 순서를 이용하는 비디오 코딩방법 및 장치 |
| JP7755043B2 (ja) * | 2021-08-18 | 2025-10-15 | エルジー エレクトロニクス インコーポレイティド | イントラ予測モードに基づいて参照サンプルフィルタリングを行う画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法 |
| KR20260007336A (ko) * | 2023-04-19 | 2026-01-13 | 엘지전자 주식회사 | 인트라 예측에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102030136B1 (ko) | 2010-12-08 | 2019-10-08 | 엘지전자 주식회사 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Family Cites Families (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0890923A3 (en) * | 1997-07-09 | 2005-06-15 | Hyundai Curitel, Inc. | Method and apparatus for image coding and decoding |
| CN1224270A (zh) | 1999-01-15 | 1999-07-28 | 高步 | 超导能源输出机 |
| DE10158658A1 (de) * | 2001-11-30 | 2003-06-12 | Bosch Gmbh Robert | Verfahren zur gerichteten Prädiktion eines Bildblockes |
| CN1224270C (zh) * | 2003-09-30 | 2005-10-19 | 清华大学 | 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法 |
| CN100536573C (zh) * | 2004-01-16 | 2009-09-02 | 北京工业大学 | 基于方向的dc预测方法及用于视频编码的帧内预测方法 |
| CN101278563A (zh) * | 2005-08-15 | 2008-10-01 | 诺基亚公司 | 用于视频编码中更新操作的亚像素内插的方法和装置 |
| EP1965589A1 (en) * | 2005-11-30 | 2008-09-03 | Kabushiki Kaisha Toshiba | Image encoding/image decoding method and image encoding/image decoding apparatus |
| KR100750145B1 (ko) | 2005-12-12 | 2007-08-21 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
| CN100566413C (zh) * | 2006-06-05 | 2009-12-02 | 华为技术有限公司 | 一种自适应插值处理方法及编解码模块 |
| BRPI0714233A2 (pt) * | 2006-07-18 | 2013-01-15 | Thomson Licensing | mÉtodos e aparelho para filtragem de referÊncia adaptativa |
| US8238428B2 (en) * | 2007-04-17 | 2012-08-07 | Qualcomm Incorporated | Pixel-by-pixel weighting for intra-frame coding |
| KR101460608B1 (ko) | 2008-03-04 | 2014-11-14 | 삼성전자주식회사 | 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치 |
| KR101590500B1 (ko) | 2008-10-23 | 2016-02-01 | 에스케이텔레콤 주식회사 | 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체 |
| KR20100046467A (ko) * | 2008-10-27 | 2010-05-07 | 주식회사 엠아이비전 | Ｓｖｃ 복호화기의 공용 예측 블록 시스템을 위한 필터링 장치 |
| JP2010258741A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| CN101674475B (zh) * | 2009-05-12 | 2011-06-22 | 北京合讯数通科技有限公司 | 一种h.264/svc的自适应层间纹理预测方法 |
| CN101572817B (zh) * | 2009-05-26 | 2011-01-05 | 北京邮电大学 | 一种用于空间可分级视频编码的编码模式选择方法 |
| KR101623124B1 (ko) * | 2009-12-03 | 2016-05-24 | 에스케이 텔레콤주식회사 | 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법 |
| CN101895751B (zh) * | 2010-07-06 | 2012-02-08 | 北京大学 | 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统 |
| ES2670327T3 (es) * | 2010-08-17 | 2018-05-30 | M&K Holdings Inc. | Procedimiento de restablecimiento de un modo de intra predicción |
| US9716886B2 (en) * | 2010-08-17 | 2017-07-25 | M&K Holdings Inc. | Method for restoring an intra prediction mode |
| US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
| HUE071305T2 (hu) * | 2011-01-07 | 2025-08-28 | Lg Electronics Inc | Eljárás képinformáció kódolására és dekódolására, és az eljárást alkalmazó eszköz |
| US9930366B2 (en) * | 2011-01-28 | 2018-03-27 | Qualcomm Incorporated | Pixel level adaptive intra-smoothing |
| WO2012134246A2 (ko) * | 2011-04-01 | 2012-10-04 | 엘지전자 주식회사 | 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치 |
| WO2012134046A2 (ko) * | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
| CN107071411B (zh) * | 2011-04-25 | 2020-08-28 | Lg电子株式会社 | 一种由解码设备和编码设备执行的帧内预测方法 |
| US20130034530A1 (en) | 2011-04-29 | 2013-02-07 | David R. Fantz | Dietary Supplement Cognitive Support System |
| CN108391136B (zh) * | 2011-06-15 | 2022-07-19 | 韩国电子通信研究院 | 可伸缩解码方法/设备、可伸缩编码方法/设备和介质 |
| CN102857764B (zh) * | 2011-07-01 | 2016-03-09 | 华为技术有限公司 | 帧内预测模式处理的方法和装置 |
| PT2750387T (pt) * | 2011-09-22 | 2019-09-17 | Lg Electronics Inc | Processo de decodificação de vídeo e aparelho de decodificação de vídeo |
| KR101611409B1 (ko) * | 2011-09-28 | 2016-04-14 | 한국전자통신연구원 | 인트라 예측 모드 부호화/복호화 방법 및 장치 |
| WO2013055148A2 (ko) * | 2011-10-12 | 2013-04-18 | 엘지전자 주식회사 | 영상 인코딩 방법 및 디코딩 방법 |
| JP5792582B2 (ja) | 2011-10-17 | 2015-10-14 | ルネサスエレクトロニクス株式会社 | 半導体装置、受信機、送信機、送受信機及び通信システム |
| AU2011236109B2 (en) * | 2011-10-18 | 2015-02-19 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit |
| ES2816567T3 (es) * | 2011-10-24 | 2021-04-05 | Innotive Ltd | Método y aparato para decodificar modo de intra-predicción |
| KR20130049526A (ko) * | 2011-11-04 | 2013-05-14 | 오수미 | 복원 블록 생성 방법 |
| WO2013109867A1 (en) * | 2012-01-19 | 2013-07-25 | Futurewei Technologies, Inc. | Simplification of mode dependent intra smoothing |
| US9479782B2 (en) * | 2012-09-28 | 2016-10-25 | Qualcomm Incorporated | Supplemental enhancement information message coding |
| US9451254B2 (en) * | 2013-07-19 | 2016-09-20 | Qualcomm Incorporated | Disabling intra prediction filtering |
| WO2015057947A1 (en) | 2013-10-17 | 2015-04-23 | Huawei Technologies Co., Ltd. | Improved reference pixel selection and filtering for intra coding of depth map |
| BR112016013761B1 (pt) * | 2014-05-23 | 2023-03-14 | Huawei Technologies Co., Ltd | Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador |
| US9521423B2 (en) * | 2014-06-26 | 2016-12-13 | Sony Corporation | Data encoding and decoding apparatus, method and storage medium |
| AU2014216056A1 (en) * | 2014-08-25 | 2016-03-10 | Canon Kabushiki Kaisha | Method, apparatus and system for predicting a block of video samples |
| US10531084B2 (en) * | 2015-06-15 | 2020-01-07 | Lg Electronics Inc. | Intra prediction mode based image processing method, and apparatus therefor |
| KR20180014675A (ko) * | 2016-08-01 | 2018-02-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| US11146795B2 (en) * | 2017-03-10 | 2021-10-12 | Qualcomm Incorporated | Intra filtering flag in video coding |
| CN117336509A (zh) * | 2017-07-06 | 2024-01-02 | Lx 半导体科技有限公司 | 图像编码/解码方法、发送方法和数字存储介质 |
| JP7170718B2 (ja) * | 2017-09-28 | 2022-11-14 | サムスン エレクトロニクス カンパニー リミテッド | 映像復号方法、映像符号化方法及び映像復号装置 |
| US10965941B2 (en) * | 2017-10-09 | 2021-03-30 | Qualcomm Incorporated | Position-dependent prediction combinations in video coding |
| MY201936A (en) * | 2018-06-29 | 2024-03-25 | Huawei Tech Co Ltd | Device and method for intra-prediction |
| WO2020017785A1 (ko) * | 2018-07-14 | 2020-01-23 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 예측 관련 정보를 사용하는 영상 디코딩 방법 및 그 장치 |
| KR102707059B1 (ko) * | 2019-01-08 | 2024-09-13 | 엘지전자 주식회사 | Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치 |
-
2011
- 2011-12-08 KR KR1020187030212A patent/KR102030136B1/ko active Active
- 2011-12-08 US US13/992,468 patent/US9100621B2/en active Active
- 2011-12-08 CN CN201180066667.6A patent/CN103339943B/zh active Active
- 2011-12-08 KR KR1020247027410A patent/KR20240128140A/ko active Pending
- 2011-12-08 KR KR1020137014828A patent/KR101855269B1/ko active Active
- 2011-12-08 CN CN201710341947.2A patent/CN107257465B/zh active Active
- 2011-12-08 KR KR1020217002355A patent/KR102295680B1/ko active Active
- 2011-12-08 KR KR1020227026128A patent/KR102555352B1/ko active Active
- 2011-12-08 CN CN201710335039.2A patent/CN107197257B/zh active Active
- 2011-12-08 EP EP11846762.0A patent/EP2651137A4/en not_active Ceased
- 2011-12-08 KR KR1020207024065A patent/KR102209697B1/ko active Active
- 2011-12-08 KR KR1020237023411A patent/KR102696949B1/ko active Active
- 2011-12-08 KR KR1020187012312A patent/KR101912307B1/ko active Active
- 2011-12-08 CN CN201710340805.4A patent/CN107277522B/zh active Active
- 2011-12-08 CN CN201710335034.XA patent/CN107181950B/zh active Active
- 2011-12-08 WO PCT/KR2011/009494 patent/WO2012078001A2/ko not_active Ceased
- 2011-12-08 KR KR1020217026999A patent/KR102427824B1/ko active Active
- 2011-12-08 KR KR1020197028954A patent/KR102148422B1/ko active Active
-
2015
- 2015-06-04 US US14/730,939 patent/US9661332B2/en active Active
-
2016
- 2016-11-04 US US15/344,118 patent/US9832472B2/en active Active
-
2017
- 2017-10-30 US US15/797,895 patent/US10469844B2/en active Active
-
2018
- 2018-11-14 US US16/191,026 patent/US10785487B2/en active Active
-
2019
- 2019-08-19 US US16/544,573 patent/US10812808B2/en active Active
-
2020
- 2020-02-28 US US16/805,528 patent/US11102491B2/en active Active
-
2021
- 2021-07-15 US US17/377,005 patent/US11677961B2/en active Active
-
2023
- 2023-05-02 US US18/142,386 patent/US11949885B2/en active Active
-
2024
- 2024-02-27 US US18/589,157 patent/US12328435B2/en active Active
-
2025
- 2025-05-09 US US19/203,845 patent/US20250330615A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102030136B1 (ko) | 2010-12-08 | 2019-10-08 | 엘지전자 주식회사 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
| KR102295680B1 (ko) | 2010-12-08 | 2021-08-31 | 엘지전자 주식회사 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Non-Patent Citations (2)
| Title |
|---|
| Hui Yong KIM, et al. Description of video coding technology proposal by ETRI. JCTVC-A127. 2010.04.21.* |
| Test Model under Consideration. JCT-VC Output Document (draft007). JCTVC-A205. 2010.07.18.* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230107723A (ko) * | 2010-12-08 | 2023-07-17 | 엘지전자 주식회사 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화장치 |
| KR102696949B1 (ko) * | 2010-12-08 | 2024-08-20 | 엘지전자 주식회사 | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102555352B1 (ko) | 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치 | |
| RU2765234C1 (ru) | Способ внутреннего предсказания и кодер и декодер, использующие его | |
| KR102143605B1 (ko) | 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치 | |
| KR20140018873A (ko) | 영상 정보 부호화 방법 및 복호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20220727 Application number text: 1020217026999 Filing date: 20210824 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230202 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230410 |
|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20230710 Application number text: 1020217026999 Filing date: 20210824 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230710 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230711 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |