KR20170021302A - 통합된 인트라 블록 카피 및 인터 예측 모드 - Google Patents

통합된 인트라 블록 카피 및 인터 예측 모드 Download PDF

Info

Publication number
KR20170021302A
KR20170021302A KR1020177001605A KR20177001605A KR20170021302A KR 20170021302 A KR20170021302 A KR 20170021302A KR 1020177001605 A KR1020177001605 A KR 1020177001605A KR 20177001605 A KR20177001605 A KR 20177001605A KR 20170021302 A KR20170021302 A KR 20170021302A
Authority
KR
South Korea
Prior art keywords
current
prediction
intra
slice
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177001605A
Other languages
English (en)
Other versions
KR102311815B1 (ko
Inventor
빈 리
지-젱 수
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020217032017A priority Critical patent/KR102413529B1/ko
Publication of KR20170021302A publication Critical patent/KR20170021302A/ko
Application granted granted Critical
Publication of KR102311815B1 publication Critical patent/KR102311815B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

통합된 인트라 블록 카피("BC") 및 인터 예측 모드에서의 혁신안이 제시된다. 몇몇 예시적인 구현예에서, 비트스트림 신택스, 신택스 엘리먼트의 의미론 및 인터 예측 모드에 대한 많은 코딩/디코딩 프로세스는 프레임의 블록에 대한 인트라 BC 예측을 가능하게 하기 위해 재사용되거나 또는 약간 수정된다. 예를 들면, 현재 화상의 현재 블록에 대한 인트라 BC 예측을 제공하기 위해, 모션 보상 프로세스는, 현재 화상 내에서의 변위를 나타내는 모션 벡터("MV")를 적용하는데, 현재 화상은 모션 보상 프로세스에 대한 참조 화상으로서 사용된다. 신택스, 의미론 및 코딩/디코딩 프로세스의 이 통합을 통해, 인터 예측 모드를 위해 설계되는 다양한 코딩/디코딩 툴, 예컨대 고급 모션 벡터 예측, 병합 모드 및 스킵 모드는, 인트라 BC 예측이 사용될 때 또한 적용될 수 있는데, 이것은 인트라 BC 예측의 구현을 단순화시킨다.

Description

통합된 인트라 블록 카피 및 인터 예측 모드{UNIFIED INTRA BLOCK COPY AND INTER PREDICTION MODES}
엔지니어는 디지털 비디오의 비트 레이트를 감소시키기 위해 압축(소스 코딩 또는 소스 인코딩으로도 또한 칭해짐)을 사용한다. 압축은 정보를 더 낮은 비트 레이트 형태로 변환하는 것에 의해 비디오 정보를 저장 및 송신하는 비용을 감소시킨다. 압축해제(decompression)(디코딩으로도 또한 칭해짐)는 압축된 형태로부터 원래의 정보의 버전을 재구성한다. "코덱"은 인코더/디코더 시스템이다.
지난 이십 여년에 걸쳐, ITU-T H.261, H.262(MPEG-2 또는 ISO/IEC 13818-2), H.263 및 H.264 (MPEG-4 AVC 또는 ISO/IEC 14496-10) 표준, MPEG-1(ISO/IEC 11172-2) 및 MPEG-4 비주얼(ISO/IEC 14496-2) 표준, 및 SMPTE 421M(VC-1) 표준을 비롯한 다양한 비디오 코덱 표준이 채택되었다. 보다 최근에는, HEVC 표준(ITU-T H.265 또는 ISO/IEC 23008-2)이 승인되었다. (예를 들면, 스케일러블 비디오 코딩/디코딩을 위한, 샘플 비트 깊이 또는 크로마 샘플링 레이트의 관점에서 충실도(fidelity)가 더 높은 비디오의 코딩/디코딩을 위한, 또는 멀티뷰 코딩/디코딩을 위한) HEVC 표준에 대한 확장안이 현재 개발 중에 있다. 비디오 코덱 표준은 통상적으로, 인코딩된 비디오 비트스트림의 신택스(syntax)에 대한 옵션을 정의하고, 인코딩 및 디코딩에서 특정 피쳐가 사용될 때의 비트스트림의 파라미터를 상술한다. 많은 경우에서, 비디오 코덱 표준은 또한, 디코딩에서의 적합한 결과를 달성하기 위해 디코더가 수행해야 하는 디코딩 동작에 관한 상세를 제공한다. 코덱 표준 외에, 다양한 사유 코덱 포맷은 인코딩된 비디오 비트스트림의 신택스에 대한 다른 옵션 및 대응하는 디코딩 동작을 정의한다.
일반적으로, 비디오 압축 기술은 "인트라 화상" 압축 및 "인터 화상" 압축을 포함한다. 인트라 화상 압축 기술은 개개의 화상을 압축하고, 인터 화상 압축 기술은 선행하는 및/또는 후행하는 화상(종종 참조 또는 앵커 화상으로 칭해짐) 또는 화상들을 참조로 화상을 압축한다.
인터 화상 압축 기술은, 종종, 비디오 시퀀스에서의 시간적 중복성을 활용하는 것에 의해, 비트 레이트를 감소시키기 위해 모션 추정 및 모션 보상을 사용한다. 모션 추정은 화상 사이의 모션을 추정하기 위한 프로세스이다. 하나의 일반적인 기술에서, 모션 추정을 사용하는 인코더는 현재 화상의 샘플 값의 현재 블록을, 다른 화상, 즉 참조 화상의 검색 영역에서의 동일한 사이즈의 후보 블록과 매치시키려고 시도한다. 인코더가 참조 화상의 검색 영역에서 정확한 또는 "충분히 근접한" 매치를 발견하면, 인코더는, 현재 블록과 후보 블록 사이의 포지션(position)에서의 변화를 모션 데이터(예컨대 모션 벡터(motion vector; "MV"))로서 파라미터화한다. MV는, 전통적으로는, 왼쪽으로의 또는 오른쪽으로의 공간적 변위를 나타내는 수평 MV 성분 및 위쪽으로의 또는 아래쪽으로의 공간적 변위를 나타내는 수직 MV 성분을 갖는 2차원 값이다. MV는 정수 픽셀(integer-pixel) 변위, 또는 몇몇 코덱 포맷에서는, 분수적 픽셀(fractional-pixel) 변위를 나타낼 수 있다. 일반적으로, 모션 보상은 모션 데이터를 사용하여 참조 화상(들)으로부터 화상을 재구성하는 프로세스이다.
인트라 블록 카피(block copy; "BC")는 HEVC 확장안에 대해 개발 중에 있는 예측 모드이다. 인트라 BC 예측 모드의 경우, 현재 화상의 현재 블록의 샘플 값은, 동일 화상에서 이전에 재구성된 샘플 값을 사용하여 예측된다. 블록 벡터(block vector; "BV")는, 현재 블록으로부터, 예측을 위해 사용되는 이전에 재구성된 샘플 값을 포함하는 현재 화상의 영역까지의 변위를 나타낸다. 통상적으로, BV는 정수 픽셀 변위를 나타낸다. BV는 비트스트림으로 시그널링된다. 인트라 BC 예측은 인트라 화상 예측의 형태이다 - 화상의 블록에 대한 인트라 BC 예측은 동일 화상에서의 샘플 값 외에는 어떠한 샘플 값도 사용하지 않는다.
HEVC 표준의 확장안 초안(draft extension)에서 현재 명시되고 HEVC 표준에 대한 몇몇 참조 소프트웨어(reference software)에서 구현되는 바와 같이, 인트라 BC 예측 모드는 여러 문제점을 갖는다. 특히, (정규(regular) 인트라 예측 모드 및 인터 예측 모드 외에) 인코딩 및 디코딩 동안 인트라 BC 예측 모드를 구현하는 추가된 복잡성은, 코딩/디코딩 툴로서 인트라 BC 예측을 포함하는 것을 정당화할 수 없을 수도 있다.
요약하면, 상세한 설명은 통합된 인트라 블록 카피("BC") 및 인터 예측 모드에서의 혁신안(innovation)을 제공한다. 몇몇 예시적인 구현예에서, 비트스트림 신택스, 신택스 엘리먼트의 의미론(semantics) 및 인터 예측 모드에 대한 많은 코딩/디코딩 프로세스는 프레임의 블록에 대한 인트라 BC 예측을 가능하게 하기 위해 재사용되거나 또는 약간 수정된다. 예를 들면, 현재 화상의 현재 블록에 대한 인트라 BC 예측을 제공하기 위해, 모션 보상 프로세스는, 현재 화상 내에서의 변위를 나타내는 모션 벡터("MV")를 적용하는데, 현재 화상은 모션 보상 프로세스에 대한 참조 화상으로서 사용된다. 신택스, 의미론 및 코딩/디코딩 프로세스의 이 통합을 통해, 인트라 BC 예측이 사용될 때 인터 예측 모드에 대해 설계되는 다양한 코딩/디코딩 툴이 또한 적용될 수 있고, 이것은 인트라 BC 예측의 구현을 단순화시킨다.
본원에서 설명되는 혁신안의 하나의 양태에 따르면, 비디오 인코더는 인코딩된 데이터를 생성하기 위해 현재 화상을 인코딩한다. 인코딩의 일부로서, 인코더는 현재 화상의 현재 블록에 대한 인트라 BC 예측을 수행하는데, 이 경우, 인트라 BC 예측은 현재 화상을 참조 화상으로 하여 인터 예측 모드를 사용한다. 인코더는 인코딩된 데이터를 비트스트림으로 출력한다. 인트라 BC 예측 모드 및 인터 예측 모드의 통합의 일부로서, 인코더는 다음의 방식 중 임의의 하나 이상에서 적응될 수 있다.
첫째, 인코더는, 인트라 BC 예측 모드를 인에이블할지 또는 디스에이블할지의 여부를 결정할 수 있고, 그 다음, 인트라 BC 예측이 인에이블되는지 또는 디스에이블되는지의 여부를 나타내기 위한 플래그의 값을 비트스트림 내에 설정할 수 있다. 예를 들면, 인코더는 시퀀스에 대해 인트라 BC 예측 모드를 인에이블할지 또는 디스에이블할지의 여부를 결정하고, 플래그는 시퀀스 파라미터 세트(sequence parameter set; "SPS")의 일부이다. 대안적으로, 인코더는, 화상 단위 기반으로, 슬라이스 단위 기반으로, 또는 몇몇 다른 기반으로 BC 예측 모드를 인에이블할지 또는 디스에이블할지의 여부를 결정할 수 있다.
둘째, 인코딩의 일부로서, 인코더는, 현재 화상을 인코딩하는 동안 신택스 엘리먼트의 어느 것도 현재 화상의 재구성되지 않은 부분을 참조하는 것으로 이어지지 않도록, 비트스트림의 신택스 엘리먼트의 값을 설정할 수 있다. 즉, 인터 예측 모드 신택스, 의미론, 프로세싱, 등등이 인트라 BC 예측 기능성을 구현하기 위해 사용되는 경우에도, 인코더는, 인트라 BC 예측이 현재 화상의 이전에 재구성된 부분만을 참조하도록 신택스 엘리먼트의 값을 설정할 수 있다.
셋째, 인코딩의 일부로서, 인코더는 인트라 BC 예측에 대한 모션 벡터("MV") 정보를 시그널링하기 위한 여러 상이한 접근방식(approach) 중 임의의 것을 사용할 수 있다(이 경우, MV는 인코딩 동안 블록 벡터(block vector; "BV")로서 사용됨). 예를 들면, 인코더는 현재 블록의 MV를 식별할 수 있는데, 이 경우 MV는 정수 픽셀 오프셋을 나타낸다. 인코더는 비트스트림으로 정수 픽셀 정밀도(integer-pixel precision)로 MV를 시그널링한다. 또는, 다른 예로서, 인코더는 현재 블록의 MV를 식별할 수 있는데, 이 경우, MV는 정수 픽셀 오프셋을 나타내지만, 비트스트림으로 분수적 픽셀 정밀도(fractional-pixel precision)(예를 들면, 1/4 픽셀 정밀도)로 MV를 시그널링한다. 루마 MV가 정수 픽셀 정밀도를 갖는 경우에도, 대응하는 크로마 MV는 분수적 픽셀 정밀도를 가질 수 있다. 인코더가 정수 픽셀 오프셋을 나타내는 루마 MV로부터 크로마 MV를 유도한 이후, 인코더는 정수 픽셀 오프셋을 나타내기 위해 크로마 MV를 반올림 처리할(round) 수 있거나 또는 버림 처리할(truncate) 수 있다.
넷째, 현재 화상의 인코딩을 위해, 인코더는 처음에는 현재 화상을 장기간 참조 화상(long-term reference picture)으로서 마킹할 수 있고, 그 다음, 현재 화상의 인코딩이 완료된 이후 현재 화상을 단기간 참조 화상(short-term reference picture)으로 마킹할 수 있다. 몇몇 예시적인 구현예에서, 이것은, 현재 화상이 MV 예측 및 MV 스케일링과 같은 다른 프로세스에 어떻게 영향을 끼치는지를 제한하면서, 인터 예측 모드에서 현재 화상을 참조 화상으로서 사용하는 인트라 BC 예측을 가능하게 한다.
다섯째, 인코딩의 일부로서, 인코더는, 다수의 이용가능한 코딩 모드 중에서 선택하는, 현재 블록에 대해 적용되는 코딩 모드를 설정할 수 있는데, 이 경우, 코딩 모드는 인트라 예측 모드, 인터 예측 모드 및 인트라 BC 예측 모드를 포함한다. 예를 들면, 인코더는 현재 코딩 단위에 대한 코딩 모드를 설정한다. 비트스트림은, 현재 블록에 대해 적용되는 코딩 모드를 나타내는 신택스 엘리먼트를 포함한다. 현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 현재 블록에 대한 신택스 엘리먼트는, 인터 예측 방향 및 참조 화상 인덱스가 추론되는 것을 제외하면, 인터 예측 모드에 대한 신택스를 따른다. 이 경우(현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드인 경우), 예측 방향은 필요로 되지 않으며, 참조 화상은 현재 화상에게 알려져 있다.
여섯째, 인코딩의 일부로서, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 인코더는, 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타내는 카운터를 설정할 수 있다. 특히, 이 상황에서(현재 슬라이스가 I 슬라이스인 상황에서), 카운터는 인트라 BC 예측 모드가 인에이블될 때 단일의 참조 화상이 활성이다는 것을 나타낸다. 비트스트림 내의 신택스 엘리먼트의 값은, 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타낼 수 있다.
일곱째, 인코딩의 일부로서, 인코더는 현재 화상을 참조 화상 리스트(reference picture list; "RPL")에 추가할 수 있다. 예를 들면, 인코더는 RPL의 최종 포지션에 현재 화상을 추가하고, 현재 블록을 포함하는 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타내는 카운터를 증분시킨다. 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 인코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되게 되는 리스트 구성 프로세스의 호출 이후에, 현재 화상을 RPL에 추가할 수 있다. 대안적으로, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 인코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되게 되는 리스트 구성 프로세스 동안에, 현재 화상을 RPL에 추가할 수 있다.
여덟째, 인코딩의 일부로서, 현재 블록이, B 슬라이스인 현재 슬라이스의 일부인 경우, 인코더는, 현재 블록에 대한 인트라 BC 예측의 결과 및 현재 블록에 대한 모션 보상된 예측의 결과를, 두 개의 상이한 참조 화상으로부터의 예측 결과로서, 결합할 수 있다. 이것은, 인코더가 현재 블록에 대한 모션 보상된 예측의 결과 및 인트라 BC 예측의 결과를 혼합하는 것을 허용한다. 대안적으로, 인트라 BC 예측의 결과 및 모션 보상된 예측의 결과의 결합은 허용되지 않는다.
아홉째, 현재 블록에 대한 인터 예측 모드 프로세싱의 일부로서, 인코더는 4×4 블록에 대해 인트라 BC 예측을 수행할 수 있다. 예를 들면, 만약 (a) 참조 화상이 현재 화상이고 (b) 예측 방향이 (현재 화상을 포함하는 RPL로부터의) 단일 예측이면(uni-predictive), 인코더는 (인트라 BC 예측을 위해) 4×4 블록 사이즈를 사용할 수 있다. 몇몇 예시적인 구현예에서, 이것은, 공간 인트라 예측에 대해 허용되는 최소 블록 사이즈까지의 인트라 BC 예측을 허용한다. 인터 예측 모드에 대한 블록 사이즈가 참조 화상 표시기(indicator) 이전에 시그널링되는 경우(예를 들면, 블록 사이즈(구획 모드)가 CU에 대해 시그널링되지만, 그러나 예측 방향 및 참조 화상 인덱스가 CU의 PU에 대해 시그널링되는 경우), 인코더는, 다른 인자(factor) 중에서도, 블록에 대해 사용되는 참조 화상 및 예측 방향을 고려하여 블록 사이즈에 관한 결정을 행할 수 있다. 그 다음, 현재 블록에 대해 적용되는 블록 사이즈가 4×4인 경우, 예측 방향이 단지 (현재 화상을 포함하는 RPL로부터의) 단일 예측일 수 있고 참조 화상이 단지 현재 화상일 수 있기 때문에, 인코더는 현재 블록에 대한 예측 방향 및 참조 화상 인덱스에 대한 신택스 엘리먼트의 시그널링을 스킵할 수 있다. 대안적으로, 이 상황에서, 인코더는 인트라 BC 예측을 위해 4×4 블록 사이즈를 디스에이블한다.
열째, 인코딩의 일부로서, 인코더는 고급(advanced) MV 예측 모드, 병합 모드, 스킵 모드 및/또는 인터 예측 모드의 일부인 다른 코딩 툴을 사용할 수 있다. 이러한 코딩 툴을 재사용하는 것에 의해, 인트라 BC 예측의 구현은 단순화된다.
열한째, 현재 블록에 대한 인터 예측 모드 프로세싱의 일부로서, 인코더는 현재 블록에 대해 병합 모드 프로세싱을 수행할 수 있다. 예를 들면, 하나 이상의 병합 모드 후보의 각각에 대해, 인코더는 병합 모드 후보를 획득하고 병합 모드 후보가 현재 화상을 참조하는지의 여부를 체크한다. 만약 그렇다면, 인코더는 병합 모드 후보를 유지한다. 그렇지 않다면, 인코더는 병합 모드 후보를 배제한다. 나중에, 유지된 병합 모드 후보의 수가 허용된 병합 모드 후보의 수보다 작으면, 인코더는 하나 이상의 미리 정의된 병합 모드 후보를 추가할 수 있다.
열둘째, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 인코더는 신택스 엘리먼트의 값을 설정할 수 있고, 인트라 BC 예측 모드가 인에이블되는지의 여부에 따라 신택스 엘리먼트를 상이한 방식으로 출력할 수 있다. 예를 들면, 인트라 BC 예측 모드가 인에이블되면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 P 슬라이스 또는 B 슬라이스에 대한 신택스를 따르지만, 그러나 인트라 BC 예측 모드가 인에이블되지 않으면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 I 슬라이스에 대한 디폴트 신택스를 따른다. 이 방식에서, 인터 예측 모드에 대한 신택스는 인트라 BC 예측을 위해 재사용될 수 있고, 이것은 구현을 단순화시킨다.
열셋째, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 인트라 BC 예측 모드가 인에이블되면, 인코더는 현재 I 슬라이스에 대한 시간적 MV 예측을 디스에이블할 수 있다. 이것은, MV 예측을 단순화하고 MV 스케일링을 방지하는 것에 의해, 그리고 현재 I 슬라이스를 인코딩할 때 다른 화상/슬라이스의 정보를 사용하는 것을 방지하는 것에 의해, 인코딩을 간소화할 수 있다.
열넷째, 현재 블록이, B 슬라이스인 현재 슬라이스의 일부이고, 현재 화상이 제1 RPL 및 제2 RPL 중 하나에 추가되는 경우, 인코더는, 현재 화상은 제외하고, (a) 제1 RPL에서의 참조 화상의 수가 제2 RPL에서의 참조 화상의 수와 매치하는지의 여부, 및 (b) 제1 RPL에서의 참조 화상의 각각이 제2 RPL에서의 대응하는 포지션에서 또한 나타내어지는지의 여부를 평가할 수 있다. 평가의 결과에 따라, 인코더는, B 슬라이스의 블록에 대한 양방향 인터 예측에서 제2 RPL이 사용될 때 단지 제로 값의 MV 차분만이 허용되는지의 여부를 나타내는 신택스 엘리먼트의 값을 비트스트림 내에 설정할 수 있다.
본원에서 설명되는 혁신안의 다른 양태에 따르면, 비디오 디코더는 인코딩된 데이터를 비트스트림으로 수신한다. 비디오 디코더는 인코딩된 데이터를 사용하여 현재 화상을 디코딩한다. 디코딩의 일부로서, 비디오 디코더는 현재 화상의 현재 블록에 대한 인트라 BC 예측을 수행하는데, 이 경우, 인트라 BC 예측은 현재 화상을 참조 화상으로 하여 인터 예측 모드를 사용한다. 인트라 BC 예측 모드 및 인터 예측 모드의 통합의 일부로서, 디코더는 다음의 방식 중 임의의 하나 이상에서 적응될 수 있다.
먼저, 디코더는, 인트라 BC 예측 모드가 인에이블되는지 또는 디스에이블되는지의 여부를 나타내는 플래그를 비트스트림으로 수신할 수 있고, 그 다음, 인트라 BC 예측 모드를 상응하게 인에이블하거나 또는 디스에이블할 수 있다. 예를 들면, 플래그는 SPS의 일부이고, 디코더는 시퀀스에 대한 인트라 예측 모드를 인에이블하거나 또는 디스에이블한다. 대안적으로, 디코더는, 화상 단위 기반으로, 슬라이스 단위 기반으로, 또는 몇몇 다른 기반으로 BC 예측 모드를 인에이블할 수 있거나 또는 디스에이블할 수 있다.
둘째, 비트스트림은, 현재 화상을 디코딩하는 동안 현재 화상의 재구성되지 않은 부분의 참조로 이어지는 어떠한 신택스 엘리먼트도 포함하지 않도록 제한될 수 있다. 즉, 인터 예측 모드 신택스, 의미론, 프로세싱, 등등이 인트라 BC 예측 기능성을 구현하기 위해 사용되는 경우에도, 신택스 엘리먼트의 값은, 인트라 BC 예측이 현재 화상의 이전에 재구성된 부분만을 참조하도록 설정된다.
셋째, 디코딩의 일부로서, 디코더는, 인트라 BC 예측에 대한 MV 정보를 재구성하는 여러 상이한 접근방식 중 임의의 것을 사용할 수 있다(이 경우, MV는 디코딩 동안 BV로서 사용된다). 예를 들면, 디코더는 현재 블록의 MV를 재구성할 수 있는데, 이 경우, MV는 정수 픽셀 오프셋을 나타내고, 비트스트림으로 정수 픽셀 정밀도로 시그널링된다. 재구성의 일부로서, 디코더는, 모션 보상 프로세스에서의 MV의 사용 이전에, MV를 분수 픽셀 정밀도로 스케일링한다. 또는, 다른 예로서, 디코더는 현재 블록의 MV를 식별할 수 있는데, 이 경우, MV는 정수 픽셀 오프셋을 나타내지만, 비트스트림으로 분수적 픽셀 정밀도(예를 들면, 1/4 픽셀 정밀도)로 시그널링된다. 루마 MV가 정수 픽셀 정밀도를 갖는 경우에도, 대응하는 크로마 MV는 분수적 픽셀 정밀도를 가질 수 있다. 디코더가 정수 픽셀 오프셋을 나타내는 루마 MV로부터 크로마 MV를 유도한 이후, 디코더는 정수 픽셀 오프셋을 나타내기 위해 크로마 MV를 반올림 처리할 수 있거나 또는 버림 처리할 수 있다.
넷째, 현재 화상의 디코딩을 위해, 디코더는 처음에는 현재 화상을 장기간 참조 화상으로서 마킹할 수 있고, 그 다음, 현재 화상의 디코딩이 완료된 이후 현재 화상을 단기간 참조 화상으로 마킹할 수 있다. 몇몇 예시적인 구현예에서, 이것은, 현재 화상이 MV 예측 및 MV 스케일링과 같은 다른 프로세스에 어떻게 영향을 끼치는지를 제한하면서, 인터 예측 모드에서 현재 화상을 참조 화상으로서 사용하는 인트라 BC 예측을 가능하게 한다.
다섯째, 디코딩의 일부로서, 디코더는, 비트스트림으로부터의, 현재 블록에 대해 적용되는 코딩 모드를 나타내는 신택스 엘리먼트를 파싱할 수 있고, 그 다음 코딩 모드를 설정할 수 있다. 코딩 모드는, 인트라 예측 모드, 인터 예측 모드 및 인트라 BC 예측 모드를 비롯한 다수의 이용가능한 코딩 모드 중에서 선택될 수 있다. 예를 들면, 디코더는 현재 코딩 단위에 대한 코딩 모드를 설정한다. 현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 현재 블록에 대한 신택스 엘리먼트는, 인터 예측 방향 및 참조 화상 인덱스가 추론되는 것을 제외하면, 인터 예측 모드에 대한 신택스를 따른다. 이 경우(현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드인 경우), 예측 방향은 필요로 되지 않으며, 참조 화상은 현재 화상에게 알려져 있다.
여섯째, 디코딩의 일부로서, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 디코더는, 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타내는 카운터를 설정할 수 있다. 특히, 이 상황에서(현재 슬라이스가 I 슬라이스인 상황에서), 카운터는 인트라 BC 예측 모드가 인에이블될 때 단일의 참조 화상이 활성이다는 것을 나타낸다. 비트스트림 내의 신택스 엘리먼트의 값은, 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타낼 수 있다.
일곱째, 디코딩의 일부로서, 디코더는 현재 화상을 RPL에 추가할 수 있다. 예를 들면, 디코더는 RPL의 최종 포지션에 현재 화상을 추가하고, 현재 블록을 포함하는 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타내는 카운터를 증분시킨다. 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 디코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되는 리스트 구성 프로세스의 호출 이후에, 현재 화상을 RPL에 추가할 수 있다. 대안적으로, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 디코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되는 리스트 구성 프로세스 동안에, 현재 화상을 RPL에 추가할 수 있다.
여덟째, 디코딩의 일부로서, 현재 블록이, B 슬라이스인 현재 슬라이스의 일부인 경우, 디코더는, 현재 블록에 대한 인트라 BC 예측의 결과 및 현재 블록에 대한 모션 보상된 예측의 결과를, 두 개의 상이한 참조 화상으로부터의 예측 결과로서, 결합할 수 있다. 이것은, 디코더가 현재 블록에 대한 모션 보상된 예측에 대한 결과 및 인트라 BC 예측의 결과를 혼합하는 것을 허용한다. 대안적으로, 인트라 BC 예측의 결과 및 모션 보상된 예측의 결과의 결합은 허용되지 않는다.
아홉째, 현재 블록에 대한 인터 예측 모드 프로세싱의 일부로서, 디코더는 4×4 블록에 대해 인트라 BC 예측을 수행할 수 있다. 예를 들면, 만약 (a) 참조 화상이 현재 화상이고 (b) 예측 방향이 (현재 화상을 포함하는 RPL로부터의) 단일 예측이면, 디코더는 (인트라 BC 예측을 위해) 4×4 블록 사이즈를 사용할 수 있다. 몇몇 예시적인 구현예에서, 이것은, 공간 인트라 예측에 대해 허용되는 최소 블록 사이즈까지의 인트라 BC 예측을 허용한다. 참조 화상 표시기 이전에 인터 예측 모드에 대한 블록 사이즈가 시그널링되는 경우(예를 들면, 블록 사이즈(구획 모드)가 CU에 대해 시그널링되지만, 그러나 예측 방향 및 참조 화상 인덱스가 CU의 PU에 대해 시그널링되는 경우), 디코더는 현재 블록에 대한 예측 방향 또는 참조 화상 인덱스를 알지 못하는 상태에서 그러므로 블록이 인트라 BC 예측을 사용하는지 또는 인터 화상 예측을 사용하는지의 여부를 모르는 상태에서, 블록 사이즈에 대한 신택스 엘리먼트를 파싱한다. 그러나, 블록 사이즈가 4×4이면, 디코더는 현재 블록에 대한 참조 화상 인덱스 및 예측 방향에 대한 신택스 엘리먼트의 파싱을 스킵할 수 있다. 현재 블록에 대해 적용되는 블록 사이즈가 4×4인 경우, 현재 블록에 대한 예측 방향은 단지 (현재 화상을 포함하는 RPL로부터의) 단일 예측일 수 있고, 현재 블록에 대한 참조 화상은 단지 현재 화상일 수 있고, 따라서 현재 블록에 대한 예측 방향 및 참조 화상 인덱스에 대한 신택스 엘리먼트는 비트스트림으로부터 생략된다. 대안적으로, 이 상황에서, 디코더는 인트라 BC 예측을 위해 4×4 블록 사이즈를 디스에이블한다.
열째, 디코딩의 일부로서, 디코더는 고급 MV 예측 모드, 병합 모드, 스킵 모드 및/또는 인터 예측 모드의 일부인 다른 코딩/디코딩 툴을 사용할 수 있다. 이러한 코딩/디코딩 툴을 재사용하는 것에 의해, 인트라 BC 예측의 구현은 단순화된다.
열한째, 현재 블록에 대한 인터 예측 모드 프로세싱의 일부로서, 디코더는 현재 블록에 대해 병합 모드 프로세싱을 수행할 수 있다. 예를 들면, 하나 이상의 병합 모드 후보의 각각에 대해, 디코더는 병합 모드 후보를 획득하고 병합 모드 후보가 현재 화상을 참조하는지의 여부를 체크한다. 만약 그렇다면, 디코더는 병합 모드 후보를 유지한다. 그렇지 않다면, 디코더는 병합 모드 후보를 배제한다. 나중에, 유지된 병합 모드 후보의 수가 허용된 병합 모드 후보의 수보다 작으면, 디코더는 하나 이상의 미리 정의된 병합 모드 후보를 추가할 수 있다.
열둘째, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 디코더는, 인트라 BC 예측 모드가 인에이블되는지의 여부에 따라 신택스 엘리먼트를 상이한 방식으로 파싱할 수 있다. 예를 들면, 인트라 BC 예측 모드가 인에이블되면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 P 슬라이스 또는 B 슬라이스에 대한 신택스를 따르지만, 그러나 인트라 BC 예측 모드가 인에이블되지 않으면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 I 슬라이스에 대한 디폴트 신택스를 따른다. 이 방식에서, 인터 예측 모드에 대한 신택스는 인트라 BC 예측을 위해 재사용될 수 있고, 이것은 구현을 단순화시킨다.
열셋째, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 인트라 BC 예측 모드가 인에이블되면, 디코더는 현재 I 슬라이스에 대한 시간적 MV 예측을 디스에이블할 수 있다. 이것은, MV 예측을 단순화하고 MV 스케일링을 방지하는 것에 의해, 그리고 현재 I 슬라이스를 디코딩할 때 다른 화상/슬라이스의 정보를 사용하는 것을 방지하는 것에 의해, 디코딩을 간소화할 수 있다.
열넷째, 디코딩의 일부로서, 현재 블록이, I 슬라이스인 현재 슬라이스의 일부인 경우, 인트라 BC 예측 모드가 인에이블되면, 디코더는 P 슬라이스 또는 B 슬라이스와 마찬가지로 현재 슬라이스를 디코딩한다. 코딩/디코딩 툴을 재사용하는 것에 의해, 인트라 BC 예측의 구현은 단순화된다.
통합된 인트라 BC 및 인터 예측 모드에 대한 혁신안은, 한 방법의 일부로서, 그 방법을 수행하도록 적응되는 컴퓨팅 디바이스의 일부로서 또는 컴퓨팅 디바이스로 하여금 그 방법을 수행하게 하기 위한 컴퓨터 실행가능 명령어를 저장하는 유형의(tangible) 컴퓨터 판독가능 매체의 일부로서 구현될 수 있다. 다양한 혁신안은 조합하여 또는 개별적으로 사용될 수 있다. 예를 들면, 인트라 BC 예측 모드를 선택적으로 인에이블하는 것/디스에이블하는 것은, (RPL 구성 및/또는 참조 화상 마킹을 위해) 본원에서 설명되는 참조 화상 관리 접근방식 중 임의의 것과 조합하여 사용될 수 있거나, 또는 인트라 BC 예측 모드의 선택적 인에이블/디스에이블 또는 참조 화상 관리 접근방식은 별개로 사용될 수 있다. MV 정보를 시그널링하기 위한 또는 재구성하기 위한 본원에서 설명되는 접근방식 중 임의의 것은, 별개로 또는 앞선 툴 또는 조합과 조합하여 사용될 수 있다. 복합 예측을 위한 본원에서 설명되는 접근방식 중 임의의 것은, 별개로 또는 앞선 툴 또는 조합과 조합하여 사용될 수 있다. 4×4 블록을 이용한 인트라 BC 예측을 위한 본원에서 설명되는 접근방식 중 임의의 것은, 별개로 또는 앞선 툴 또는 조합과 조합하여 사용될 수 있다. 시간적 MV 예측을 인에이블한 상태에서 또는 디스에이블한 상태에서, 고급 MV 예측 모드, 병합 모드, 스킵 모드 또는 인터 예측 모드의 다른 코딩/디코딩 툴을 사용하는 인트라 BC 예측을 위한 본원에서 설명되는 접근방식 중 임의의 것은, 별개로 또는 앞선 툴 또는 조합과 조합하여 사용될 수 있다. 인터 예측 모드 신택스, 의미론, 또는 코딩/디코딩 프로세스를 사용하는 인트라 BC 예측을 위한 본원에서 설명되는 접근방식 중 임의의 것은, 별개로 또는 앞선 툴 또는 조합과 조합하여 사용될 수 있다.
본 발명의 상기 및 다른 목적, 피쳐, 및 이점은, 첨부의 도면을 참조로 진행하는 하기의 상세한 설명으로부터 더욱 명확하게 될 것이다.
도 1은 몇몇 설명된 실시형태가 구현될 수 있는 예시적인 컴퓨팅 시스템의 도면이다.
도 2a 및 도 2b는 몇몇 설명된 실시형태가 구현될 수 있는 예시적인 네트워크 환경의 도면이다.
도 3은 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 인코더 시스템의 도면이다.
도 4는 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 디코더 시스템의 도면이다.
도 5a 및 도 5b는 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 비디오 인코더를 예시하는 도면이다.
도 6은 몇몇 설명된 실시형태가 연계하여 구현될 수 있는 예시적인 비디오 디코더를 예시하는 도면이다.
도 7은, 통합된 인트라 BC 및 인터 예측 모드를 포함하는 인코딩을 위한 일반화된 기술을 예시하는 플로우차트이다.
도 8은, 통합된 인트라 BC 및 인터 예측 모드를 포함하는 인코딩을 위한 예시적인 기술을 예시하는 플로우차트이다.
도 9는, 통합된 인트라 BC 및 인터 예측 모드를 포함하는 디코딩을 위한 일반화된 기술을 예시하는 플로우차트이다.
도 10은, 통합된 인트라 BC 및 인터 예측 모드를 포함하는 디코딩을 위한 예시적인 기술을 예시하는 플로우차트이다.
도 11a 내지 도 11c는, 몇몇 예시적인 구현예에서의 통합된 인트라 BC 및 인터 예측 모드에 대한 예시적인 신택스 구조를 예시하는 도면이다.
도 12는, 시퀀스에 대한 인트라 BC 예측을 선택적으로 인에이블하는 것을 포함하는 인코딩 또는 디코딩을 위한 일반화된 기술을 예시하는 플로우차트이다.
도 13은, 현재 화상을 포함하는 RPL을 구성하기 위한 예시적인 기술을 예시하는 플로우차트이다.
도 14a 내지 도 14c는, RPL을 구성하는 프로세스 동안 현재 화상을 추가하는 예시적인 방식을 열거하는 의사코드(pseudocode)이다.
상세한 설명은, 비디오 인코딩 또는 비디오 디코딩 동안 통합된 인트라 블록 카피("BC") 및 인터 예측 모드에서의 혁신안을 제시한다.
본원에서 설명되는 혁신안 중 몇몇은 HEVC 표준에 고유한 신택스 엘리먼트 및 동작을 참조로 예시된다. 본원에서 설명되는 혁신안은 또한, 다른 표준 또는 포맷에 대해 구현될 수 있다. 본원에서 설명되는 동작이 비디오 인코더 또는 비디오 디코더에 의해 수행되는 것으로 여기저기에서 설명되지만, 많은 경우에서, 동작은 다른 타입의 미디어 프로세싱 툴에 의해 수행될 수 있다.
보다 일반적으로는, 본원에서 설명되는 예에 대한 다양한 대안예도 가능하다. 예를 들면, 본원에서 설명되는 방법 중 몇몇은, 설명되는 방법 액트(act)의 순서를 변경하는 것에 의해, 소정의 방법 액트를 분할, 반복, 또는 생략하는 것에 의해, 등등에 의해 변경될 수 있다. 개시된 기술의 다양한 양태는 조합하여 또는 개별적으로 사용될 수 있다. 상이한 실시형태는 설명된 혁신안 중 하나 이상을 사용한다. 본원에서 설명되는 혁신안 중 몇몇은 배경에서 언급된 문제점 중 하나 이상을 해결한다. 통상적으로는, 주어진 기술/툴은 이러한 문제점 모두를 해결하지는 않는다.
I. 예시적인 컴퓨팅 시스템.
도 1은, 설명된 혁신안 중 몇몇이 구현될 수도 있는 적절한 컴퓨팅 시스템(100)의 일반화된 예를 예시한다. 컴퓨팅 시스템(100)은, 혁신안이 다양한 범용의 또는 특수 목적의 컴퓨팅 시스템에서 구현될 수도 있기 때문에, 사용 또는 기능성의 범위에 관해 어떠한 제한도 제시하도록 의도되지는 않는다.
도 1을 참조하면, 컴퓨팅 시스템(100)은 하나 이상의 프로세싱 유닛(110, 115) 및 메모리(120, 125)를 포함한다. 프로세싱 유닛(110, 115)은 컴퓨터 실행가능 명령어를 실행한다. 프로세싱 유닛은 범용 중앙 프로세싱 유닛(central processing unit; "CPU"), 주문형 반도체(application-specific integrated circuit; "ASIC")에서의 프로세서, 또는 임의의 다른 타입의 프로세서일 수 있다. 다중 프로세싱 시스템에서, 프로세싱 파워를 증가시키기 위해 다수의 프로세싱 유닛이 컴퓨터 실행가능 명령어를 실행한다. 예를 들면, 도 1은 중앙 프로세싱 유닛(110)뿐만 아니라 그래픽 프로세싱 유닛 또는 코프로세싱 유닛(co-processing unit)(115)을 도시한다. 유형의(tangible) 메모리(120, 125)는, 프로세싱 유닛(들)에 의해 액세스될 수 있는, 휘발성 메모리(예를 들면, 레지스터, 캐시, RAM), 불휘발성 메모리(예를 들면, ROM, EEPROM, 플래시 메모리 등등), 또는 이 둘의 어떤 조합일 수도 있다. 메모리(120, 125)는, 통합된 인트라 BC 및 인터 예측 모드에 대한 하나 이상의 혁신안을 구현하는 소프트웨어(180)를, 프로세싱 유닛(들)에 의한 실행에 적합한 컴퓨터 실행가능 명령어의 형태로 저장한다.
컴퓨팅 시스템은 추가적인 피쳐를 구비할 수도 있다. 예를 들면, 컴퓨팅 시스템(100)은 스토리지(140), 하나 이상의 입력 디바이스(150), 하나 이상의 출력 디바이스(160), 및 하나 이상의 통신 연결부(170)를 포함한다. 상호 접속 메커니즘(interconnection mechanism)(도시되지 않음), 예컨대 버스, 컨트롤러, 또는 네트워크는 컴퓨팅 시스템(100)의 컴포넌트를 상호 접속한다. 통상적으로, 오퍼레이팅 시스템 소프트웨어(도시되지 않음)는 컴퓨팅 시스템(100)에서 실행하는 다른 소프트웨어에 대한 동작 환경을 제공하고, 컴퓨팅 시스템(100)의 컴포넌트의 활동을 조화시킨다(coordinate).
유형의 스토리지(140)는 착탈식 또는 비착탈식일 수도 있고, 자기 디스크, 자기 테이프 또는 카세트, CD-ROM, DVD, 또는 정보를 저장하기 위해 사용될 수 있고 컴퓨팅 시스템(100) 내에서 액세스될 수 있는 임의의 다른 매체를 포함한다. 스토리지(140)는 통합된 인트라 BC 및 인터 예측 모드에 대한 하나 이상의 혁신안을 구현하는 소프트웨어(180)에 대한 명령어를 저장한다.
입력 디바이스(들)(150)는 터치 입력 디바이스 예컨대 키보드, 마우스, 펜, 또는 트랙볼, 음성 입력 디바이스, 스캐닝 디바이스, 또는 컴퓨팅 시스템(100)으로 입력을 제공하는 다른 디바이스일 수도 있다. 비디오의 경우, 입력 디바이스(들)(150)는 카메라, 비디오 카드, TV 튜너 카드, 스크린 캡쳐 모듈, 또는 비디오 입력을 아날로그 또는 디지털 형태로 받아들이는 유사한 디바이스, 또는 비디오 입력을 컴퓨팅 시스템(100) 안으로 읽어들이는 CD-ROM 또는 CD-RW일 수도 있다. 출력 디바이스(들)(160)는 디스플레이, 프린터, 스피커, CD-라이터, 또는 컴퓨팅 시스템(100)으로부터의 출력을 제공하는 다른 디바이스일 수도 있다.
통신 연결부(들)(170)는 통신 매체를 통한 다른 통신 엔티티로의 통신을 가능하게 한다. 통신 매체는 컴퓨터 실행가능 명령어, 오디오 또는 비디오 입력 또는 출력, 또는 변조된 데이터 신호에서의 다른 데이터와 같은 정보를 전달한다. 변조된 데이터 신호는, 자신의 특성 중 하나 이상을, 신호에서 정보를 인코딩하는 것과 같은 방식으로 설정하거나 변경한 신호이다. 비제한적인 예로서, 통신 매체는 전기적 캐리어, 광학적 캐리어, RF 캐리어, 또는 다른 캐리어를 사용할 수 있다.
혁신안은 컴퓨터 판독가능 매체의 일반적 맥락에서 설명될 수 있다. 컴퓨터 판독가능 매체는, 컴퓨팅 환경 내에서 액세스될 수 있는 임의의 이용가능한 유형의 매체이다. 비제한적인 예로서, 컴퓨팅 시스템(100)과 관련하여, 컴퓨터 판독가능 매체는 메모리(120, 125), 스토리지(140), 및 상기 중 임의의 것의 조합을 포함한다.
혁신안은, 컴퓨팅 시스템에서 타겟인 실제 또는 가상의 프로세서 상에서 실행되고 있는, 프로그램 모듈에 포함되는 것과 같은 컴퓨터 실행가능 명령어의 일반적 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈은, 특정한 태스크를 수행하거나 또는 특정한 추상 데이터 타입을 구현하는 루틴, 프로그램, 라이브러리, 오브젝트, 클래스, 컴포넌트, 데이터 구조 등등을 포함한다. 프로그램 모듈의 기능성은 다양한 실시형태에서 소망되는 바와 같이 프로그램 모듈 사이에서 분할되거나 또는 결합될 수도 있다. 프로그램 모듈에 대한 컴퓨터 실행가능 명령어는 로컬 컴퓨팅 시스템 또는 분산형 컴퓨팅 시스템 내에서 실행될 수도 있다.
용어 "시스템" 및 "디바이스"는 본원에서 상호교환적으로 사용된다. 문맥상 그렇지 않다고 명확하게 나타내지 않는 한, 어떠한 용어도 컴퓨팅 디바이스 또는 컴퓨팅 시스템의 타입에 대해 아무런 제한도 내포하지 않는다. 일반적으로, 컴퓨팅 시스템 또는 컴퓨팅 디바이스는 로컬이거나 또는 분산될 수도 있으며, 본원에서 설명되는 기능성을 구현하는 소프트웨어와의 특수 목적의 하드웨어 및/또는 범용 하드웨어의 임의의 조합을 포함할 수 있다.
개시된 방법은 또한, 개시된 방법 중 임의의 것을 수행하도록 구성되는 특수한 컴퓨팅 하드웨어를 사용하여 구현될 수 있다. 예를 들면, 개시된 방법은, 개시된 방법 중 임의의 것을 구현하도록 특별히 설계되거나 구성되는 집적 회로(예를 들면, ASIC(예컨대 ASIC 디지털 신호 프로세서(digital signal processor; "DSP"), 그래픽 프로세싱 유닛(graphics processing unit; "GPU"), 또는 프로그래머블 로직 디바이스(programmable logic device; "PLD"), 예컨대 필드 프로그래머블 게이트 어레이(field programmable gate array; "FPGA"))에 의해 구현될 수 있다.
표현 때문에, 상세한 설명은, 컴퓨팅 시스템에서의 컴퓨터 동작을 설명하기 위해, "결정한다" 및 "사용한다"와 같은 용어를 사용한다. 이들 용어는 컴퓨터에 의해 수행되는 동작에 대한 하이 레벨의 추상개념이며, 사람에 의해 수행되는 행위와 혼돈되어선 안된다. 이들 용어에 대응하는 실제 컴퓨터 동작은 구현예에 따라 달라진다.
II. 예시적인 네트워크 환경.
도 2a 및 도 2b는 비디오 인코더(220) 및 비디오 디코더(270)를 포함하는 예시적인 네트워크 환경(201, 202)을 도시한다. 인코더(220) 및 디코더(270)는 적절한 통신 프로토콜을 사용하여 네트워크(250)를 통해 연결된다. 네트워크(250)는 인터넷 또는 다른 컴퓨터 네트워크를 포함할 수 있다.
도 2a에서 도시되는 네트워크 환경(201)에서, 각각의 실시간 통신(real-time communication; "RTC") 툴(210)은 양방향 통신을 위해 인코더(220) 및 디코더(270) 둘 다를 포함한다. 주어진 인코더(220)는, HEVC 표준(H.265로 또한 알려짐), SMPTE 421M 표준, ISO-IEC 14496-10 표준(H.264 또는 AVC로 또한 알려짐), 다른 표준, 또는 사유 포맷을 생성할 수 있는데, 대응하는 디코더(270)는 인코더(220)로부터 인코딩된 데이터를 받아들일 수 있다. 양방향 통신은 영상 회의, 영상 전화, 또는 다른 양자간 또는 다자간 통신 시나리오의 일부일 수 있다. 도 2a의 네트워크 환경(201)이 두 개의 실시간 통신 툴(210)을 포함하지만, 네트워크 환경(201)은, 대신, 다자간 통신(multiparty communication)에 참여하는 세 개 이상의 실시간 통신 툴(210)을 포함할 수 있다.
실시간 통신 툴(210)은 인코더(220)에 의한 인코딩을 관리한다. 도 3은 실시간 통신 툴(210)에 포함될 수 있는 예시적인 인코더 시스템(300)을 도시한다. 대안적으로, 실시간 통신 툴(210)은 다른 인코더 시스템을 사용한다. 실시간 통신 툴(210)은 또한 디코더(270)에 의한 디코딩을 관리한다. 도 4는 실시간 통신 툴(210)에 포함될 수 있는 예시적인 디코더 시스템(400)을 도시한다. 대안적으로, 실시간 통신 툴(210)은 다른 디코더 시스템을 사용한다.
도 2b에서 도시되는 네트워크 환경(202)에서, 인코딩 툴(212)은, 디코더(270)를 포함하는 다수의 재생 툴(214)로 전달하기 위해 비디오를 인코딩하는 인코더(220)를 포함한다. 단방향 통신은, 비디오 감시 시스템, 웹 카메라 모니터링 시스템, 스크린 캡쳐 모듈, 원격 데스크탑 회의 프리젠테이션 또는 비디오가 인코딩되어 한 위치(location)에서 하나 이상의 다른 위치로 전송되는 다른 시나리오에 대해 제공될 수 있다. 도 2b의 네트워크 환경(202)이 두 개의 재생 툴(214)을 포함하지만, 네트워크 환경(202)은 더 많은 또는 더 적은 재생 툴(214)을 포함할 수 있다. 일반적으로, 재생 툴(214)은, 재생 툴(214)이 수신할 비디오의 스트림을 결정하기 위해 인코딩 툴(212)과 통신한다. 재생 툴(214)은 스트림을 수신하고, 수신된 인코딩된 데이터를 적절한 기간 동안 버퍼링하고, 디코딩 및 재생을 시작한다.
도 3은 인코딩 툴(212)에 포함될 수 있는 예시적인 인코더 시스템(300)을 도시한다. 대안적으로, 인코딩 툴(212)은 다른 인코더 시스템을 사용한다. 인코딩 툴(212)은 또한, 하나 이상의 재생 툴(214)과의 연결을 관리하기 위한 서버측 컨트롤러 로직을 포함할 수 있다. 도 4는, 재생 툴(214)에 포함될 수 있는 예시적인 디코더 시스템(400)을 도시한다. 대안적으로, 재생 툴(214)은 다른 디코더 시스템을 사용한다. 재생 툴(214)은 또한, 인코딩 툴(212)과의 연결을 관리하기 위한 클라이언트측 컨트롤러 로직을 포함할 수 있다.
III. 예시적인 인코더 시스템.
도 3은 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 예시적인 인코더 시스템(300)의 블록도이다. 인코더 시스템(300)은, 다수의 인코딩 모드 예컨대 실시간 통신을 위한 로우 레이턴시(low-latency) 인코딩 모드, 트랜스코딩 모드, 및 파일 또는 스트림으로부터 재생용 미디어를 생성하기 위한 더 높은 레이턴시의 인코딩 모드 중 임의의 것에서 동작할 수 있는 범용 인코딩 툴일 수 있거나, 또는 인코더 시스템(300)은 하나의 이러한 인코딩 모드에 대해 적응되는 특수 목적의 인코딩 툴일 수 있다. 인코더 시스템(300)은 오퍼레이팅 시스템 모듈로서, 애플리케이션 라이브러리의 일부로서 또는 독립형 애플리케이션으로서 구현될 수 있다. 종합하면, 인코더 시스템(300)은 비디오 소스(310)로부터 소스 비디오 프레임(311)의 시퀀스를 수신하고 인코딩된 데이터를 채널(390)로의 출력으로서 생성한다. 채널로 출력되는 인코딩된 데이터는, 통합된 인트라 BC 및 인터 예측 모드를 사용하여 인코딩된 컨텐츠를 포함할 수 있다.
비디오 소스(310)는 카메라, 튜너 카드, 저장 매체, 스크린 캡쳐 모듈, 또는 다른 디지털 비디오 소스일 수 있다. 비디오 소스(310)는, 예를 들면, 초당 30프레임의 프레임 레이트에서 비디오 프레임의 시퀀스를 생성한다. 본원에서 사용되는 바와 같이, 용어 "프레임"은, 일반적으로, 소스, 코딩된 또는 재구성된 이미지 데이터를 지칭한다. 순차 주사 비디오(progressive-scan video)의 경우, 프레임은 순차 주사 비디오 프레임이다. 인터레이스 방식의 비디오(interlaced video)의 경우, 예시적인 실시형태에서, 인터레이스 방식의 비디오 프레임은 인코딩 이전에 디인터레이스된다(de-interlaced). 대안적으로, 두 개의 상보적 인터레이스 방식의 비디오 필드가 단일의 비디오 프레임으로서 함께 인코딩되거나 또는 두 개의 별개로 인코딩된 필드로서 인코딩된다. 순차 주사 비디오 프레임 또는 인터레이스 방식의 주사 비디오 프레임을 나타내는 것 외에, 용어 "프레임" 또는 "화상"은 단일의 짝을 이루지 않는 비디오 필드(single non-paired video field), 비디오 필드의 상보적 쌍, 주어진 시간에 비디오 오브젝트를 나타내는 비디오 오브젝트 플레인, 또는 더 큰 이미지에서의 주목(of interest) 영역을 나타낼 수 있다. 비디오 오브젝트 플레인 또는 영역은, 한 장면의 다수의 오브젝트 또는 영역을 포함하는 더 큰 이미지의 일부일 수 있다.
도달하는 소스 프레임(311)은, 다수의 프레임 버퍼 저장 영역(321, 322, …, 32n)을 포함하는 소스 프레임 임시 메모리 저장 영역(320)에 저장된다. 프레임 버퍼(321, 322 등등)는 소스 프레임 저장 영역(320)에 하나의 소스 프레임을 유지한다. 소스 프레임(311) 중 하나 이상이 프레임 버퍼(321, 322, 등등)에 저장된 이후, 프레임 선택기(330)는 소스 프레임 저장 영역(320)으로부터 개개의 소스 프레임을 선택한다. 인코더(340)로의 입력을 위해 프레임 선택기(330)에 의해 프레임이 선택되는 순서는, 비디오 소스(310)에 의해 프레임이 생성되는 순서와는 상이할 수도 있다, 예를 들면, 몇몇 나중의 프레임이 먼저 인코딩되는 것을 허용하기 위해 따라서 시간적으로 역방향의 예측(temporally backward prediction)을 용이하게 하기 위해, 몇몇 프레임의 인코딩은 순서에서 지연될 수도 있다. 인코더(340) 앞에, 인코더 시스템(300)은, 인코딩 전에, 선택된 프레임(331)의 전처리(pre-processing)(예를 들면, 필터링)를 수행하는 전처리기(pre-processor)(도시되지 않음)를 포함할 수 있다. 전처리는 주 성분(예를 들면, 루마)과 부성분(예를 들면, 레드쪽으로의 그리고 블루쪽으로의 크로마 차이)으로의 컬러 공간 변환 및 인코딩을 위한 (예를 들면, 크로마 성분의 공간 해상도를 감소시키는) 재샘플링 프로세싱을 포함할 수 있다. 통상적으로는, 인코딩 이전에, 비디오는 YUV와 같은 컬러 공간으로 변환되었는데, 여기서 루마(Y) 성분의 샘플 값은 휘도 또는 강도(intensity) 값을 나타내고, 크로마(U, V) 성분의 샘플 값은 컬러 차이 값을 나타낸다. 크로마 샘플 값은 (예를 들면, YUV 4:2:0 포맷 또는 YUV 4:2:2의 경우) 더 낮은 크로마 샘플링 레이트로 서브샘플링될 수도 있거나, 또는 크로마 샘플 값은 (예를 들면, YUV 4:4:4 포맷의 경우) 루마 샘플 값과 동일한 해상도를 가질 수도 있다. YUV 4:2:0 포맷에서, 크로마 성분은 수평에서 2배만큼 그리고 수직에서 2배만큼 다운샘플링된다. YUV 4:2:0 포맷에서, 크로마 성분은 수평에서 2배만큼 다운샘플링된다. 또는, 비디오는 다른 포맷(예를 들면, RGB 4:4:4 포맷)으로 인코딩될 수 있다.
인코더(340)는, 코딩된 프레임(341)을 생성하기 위해, 선택된 프레임(331)을 인코딩하고 또한 메모리 관리 제어 동작(memory management control operation; "MMCO") 신호(342) 또는 참조 화상 세트(reference picture set; "RPS") 정보를 생성한다. 현재 프레임이 인코딩된 첫 번째 프레임이 아니면, 자신의 인코딩 프로세스를 수행하고 있는 경우, 인코더(340)는, 디코딩된 프레임 임시 메모리 저장 영역(360)에 저장되어 있는 하나 이상의 이전에 인코딩된/디코딩된 프레임(369)을 사용할 수도 있다. 이렇게 저장된 디코딩된 프레임(369)은 현재 소스 프레임(331)의 컨텐츠의 인터 프레임 예측(inter-frame prediction)을 위한 참조 프레임으로서 사용된다. MMCO/RPS 정보(342)는 디코더에게, 어떤 재구성된 프레임이 참조 프레임으로서 사용될 수도 있는지, 따라서 프레임 저장 영역에 저장되어야 하는지를 나타낸다.
일반적으로, 인코더(340)는, 타일로의 구획화, 인트라 예측 추정 및 예측, 모션 추정 및 보상, 주파수 변환, 양자화 및 엔트로피 코딩과 같은 인코딩 태스크를 수행하는 다수의 인코딩 모듈을 포함한다. 인코더(340)에 의해 수행되는 정확한 동작은 압축 포맷에 따라 변할 수 있다. 출력된 인코딩된 데이터의 포맷은, HEVC 포맷(H.265), 윈도우 미디어 비디오(Windows Media Video) 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안일 수 있다.
인코더(340)는 프레임을 동일한 사이즈의 또는 상이한 사이즈의 다수의 타일로 구획할 수 있다. 예를 들면, 인코더(340)는, 프레임 경계와 함께, 프레임 내에서의 타일의 수평 및 수직 경계를 정의하는 타일 행(row) 및 타일 열(column)을 따라 프레임을 분할하는데, 이 경우 각각의 타일은 직사각형 영역이다. 타일은 종종 병렬 프로세싱을 위한 옵션을 제공하기 위해 사용된다. 프레임은 또한 하나 이상의 슬라이스로서 편제될(organized) 수 있는데, 이 경우 슬라이스는 전체 프레임 또는 프레임의 영역일 수 있다. 슬라이스는 프레임의 다른 슬라이스와는 무관하게 디코딩될 수 있는데, 슬라이스가 프레임의 다른 슬라이스와는 무관하게 디코딩되는 것은 에러 복원성(error resilience)을 향상시킨다. 슬라이스 또는 타일의 컨텐츠는 인코딩 및 디코딩의 목적을 위해 블록 또는 샘플 값의 다른 세트로 더 구획된다.
HEVC 표준에 따른 신택스의 경우, 인코더는 프레임(또는 슬라이스 또는 타일)의 컨텐츠를 코딩 트리 단위로 분할한다. 코딩 트리 단위(coding tree unit; "CTU")는 루마 코딩 트리 블록(luma coding tree block; "CTB")으로 편제되는 루마 샘플 값 및 두 개의 크로마 CTB로 편제되는 대응하는 크로마 샘플 값을 포함한다. CTU(및 그것의 CTB)의 사이즈는 인코더에 의해 선택되며, 예를 들면, 64×64, 32×32 또는 16×16 샘플 값일 수 있다. CTU는 하나 이상의 코딩 단위를 포함한다. 코딩 단위(coding unit; "CU")는 루마 코딩 블록(coding block; "CB") 및 두 개의 대응하는 크로마 CB를 구비한다. 예를 들면, 64×64 루마 CTB 및 두 개의 64×64 크로마 CTB를 갖는 CTU(YUV 4:4:4 포맷)는 네 개의 CU로 분할될 수 있는데, 각각의 CU는 32×32 루마 CB 및 두 개의 32×32 크로마 CB를 포함하고, 그리고 각각의 CU는 어쩌면 더 작은 CU로 더 분할된다. 또는, 다른 예로서, 64×64 루마 CTB 및 두 개의 32×32 크로마 CTB를 갖는 CTU(YUV 4:2:0 포맷)는 네 개의 CU로 분할될 수 있는데, 각각의 CU는 32×32 루마 CB 및 두 개의 16×16 크로마 CB를 포함하고, 그리고 각각의 CU는 어쩌면 더 작은 CU로 더 분할된다. CU의 가장 작은 허용가능한 사이즈(예를 들면, 8×8, 16×16)는 비트스트림으로 시그널링될 수 있다.
일반적으로, CU는 인터 또는 인트라와 같은 예측 모드를 가질 수 있다. CU는 예측 정보(예컨대 예측 모드 상세, 변위 값 등등) 및/또는 예측 프로세싱을 시그널링하는 목적을 위한 하나 이상의 예측 단위를 포함한다. 예측 단위(prediction unit; "PU")는 루마 예측 블록(prediction block; "PB") 및 두 개의 크로마 PB를 구비한다. 인트라 예측된 CU의 경우, CU가 최소 사이즈(예를 들면, 8×8)를 갖지 않는 한, PU는 CU와 동일한 사이즈를 갖는다. 그 경우, CU는 네 개의 더 작은 PU(예를 들면, 최소 CU 사이즈가 8×8이면 각각 4×4)로 분할될 수 있거나 또는 PU는, CU에 대한 신택스 엘리먼트에 의해 나타내어지는 바와 같이, 최소 CU 사이즈를 가질 수 있다. CU는 또한 잔차 코딩/디코딩의 목적을 위해 하나 이상의 변환 단위를 갖는데, 이 경우 변환 단위(transform unit; "TU")는 변환 블록(transform block; "TB") 및 두 개의 크로마 TB를 갖는다. 인트라 예측된 CU에서의 PU는 단일의 TU(사이즈에서 PU와 동일) 또는 다수의 TU를 포함할 수도 있다. 본원에서 사용되는 바와 같이, 용어 "블록"은, 상황에 따라, CB, PB, TB 또는 샘플 값의 다른 세트를 나타낼 수 있다. 인코더는 비디오를 CTU, CU, PU, TU 등등으로 구획하는 방법을 결정한다.
도 3을 참조하면, 인코더는 소스 프레임(331)의 인트라 코딩된 블록을, 프레임(331)에서의 다른 이전에 재구성된 샘플 값으로부터의 예측의 관점에서 나타낸다. 인트라 BC 예측의 경우, 모션 추정기(motion estimator)(현재 프레임을 참조 프레임으로서 사용함)는, 다른 이전에 재구성된 샘플 값에 대한, 블록의 변위를 추정한다. 인트라 프레임 예측 참조 영역(또는, 간략히, 인트라 예측 영역)은, 블록에 대한 BC 예측 값을 생성하기 위해 사용되는 프레임에서의 샘플의 영역이다. 인트라 프레임 예측 영역은, 블록 벡터("BV") 값(이것은 모션 벡터("MV") 정보로서 시그널링되고 적용된다)으로 나타내어질 수 있다. 블록에 대한 인트라 공간 예측의 경우, 인트라 화상 추정기는, 이웃하는 재구성된 샘플 값의 블록으로의 외삽(extrapolation)을 추정한다. 인트라 화상 추정기(또는 모션 추정기)는 예측 정보(예컨대 인트라 BC 예측을 위한 MV 정보 또는 인트라 공간 예측을 위한 예측 모드(방향))를 출력할 수 있는데, 예측 정보는 엔트로피 코딩된다. 인트라 화상 예측 예측기(intra-picture prediction predictor)는 인트라 예측 값을 결정하기 위해 공간 예측 정보를 적용한다. 인트라 BC 예측 값을 결정하기 위해, 모션 보상기(참조 프레임으로서 현재 프레임을 사용함)는 MV 정보를 적용한다.
인코더(340)는, 소스 프레임(331)의 인터 프레임 코딩되고 예측된 블록을, 참조 프레임으로부터의 예측의 관점에서 나타낸다. 모션 추정기는 하나 이상의 참조 프레임(369)에 대한 블록의 모션을 추정한다. 다수의 참조 프레임이 사용되는 경우, 다수의 참조 프레임은 상이한 시간적 방향 또는 동일한 시간적 방향으로부터 유래할 수 있다. 모션 보상된 예측 참조 영역은, 현재 프레임의 샘플의 블록에 대한 모션 보상된 예측 값을 생성하기 위해 사용되는, 참조 프레임(들)에서의 샘플의 영역이다. 모션 추정기는 모션 벡터("MV") 정보와 같은 모션 정보를 출력하는데, 모션 정보는 엔트로피 코딩된다. 모션 보상기는 참조 프레임(369)에 MV 값을 적용하여 인터 프레임 예측에 대한 모션 보상된 예측 값을 결정한다.
인코더는 블록의 예측 값(인트라 또는 인터)과 대응하는 원래의 값 사이의 차이를 (만약 존재한다면) 결정할 수 있다. 이들 예측 잔차 값은 또한, 주파수 변환, 양자화 및 엔트로피 인코딩을 사용하여 인코딩된다. 예를 들면, 인코더(340)는, 비디오의 화상, 타일, 슬라이스 및/또는 다른 부분에 대한 양자화 파라미터(quantization parameter; "QP")에 대한 값을 설정하고, 상응하게 변환 계수를 양자화한다. 인코더(340)의 엔트로피 코더는 양자화된 변환 계수 값뿐만 아니라, 소정의 부가 정보(예를 들면, MV 정보, 선택된 MV 정밀도, QP 값, 모드 정밀도, 파라미터 선택)를 압축한다. 통상적인 엔트로피 코딩 기술은, 지수 골룸 코딩(Exponential-Golomb coding), 골룸 라이스 코딩(Golomb-Rice coding), 산술 코딩(arithmetic coding), 차분 코딩(differential coding), 허프만 코딩(Huffman coding), 런 길이 코딩(run length coding), 가변 길이 대 가변 길이(variable-length-to-variable-length; "V2V") 코딩, 가변 길이 대 고정 길이(variable-length-to-fixed-length; "V2F") 코딩, 렘펠 지브(Lempel-Ziv; "LZ") 코딩, 딕셔너리 코딩(dictionary coding), 확률 구간 구획화 엔트로피 코딩(probability interval partitioning entropy coding; "PIPE"), 및 상기의 조합을 포함한다. 엔트로피 코더는 상이한 종류의 정보에 대해 상이한 코딩 기술을 사용할 수 있고, 다수의 기술을 (예를 들면, 골룸 라이스 코딩 및 후속하여 산술 코딩을 적용하는 것에 의해) 조합하여 적용할 수 있고, 특정한 코딩 기술 내에서의 다수의 코드 테이블 중에서 선택할 수 있다.
디코딩된 프레임에서 블록 경계 행 및/또는 열에 걸친 불연속부를 평활화하기 위해, 인코더(340)의 모션 보상 루프 내에 적응적 디블록화 필터(adaptive deblocking filter)가 포함된다. 루프 내 필터링 동작(in-loop filtering operation)으로서, 다른 필터링(예컨대 디링잉 필터링(de-ringing filtering), 적응적 루프 필터링(adaptive loop filtering; "ALF"), 또는 샘플 적응 오프셋(sample-adaptive offset; "SAO") 필터링; 도시되지 않음)이 대안적으로 또는 추가적으로 적용될 수 있다.
코딩된 프레임(341) 및 MMCO/RPS 정보(342)(또는, 프레임에 대한 종속성(dependency) 및 순서 구조(ordering structure)가 인코더(340)에서 이미 알려져 있기 때문에, MMCO/RPS 정보(342) 정보와 등가의 정보)는 디코딩 프로세스 에뮬레이터(350)에 의해 프로세싱된다. 디코딩 프로세스 에뮬레이터(350)는 디코더의 기능성 중 몇몇, 예를 들면, 참조 프레임을 재구성하는 디코딩 태스크를 구현한다. MMCO/RPS 정보(342)와 부합하는 방식에서, 디코딩 프로세스 에뮬레이터(350)는, 인코딩될 후속 프레임의 인터 프레임 예측에서의 참조 프레임으로서의 사용을 위해, 주어진 코딩된 프레임(341)이 재구성되고 저장될 필요가 있는지의 여부를 결정한다. 코딩된 프레임(341)이 저장될 필요가 있다면, 디코딩 프로세스 에뮬레이터(350)는, 코딩된 프레임(341)을 수신하는 그리고 대응하는 디코딩된 프레임(351)을 생성하는 디코더에 의해 행해질 디코딩 프로세스를 모델링한다. 이렇게 함에 있어서, 디코딩된 프레임 저장 영역(360)에 저장되어 있던 디코딩된 프레임(들)(369)을 인코더(340)가 사용한 경우, 디코딩 프로세스 에뮬레이터(350)는 또한, 디코딩 프로세스의 일부로서, 저장 영역(360)으로부터의 디코딩된 프레임(들)(369)을 사용한다.
디코딩된 프레임 임시 메모리 저장 영역(360)은 다수의 프레임 버퍼 저장 영역(361, 362, …, 36n)을 포함한다. MMCO/RPS 정보(342)와 부합하는 방식에서, 디코딩 프로세스 에뮬레이터(350)는, 참조 프레임으로서의 사용을 위해 인코더(340)에 의해 더 이상 필요로 되지 않는 프레임을 갖는 임의의 프레임 버퍼(361, 362, 등등)를 식별하기 위해, 저장 영역(360)의 컨텐츠를 관리한다. 디코딩 프로세스를 모델링한 이후, 디코딩 프로세스 에뮬레이터(350)는 이 방식으로 식별된 프레임 버퍼(361, 362 등등)에 신규로 디코딩된 프레임(351)을 저장한다.
코딩된 프레임(341) 및 MMCO/RPS 정보(342)는 임시 코딩된 데이터 영역(temporary coded data area; 370)에 버퍼링된다. 코딩된 데이터 영역(370)에 집성되는 코딩된 데이터는, 기본 코딩된 비디오 비트스트림의 신택스의 일부로서, 하나 이상의 화상에 대한 인코딩된 데이터를 포함한다. 코딩된 데이터 영역(370)에 집성되는 코딩된 데이터는 또한, 코딩된 비디오 데이터에 관련이 있는 미디어 메타데이터를 (예를 들면, 하나 이상의 보충적인 향상 정보(supplemental enhancement information; "SEI") 메시지 또는 비디오 사용가능성 정보(video usability information; "VUI") 메시지에서의 하나 이상의 파라미터로서) 포함할 수 있다.
임시 코딩된 데이터 영역(370)으로부터의 집성된 데이터(371)는 채널 인코더(380)에 의해 프로세싱된다. 채널 인코더(380)는, 미디어 스트림으로서의 송신 또는 저장을 위해 집성된 데이터를 (예를 들면, ITU-T H.222.0 | ISO/IEC 13818-1와 같은 미디어 프로그램 스트림 또는 전송 스트림 포맷 또는 IETF RFC 3550과 같은 인터넷 실시간 전송 프로토콜 포맷에 따라) 패킷화할 수 있고/있거나 멀티플렉싱할 수 있는데, 이 경우, 채널 인코더(380)는 신택스 엘리먼트를 미디어 송신 스트림의 신택스의 일부로서 추가할 수 있다. 또는, 채널 인코더(380)는, 파일로서의 저장을 위해, 집성된 데이터를 (예를 들면, ISO/IEC 14496-12와 같은 미디어 컨테이너 포맷에 따라) 편제할 수 있는데, 이 경우, 채널 인코더(380)는 신택스 엘리먼트를 미디어 저장 파일의 신택스의 일부로서 추가할 수 있다. 또는, 보다 일반적으로는, 채널 인코더(380)는 하나 이상의 미디어 시스템 멀티플렉싱 프로토콜 또는 전송 프로토콜을 구현할 수 있는데, 이 경우, 채널 인코더(380)는 신택스 엘리먼트를 프로토콜(들)의 신택스의 일부로서 추가할 수 있다. 채널 인코더(380)는 채널(390)로 출력을 제공하는데, 채널(390)은 출력에 대한 저장, 통신 연결, 또는 다른 채널을 나타낸다. 채널 인코더(380) 또는 채널(390)은 또한, 예를 들면, 순방향 에러 정정(forward-error correction; "FEC") 인코딩 및 아날로그 신호 변조를 위한 다른 엘리먼트(도시되지 않음)를 포함할 수도 있다.
IV. 예시적인 디코더 시스템.
도 4는 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 예시적인 디코더 시스템(400)의 블록도이다. 디코더 시스템(400)은, 다수의 디코딩 모드 예컨대 실시간 통신을 위한 로우 레이턴시 디코딩 모드 및 파일 또는 스트림으로부터의 미디어 재생을 위한 더 높은 레이턴시의 디코딩 모드 중 임의의 것에서 동작할 수 있는 범용 디코딩 툴일 수 있거나, 또는 그것은 하나의 이러한 디코딩 모드에 대해 적응되는 특수 목적의 디코딩 툴일 수 있다. 디코더 시스템(400)은 오퍼레이팅 시스템 모듈로서, 애플리케이션 라이브러리의 일부로서 또는 독립형 애플리케이션으로서 구현될 수 있다. 종합하면, 디코더 시스템(400)은 채널(410)로부터 코딩된 데이터를 수신하고 출력 목적지(490)에 대한 출력으로서 재구성된 프레임을 생성한다. 코딩된 데이터는 통합된 인트라 BC 및 인터 예측 모드를 사용하여 인코딩된 컨텐츠를 포함할 수 있다.
디코더 시스템(400)은 채널(410)을 포함하는데, 채널(410)은 코딩된 데이터에 대한 저장, 통신 연결, 또는 다른 채널을 입력으로서 나타낼 수 있다. 채널(410)은 채널 코딩된(channel coded) 코딩된 데이터(coded data)를 생성한다. 채널 디코더(420)는 코딩된 데이터를 프로세싱할 수 있다. 예를 들면, 채널 디코더(420)는, 미디어 스트림으로서의 송신 또는 저장을 위해 집성된 데이터를 (예를 들면, ITU-T H.222.0 | ISO/IEC 13818-1와 같은 미디어 프로그램 스트림 또는 전송 스트림 포맷 또는 IETF RFC 3550과 같은 인터넷 실시간 전송 프로토콜 포맷에 따라) 패킷화해제하고 및/또는 디멀티플렉싱하는데, 이 경우, 채널 디코더(420)는 미디어 송신 스트림의 신택스의 일부로서 추가된 신택스 엘리먼트를 파싱할 수 있다. 또는, 채널 디코더(420)는, 파일로서의 저장을 위해 집성되었던 코딩된 비디오 데이터를 (예를 들면, ISO/IEC 14496-12와 같은 미디어 컨테이너 포맷에 따라) 분리하는데, 이 경우, 채널 디코더(420)는 미디어 저장 파일의 신택스의 일부로서 추가된 신택스 엘리먼트를 파싱할 수 있다. 또는, 보다 일반적으로는, 채널 디코더(420)는 하나 이상의 미디어 시스템 디멀티플렉싱 프로토콜 또는 전송 프로토콜을 구현할 수 있는데, 이 경우, 채널 디코더(420)는 프로토콜(들)의 신택스의 일부로서 추가된 신택스 엘리먼트를 파싱할 수 있다. 채널(410) 또는 채널 디코더(420)는 또한, 예를 들면, FEC 디코딩 및 아날로그 신호 변조를 위한 다른 엘리먼트(도시되지 않음)를 포함할 수도 있다.
채널 디코더(420)로부터 출력되는 코딩된 데이터(421)는, 충분한 양의 이러한 데이터가 수신될 때까지 임시 코딩된 데이터 영역(430)에 저장된다. 코딩된 데이터(421)는 코딩된 프레임(431) 및 MMCO/RPS 정보(432)를 포함한다. 코딩된 데이터 영역(430)의 코딩된 데이터(421)는, 기본 코딩된 비디오 비트스트림의 신택스의 일부로서, 하나 이상의 화상에 대한 코딩된 데이터를 포함한다. 코딩된 데이터 영역(430)의 코딩된 데이터(421)는 또한, 인코딩된 비디오 데이터에 관련이 있는 미디어 메타데이터를 (예를 들면, 하나 이상의 SEI 메시지 또는 VUI 메시지에서의 하나 이상의 파라미터로서) 포함할 수 있다.
일반적으로, 코딩된 데이터 영역(430)은, 이러한 코딩된 데이터(421)가 디코더(450)에 의해 사용될 때까지, 코딩된 데이터(421)를 일시적으로 저장한다. 그때, MMCO/RPS 정보(432) 및 코딩된 프레임(431)에 대한 코딩된 데이터는 코딩된 데이터 영역(430)으로부터 디코더(450)로 전송된다. 디코딩이 진행함에 따라, 신규의 코딩된 데이터가 코딩된 데이터 영역(430)에 추가되고 코딩된 데이터 영역(430)에 남아 있는 가장 오래된 코딩된 데이터는 디코더(450)로 전송된다.
디코더(450)는 대응하는 디코딩된 프레임(451)을 생성하기 위해 코딩된 프레임(431)을 디코딩한다. 적절하다면, 자신의 디코딩 프로세스를 수행하고 있을 때, 디코더(450)는 하나 이상의 이전에 디코딩된 프레임(469)을, 인터 프레임 예측을 위한 참조 프레임으로서 사용할 수도 있다. 디코더(450)는 이러한 이전에 디코딩된 프레임(469)을 디코딩된 프레임 임시 메모리 저장 영역(460)으로부터 판독한다. 일반적으로, 디코더(450)는, 타일의 엔트로피 디코딩, 인트라 프레임 예측, 모션 보상된 인터 프레임 예측, 역 양자화, 역 주파수 변환, 및 병합과 같은 디코딩 태스크를 수행하는 다수의 디코딩 모듈을 포함한다. 디코더(450)에 의해 수행되는 정확한 동작은 압축 포맷에 따라 변할 수 있다.
예를 들면, 디코더(450)는 압축된 프레임 또는 프레임의 시퀀스에 대한 인코딩된 데이터를 수신하고 디코딩된 프레임(451)을 포함하는 출력을 생성한다. 디코더(450)에서, 버퍼는 압축된 프레임에 대한 인코딩된 데이터를 수신하고, 적절한 시간에, 수신된 인코딩된 데이터를 엔트로피 디코더가 이용가능하게 만든다. 엔트로피 디코더는, 엔트로피 코딩된 양자화된 데이터뿐만 아니라 엔트로피 코딩된 부가 정보를 엔트로피 디코딩하는데, 통상적으로는, 인코더에서 수행된 엔트로피 인코딩의 역을 적용한다. 모션 보상기는, 재구성되고 있는 프레임의 임의의 인터 코딩된 블록에 대한 모션 보상된 예측 값을 형성하기 위해, 하나 이상의 참조 프레임에 대해 모션 정보를 적용한다. 부가 정보에 기초하여, 모션 보상기는 선택된 MV 정밀도(예를 들면, 정수 픽셀 MV 정밀도, 1/2 픽셀 MV 정밀도, 또는 1/4 픽셀 MV 정밀도)를 결정할 수 있다. 그 다음, 모션 보상기는 선택된 MV 정밀도를 갖는 MV를 적용할 수 있다. 인트라 예측 모듈은, 이웃하는 이전에 재구성된 샘플 값으로부터 현재 블록의 샘플 값을 공간적으로 예측할 수 있다. 또는, 인트라 BC 예측의 경우, 모션 보상기는, 참조 프레임으로서, 현재 프레임에서의 인트라 프레임 예측 영역의 이전에 재구성된 샘플 값을 사용하여 현재 블록의 샘플 값을 예측할 수 있다. 인트라 프레임 예측 영역은 MV 값으로 나타내어질 수 있다. 디코더(450)는 또한 예측 잔차 값을 재구성한다. 역 양자화기는 엔트로피 디코딩된 데이터를 역 양자화한다. 예를 들면, 디코더(450)는, 비트스트림의 신택스 엘리먼트에 기초하여 비디오의 화상, 타일, 슬라이스 및/또는 다른 부분에 대한 QP에 대한 값을 설정하고, 그에 따라 변환 계수를 역 양자화한다. 역 주파수 변환기는 양자화된 주파수 도메인 데이터를 공간 도메인 데이터로 변환한다. 인터 프레임 예측된 블록의 경우, 디코더(450)는 재구성된 예측 잔차 값을 모션 보상된 예측 값과 결합한다. 마찬가지로, 디코더(450)는 예측 잔차 값을 인트라 프레임 예측으로부터의 예측 값과 결합할 수 있다. 디코딩된 프레임(451)에서 블록 경계 행 및/또는 열에 걸친 불연속부를 평활화하기 위해, 비디오 디코더(450)의 모션 보상 루프 내에 적응적 디블로킹 필터가 포함된다. 루프 내 필터링 동작으로서, 다른 필터링(예컨대 디링잉 필터링, ALF, 또는 SAO 필터링; 도시되지 않음)이 대안적으로 또는 추가적으로 적용될 수 있다.
디코딩된 프레임 임시 메모리 저장 영역(460)은 다수의 프레임 버퍼 저장 영역(461, 462, …, 46n)을 포함한다. 디코딩된 프레임 저장 영역(460)은 디코딩된 화상 버퍼의 예이다. 디코더(450)는, 디코딩된 프레임(451)을 내부에 저장할 수 있는 프레임 버퍼(461, 462 등등)를 식별하기 위해 MMCO/RPS 정보(432)를 사용한다. 디코더(450)는 그 프레임 버퍼에 디코딩된 프레임(451)을 저장한다.
출력 시퀀서(output sequencer; 480)는, 출력 순서에서 생성될 다음 번 프레임이 디코딩된 프레임 저장 영역(460)에서 이용가능할 때를 식별한다. 출력 순서에서 생성될 다음 번 프레임(481)이 디코딩된 프레임 저장 영역(460)에서 이용가능할 때, 다음 번 프레임(481)은 출력 시퀀서(480)에 의해 판독되고 출력 목적지(490)(예를 들면, 디스플레이)로 출력된다. 일반적으로, 디코딩된 프레임 저장 영역(460)으로부터 출력 시퀀서(480)에 의해 프레임이 출력되는 순서는, 프레임이 디코더(450)에 의해 디코딩되는 순서와는 상이할 수도 있다.
V. 예시적인 비디오 인코더.
도 5a 및 도 5b는 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 일반화된 비디오 인코더(500)의 블록도이다. 인코더(500)는 현재 화상을 입력 비디오 신호(505)로서 포함하는 비디오 화상의 시퀀스를 수신하고 인코딩된 데이터를 코딩된 비디오 비트스트림(595)으로 출력으로서 생성한다.
인코더(500)는 블록 기반이며 구현예에 의존하는 블록 포맷을 사용한다. 블록은 상이한 스테이지에서, 예를 들면, 예측, 주파수 변환 및/또는 엔트로피 인코딩 스테이지에서, 더 세분된다(sub-divided). 예를 들면, 화상은 64×64 블록, 32×32 블록 또는 16×16 블록으로 분할될 수 있는데, 이들은 결국에는 코딩 및 디코딩을 위해 샘플 값의 더 작은 블록으로 분할될 수 있다. HEVC 표준에 대한 인코딩의 구현예에서, 인코더는 화상을 CTU(CTB), CU(CB), PU(PB) 및 TU(TB)로 구획한다.
인코더(500)는 인트라 화상 코딩 및/또는 인터 화상 코딩을 사용하여 화상을 압축한다. 인코더(500)의 컴포넌트 중 많은 것은 인트라 화상 코딩 및 인터 화상 코딩 둘 다에 대해 사용된다. 이들 컴포넌트에 의해 수행되는 정확한 동작은, 압축되고 있는 정보의 타입에 따라 변할 수 있다.
타일화 모듈(tiling module; 510)은, 옵션적으로, 화상을, 동일한 사이즈의 또는 상이한 사이즈의 다수의 타일로 구획한다. 예를 들면, 타일화 모듈(510)은, 화상 경계와 함께, 화상 내에서의 타일의 수평 및 수직 경계를 정의하는 타일 행 및 타일 열을 따라 화상을 분할하는데, 이 경우 각각의 타일은 직사각형 영역이다.
일반적인 인코딩 제어부(520)는 입력 비디오 신호(505)에 대한 화상뿐만 아니라 인코더(500)의 다양한 모듈로부터 피드백(도시되지 않음)을 수신한다. 종합하면, 일반적인 인코딩 제어부(520)는, 인코딩 동안 코딩 파라미터를 설정하고 변경하기 위해, 제어 신호(도시되지 않음)를 다른 모듈(예컨대 타일화 모듈(510), 변환기/스케일러/양자화기(530), 스케일러/역변환기(535), 인트라 화상 추정기(540), 모션 추정기(550) 및 인트라/인터 스위치)로 제공한다. 특히, 모션 추정기(550)와 연계하여, 일반적인 인코딩 제어부(520)는 인트라 BC 예측 및 인터 예측을 관리할 수 있다. 일반적인 인코딩 제어부(520)는 또한, 인코딩 동안, 예를 들면, 레이트 왜곡 분석을 수행하는 동안 중간 결과를 평가할 수 있다. 일반적인 인코딩 제어부(520)는, 인코딩 동안 만들어진 결정을 나타내는 일반적인 제어 데이터(522)를 생성하고, 그 결과, 대응하는 디코더는 일관된 결정을 행할 수 있다. 일반적인 제어 데이터(522)는 헤더 포맷터(header formatter)/엔트로피 코더(590)로 제공된다.
현재 화상이 인터 화상 예측 또는 인트라 BC 예측을 사용하여 예측되면, 모션 추정기(550)는, 하나 이상의 참조 화상을 기준으로, 입력 비디오 신호(505)의 현재 화상에서의 샘플 값의 블록의 모션(변위)을 추정한다. 인트라 BC 예측의 경우, 참조 화상은 현재 화상이고, 모션 추정기(550)는 현재 화상 내의 상이한 후보 영역까지의 현재 블록의 샘플 값의 변위를 추정한다. 모션 추정기(550)는 모션 벡터("MV") 정밀도(예를 들면, 정수 픽셀 MV 정밀도, 1/2 픽셀 MV 정밀도, 또는 1/4 픽셀 MV 정밀도)를 선택할 수 있고, 그 다음, 선택된 MV 정밀도를 모션 추정 동안 사용할 수 있다. 디코딩된 화상 버퍼(570)는, 참조 화상으로서의 사용을 위해 하나 이상의 재구성된 이전에 코딩된 화상을 버퍼링한다. 다수의 참조 화상이 사용되는 경우, 다수의 참조 화상은 상이한 시간적 방향 또는 동일한 시간적 방향으로부터 유래할 수 있다. 모션 추정기(550)는, 부가 정보로서 MV 데이터(인트라 BC 예측을 위한 변위를 나타내는 MV 값을 포함함)와 같은 모션 데이터(552), 병합 모드 인덱스 값, 및 참조 화상 선택 데이터뿐만 아니라, 선택된 MV 정밀도를 나타내는 부가 정보를 생성한다. 모션 데이터(552)를 포함하는 부가 정보는, 헤더 포맷터/엔트로피 코더(590)뿐만 아니라 모션 보상기(555)로 제공된다.
모션 보상기(555)는 선택된 MV 정밀도를 갖는 MV 값을, 디코딩된 화상 버퍼(570)로부터의 재구성된 참조 화상(들)에 적용한다. 또는, 인트라 BC 예측의 경우, 모션 보상기(555)는, 현재 화상의 블록에 대한 샘플 값을 예측하기 위해, 현재 화상의 재구성된 일부에 MV 값을 참조 화상으로서 적용한다. 화상에 대한 크로마 데이터가 루마 데이터와 동일한 해상도를 갖는 경우(예를 들면, 포맷이 YUV 4:4:4 포맷이거나 또는 RGB 4:4:4 포맷인 경우), 크로마 블록에 대해 적용되는 MV 값은 루마 블록에 대해 적용되는 MV 값과 동일할 수도 있다. 한편, 화상에 대한 크로마 데이터가 루마 데이터에 비해 감소된 해상도를 갖는 경우(예를 들면, 포맷이 YUV 4:2:0 포맷이거나 또는 YUV 4:2:2 포맷인 경우), (예를 들면, YUV 4:2:0 포맷의 경우, MV 값의 수직 및 수평 성분을 2로 나누고, 2로 나눈 값을 정수 픽셀 오프셋으로 버림처리하거나 또는 반올림 처리하는 것에 의해; YUV 4:2:2 포맷의 경우, MV 값의 수평 성분을 2로 나누고 2로 나눈 값을 정수 픽셀 오프셋으로 버림 처리하거나 또는 반올림 처리하는 것에 의해) 크로마 블록에 대해 적용되는 MV 값은, 크로마 해상도에서의 차이를 조정하도록 다운스케일링되고(scaled down) 어쩌면 반올림 처리된다. 모션 보상기(555)는, 현재 화상에 대한 모션 보상된 예측치를, 그리고 인트라 BC 예측의 경우, 현재 화상에 대한 인트라 BC 예측 값을 생성한다.
인코더(500) 내에서의 별개의 경로에서, 인트라 화상 추정기(540)는, 입력 비디오 신호(505)의 현재 화상의 샘플 값의 블록에 대한 공간 인트라 화상 예측을 수행하는 방법을 결정한다. 현재 화상은 인트라 화상 코딩을 사용하여 전적으로 또는 부분적으로 코딩될 수 있다. 현재 화상의 재구성치(538)의 값을 사용한 인트라 공간 예측의 경우, 인트라 화상 추정기(540)는, 현재 화상의 이웃하는 이전에 재구성된 샘플 값으로부터, 현재 화상의 현재 블록의 샘플 값을 공간적으로 예측하는 방법을 결정한다. 인트라 화상 추정기(540)는 인트라 예측 데이터(542), 예컨대 (인트라 공간 예측을 위한) 예측 모드 방향을 부가 정보로서 생성한다. 인트라 예측 데이터(542)는, 헤더 포맷터/엔트로피 코더(590)뿐만 아니라 인트라 화상 예측기(545)에도 제공된다.
인트라 예측 데이터(542)에 따르면, 인트라 화상 예측기(545)는, 현재 화상의 이웃하는 이전에 재구성된 샘플 값으로부터, 현재 화상의 현재 블록의 샘플 값을 공간적으로 예측한다.
인트라/인터 스위치는, 주어진 블록에 대한 예측(558)으로서의 사용을 위한 모션 보상된 예측 또는 인트라 화상 예측의 값을 선택한다. 예측(558)의 블록과 입력 비디오 신호(505)의 원래의 현재 화상의 대응하는 부분 사이의 차이는 (만약 존재한다면) 잔차(518)의 값을 제공한다. 현재 화상의 재구성 동안, 재구성된 잔차 값은 예측치(558)와 결합되어 비디오 신호(505)로부터의 원래의 컨텐츠의 재구성치(538)를 생성한다. 그러나, 손실성 압축에서, 몇몇 정보는 여전히 비디오 신호(505)로부터 상실된다.
변환기/스케일러/양자화기(530)에서, 주파수 변환기는 공간적 도메인 비디오 데이터를 주파수 도메인(즉, 스펙트럼, 변환) 데이터로 변환한다. 블록 기반의 비디오 코딩의 경우, 주파수 변환기는, 예측 잔차 데이터(또는 예측(558)이 널(null)인 경우 샘플 값 데이터)의 블록에 대해, 이산 코사인 변환(discrete cosine transform; "DCT"), 그 정수 근사, 또는 다른 타입의 순방향 블록 변환(forward block transform)(예를 들면, 이산 사인 변환 또는 그 정수 근사)을 적용하여, 주파수 변환 계수의 블록을 생성하게 된다. 인코더(500)는 또한, 이러한 변환 단계가 스킵되는 것을 나타낼 수 있을 수도 있다. 스케일러/양자화기는 변환 계수를 스케일링하고 양자화한다. 예를 들면, 양자화기는, 프레임 단위 기반으로, 타일 단위 기반으로, 슬라이스 단위 기반으로, 블록 단위 기반으로, 주파수별 기반으로 또는 다른 기반으로 변하는 양자화 스텝 사이즈를 가지고 주파수 도메인 데이터에 데드 존 스칼라 양자화(dead-zone scalar quantization)를 적용할 수 있다. 양자화된 변환 계수 데이터(532)는 헤더 포맷터/엔트로피 코더(590)에 제공된다.
스케일러/역 변환기(535)에서, 스케일러/역 양자화기는, 양자화된 변환 계수에 관해 역 스케일링 및 역 양자화를 수행한다. 역 주파수 변환기는 역 주파수 변환을 수행하여, 재구성된 예측 잔차 값 또는 샘플 값의 블록을 생성한다. 인코더(500)는 재구성된 잔차 값을 예측치(558)의 값(예를 들면, 모션 보상된 예측 값, 인트라 화상 예측 값)과 결합하여 재구성치(538)를 형성한다.
공간 인트라 화상 예측의 경우, 재구성치(538)의 값은 인트라 화상 추정기(540) 및 인트라 화상 예측기(545)로 다시 공급될 수 있다. 또한, 재구성치(538)의 값은, 후속하는 화상의 모션 보상된 예측을 위해, 또는 현재 화상을 참조 화상으로 사용하는 인트라 BC 예측을 위해 사용될 수 있다. 재구성치(538)의 값은 추가로 필터링될 수 있다. 필터링 제어부(560)는, 비디오 신호(505)의 주어진 화상에 대해, 재구성치(538)의 값에 관한 디블록 필터링 및 SAO 필터링을 수행하는 방법을 결정한다. 필터링 제어부(560)는 필터 제어 데이터(562)를 생성하는데, 필터 제어 데이터(562)는 헤더 포맷터/엔트로피 코더(590) 및 병합기/필터(들)(565)로 제공된다.
병합기/필터(들)(565)에서, 인코더(500)는 상이한 타일로부터의 컨텐츠를 화상의 재구성된 버전으로 병합한다. 인코더(500)는, 프레임에서의 경계에 걸친 불연속부를 적응적으로 평활화하기 위해, 필터 제어 데이터(562)에 따라 디블록 필터링 및 SAO 필터링을 선택적으로 수행한다. 다른 필터링(예컨대 디링잉 필터링 또는 ALF; 도시되지 않음)이 대안적으로 또는 추가적으로 적용될 수 있다. 타일 경계는, 인코더(500)의 설정에 따라, 선택적으로 필터링될 수 있거나 또는 전혀 필터링되지 않을 수 있고, 인코더(500)는 이러한 필터링이 적용되었는지 또는 그렇지 않은지의 여부를 나타내기 위해 코딩된 비트스트림 내에 신택스를 제공할 수도 있다. 디코딩된 화상 버퍼(570)는, 후속하는 모션 보상된 예측에서의 사용을 위해 재구성된 현재 화상을 버퍼링한다.
헤더 포맷터/엔트로피 코더(590)는, 일반적인 제어 데이터(522), 양자화된 변환 계수 데이터(532), 인트라 예측 데이터(542), 모션 데이터(552), 및 필터 제어 데이터(562)를 포맷하고 및/또는 엔트로피 코딩한다. MV 값은 예측적으로 코딩될 수 있다. 예를 들면, 헤더 포맷터/엔트로피 코더(590)는, MV 예측 이후에, 차분 MV 값에 대해 신택스 엘리먼트와 같은 다양한 신택스 엘리먼트의 엔트로피 코딩을 위해, 지수 골룸 코딩을 사용한다.
헤더 포맷터/엔트로피 코더(590)는 코딩된 비디오 비트스트림(595)으로 인코딩된 데이터를 제공한다. 코딩된 비디오 비트스트림(595)의 포맷은, HEVC 포맷, 윈도우 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안일 수 있다.
소망되는 압축의 타입 및 구현예에 따라서, 인코더(500)의 모듈은 추가될 수 있고, 생략될 수 있고, 다수의 모듈로 분할될 수 있고, 다른 모듈과 결합될 수 있고 및/또는 유사한 모듈로 대체될 수 있다. 대안적인 실시형태에서, 상이한 모듈 및/또는 모듈의 다른 구성을 갖는 인코더는 설명된 기술 중 하나 이상을 수행한다. 인코더의 특정 실시형태는, 통상적으로, 인코더(500)의 변형예 또는 보충된 버전을 사용한다. 인코더(500) 내에서의 모듈 사이에 도시되는 관계는, 인코더에서의 정보의 일반적인 흐름을 나타내며; 다른 관계는 간략화를 위해 도시되지 않는다.
VI. 예시적인 비디오 디코더.
도 6은 몇몇 설명된 실시형태가 연계하여 구현될 수도 있는 일반화된 디코더(600)의 블록도이다. 디코더(600)는 인코딩된 데이터를 코딩된 비트스트림(605)으로 수신하고 재구성된 비디오(695)에 대한 화상을 포함하는 출력을 생성한다. 코딩된 비디오 비트스트림(605)의 포맷은, HEVC 포맷, 윈도우 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안일 수 있다.
디코더(600)는 블록 기반이며 구현예에 의존하는 블록 포맷을 사용한다. 블록은 상이한 스테이지에서 더 세분될 수도 있다. 예를 들면, 화상은 64×64 블록, 32×32 블록 또는 16×16 블록으로 분할될 수 있는데, 이들은 종국에는 샘플 값의 더 작은 블록으로 분할될 수 있다. HEVC 표준에 대한 디코딩의 구현예에서, 화상은 CTU(CTB), CU(CB), PU(PB) 및 TU(TB)로 구획된다.
디코더(600)는 인트라 화상 디코딩 및/또는 인터 화상 디코딩을 사용하여 화상을 압축해제한다. 디코더(600)의 컴포넌트 중 많은 것은 인트라 화상 디코딩 및 인터 화상 디코딩 둘 다에 대해 사용된다. 이들 컴포넌트에 의해 수행되는 정확한 동작은, 압축해제되고 있는 정보의 타입에 따라 변할 수 있다.
버퍼는 인코딩된 데이터를 코딩된 비디오 비트스트림(605)으로 수신하고 수신된 인코딩된 데이터를 파서/엔트로피 디코더(610)가 이용가능하게 만든다. 파서/엔트로피 디코더(610)는 엔트로피 코딩된 데이터를 엔트로피 디코딩하는데, 통상적으로는 인코더(500)에서 수행된 엔트로피 코딩의 역(예를 들면, 콘텍스트 적응 이진 산술 디코딩)을 적용한다. 파싱 및 엔트로피 디코딩의 결과로서, 파서/엔트로피 디코더(610)는, 일반적인 제어 데이터(622), 양자화된 변환 계수 데이터(632), 인트라 예측 데이터(642), 모션 데이터(652) 및 필터 제어 데이터(662)를 생성한다. 특히, 모션 데이터(652)의 경우, 파서/엔트로피 디코더(610)는, 예를 들면, 콘텍스트 적응 이진 산술 디코딩을 사용하여, 차분 MV 값에 대한 신택스 엘리먼트를 엔트로피 디코딩할 수 있고, 그 다음, 인터 화상 예측 또는 인트라 BC 예측을 위해 사용될 수도 있는 MV 값을 재구성하기 위해, 차분 MV 값을 예측된 MV 값과 결합할 수 있다.
일반적인 디코딩 제어부(620)는 일반적인 제어 데이터(622)를 수신하고, 디코딩 동안 디코딩 파라미터를 설정하고 변경하기 위해, 제어 신호(도시되지 않음)를 다른 모듈(예컨대, 스케일러/역 변환기(635), 인트라 화상 예측기(645), 모션 보상기(655) 및 인트라/인터 스위치)로 제공한다.
현재 화상이 인터 화상 예측 또는 인트라 BC 예측을 사용하여 예측되면, 모션 보상기(655)는 모션 데이터(652), 예컨대 MV 데이터, 참조 화상 선택 데이터 및 병합 모드 인덱스 값을 수신한다. 모션 보상기(655)는 또한 선택된 MV 정밀도의 표시를 수신한다. 인터 화상 예측의 경우, 모션 보상기(655)는 선택된 MV 정밀도를 갖는 MV를, 디코딩된 화상 버퍼(670)로부터의 재구성된 참조 화상(들)에 적용한다. 또는, 인트라 BC 예측의 경우, 모션 보상기(655)는, 현재 화상의 블록의 샘플 값을 예측하기 위해, 참조 화상으로서, 현재 화상의 재구성된 일부에 선택된 MV 정밀도를 갖는 MV를 적용한다. 모션 보상기(655)는, 현재 화상의 인터 코딩된 블록에 대한 모션 보상된 예측치 및/또는 현재 화상의 인트라 BC 예측된 블록에 대한 인트라 BC 예측된 값을 생성한다. 디코딩된 화상 버퍼(670)는 참조 화상으로서의 사용을 위해 하나 이상의 이전에 재구성된 화상을 저장한다.
디코더(600) 내의 별개의 경로에서, 인트라 프레임 예측 추정기(645)는 인트라 예측 데이터(642), 예컨대 (인트라 공간 예측을 위한) 예측 모드 방향을 수신한다. 인트라 공간 예측의 경우, 현재 화상의 재구성치(638)의 값을 사용하여, 예측 모드 데이터에 따라, 인트라 화상 예측기(645)는, 현재 화상의 이웃하는 이전에 재구성된 샘플 값으로부터, 현재 화상의 현재 블록의 샘플 값을 공간적으로 예측한다.
인트라/인터 스위치는, 주어진 블록에 대한 예측치(658)로서 사용하기 위한 모션 보상된 예측치 또는 인트라 화상 예측치의 값을 선택한다. 예를 들면, HEVC 신택스가 후속되면, 인트라/인터 스위치는, 인트라 예측된 CU 및 인터 예측된 CU를 포함할 수 있는 화상의 CU에 대해 인코딩되는 신택스 엘리먼트에 기초하여 제어될 수 있다. 디코더(600)는 예측치(658)를 재구성된 잔차 값과 결합하여, 비디오 신호로부터의 컨텐츠의 재구성치(638)를 생성한다.
잔차를 재구성하기 위해, 스케일러/역 변환기(635)는 양자화된 변환 계수 데이터(632)를 수신하여 프로세싱한다. 스케일러/역 변환기(635)에서, 스케일러/역 양자화기는, 양자화된 변환 계수에 대한 역 스케일링 및 역 양자화를 수행한다. 역 주파수 변환기는 역 주파수 변환을 수행하여, 재구성된 예측 잔차 값 또는 샘플 값의 블록을 생성한다. 예를 들면, 역 주파수 변환기는 주파수 변환 계수에 대해 역 블록 변환을 적용하여, 샘플 값 데이터 또는 예측 잔차 데이터를 생성한다. 역 주파수 변환은 역 DCT, 역 DCT의 정수 근사, 또는 다른 타입의 역 주파수 변환(예를 들면, 역 이산 사인 변환 또는 역 이산 사인 변환의 정수 근사)일 수 있다.
공간 인트라 화상 예측의 경우, 재구성치(638)의 값은 인트라 화상 예측기(645)로 다시 공급될 수 있다. 또한, 재구성치(638)의 값은, 후속하는 화상의 모션 보상된 예측을 위해, 또는 현재 화상을 참조 화상으로서 사용하는 인트라 BC 예측을 위해 사용될 수 있다. 인터 화상 예측의 경우, 재구성치(638)의 값은 추가로 필터링될 수 있다. 병합기/필터(들)(665)에서, 디코더(600)는 상이한 타일로부터의 컨텐츠를 화상의 재구성된 버전으로 병합한다. 디코더(600)는, 프레임에서의 경계에 걸친 불연속부를 적응적으로 평활화하기 위해, 필터 제어 데이터(662) 및 필터 적응을 위한 규칙에 따라 디블록 필터링 및 SAO 필터링을 선택적으로 수행한다. 다른 필터링(예컨대 디링잉 필터링 또는 ALF; 도시되지 않음)이 대안적으로 또는 추가적으로 적용될 수 있다. 타일 경계는, 인코딩된 비트스트림 데이터 내에서의 신택스 표시(syntax indication) 또는 디코더(600)의 설정에 따라, 선택적으로 필터링될 수 있거나 또는 전혀 필터링되지 않을 수 있다. 디코딩된 화상 버퍼(670)는, 후속하는 모션 보상된 예측에서의 사용을 위해 재구성된 현재 화상을 버퍼링한다.
디코더(600)는 또한 후처리 필터(post-processing deblock filter)를 포함할 수 있다. 후처리 필터는, 디링잉 필터링, 적응적 위이너 필터링(adaptive Wiener filtering), 필름 그레인 재현 필터링(film-grain reproduction filtering), SAO 필터링 또는 다른 종류의 필터링을 포함할 수 있다.
소망되는 압축해제의 타입 및 구현예에 따라서, 디코더의 모듈은 추가될 수 있고, 생략될 수 있고, 다수의 모듈로 분할될 수 있고, 다른 모듈과 결합될 수 있고 및/또는 유사한 모듈로 대체될 수 있다. 대안적인 실시형태에서, 상이한 모듈 및/또는 모듈의 다른 구성을 갖는 디코더는 설명된 기술 중 하나 이상을 수행한다. 디코더의 특정 실시형태는, 통상적으로, 디코더(600)의 변형예 또는 보충된 버전을 사용한다. 디코더(600) 내의 모듈 사이에 도시되는 관계는, 디코더에서의 정보의 일반적인 흐름을 나타내며; 다른 관계는 간략화를 위해 도시되지 않는다.
VII. 통합된 인트라 블록 카피 및 인터 예측 모드
인트라 블록 카피("BC") 예측 및 인터 화상 예측 둘 다는, 현재 화상의 현재 블록의 샘플 값을 예측하기 위해, 이전에 재구성된 블록의 샘플 값을 사용한다. 인터 화상 예측은 다른 화상의 이전에 재구성된 블록의 샘플 값을 사용한다. 한편, 인트라 BC 예측은, 현재 화상에서의 이전에 재구성된 블록의 샘플 값을 사용한다.
이 섹션은 통합된 인트라 BC 및 인터 예측 모드에서 다양한 혁신안을 제시한다. 몇몇 예시적인 구현예에서, 비트스트림 신택스, 신택스 엘리먼트의 의미론(semantics) 및 인터 예측 모드에 대한 많은 코딩/디코딩 프로세스는 화상의 블록에 대한 인트라 BC 예측을 가능하게 하기 위해 재사용되거나 또는 약간 수정된다. 신택스, 의미론 및 코딩/디코딩 프로세스의 이 통합을 통해, 인트라 BC 예측이 사용될 때 인터 예측 모드에 대해 설계되는 다양한 코딩/디코딩 툴이 또한 적용될 수 있고, 이것은 인트라 BC 예측의 구현을 단순화시킨다.
A. 통합된 인트라 BC 및 인터 예측 모드를 이용한 인코딩.
도 7은, 통합된 인트라 BC 및 인터 예측 모드를 이용한 인코딩을 위한 일반화된 기술(700)을 예시하는 플로우차트이다. 도 3 또는 도 5를 참조로 상기에서 설명된 것과 같은 비디오 인코더, 또는 다른 비디오 인코더가 기술(700)을 수행할 수 있다.
시작하기 위해, 비디오 인코더는, 현재 화상을 인코딩하여(710) 인코딩된 데이터를 생성한다. 인코딩(710)의 일부로서, 인코더는 현재 화상의 현재 블록에 대한 인트라 BC 예측을 수행하는데, 이 경우, 인트라 BC 예측은 현재 화상을 참조 화상으로 하여 인터 예측 모드를 사용한다. 현재 블록은 예측 블록("PB") 또는 다른 블록일 수 있다. 예를 들면, 현재 블록에 대한 인트라 BC 예측을 제공하기 위해, 인코더는, 현재 화상을 모션 보상을 위한 참조 화상으로서 사용하여 모션 보상을 수행하여, 현재 화상 내에서의 변위를 나타내는 MV를 적용한다. 현재 화상을 인코딩하기(710) 위해, 인코더는 도 8에서 도시되는 기술(800)을 수행할 수 있거나 또는 어떤 다른 방식으로 현재 화상을 인코딩할 수 있다.
인코더는 인코딩된 데이터를 비트스트림으로 출력한다(720). 비트스트림의 포맷은 HEVC 포맷(H.265)의 변형안 또는 확장안이다. 대안적으로, 비트스트림의 포맷은, 윈도우 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안이다.
인코더는 화상 단위 기반으로 기술(700)을 반복할 수 있다. 간략화를 위해, 도 7은, 현재 화상을 인코딩할 때 사용될 수 있는 다른 타입의 예측을 도시하지 않는다.
도 8은, 통합된 인트라 BC 및 인터 예측 모드를 포함하는 인코딩을 위한 예시적인 기술(800)을 도시한다. 도 3 또는 도 5를 참조로 상기에서 설명된 것과 같은 비디오 인코더, 또는 다른 비디오 인코더가 기술(800)을 수행할 수 있다.
시작하기 위해, 인코더는 현재 화상을 참조 화상 리스트("RPL")에 추가한다(810). 예를 들면, 인코더는 "참조 화상 관리"라는 제목이 붙은 하기의 섹션에서 설명되는 접근방식 중 하나를 사용하여 현재 화상을 RPL에 추가한다. 대안적으로, 인코더는 다른 접근방식을 사용하여 현재 화상을 RPL에 추가한다.
그 다음, CU 단위 기반으로, 인코더는 현재 슬라이스의 코딩 단위(coding unit; "CU")를 인코딩한다. 상이한 CU는 상이한 코딩 모드(예측 모드)를 가질 수 있다. 인코더는 현재 CU에 대한 코딩 모드를 설정한다(820). 예를 들면, 인코더는 현재 CU에 대한 코딩 모드로서 공간 인트라 예측 모드 또는 인터 예측 모드를 선택한다. 대안적으로, 인코더는 다른 및/또는 추가적인 코딩 모드 중에서 선택된다.
인코더는 현재 CU에 대한 코딩 모드를 체크한다(830). 코딩 모드가 인터 예측 모드가 아니면, 인코더는 공간 인트라 예측을 사용하여 현재 CU의 예측 단위(prediction unit; "PU")(들)(특별히, PU(들)의 PB)를 인코딩한다(840). 공간 인트라 예측의 경우, 현재 CU는 단일의 PU를 포함할 수 있다. 또는, PU 사이즈가 CU 사이즈보다 더 작으면, 현재 CU는 다수의 PU를 포함할 수 있다.
현재 CU에 대한 코딩 모드가 인터 예측 모드이면, 인코더는, 현재 화상이 현재 CU의 주어진 PU에 대한 참조 화상인지의 여부를 체크한다(850). 이 예에서, 상이한 PU는 예측을 위해 상이한 참조 화상을 사용할 수 있다. 현재 화상이 주어진 PU에 대한 참조 화상이면, 인코더는 인트라 BC 예측을 사용하여 PU(특별히, PU의 PB)를 인코딩한다(860). 그렇지 않다면(현재 화상이 PU에 대한 참조 화상이 아니다), 인코더는 인터 화상 예측을 사용하여 PU(특별히, PU의 PB)를 인코딩한다(870). 인터 예측 모드에서의 인코딩(860, 870)의 일부로서, 인코더는 PU에 대해 향상된 MV 예측을, PU에 대해 병합 모드를, 또는 CU에 대해 스킵 모드를 사용할 수 있다. 인코더는, 동일한 모션 보상 프로세스를 사용하여 인터 화상 예측 및 인트라 BC 예측을 구현할 수 있다. 몇몇 경우(예를 들면, 현재 슬라이스가 I 슬라이스이다)에서, 현재 화상은 현재 슬라이스에 대해 이용가능한 유일한 참조 화상일 수도 있고, 그 결과, 현재 CU의 코딩 모드가 인터 예측 모드이고, 인코더가 현재 CU의 PU(들)에 대한 참조 화상을 체크할(850) 필요가 없으면, 인트라 BC 예측은 항상 사용된다.
인터 예측 모드에서 현재 CU의 PU를 인코딩한 이후, 인코더는 현재 CU의 다음 번 PU로 계속할지의 여부를 체크한다(880). 인터 예측 모드의 경우, 현재 CU는 단일의 PU를 포함할 수 있거나, 또는 PU 사이즈가 CU 사이즈보다 작은 경우, 다수의 PU를 포함할 수 있다. 현재 CU에 다른 PU가 존재하면, 인코더는 인터 예측 모드에서 현재 CU에서의 다음 번 PU를 인코딩하는 것에 의해 계속된다.
그렇지 않다면(현재 CU에서 인코딩할 더 이상의 PU가 없으면), 인코더는 현재 슬라이스에서의 다음 번 CU로 계속할지의 여부를 체크한다(890). 이 방식에서, 인코더는 CU 단위 기반으로 현재 슬라이스의 CU를 인코딩한다.
인코더는 현재 화상의 슬라이스에 대해 슬라이스 단위 기반으로 기술(800)을 반복할 수 있다. 대안적으로, 인코더는 화상 단위 기반으로 기술을 반복할 수 있다.
구현예에 따라서, 인트라 BC 예측 모드 및 인터 예측 모드의 통합의 일부로서, 인코더는 다음의 방식 중 임의의 하나 이상에서 적응될 수 있다.
모드 시그널링 . 인트라 BC 예측은, 현재 블록 또는 현재 블록을 포함하는 블록에 대한 인트라 BC 예측 모드의 명시적인 시그널링 없이, 인터 예측 모드의 경우로서 구현될 수 있다. 대신, 인코더는, 현재 블록에 대해 적용되는 모드를 인터 예측 모드인 것으로 시그널링하지만, 그러나 현재 블록에 대한 MV 값은, 참조 화상으로서 사용되는 현재 화상 내에서의 변위를 나타낸다. 현재 블록의 취급은 어떤 참조 화상이 사용되는지에 의존한다. 현재 블록에 대한 참조 화상 인덱스가 현재 화상을 선택하면, 인트라 BC 예측이 인터 예측 모드에서 사용되며; 그렇지 않다면, 인터 화상 예측이 사용된다.
인코더는, 인트라 BC 예측 모드를 인에이블할지 또는 디스에이블할지의 여부를 결정할 수 있고, 그 다음, 인트라 BC 예측이 인에이블되는지 또는 디스에이블되는지의 여부를 나타내기 위한 플래그의 값을 비트스트림 내에 설정할 수 있다. 예를 들면, 인코더는 시퀀스에 대해 인트라 BC 예측 모드를 인에이블할지 또는 디스에이블할지의 여부를 결정하고, 플래그는 SPS의 일부이다. 대안적으로, 인코더는, BC 예측 모드를 인에이블할지 또는 디스에이블할지의 여부를, 화상 단위 기반으로, 슬라이스 단위 기반으로, 또는 어떤 다른 기반으로 결정할 수 있고, 플래그를, 화상 파라미터 세트(picture parameter set; "PPS"), 슬라이스 헤더, 또는 어떤 다른 신택스 구조의 일부로서, 또는 비디오 사용가능성 정보(video usability information; "VUI") 메시지의 일부로서 시그널링할 수 있다. 인트라 BC 예측 모드가 인에이블되면, 현재 화상은 참조 화상일 수 있다. 그렇지 않다면(인트라 BC 예측이 인에이블되지 않으면), 현재 화상은 참조 화상이 될 수 없다.
대안적으로, 인코딩의 일부로서, 인코더는, 인트라 BC 예측 모드를 포함하는 다수의 이용가능한 코딩 모드 중에서 선택하여, 현재 블록에 대해 적용되는 코딩 모드를 설정할 수 있다. 예를 들면, 코딩 모드는, 인트라 예측 모드, 인터 예측 모드 및 인트라 BC 예측 모드를 포함한다. 인코더는 현재 CU 또는 어떤 다른 블록에 대한 코딩 모드를 설정할 수 있다. 비트스트림은, 현재 블록에 대해 적용되는 코딩 모드를 나타내는 신택스 엘리먼트를 포함한다. 현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 신택스 엘리먼트는 인터 예측 모드에 대한 신택스를 일반적으로 따른다. 그러나, 인트라 BC 코딩 모드가 명시적으로 시그널링되는 경우, 인터 예측 방향 및 참조 화상 인덱스는 시그널링될 필요가 없다. 이들 신택스 엘리먼트의 값은 추론될 수 있다 - 현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 예측 방향은 필요로 되지 않고, 참조 화상은 현재 화상인 것으로 알려진다.
참조 화상 관리. 인코딩의 일부로서, 인코더는 현재 화상을 참조 화상 리스트("RPL")에 추가할 수 있다. RPL은 인터 화상 예측, 또는 현재 화상이 리스트에 추가된 상태에서, 인트라 BC 예측을 위해 사용되는 참조 화상의 리스트이다. HEVC에서, 현재 블록을 포함하는 현재 슬라이스를 인코딩할 때, 하나의 RPL 또는 두 개의 RPL 중 어느 하나가 이용가능하다 - 리스트 0 및 리스트 1. 현재 화상이 RPL에 추가되는 방식은 구현예에 의존할 수 있다.
몇몇 접근 방식에서, 인코더는 RPL의 최종 포지션에 현재 화상을 추가한다. 참조 화상 인덱스 값이 어떻게 엔트로피 코딩되는지를 고려할 때, 현재 화상을 RPL의 최종 포지션에 추가하는 것은, 현재 화상이 P 슬라이스 또는 B 슬라이스에 대한 적어도 일반적으로 사용되는 참조 화상일 것이다는 것을 가정한다. 인코더는, (예를 들면, 현재 블록을 포함하는 현재 슬라이스에 대해) 활성인 참조 화상의 수를 나타내는 카운터를 증분시킨다. 예를 들면, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 인코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되는 RPL 구성 프로세스의 호출 이후에, 현재 화상을 RPL에 추가한다. 현재 슬라이스가 I 슬라이스인 경우, 인트라 BC 예측 모드가 인에이블되면, 인코더는 현재 슬라이스의 인코딩의 시작에서 RPL에 현재 화상을 추가하고, 카운터는, 현재 I 슬라이스에 대해 단일의 참조 화상이 활성이다는 것을 나타낸다.
대안적으로, 현재 화상을 RPL에 추가하는 타이밍은 상이하다. 예를 들면, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 인코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되는 RPL 구성 프로세스 동안, 현재 화상을 RPL에 추가한다. 현재 슬라이스가 I 슬라이스인 경우, 인트라 BC 예측 모드가 인에이블되면, 인코더는 현재 슬라이스의 인코딩의 시작에서 RPL에 현재 화상을 추가하고, 카운터는, 현재 I 슬라이스에 대해 단일의 참조 화상이 활성이다는 것을 나타낸다.
비트스트림 내의 신택스 엘리먼트의 값은, (예를 들면, 현재 슬라이스에 대해) 활성인 참조 화상의 수를 나타낼 수 있다. 예시적인 HEVC 구현예에서, 신택스 엘리먼트는 num_ref_idx_l0_active_minus1이거나 또는 num_ref_idx_l1_active_minus1이다.
참조 화상이 장기간 참조 화상(long-term reference picture; "LTRP")일 수 있거나 단기간 참조 화상(short-term reference picture; "STRP")일 수 있는데, 이것은 참조 화상 관리 및 MV 예측 및 MV 스케일링과 같은 몇몇 동작에 영향을 끼친다. 현재 화상이 인트라 BC 예측을 지원하기 위해 참조 화상으로서 사용되는 경우, 인코더는, 최초, 현재 화상을 LTRP로서 마킹할 수 있고, 그 다음, 현재 화상의 인코딩이 완료된 이후, 현재 화상을 STRP로서 마킹할 수 있다. 이것은, 현재 화상이 MV 예측 및 MV 스케일링과 같은 다른 프로세스에 어떻게 영향을 끼치는지를 제한하면서, 인터 예측 모드에서 현재 화상을 참조 화상으로서 사용하는 인트라 BC 예측을 가능하게 한다. 대안적으로, 현재 화상은, MV 예측 및 MV 스케일링 동작에 대한 자신의 영향을 제한하기 위해 어떤 다른 방식으로 마킹될 수 있다.
MV 시그널링 및 MV 예측. 구현예에 따라, 인코더는, 현재 블록에 대한 인트라 BC 예측을 수행할 때 적용되는 MV에 대한 MV 시그널링 및 MV 예측에 대한 여러 상이한 접근방식 중 임의의 것을 사용할 수 있다.
예를 들면, 인트라 BC 예측이 현재 블록에 대해 사용되는 경우, 인코더는 현재 블록의 MV를 식별하는데, 이 경우, MV는 정수 픽셀 오프셋을 나타낸다. 인코더는 비트스트림으로 정수 픽셀 정밀도로 MV를 시그널링한다. 인코더는, 분수적 픽셀 MV 값(예를 들면, 1/4 픽셀 정밀도를 갖는 MV)과 동작하는 모션 보상 프로세스에서 MV를 적용하기 이전에, MV를 조정할 수 있다(예를 들면, 네 배만큼 스케일링하는 것, 2만큼의 좌측 시프팅). 대안적으로, 인트라 BC 예측이 현재 블록에 대해 사용되는 경우, 인코더는 현재 블록의 MV를 식별하고, MV는 정수 픽셀 오프셋을 나타내지만, 그러나 인코더는 분수적 픽셀 정밀도(예를 들면, 1/4 픽셀 정밀도)에서 MV를 비트스트림으로 시그널링한다.
루마 MV가 정수 픽셀 정밀도를 갖는 경우에도, 대응하는 크로마 MV는, (예를 들면, YUV 4:2:0 비디오 또는 YUV 4:2:2 비디오에 대한) 스케일링 이후에 분수적 픽셀 정밀도를 가질 수 있다. 인코더가 정수 픽셀 오프셋을 나타내는 루마 MV로부터 크로마 MV를 유도한 이후, 인코더는 정수 픽셀 오프셋을 나타내기 위해 크로마 MV를 반올림 처리할 수 있거나 또는 버림 처리할 수 있다.
인트라 BC 예측을 사용하여 예측되는 현재 블록에 대한 MV를 시그널링할 때, 인코더는, 병합 모드, 스킵 모드, 고급 MV 예측 모드 및/또는 인터 예측 모드에서 MV 시그널링 또는 MV 예측에 대해 이용가능한 다른 코딩 툴을 사용할 수 있다. 일반적으로, 병합 모드의 경우, 인코더는 공간적으로 또는 시간적으로 인접한 블록으로부터 하나 이상의 병합 모드 후보를 유도하고(이 경우, 병합 모드 후보는 인터 예측 방향, 참조 화상 인덱스 및 MV 값을 갖는다), 병합 모드 후보 중 하나를 선택하고, 선택된 병합 모드 후보를 나타내는 병합 모드 인덱스를 시그널링한다. 스킵 모드는, 현재 블록에 대해 어떠한 잔차 정보도 시그널링되지 않는 병합 모드의 특수한 경우로서 구현될 수 있다. 고급 MV 예측 모드의 경우, 일반적으로, 인코더는 공간적으로 또는 시간적으로 인접한 블록으로부터 MV 예측자(MV predictor)를 유도하고, MV 차이를 결정하고 MV 차이 및 MV 예측기 인덱스를 인코딩한다. 인터 예측 모드에서 MV 시그널링 또는 MV 예측에 대해 이용가능한 코딩 툴을 재사용하는 것에 의해, 인트라 BC 예측의 구현이 단순화된다.
몇몇 경우에서, 인코더가 인트라 BC 예측된 블록에 대해 병합 모드를 사용하는 경우, 인코더는, 현재 화상을 참조하지 않는 후보를 제거하기 위해 병합 모드 후보를 걸러낼(screen) 수 있다. 예를 들면, 하나 이상의 병합 모드 후보의 각각에 대해, 인코더는 병합 모드 후보를 획득하고 병합 모드 후보가 현재 화상을 참조하는지의 여부를 체크한다. 병합 모드 후보가 현재 화상을 참조하면, 인코더는 병합 모드 후보를 유지한다. 그렇지 않다면, 인코더는 병합 모드 후보를 배제한다. 이 방식에서, 인코더는, 병합 모드 후보를, 인트라 BC 예측을 위해 이전에 사용된 MV로 효과적으로 제한한다. 나중에, 유지된 병합 모드 후보의 수가 허용된 병합 모드 후보의 수보다 작으면, 인코더는, 인트라 BC 예측이 사용될 때 MV 예측을 위해 합리적인 옵션을 제공할 것으로 예상되는 하나 이상의 미리 정의된 병합 모드 후보를 추가할 수 있다. 예를 들면, 허용된 병합 모드 후보의 수가 도달될 때까지, 참조 화상으로서 현재 화상을 사용하는 그리고 리스트 {(-W, 0), (0, -H), (-W, -H), (-2W, 0), (0, -2H)}의 MV를 갖는 미리 정의된 병합 모드 후보가 추가될 수 있는데, 이 경우 W 및 H는 현재 블록의 폭과 높이이다.
또한, 인코더가 I 슬라이스의 인트라 BC 예측된 블록에 대해 병합 모드 또는 고급 MV 예측 모드를 사용하는 경우, 인코더는 시간적 MV 예측을 디스에이블할 수 있다. 이것은, MV 예측을 단순화하고 MV 스케일링을 방지하는 것에 의해, 그리고 현재 I 슬라이스를 인코딩할 때 다른 화상/슬라이스의 정보를 사용하는 것을 방지하는 것에 의해, 인코딩을 간소화할 수 있다.
신택스 . 통합된 인트라 BC 및 인터 예측 모드의 경우, 인트라 BC 예측을 위해 인터 예측 모드의 신택스를 따를 수 있고, 이것은 구현을 단순화한다. 예를 들면, 구현예에 따라, 인트라 BC 예측된 블록에 대한 신택스 엘리먼트는 MV 값, 병합 모드 인덱스, 참조 화상 인덱스, 등등에 대한 신택스 엘리먼트를 포함할 수 있다. 인트라 BC 예측된 블록은, I 슬라이스, P 슬라이스 또는 B 슬라이스의 일부일 수 있다.
현재 블록이, I 슬라이스의 일부인 경우, 인코더는, 인트라 BC 예측 모드가 인에이블되는지의 여부에 따라 신택스 엘리먼트의 값을 상이한 방식으로 설정할 수 있다. 인트라 BC 예측 모드가 인에이블되면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 P 슬라이스 또는 B 슬라이스에 대한 신택스를 따른다(어떤 RPL이 현재 화상을 포함하는지에 따라 - 리스트 0이면 P 슬라이스, 그렇지 않으면 B 슬라이스). 인트라 BC 예측 모드가 인에이블되지 않으면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 I 슬라이스에 대한 디폴트 신택스(즉, 공간 인트라 예측을 사용하여 예측되는 블록에 대한 신택스)를 따른다.
인트라 BC 예측 모드가 인에이블되면, 인코더는, 현재 화상의 인코딩 동안 신택스 엘리먼트의 어느 것도 현재 화상의 재구성되지 않은 부분을 참조하는 것으로 이어지지 않도록, 비트스트림의 신택스 엘리먼트의 값을 설정한다. 즉, 인터 예측 모드 신택스, 의미론, 프로세싱, 등등이 인트라 BC 예측 기능성을 구현하기 위해 사용되는 경우에도, 인코더는, 인트라 BC 예측이 현재 화상의 이전에 재구성된 부분만을 참조하도록 신택스 엘리먼트의 값을 설정한다.
예측 동작. 통합된 인트라 BC 및 인터 예측 모드의 경우, 인터 예측 모드에서의 많은 인코딩 프로세스가 인트라 BC 예측을 위해 사용될 수 있는데, 이것은 구현을 단순화한다. 그러나, 몇몇 측면에서, 인터 예측 모드의 인코딩 프로세스는 인트라 BC 예측을 위해 수정될 수도 있다.
구현예에 따라서, 인코더는, 4×4 블록 사이즈가 인터 예측 모드에 대해 달리 사용되지 않더라도, 인트라 BC 예측을 위해 4×4 블록 사이즈를 사용할 수 있다. 예를 들면, 현재 블록에 대한 인터 예측 모드 프로세싱의 일부로서, 인코더는, 참조 화상이 현재 화상이고 예측 방향이 (현재 화상을 포함하는 RPL로부터의) 단일 예측이면, 4×4 블록 사이즈를 사용할 수 있다. 인터 예측 모드에 대한 블록 사이즈가 참조 화상 표시기 이전에 시그널링되는 경우(예를 들면, 블록 사이즈(구획 모드)가 CU에 대해 시그널링되지만, 그러나 예측 방향 및 참조 화상 인덱스가 CU의 PU에 대해 시그널링되는 경우), 인코더는, 다른 인자 중에서도, 블록에 대해 사용되는 참조 화상 및 예측 방향을 고려하여 블록 사이즈를 결정할 수 있다. 현재 블록에 대해 적용되는 블록 사이즈가 4×4인 경우, 예측 방향이 단지 (현재 화상을 포함하는 RPL로부터의) 단일 예측일 수 있고 참조 화상이 단지 현재 화상일 수 있기 때문에, 인코더는 현재 블록에 대한 예측 방향 및 참조 화상 인덱스에 대한 신택스 엘리먼트의 시그널링을 스킵할 수 있다. 이 상황에서, 현재 블록에 대한 예측 방향 및 참조 화상 인덱스에 대한 신택스 엘리먼트는 비트스트림 내에 생략될 수도 있다. 대안적으로, 이 상황에서, 인트라 BC 예측을 위한 4×4 블록 사이즈는 디스에이블된다. 또는, 인트라 BC 예측을 위한 4×4 블록 사이즈의 사용은, 비트스트림의 신택스 엘리먼트에 의해 나타내어지는 바와 같이, 시퀀스에 대해 또는 시퀀스 내에서 인에이블될 수 있거나 또는 디스에이블될 수 있다.
다른 예로서, 구현예에 따라서, 인코더는 복합 인트라-인터 예측 모드를 인에이블할 수 있다. 예를 들면, 현재 블록이 B 슬라이스의 일부인 경우, 인코더는, 현재 블록에 대한 인트라 BC 예측의 결과 및 현재 블록에 대한 모션 보상된 예측의 결과를, 두 개의 상이한 참조 화상으로부터의 예측 결과로서, 결합할 수 있다. 이것은, 인코더가 현재 블록에 대한 모션 보상된 예측의 결과 및 인트라 BC 예측의 결과를 혼합하는 것을 허용한다. 대안적으로, 인트라 BC 예측의 결과 및 모션 보상된 예측의 결과의 결합은 허용되지 않는다.
다른 인코더 결정. 인트라 BC 예측된 블록이 B 슬라이스의 일부인 경우, 인코더는, B 슬라이스의 블록에 대한 양방향 인터 예측에서 제2 RPL이 사용될 때 제로 값의 MV 차분만이 허용되는지의 여부를 나타내는 신택스 엘리먼트의 값을 설정하는 프로세스를 수정할 수 있다. 인트라 BC 예측의 경우, 현재 화상은 제1 RPL 또는 제2 RPL에 추가된다. 인코더는, 현재 화상은 제외하고, (a) 제1 RPL에서의 참조 화상의 수가 제2 RPL에서의 참조 화상의 수와 매치하는지의 여부, 및 (b) 제1 RPL에서의 참조 화상의 각각이 제2 RPL에서의 대응하는 포지션에서 또한 나타내어지는지의 여부를 평가할 수 있다. 두 조건이 충족되면, 인코더는, B 슬라이스의 블록에 대한 양방향 인터 예측에서 제2 RPL이 사용될 때 제로 값의 MV 차분만이 허용된다는 것을 나타내도록 신택스 엘리먼트의 값을 설정할 수 있다. 예시적인 HEVC 구현예에서, 신택스 엘리먼트는 mvd_l1_zero_flag 신택스 엘리먼트이다.
B. 통합된 인트라 BC 및 인터 예측 모드를 이용한 디코딩.
도 9는, 통합된 인트라 BC 및 인터 예측 모드를 이용한 디코딩을 위한 일반화된 기술(900)을 도시한다. 도 4 또는 도 6을 참조로 상기에서 설명된 것과 같은 비디오 디코더, 또는 다른 비디오 디코더가 기술(900)을 수행할 수 있다.
시작하기 위해, 비디오 디코더는 비트스트림으로 인코딩된 데이터를 수신한다(910). 비트스트림의 포맷은 HEVC 포맷(H.265)의 변형안 또는 확장안이다. 대안적으로, 비트스트림의 포맷은, 윈도우 미디어 비디오 포맷, VC-1 포맷, MPEG-x 포맷(예를 들면, MPEG-1, MPEG-2, 또는 MPEG-4), H.26x 포맷(예를 들면, H.261, H.262, H.263, H.264), 또는 다른 포맷의 변형안 또는 확장안이다.
비디오 디코더는 인코딩된 데이터를 사용하여 현재 화상을 디코딩한다(920). 디코딩(920)의 일부로서, 비디오 디코더는 현재 화상의 현재 블록에 대한 인트라 BC 예측을 수행하는데, 이 경우, 인트라 BC 예측은 현재 화상을 참조 화상으로 하여 인터 예측 모드를 사용한다. 현재 블록은 PB 또는 다른 블록일 수 있다. 예를 들면, 현재 블록에 대한 인트라 BC 예측을 제공하기 위해, 디코더는, 현재 화상을 모션 보상을 위한 참조 화상으로서 사용하여 모션 보상을 수행하여, 현재 화상 내에서의 변위를 나타내는 MV를 적용한다. 현재 화상을 디코딩하기(920) 위해, 디코더는 도 10에서 도시되는 기술(1000)을 수행할 수 있거나 또는 현재 화상을 어떤 다른 방식으로 디코딩할 수 있다.
디코더는 화상 단위 기반으로 기술(900)을 반복할 수 있다. 간략화를 위해, 도 9는, 현재 화상을 디코딩할 때 사용될 수 있는 다른 타입의 예측을 도시하지 않는다.
도 10은, 통합된 인트라 BC 및 인터 예측 모드를 포함하는 디코딩을 위한 예시적인 기술(1000)을 도시한다. 도 4 또는 도 6을 참조로 상기에서 설명된 것과 같은 비디오 디코더는, 또는 다른 비디오 디코더가 기술(1000)을 수행할 수 있다.
시작하기 위해, 디코더는 현재 화상을 RPL에 추가한다(1010). 예를 들면, 디코더는 "참조 화상 관리"라는 제목이 붙은 하기의 섹션에서 설명되는 접근방식 중 하나를 사용하여 현재 화상을 RPL에 추가한다. 대안적으로, 디코더는 다른 접근방식을 사용하여 현재 화상을 RPL에 추가한다.
그 다음, CU 단위 기반으로, 디코더는 현재 슬라이스의 CU를 디코딩한다. 상이한 CU는 상이한 코딩 모드(예측 모드)를 가질 수 있다. 디코더는, 예를 들면, 비트스트림의 신택스 엘리먼트에 기초하여, 현재 CU에 대한 코딩 모드를 설정한다(1020). 예를 들면, 디코더는 현재 CU에 대한 코딩 모드로서 공간 인트라 예측 모드 또는 인터 예측 모드를 선택한다. 대안적으로, 디코더는 다른 및/또는 추가적인 코딩 모드 중에서 선택된다.
디코더는 현재 CU에 대한 코딩 모드를 체크한다(1030). 코딩 모드가 인터 예측 모드가 아니면, 디코더는, 공간 인트라 예측을 사용하여 현재 CU의 PU(들)(특별히, PU(들)의 PB)를 디코딩한다(1040). 공간 인트라 예측의 경우, 현재 CU는 단일의 PU를 포함할 수 있다. 또는, PU 사이즈가 CU 사이즈보다 더 작으면, 현재 CU는 다수의 PU를 포함할 수 있다.
현재 CU에 대한 코딩 모드가 인터 예측 모드이면, 디코더는, 현재 화상이 현재 CU의 주어진 PU에 대한 참조 화상인지의 여부를 체크한다(1050). 이 예에서, 상이한 PU는 예측을 위해 상이한 참조 화상을 사용할 수 있다. 현재 화상이 주어진 PU에 대한 참조 화상이면, 디코더는 인트라 BC 예측을 사용하여 PU(특별히, PU의 PB)를 디코딩한다(1060). 그렇지 않다면(현재 화상이 PU에 대한 참조 화상이 아니다), 디코더는 인터 화상 예측을 사용하여 PU(특별히, PU의 PB)를 디코딩한다(1070). 인터 예측 모드에서의 디코딩(1060, 1070)의 일부로서, 디코더는 PU에 대해 고급 MV 예측을, PU에 대해 병합 모드를, 또는 CU에 대해 스킵 모드를 사용할 수 있다. 디코더는, 동일한 모션 보상 프로세스를 사용하여 인터 화상 예측 및 인트라 BC 예측을 구현할 수 있다. 몇몇 경우(예를 들면, 현재 슬라이스가 I 슬라이스이다)에서, 현재 화상은 현재 슬라이스에 대해 이용가능한 유일한 참조 화상일 수도 있고, 그 결과, 현재 CU의 코딩 모드가 인터 예측 모드이고, 디코더가 현재 CU의 PU(들)에 대한 참조 화상을 체크할(1050) 필요가 없으면, 인트라 BC 예측은 항상 사용된다.
인터 예측 모드에서 현재 CU의 PU를 디코딩한 이후, 디코더는 현재 CU의 다음 번 PU로 계속할지의 여부를 체크한다(1080). 인터 예측 모드의 경우, 현재 CU는 단일의 PU를 포함할 수 있거나, 또는 PU 사이즈가 CU 사이즈보다 작은 경우, 다수의 PU를 포함할 수 있다. 현재 CU에 다른 PU가 존재하면, 디코더는 인터 예측 모드에서 현재 CU에서의 다음 번 PU를 디코딩하는 것에 의해 계속된다.
그렇지 않다며(현재 CU에서 디코딩할 더 이상의 PU가 없으면), 디코더는 현재 슬라이스에서의 다음 번 CU로 계속할지의 여부를 체크한다(1090). 이 방식에서, 디코더는 CU 단위 기반으로 현재 슬라이스의 CU를 디코딩한다.
디코더는 현재 화상의 슬라이스에 대해 슬라이스 단위 기반으로 기술(1000)을 반복할 수 있다. 대안적으로, 디코더는 화상 단위 기반으로 기술을 반복할 수 있다.
구현예에 따라서, 인트라 BC 예측 모드 및 인터 예측 모드의 통합의 일부로서, 디코더는 다음의 방식 중 임의의 하나 이상에서 적응될 수 있다.
모드 시그널링 . 인트라 BC 예측은, 현재 블록 또는 현재 블록을 포함하는 블록에 대한 인트라 BC 예측 모드의 명시적인 시그널링 없이, 인터 예측 모드의 경우로서 구현될 수 있다. 대신, 디코더는, 현재 블록에 대해 적용되는 모드가 인터 예측 모드인 것으로 결정한다. 그러나, 현재 블록에 대한 MV 값은, 참조 화상으로서 사용되는 현재 화상 내에서의 변위를 나타낸다. 현재 블록의 취급은 어떤 참조 화상이 사용되는지에 의존한다. 현재 블록에 대한 참조 화상 인덱스가 현재 화상을 선택하면, 인트라 BC 예측이 인터 예측 모드에서 사용되며; 그렇지 않다면, 인터 화상 예측이 사용된다.
디코더는, 비트스트림 신택스의 상위 레이어에서의 신호에 기초하여 인트라 BC 예측 모드를 선택적으로 인에이블 또는 디스에이블할 수 있다. 예를 들면, 디코더는, 인트라 BC 예측 모드가 인에이블되는지 또는 디스에이블되는지의 여부를 나타내는 플래그를 비트스트림으로 수신하고 그 플래그를 파싱한다. 플래그는 SPS의 일부일 수 있는데, 인트라 BC 예측 모드가 시퀀스에 대해 인에이블되는지 또는 디스에이블되는지의 여부를 나타낼 수 있다. 대안적으로, 디코더는, PPS, 슬라이스 헤더, 또는 어떤 다른 신택스 구조의 일부로서, 또는 VUI 메시지의 일부로서 시그널링되는 플래그에 기초하여, 화상 단위 기반으로, 슬라이스 단위 기반으로, 또는 어떤 다른 기반으로 BC 예측 모드를 선택적으로 인에이블 또는 디스에이블할 수 있다. 인트라 BC 예측 모드가 인에이블되면, 현재 화상은 참조 화상일 수 있다. 그렇지 않다면(인트라 BC 예측이 인에이블되지 않으면), 현재 화상은 참조 화상이 될 수 없다.
대안적으로, 디코딩의 일부로서, 디코더는, 비트스트림으로부터의, 현재 블록에 대해 적용되는 코딩 모드(이 경우, 코딩 모드에 대한 하나의 옵션은 인트라 BC 예측 모드이다)를 나타내는 신택스 엘리먼트를 파싱할 수 있고, 그 다음, 코딩 모드를 설정할 수 있다. 예를 들면, 디코더는, 인트라 예측 모드, 인터 예측 모드 및 인트라 BC 예측 모드를 포함하는 다수의 이용가능한 코딩 모드 중에서 선택된다. 디코더는 현재 CU 또는 어떤 다른 블록에 대한 코딩 모드를 설정할 수 있다. 현재 블록에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 신택스 엘리먼트는 인터 예측 모드에 대한 신택스를 일반적으로 따른다. 그러나, 인트라 BC 코딩 모드가 명시적으로 시그널링되는 경우, 이들 신택스 엘리먼트의 값이 추론될 수 있기 때문에, 인터 예측 방향 및 참조 화상 인덱스는 시그널링될 필요가 없다.
참조 화상 관리. 디코딩의 일부로서, 디코더는 현재 화상을 RPL에 추가할 수 있다. 현재 화상이 RPL에 추가되는 방식은 구현예에 의존할 수 있다.
몇몇 접근 방식에서, 디코더는 RPL의 최종 포지션에 현재 화상을 추가한다. 디코더는, (예를 들면, 현재 블록을 포함하는 현재 슬라이스에 대해) 활성인 참조 화상의 수를 나타내는 카운터를 증분시킨다. 예를 들면, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 디코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되는 RPL 구성 프로세스의 호출 이후에, 현재 화상을 RPL에 추가한다. 현재 슬라이스가 I 슬라이스인 경우, 인트라 BC 예측 모드가 인에이블되면, 디코더는 현재 슬라이스의 디코딩의 시작에서 RPL에 현재 화상을 추가하고, 카운터는, 현재 I 슬라이스에 대해 단일의 참조 화상이 활성이다는 것을 나타낸다.
대안적으로, 현재 화상을 RPL에 추가하는 타이밍은 상이하다. 예를 들면, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 디코더는, 하나 이상의 다른 참조 화상이 RPL에 추가되는 RPL 구성 프로세스 동안, 현재 화상을 RPL에 추가한다. 현재 슬라이스가 I 슬라이스인 경우, 인트라 BC 예측 모드가 인에이블되면, 디코더는 현재 슬라이스의 디코딩의 시작에서 RPL에 현재 화상을 추가하고, 카운터는, 현재 I 슬라이스에 대해 단일의 참조 화상이 활성이다는 것을 나타낸다.
비트스트림 내의 신택스 엘리먼트의 값은, (예를 들면, 현재 슬라이스에 대해) 활성인 참조 화상의 수를 나타낼 수 있다. 예시적인 HEVC 구현예에서, 신택스 엘리먼트는 num_ref_idx_l0_active_minus1이거나 또는 num_ref_idx_l1_active_minus1이다.
참조 화상은 LTRP 또는 STRP일 수 있다. 현재 화상이 인트라 BC 예측을 지원하기 위해 참조 화상으로서 사용되는 경우, 디코더는, 최초, 현재 화상을 LTRP로서 마킹할 수 있고, 그 다음, 현재 화상의 디코딩이 완료된 이후, 현재 화상을 STRP로서 마킹할 수 있다. 이것은, 현재 화상이 MV 예측 및 MV 스케일링과 같은 다른 프로세스에 어떻게 영향을 끼치는지를 제한하면서, 인터 예측 모드에서 현재 화상을 참조 화상으로서 사용하는 인트라 BC 예측을 가능하게 한다. 대안적으로, 현재 화상은, MV 예측 및 MV 스케일링 동작에 대한 자신의 영향을 제한하기 위해 어떤 다른 방식으로 마킹될 수 있다.
MV 예측 및 MV 재구성. 구현예에 따라, 디코더는, 현재 블록에 대한 인트라 BC 예측을 수행할 때 적용되는 MV에 대한 MV 예측 및 MV 구성에 대한 여러 상이한 접근방식 중 임의의 것을 사용할 수 있다.
예를 들면, 인트라 BC 예측이 현재 블록에 대해 사용되는 경우, 디코더는 현재 블록의 MV를 재구성하는데, 이 경우, MV는 정수 픽셀 오프셋을 나타내고 정수 픽셀 정밀도에서 비트스트림으로 시그널링된다. 디코더는, 분수적 픽셀 MV 값(예를 들면, 1/4 픽셀 정밀도를 갖는 MV)과 동작하는 모션 보상 프로세스에서 MV를 적용하기 이전에, MV를 조정한다(예를 들면, 네 배만큼 스케일링하는 것, 2만큼의 좌측 시프팅). 대안적으로, 인트라 BC 예측이 현재 블록에 대해 사용되는 경우, 디코더는 현재 블록의 MV를 재구성하는데, 이 경우 MV는 정수 픽셀 오프셋을 나타내지만, 그러나 MV는 분수적 픽셀 정밀도(예를 들면, 1/4 픽셀 정밀도)에서 비트스트림으로 시그널링된다.
루마 MV가 정수 픽셀 정밀도를 갖는 경우에도, 대응하는 크로마 MV는, (예를 들면, YUV 4:2:0 비디오 또는 YUV 4:2:2 비디오에 대한) 스케일링 이후에 분수적 픽셀 정밀도를 가질 수 있다. 디코더가 정수 픽셀 오프셋을 나타내는 루마 MV로부터 크로마 MV를 유도한 이후, 디코더는 정수 픽셀 오프셋을 나타내기 위해 크로마 MV를 반올림 처리할 수 있거나 또는 버림 처리할 수 있다.
인트라 BC 예측을 사용하여 예측되는 현재 블록에 대한 MV를 재구성할 때, 디코더는, 병합 모드, 스킵 모드, 고급 MV 예측 모드 및/또는 인터 예측 모드에서 MV 재구성에 이용가능한 다른 코딩/디코딩 툴을 사용할 수 있다. 일반적으로, 병합 모드의 경우, 디코더는 공간적으로 또는 시간적으로 인접한 블록으로부터 하나 이상의 병합 모드 후보를 유도하고, 그 다음, 비트스트림으로 시그널링되는 병합 모드 인덱스에 기초하여 병합 모드 후보 중 하나를 선택한다. 고급 MV 예측 모드의 경우, 일반적으로, 디코더는, 공간적으로 또는 시간적으로 인접한 블록으로부터 그리고 MV 예측기 인덱스로부터 MV 예측자를 유도하고, MV 차이를 디코딩하고 MV 차이를 MV 예측자와 결합한다. 인터 예측 모드에서 MV 재구성에 이용가능한 코딩/디코딩 툴을 재사용하는 것에 의해, 인트라 BC 예측의 구현은 단순화된다.
디코더가 인트라 BC 예측된 블록에 대해 병합 모드를 사용하는 경우, 디코더는, 현재 화상을 참조하지 않는 후보를 제거하기 위해, 병합 모드 후보를 걸러낼 수 있다. 예를 들면, 하나 이상의 병합 모드 후보의 각각에 대해, 디코더는 병합 모드 후보를 획득하고 병합 모드 후보가 현재 화상을 참조하는지의 여부를 체크한다. 병합 모드 후보가 현재 화상을 참조하면, 디코더는 병합 모드 후보를 유지한다. 그렇지 않다면, 디코더는 병합 모드 후보를 배제한다. 나중에, 유지된 병합 모드 후보의 수가 허용된 병합 모드 후보의 수보다 작으면, 디코더는, 인트라 BC 예측이 사용될 때 MV 예측을 위해 합리적인 옵션을 제공할 것으로 예상되는 하나 이상의 미리 정의된 병합 모드 후보를 추가할 수 있다. 예를 들면, 허용된 병합 모드 후보의 수가 도달될 때까지, 참조 화상으로서 현재 화상을 사용하는 그리고 리스트 {(-W, 0), (0, -H), (-W, -H), (-2W, 0), (0, -2H)}의 MV를 구비하는 미리 정의된 병합 모드 후보가 추가될 수 있다.
또한, 디코더가 I 슬라이스의 인트라 BC 예측된 블록에 대해 병합 모드 또는 고급 MV 예측 모드를 사용하는 경우, 디코더는 시간적 MV 예측을 디스에이블할 수 있다. 이것은, MV 예측을 단순화하고 MV 스케일링을 방지하는 것에 의해, 그리고 현재 I 슬라이스를 디코딩할 때 다른 화상/슬라이스의 정보를 사용하는 것을 방지하는 것에 의해, 디코딩을 간소화할 수 있다.
신택스 . 통합된 인트라 BC 및 인터 예측 모드의 경우, 인트라 BC 예측을 위해 인터 예측 모드의 신택스를 따를 수 있고, 이것은 구현을 단순화한다. 예를 들면, 구현예에 따라, 인트라 BC 예측된 블록에 대한 신택스 엘리먼트는 MV 값, 병합 모드 인덱스, 참조 화상 인덱스, 등등에 대한 신택스 엘리먼트를 포함할 수 있다. 인트라 BC 예측된 블록은, I 슬라이스, P 슬라이스 또는 B 슬라이스의 일부일 수 있다.
현재 블록이 I 슬라이스의 일부인 경우, 디코더는, 인트라 BC 예측 모드가 인에이블되는지의 여부에 따라 신택스 엘리먼트를 상이한 방식으로 파싱할 수 있다. 인트라 BC 예측 모드가 인에이블되면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 P 슬라이스 또는 B 슬라이스에 대한 신택스를 따르고(어떤 RPL이 현재 화상을 포함하는지에 따라 - 리스트 0이면 P 슬라이스, 그렇지 않으면 B 슬라이스), 현재 I 슬라이스는 P 슬라이스 또는 B 슬라이스로서 디코딩된다. 인트라 BC 예측 모드가 인에이블되지 않으면, 현재 I 슬라이스에 대한 신택스 엘리먼트는 I 슬라이스에 대한 디폴트 신택스(즉, 공간 인트라 예측을 사용하여 예측되는 블록에 대한 신택스)를 따른다.
인트라 BC 예측 모드가 인에이블되면, 비트스트림은, 현재 화상 디코딩 동안, 현재 화상의 재구성되지 않은 부분의 참조로 이어지는 어떠한 신택스 엘리먼트도 포함하지 않도록 제약된다. 즉, 인터 예측 모드 신택스, 의미론, 프로세싱, 등등이 인트라 BC 예측 기능성을 구현하기 위해 사용되는 경우에도, 신택스 엘리먼트의 값은, 인트라 BC 예측이 현재 화상의 이전에 재구성된 부분만을 참조하도록 설정된다.
예측 동작. 통합된 인트라 BC 및 인터 예측 모드의 경우, 인터 예측 모드에서의 많은 디코딩 프로세스가 인트라 BC 예측을 위해 사용될 수 있는데, 이것은 구현을 단순화한다. 그러나, 몇몇 측면에서, 인터 예측 모드의 디코딩 프로세스는 인트라 BC 예측을 위해 수정될 수도 있다.
구현예에 따라서, 디코더는, 4×4 블록 사이즈가 인터 예측 모드에 대해 달리 사용되지 않더라도, 인트라 BC 예측을 위해 4×4 블록 사이즈를 사용할 수 있다. 예를 들면, 현재 블록에 대한 인터 예측 모드 프로세싱의 일부로서, (a) 참조 화상이 현재 화상이고 (b) 예측 방향이 (현재 화상을 포함하는 RPL로부터의) 단일 예측이면, 디코더는 인트라 BC 예측을 위해 4×4 블록 사이즈를 사용할 수 있다. 참조 화상 표시기 이전에 인터 예측 모드에 대한 블록 사이즈가 시그널링되는 경우(예를 들면, 블록 사이즈(구획 모드)가 CU에 대해 시그널링되지만, 그러나 예측 방향 및 참조 화상 인덱스가 CU의 PU에 대해 시그널링되는 경우), 디코더는 현재 블록에 대한 예측 방향 또는 참조 화상 인덱스를 알지 못하는 상태에서 그러므로 블록이 인트라 BC 예측을 사용하는지 또는 인터 화상 예측을 사용하는지의 여부를 모르는 상태에서, 블록 사이즈에 대한 신택스 엘리먼트를 파싱한다. 블록 사이즈가 4×4이면, 디코더는 현재 블록에 대한 참조 화상 인덱스 및 예측 방향에 대한 신택스 엘리먼트의 파싱을 스킵할 수 있다. 현재 블록에 대해 적용되는 블록 사이즈가 4×4인 경우, 현재 블록에 대한 예측 방향은 단지 (현재 화상을 포함하는 RPL로부터의) 단일 예측일 수 있고, 현재 블록에 대한 참조 화상은 단지 현재 화상일 수 있고, 따라서 현재 블록에 대한 예측 방향 및 참조 화상 인덱스에 대한 신택스 엘리먼트는 비트스트림으로부터 생략된다. 대안적으로, 이 상황에서, 인트라 BC 예측을 위한 4×4 블록 사이즈는 디스에이블된다. 또는, 인트라 BC 예측을 위한 4×4 블록 사이즈의 사용은, 비트스트림의 신택스 엘리먼트에 의해 나타내어지는 바와 같이, 시퀀스에 대해 또는 시퀀스 내에서 인에이블될 수 있거나 또는 디스에이블될 수 있다.
다른 예로서, 구현예에 따라서, 디코더는 복합 인트라-인터 예측 모드를 인에이블할 수 있다. 예를 들면, 현재 블록이 B 슬라이스의 일부인 경우, 디코더는, 현재 블록에 대한 인트라 BC 예측의 결과 및 현재 블록에 대한 모션 보상된 예측의 결과를, 두 개의 상이한 참조 화상으로부터의 예측 결과로서, 결합할 수 있다. 이것은, 디코더가 현재 블록에 대한 모션 보상된 예측에 대한 결과 및 인트라 BC 예측의 결과를 혼합하는 것을 허용한다. 대안적으로, 인트라 BC 예측의 결과 및 모션 보상된 예측의 결과의 결합은 허용되지 않는다.
C. 예시적인 구현예 .
몇몇 예시적인 구현예에서, 인트라 BC 예측 모드 및 인터 예측 모드의 통합의 일부로서, 인코더 및/또는 디코더는 다음의 방식 중 임의의 하나 이상에서 적응될 수 있다. 이 섹션에서, 몇몇 적응예는 HEVC 표준에 대한 차이 또는 수정으로서 예시된다. 다른 적응예는, HEVC 표준에 대한 초안의 확장안(draft extension)인 JCTVC-P 1005_v1에 대한 차이 또는 수정으로서 예시된다.
1. 인트라 BC 예측을 위한 디폴트 신택스 , 의미론 및 디코딩
예시적인 구현예에서, 인트라 BC 예측이 인에이블되는 경우, I 슬라이스에 대한 비트스트림 신택스는, 일반적으로, (현재 화상이 추가되는 RPL에 따라) P 또는 B 슬라이스에 대한 비트스트림 신택스를 따른다. 인코딩 및 디코딩의 목적을 위해, 프로세스에 대한 몇몇 수정 또는 제약과 함께, I 슬라이스는 P 또는 B 슬라이스처럼 취급된다.
도 11a 내지 도 11c는, 통합된 인트라 BC 및 인터 예측 모드에 대한 예시적인 신택스 구조를 도시한다. 일반적으로, (조건에 따라) 비트스트림으로 시그널링될 수도 있는 신택스 엘리먼트는 굵은 글씨체로 도시된다.
도 11a는 슬라이스 세그먼트 헤더에 대한 예시적인 신택스 구조(1101)의 일부를 도시한다. JCTVC-P1005_v1에서의 슬라이스 세그먼트 헤더 신택스 구조와 비교하여, 도 11a에서 도시되는 신택스 구조(1101)는 다음의 추가적인 라인을 포함하는데:
Figure pct00001
추가적인 라인은, five_minus_max_num_merge_cand 신택스 엘리먼트가 시그널링되는 경우를 추가한다. 이 신택스 엘리먼트는, 현재 슬라이스에 대한 병합 모드 프로세싱에서 허용되는 병합 모드 후보의 수를 나타낸다. 변경에 의해, intra_block_copy_enabled_flag의 값이 1이면, five_minus_max_num_merge_cand 신택스 엘리먼트가 시그널링된다. (이전과 마찬가지로, 신택스 엘리먼트는, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면 또한 시그널링된다.) 신택스 엘리먼트 intra_block_copy_enabled_flag는, 다음 섹션에서 설명되는 바와 같이 설정될 수 있거나, 또는 인트라 BC 예측이 슬라이스에 대해 인에이블되는 경우 어떤 다른 방식으로 설정될 수 있다.
도 11b 및 도 11c는, 코딩 단위("CU")에 대한 예시적인 신택스 구조(1102)를 도시한다. JCTVC-P1005_v1에서의 CU 신택스 구조와 비교하여, 도 11b 및 도 11c에서 도시되는 신택스 구조(1102)는 여러 가지의 수정된 라인을 포함한다. 다음의 두 라인:
Figure pct00002
　
은, cu_skip_flag 신택스 엘리먼트가 시그널링되는 경우를 추가한다. cu_skip_flag 신택스 엘리먼트는, 현재 CU가 스킵되는지(값 1) 또는 스킵되지 않는지(값 0)의 여부를 나타낸다. 변경에 의해, cu_skip_flag 신택스 엘리먼트는, intra_block_copy_enabled_flag가 1이면, 시그널링된다. (이전과 마찬가지로, 신택스 엘리먼트는, 현재 슬라이스가 I 슬라이스가 아니면, 또한 시그널링된다.) 다음의 라인:
Figure pct00003
은, pred_mode_flag 신택스 엘리먼트가 시그널링되는 경우를 추가한다. pred_mode_flag 신택스 엘리먼트는, 현재 CU의 코딩 모드가 인터 예측 모드인지(값 0), 또는 공간 인트라 예측 모드인지(값 1)의 여부를 나타내는데, 인트라 BC 예측은 현재 CU의 코딩 모드가 인터 예측 모드인 경우이다. 변경에 의해, intra_block_copy_enabled_flag가 1이면, pred_mode_flag 신택스가 시그널링된다. (이전과 마찬가지로, 신택스 엘리먼트는, 현재 슬라이스가 I 슬라이스가 아니면, 또한 시그널링된다.)
CU 신택스 구조(1102)의 그 밖의 곳에서, intra_be_flag 신택스 엘리먼트의 발생 및 intra_be_flag 신택스 엘리먼트에 대한 다양한 참조는 제거되고, 그 결과, 인트라 BC 예측은 더 이상 인트라 예측의 별개의 코딩 모드 또는 타입으로서 취급되지 않는다. 대신, 인트라 BC 예측 모드는 인터 예측 모드의 경우로서 핸들링된다. 변환 트리, 변환 단위 및 잔차 코딩에 대해, intra_be_flag 신택스 엘리먼트에 대한 참조(및 별개의 코딩 모드/타입으로서의 인트라 BC 예측의 관련된 취급)도 또한, 신택스 구조(도시되지 않음)로부터 제거된다. 따라서, 인트라 BC 예측이 CU에 대해 사용되는 경우, 예측 단위, 변환 트리, 변환 단위 및 잔차 코딩에 대한 신택스 구조는, 인터 예측 모드에서 코딩되는 CU에 대한 신택스를 따른다.
JCTVC-P1005_v1과 비교하여, 인트라 화상 디코딩 프로세스(및 대응하는 인코딩 프로세스)는, 인트라 BC 예측을 제거하기 위한 예시적인 구현예에서 별개의 코딩 모드/타입으로서 수정된다. 대신, 인트라 BC 예측은, 참조 화상이 현재 화상인 인터 예측 모드의 경우로서 핸들링된다. 현재 화상이 모션 보상을 위한 참조 화상이다는 것을 시그널링된(또는 유도된) 참조 화상 인덱스가 나타내는 경우, 인트라 BC 예측이 사용된다. 이 경우, 현재 CU의 PU(들)에 대해 시그널링되는 MV(들)는 블록 벡터 값을 나타낸다. 인트라 BC 예측이 사용되는 경우 적용될 수도 있는 다양한 추가적인 수정 및 제약이 하기에서 설명된다.
2. 인트라 BC 예측 모드의 선택적 인에이블 / 디스에이블 .
예시적인 구현예에서, 인트라 BC 예측은 SPS의 플래그에 의해 시퀀스에 대해 인에이블되거나 또는 디스에이블된다. 현재 화상의 CU에 대해 인트라 BC 예측을 사용하기 위해, 인트라 BC 예측은 시퀀스에 대해 인에이블되고, 참조 화상으로서 현재 화상을 이용하여, 인터 예측 모드가 CU에 대해 사용된다.
예를 들면, SPS에서, 신택스 엘리먼트 intra_block_copy_enabled_flag의 값이 1이면, 현재 화상을 RPL(특별히 RPL 0)에 추가하는 프로세스가 호출될 수도 있다. 한편, intra_block_copy_enabled_flag의 값이 0이면, 현재 화상을 RPL 0에 추가하는 프로세스는 호출되지 않는다. 존재하지 않는 경우, intra_block_copy_enabled_flag의 값은 0인 것으로 추론된다.
도 12는, 시퀀스에 대한 인트라 BC 예측을 선택적으로 인에이블하는 것을 포함하는 인코딩 또는 디코딩을 위한 일반화된 기술(1200)을 도시한다. 도 3 또는 도 5를 참조로 상기에서 설명된 것과 같은 비디오 인코더, 또는 다른 비디오 인코더가 기술(1200)을 수행할 수 있다. 또는, 도 4 또는 도 6을 참조로 상기에서 설명된 것과 같은 비디오 디코더, 또는 다른 비디오 디코더가 기술(1200)을 수행할 수 있다.
시작하기 위해, 인코더 또는 디코더는, 비디오 시퀀스에 대해 인트라 BC 예측을 인에이블할지의 여부를 결정한다(1210). 예를 들면, 인코더는, 인코딩 세션 또는 애플리케이션에 대한 설정에 기초하여 결정을 행하고(1210), 그 다음, 인트라 BC 예측이 인에이블되는지의 여부를 나타내기 위해 시퀀스에 대한 SPS에서 신택스 엘리먼트를 시그널링한다. 또는, 디코더는, 시퀀스에 대한 SPS의 신택스 엘리먼트에 기초하여 결정을 행한다(1210).
인트라 BC 예측이 인에이블되면, 인코더/디코더는, 인에이블된 인트라 BC 예측을 이용하여 시퀀스를 인코딩/디코딩한다(1230). 그렇지 않다면, 인코더/디코더는, 인에이블된 인트라 BC 예측 없이 시퀀스를 인코딩/디코딩한다(1220).
인코더/디코더는 시퀀스 단위 기반으로 기술(1200)을 반복할 수 있다.
대안적으로, 인트라 BC 예측이 인에이블되는지 또는 디스에이블되는지의 여부를, 다른 신택스 구조 또는 VUI 메시지의 다른 하이 레벨 플래그가 나타낼 수도 있다. 인트라 BC 예측을 인에이블하는 또는 디스에이블하는 결정은, 시퀀스 단위 기반으로, 화상 단위 기반으로, 슬라이스 단위 기반으로, 또는 어떤 다른 기반으로 행해질 수 있다.
3. RPL 카운터 업데이트 .
예시적인 구현예에서, 비트스트림 내의 두 개까지의 신택스 엘리먼트의 값은, 현재 슬라이스에 대한 두 개의 RPL에서 활성인 참조 화상의 수를 나타낸다. 신택스 엘리먼트 num_ref_idx_l0_active_minus1은 현재 슬라이스에 대한 RPL 0에서 활성인 참조 화상의 수를 (그 수 빼기 1)로서 나타내고, 신택스 엘리먼트 num_ref_idx_l1_active_minus1은 현재 슬라이스에 대한 RPL 1에서 활성인 참조 화상의 수를 (그 수 빼기 1로서) 나타낸다. 인트라 BC 예측이 사용되는 경우, 현재 슬라이스가 P 또는 B 슬라이스이면, num_ref_idx_l0_active_minus1의 값 및/또는 num_ref_idx_l1_active_minus1의 값은, 현재 화상을 참조 화상으로서 설명하기 위해, 현재 슬라이스에 대해 1만큼 증가된다. 현재 슬라이스가 I 슬라이스이면, RPL 0 및/또는 RPL 1에 대한 현재 화상의 추가를 설명하기 위해, num_ref_idx_l0_active_minus1 및/또는 num_ref_idx_l1_active_minus1은 인트라 BC 예측이 사용되는 경우 현재 슬라이스에 대해 제로로 설정된다.
예를 들면, P 또는 B 슬라이스의 경우, 신택스 엘리먼트 num_ref_idx_l0_active_minus1은 슬라이스 세그먼트 헤더의 일부로서 시그널링될 수도 있고, 슬라이스를 디코딩하기 위해 사용될 수도 있는 RPL 0에 대한 최대 참조 인덱스를 명시한다. num_ref_idx_l0_active_minus1의 값은 0 이상 14 이하의 범위 안에 있다. num_ref_idx_l0_active_minus1이 P 또는 B 슬라이스에 대한 슬라이스 세그먼트 헤더에 존재하지 않는 경우, num_ref_idx_l0_active_minus1의 값은 num_ref_idx_l0_default_active_minus1과 동일한 것으로 추론된다. 현재 슬라이스가 I 슬라이스이고 인트라 BC 예측이 인에이블되지 않는 경우, num_ref_idx_l0_active_minus1의 값은 I 슬라이스에 대해 -1과 동일한 것으로 추론된다. 인트라 BC 예측이 사용되는 경우, num_ref_idx_l0_active_minus1의 값은 1만큼 증가된다.
다른 예로서, 신택스 엘리먼트 num_ref_idx_l1_active_minus1은 B 슬라이스에 대한 슬라이스 세그먼트 헤더의 일부로서 시그널링될 수도 있고, 슬라이스를 디코딩하기 위해 사용될 수도 있는 RPL 1 인덱스에 대한 최대 참조 인덱스를 명시한다. num_ref_idx_l1_active_minus1의 값은 0 이상 14 이하의 범위 안에 있다. num_ref_idx_l1_active_minus1이 B 슬라이스에 대한 슬라이스 세그먼트 헤더에 존재하지 않는 경우, num_ref_idx_l1_active_minus1의 값은 num_ref_idx_l1_default_active_minus1과 동일한 것으로 추론된다. 현재 슬라이스가 I 슬라이스이고 인트라 BC 예측이 인에이블되지 않는 경우, num_ref_idx_l1_default_active_minus1의 값은 I 슬라이스에 대해 -1과 동일한 것으로 추론된다. 인트라 BC 예측이 사용되는 경우, num_ref_idx_l1_active_minus1의 값은 1만큼 증가된다.
4. 다른 RPL 구성 이후 RPL 에 대한 현재 화상의 추가.
예시적인 구현예에서, 인트라 BC 예측이 인에이블되는 경우, 현재 화상은, 임의의 다른 참조 화상이 디폴트 RPL 구성 프로세스에서 RPL에 추가된 이후, RPL에 추가된다. 구체적으로는, 현재 화상은 RefPicList0(RPL 0)의 최종 포지션에서 추가된다. num_ref_idx_l0_active_minus1가 1만큼 증가된 이후:
RefPicList0[num_ref_idx_l0_active_minus1] = 현재 디코딩된 화상
이다.
현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면(그리고 인트라 BC 예측이 인에이블되면), 현재 화상을 RPL 0에 추가하는 프로세스는, 하나 이상의 다른 참조 화상이 RPL 0에 추가되는 RPL 구성 프로세스의 완료 이후에 호출된다. 현재 슬라이스가 I 슬라이스이면(그리고 인트라 BC 예측이 인에이블되면), 현재 화상을 RPL 0에 추가하는 프로세스는, I 슬라이스에 대한 디코딩 프로세스의 시작에서 호출된다. num_ref_idx_l0_active_minus1의 값은 현재 슬라이스에 대해 1만큼 증가된다.
도 13은, 현재 화상을 포함하는 RPL을 구성하기 위한 예시적인 기술(1300)을 도시한다. 도 3 또는 도 5를 참조로 상기에서 설명된 것과 같은 비디오 인코더, 또는 다른 비디오 인코더가 기술(1300)을 수행할 수 있다. 또는, 도 4 또는 도 6을 참조로 상기에서 설명된 것과 같은 비디오 디코더, 또는 다른 비디오 디코더가 기술(1300)을 수행할 수 있다.
시작하기 위해, 인코더 또는 디코더는, 현재 슬라이스가 I 슬라이스인지의 여부를 체크한다(1310). 만약 아니라면(예를 들면, 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 인코더/디코더는 디폴트 RPL 구성 프로세스를 이용하여 RPL을 구성하고(1320), 하나 이상의 다른 참조 화상(현재 화상이 아님)을 RPL에 추가한다.
그 다음, 현재 슬라이스가 I 슬라이스이든 또는 아니든 간에, 인코더/디코더는 RPL의 최종 포지션에 현재 화상을 추가한다(1330). 인코더/디코더는, (예를 들면, num_ref_idx_l0_active_minus1 신택스 엘리먼트에 의해 나타내어지는 바와 같이) 현재 슬라이스에 대한 RPL에서 활성인 참조 화상의 수를 나타내는 카운터를 업데이트한다.
인코더/디코더는 현재 화상의 슬라이스에 대해 슬라이스 기반으로 기술(1300)을 반복할 수 있다. 대안적으로, 인코더/디코더는 화상 단위 기반으로 기술을 반복할 수 있다.
대안적으로, 현재 화상은 RefPicList1(RPL 1)의 최종 포지션에서 추가될 수 있고, num_ref_idx_l1_active_minus1의 값은 현재 슬라이스에 대해 1만큼 증가된다. 현재 화상은, 하나 이상의 다른 참조 화상이 RPL 1에 추가되는 RPL 구성 프로세스의 완료 이후에(P 또는 B 슬라이스의 경우) 또는 현재 슬라이스의 디코딩의 시작에서(I 슬라이스의 경우), RPL 1에 추가된다.
다른 대안예로서, 현재 화상은, (상기에서 설명되는 바와 같이) RPL 0의 최종 포지션에서 추가될 수 있고 (상기에서 설명되는 바와 같이) RPL 1의 최종 포지션에서 추가될 수 있는데, num_ref_idx_l0_active_minus1 및 num_ref_idx_l1_active_minus1의 값 각각은 현재 슬라이스에 대해 1만큼 증가된다.
현재 화상이 RPL에 추가되는 경우, 현재 화상은 또한, 하기에서 설명되는 바와 같이, "장기간 참조를 위해 사용됨"으로 마킹될 수 있다. 현재 화상의 디코딩이 완료된 이후, 현재 화상은, 하기에서 설명되는 바와 같이, "단기간 참조를 위해 사용됨"으로 마킹될 수 있다.
5. RPL 구성 동안의 RPL 에 대한 현재 화상의 추가.
임의의 다른 참조 화상이 디폴트 RPL 구성 프로세스에서 RPL에 추가된 이후, 현재 화상을 RPL에 추가하는 것에 대한 대안예로서, 현재 화상은, 하나 이상의 다른 참조 화상이 RPL에 추가되는 RPL 구성 프로세스 동안 RPL에 추가될 수 있다.
도 14a 내지 도 14c는, RPL 구성 프로세스 동안 현재 화상을 추가하는 상이한 접근방식(1401, 1402, 1403)을 도시한다. 이들 접근방식의 각각에서, num_ref_idx_l0_active_minus1의 값은 1만큼 증가되고, 변수 NumRpsCurrTempList0는 Max(num_ref_idx_l0_active_minus1+1, NumPocTotalCurr)로 설정되고, 리스트 RefPicListTemp0가 구성된다.
도 14a는, RPL 구성 프로세스 동안 현재 화상을 추가하는 하나의 접근방식(1401)을 도시한다. 참조 화상의 제1 세트가 추가된 이후, 현재 화상은 RefPicListTemp0에 추가된다("RefPicListTemp0 [rIdx] = 현재 화상" 및 "rIdx ++").
도 14b는, RPL 구성 프로세스 동안 현재 화상을 추가하는 제2 접근방식(1402)을 도시한다. 도 14a에서 도시되는 접근방식(1401)과 비교하여, 타이밍이 상이하다. 현재 화상은, 참조 화상의 제2 세트가 리스트에 추가된 이후, RefPicListTemp0에 추가된다("RefPicListTemp0 [rIdx] = 현재 화상" 및 "rIdx ++").
도 14c는, RPL 구성 프로세스 동안 현재 화상을 추가하는 제3 접근방식(1403)을 도시한다. 참조 화상의 제3 세트가 추가된 이후, 현재 화상은 RefPicListTemp0에 추가된다("RefPicListTemp0 [rIdx] = 현재 화상" 및 "rIdx ++").
대안적으로, 현재 화상은 RefPicListTemp0의 어떤 다른 포지션에 추가될 수 있다.
RefPicListTemp0에 추가되는 외에 또는 대신에, 현재 화상은, num_ref_idx_l0_active_minus1의 값에서의 1만큼의 대응하는 증가와 함께, RefPicListTemp1에 추가될 수 있는데, RefPicListTemp1는 RPL 1에 대한 리스트이다.
6. LTRP 또는 STRP 로서의 현재 화상의 마킹 .
예시적인 구현예에서, 인트라 BC 예측이 인에이블되기 때문에 현재 화상이 RPL에 추가되는 경우, 현재 화상은 장기간 참조 화상("LTRP")으로서 마킹된다. 즉, 인트라 BC 예측을 위해 현재 화상이 RPL에 추가되는 경우, 현재 화상은 "장기간 참조를 위해 사용됨"으로 마킹된다. 현재 화상의 디코딩이 완료된 이후, 현재 화상은 단기간 참조 화상("STRP")으로 - 즉, "단기간 참조를 위해 사용됨"으로 마킹된다.
7. 비트스트림 제약.
예시적인 구현예에서, 비트스트림은, 인트라 BC 예측을 위해 현재 화상의 임의의 재구성되지 않은 영역의 샘플 값의 사용으로 이어질 어떠한 신택스 엘리먼트도 포함하지 않는다. 비트스트림 내의 신택스 엘리먼트의 값에 대한 이러한 제약은 다음과 같이 표현될 수 있다.
z 스캔 순서 블록 이용가능성 대한 유도 프로세스가, 입력으로서, (1) 현재 화상의 좌상(top-left) 루마 샘플에 대한 현재 블록의 좌상 샘플의 루마 위치(xCurr, yCurr), 및 (2) 현재 화상의 좌상 루마 샘플에 대한 이웃하는 블록에 의해 커버되는 루마 위치(xNbY, yNbY)를 수용한다고 가정한다. 이 이용가능성 프로세스는, 출력으로서, 위치 (xNbY, yNbY)를 커버하는 이웃하는 블록의 이용가능성을 생성한다. 또한, 루마 위치 (xCb, yCb)가, 현재 화상의 좌상 루마 샘플에 대한 현재 루마 코딩 블록("CB")의 좌상 샘플을 명시한다는 것, 및 루마 위치 (xB1, yB1)가, 현재 루마 CB의 좌상 샘플에 대한 현재 루마 예측 블록("PB")의 좌상 샘플을 명시한다는 것을 가정한다.
RPL(예를 들면, RPL 0)의 참조 화상이 현재 화상이면, 적합한(conformant) 비트스트림의 경우, 현재 화상의 임의의 인트라 BC 예측된 블록에 대해 다음의 조건은 참이다.
첫째, 블록 이용가능성 프로세스가 입력 (1) 및 (2)로서 각각 (xCb, yCb) 및 (xB1+mvL0[0], yB1+mvL0[1])을 이용하여 호출되면, 블록 이용가능성 프로세스의 출력은 TRUE(참)일 것이다. 즉, 입력 (2)가 인트라 BC 예측을 위해 MV에 의해 참조되는 블록의 좌상 코너이면, 블록 이용가능성 프로세스의 출력은 참일 것이다.
둘째, 블록 이용가능성 프로세스가 입력 (1) 및 (2)로서 각각 (xCb, yCb) 및 (xB1+mvL0[0]+nPbW-1, yB1+mvL0[1]+nPbH-1)을 이용하여 호출되면, 블록 이용가능성 프로세스의 출력은 TRUE(참)일 것이다. 두 변수 nPbW 및 nPbH는, 각각, 루마 PB의 폭과 높이를 명시한다. 따라서, 입력 (2)가 인트라 BC 예측을 위해 MV에 의해 참조되는 블록의 우하(bottom-right) 코너이면, 블록 이용가능성 프로세스의 출력은 참일 것이다.
이 분석에서, MV 값은, RPL(예를 들면, RPL 0)의 참조 화상이 현재 화상인 경우에 수정된다. 특히, mvL0 <<= 2 및 mvCL0 <<= 2인데, 이 경우, mvL0는 정수 픽셀 정밀도를 가지고 시그널링되는 루마 MV이고, mvCL0는 인터 픽셀 정밀도로 유도되는 크로마 MV이다. 비트스트림 적합성(이것은, 인트라 BC 예측이 인에이블되는지 또는 그렇지 않은지의 여부, 현재 화상이 참조 화상인지 또는 아닌지의 여부, 등등을 적용한다)에 대한 다른 조건도 또한 적용된다.
변수 initType(이것은 세 개의 초기화 타입의 각각에 대해 초기화가 필요로 되는 ctxIdx를 명시한다)은 다음과 같이 설정된다. 현재 슬라이스가 I 슬라이스이고 인트라 BC 예측이 인에이블되지 않으면, initType은 0이다. 그렇지 않고, 현재 슬라이스가 I 슬라이스이고 인트라 BC 예측이 인에이블되면, initType은 1이다. 그렇지 않다면, initType의 값은 JCTVC-P1005_v1에서 설명되는 바와 같이 설정된다. 마지막으로, JCTVC-P1005_v1에 비교하여, intra_be_flag를 참조하는 제약은 제거된다.
8. 복합 예측.
예시적인 구현예에서, 인트라 BC 예측으로부터의 샘플 값 및 다른 예측(예를 들면, 다른 인트라 BC 예측, 모션 보상)으로부터의 샘플 값을 결합하는 복합 예측은 허용되지 않는다. 즉, 참조 화상 중 적어도 하나가 현재 화상인 양방향 예측은 허용되지 않는다. 이 제약은, 비트스트림의 신택스 엘리먼트의 값을 체크하는 것에 의해 강제될 수 있다.
대안적으로, 인트라 BC 예측으로부터의 샘플 값 및 다른 예측으로부터의 샘플 값을 결합하는 복합 예측이 허용된다. 즉, 참조 화상 중 적어도 하나가 현재 화상인 양방향 예측은 허용된다.
9. 4×4 인트라 BC 예측.
예시적인 구현예에서, 현재 화상이 양방향 예측을 위한 참조 화상(단일의 참조 화상)인 경우, PB의 사이즈는 인트라 BC 예측의 경우 4×4일 수 있다. 다른 블록 사이즈(예를 들면, 64×64, 64×32, 32×64, 64×16, 64×48, 16×64, 48×64, 32×32, 32×16, 16×32, 32×8, 32×24, 8×32, 24×32, 16×16, 16×8, 8×16, 16×4, 16×12, 4×16, 12×16, 8×8, 8×4 및 4×8)도 또한 가능하다.
대안적으로, PB의 사이즈가 4×4일 수 있는 인트라 BC 예측은 지원되지 않는다.
10. MV 시그널링 및 재구성.
예시적인 구현예에서, 인트라 BC 예측을 위한 블록 벡터로서 사용되는 MV가 정수 픽셀 정밀도를 가지고 시그널링된다. 대조적으로, 다른 화상에 대한 모션 보상을 위해 사용되는 MV가 분수적 픽셀 정밀도를 가지고 시그널링된다. 현재 화상의 현재 블록에 대한 MV의 정밀도는 참조 화상에 의존한다. 참조 화상이 현재 화상이면, MV는 정수 픽셀 정밀도를 갖는다. 그렇지 않다면(참조 화상이 다른 화상이면), MV는 분수적 픽셀 정밀도를 갖는다. 실제, 이것은, 시그널링된 MV 값의 해석이, 현재 화상이 참조 화상인지의 여부에 따라 달라진다는 것을 의미할 수 있다.
(인트라 BC 예측을 위한) MV가 정수 픽셀 정밀도를 가지고 시그널링되는 경우, MV는, 분수적 픽셀 MV 값을 가지고 동작하는 모션 보상 프로세스에서 MV가 사용되기 이전에, 스케일링된다. 예를 들면, MV의 수평 및 수직 성분은, 1/4 픽셀 MV 값을 수용하는 모션 보상 프로세스로 MV가 입력되기 이전에, (2만큼의 좌측 시프트를 통해, 또는 승산을 통해) 4배만큼 스케일링된다.
예시적인 구현예에서, 현재 화상이 (인트라 BC 예측을 위한) 참조 화상인 경우, 모션 보상은, MV 값이 정수 픽셀 오프셋을 나타내기 때문에, 분수적 픽셀 보간(interpolation)을 포함하지 않는다. 대응하는 루마 MV 성분이 정수 픽셀 오프셋을 나타내더라도 분수적 픽셀 오프셋을 나타낼 수도 있는 크로마 MV 성분은, 정수 픽셀 오프셋을 나타내기 위해 반올림 처리될 수 있거나 버림 처리될 수 있다. 예를 들면, 4:2:0 비디오의 경우, 루마 MV가 (1, 1)인 경우, 반올림 처리 또는 버림 처리 없이, 대응하는 크로마 MV는 (0.5, 0.5)일 것이다. 이것을 방지하기 위해, 크로마 MV는 다음과 같이 수정될 수 있다.
(xVec, yVec)가 정수 픽셀 정밀도의 루마 MV인 것으로 가정한다. 또한, (xScale, yScale)가 루마 MV를 크로마 MV로 변환하는 스케일인 것으로 가정한다. 일반적으로, 크로마 MV는 (xVec>>xScale, yVec>>yScale)로서 계산된다. 4:2:0 비디오의 경우, (xScale, yScale)는 (1, 1)이다. 4:2:2 비디오의 경우, (xScale, yScale)는 (1, 0)이다. 4:4:4 비디오의 경우, (xScale, yScale)는 (0, 0)이다. 비정수의(non-integer) 크로마 MV를 생성하는 것을 방지하기 위해, (xVec, yVec)는, 크로마 샘플 값의 모션 모상을 위한 크로마 MV로서 사용하기 이전에, (xVec>>xScale<<xScale, yVec>>yScale<<yScale)과 같이 수정된다.
대안적으로, 인트라 BC 예측의 경우, MV는, 1/2 픽셀 정밀도 또는 1/4 픽셀 정밀도와 같은 분수적 픽셀 정밀도를 가지고 시그널링된다. 예를 들면, 인트라 BC 예측에서 사용되는 MV는 여전히 정수 픽셀의 오프셋을 나타내지만, 그러나 MV는 분수적 픽셀 정밀도를 가지고 시그널링된다.
11. MV 예측을 위한 코딩/디코딩 툴
예시적인 구현예에서, 인터 예측 모드를 위해 사용되는 다양한 코딩/디코딩 툴은 인트라 BC 예측이 사용될 때 사용될 수도 있다. 예를 들면, 인코더 및 디코더는, 현재 화상이 모션 보상을 위한(즉, 인트라 BC 예측을 위한) 참조 화상으로서 사용되는 경우, 병합 모드, 스킵 모드 및/또는 향상된 MV 예측을 사용할 수 있다.
12. 병합 모드 프로세싱에 대한 조정.
예시적인 구현예에서, 인코더 및 디코더는, 플래그(또는 다른 값)가 인트라 BC 예측을 정규 인터 예측 모드와 구별하는 경우, 병합 모드 프로세싱을 수정할 수 있다. 이 상황에서, 인트라 BC 예측을 사용하여 코딩되는 블록에 대한 병합 모드 후보를 (공간적 또는 시간적 이웃으로부터) 획득할 때, 인코더/디코더는, 주어진 병합 모드 후보가 현재 화상을 참조 화상으로서 사용하는지의 여부를 체크할 수 있다. 만약 그렇다면, 인코더/디코더는 병합 모드 후보의 세트의 병합 모드 후보를 포함한다. 만약 아니라면, 인코더/디코더는 현재 병합 모드 후보를 배제하여, 그것을 이용불가능하게 만들 수 있다.
병합 모드 후보를 이 방식으로 걸러낸 이후, 병합 모드 후보의 수가, (변수 MaxNumMergeCand를 이용하여 나타내어지며, five_minus_max_num_merge_cand 신택스 엘리먼트를 이용하여 시그널링되는 바와 같은) 허용되는 병합 후보의 수보다 작으면, 인코더/디코더는 미리 정의된 리스트로부터의 병합 모드 후보를 병합 후보 세트에 추가할 수 있다. 예를 들면, 미리 정의된 리스트는, 현재 화상을 참조 화상으로서 사용하는 그리고 MV {(-W, 0), (0, -H), (-W, -H), (-2W, 0), (0, -2H)}를 구비하는 병합 모드 후보인데, 이 경우 W는 현재 CU의 폭이고, H는 현재 CU의 높이이다. 리스트로부터의 병합 모드 후보는, 허용된 병합 후보의 수가 도달될 때까지, 주어진 순서로 차례차례 리스트에 추가될 수 있다.
13. 시간적 MV 예측의 디스에이블 .
예시적인 구현예에서, 시간적 MV 예측은, 인트라 BC 예측이 인에이블되는 경우, I 슬라이스에 대해 디스에이블된다. 이 상황에서, I 슬라이스가 많은 코딩/디코딩 동작에서 P 슬라이스(또는 B 슬라이스)처럼 취급될 수도 있을지라도, 그리고 I 슬라이스에 대한 비트스트림 신택스가 P 슬라이스(또는 B 슬라이스)에 대한 비트스트림 신택스를 따를 수도 있을지라도, 시간적 MV 예측을 디스에이블하는 것은, 병합 모드 프로세싱, 향상된 MV 예측 및 다른 동작을 단순화하고, 현재 I 슬라이스의 인코딩 또는 디코딩 동안 다른 화상/슬라이스로부터의 정보를 사용하는 것을 방지한다.
예를 들면, 시간적 MV 예측자가 인코딩 또는 디코딩 동안 유도되는 경우, slice_temporal_mvp_enabled_flag가 0과 동일하거나 또는 현재 슬라이스 타입이 I이면, 시간적 MV 예측자의 양 성분은 0과 동일하게 설정되고, 시간적 MV 예측자는 이용가능하지 않은 것으로 마킹된다.
14. 기타 인코더 결정.
신택스 엘리먼트 mvd_l1_zero_flag는 B 슬라이스에 대한 슬라이스 세그먼트 헤더의 일부이다. mvd_l1_zero_flag가 1일 때, 양방향 예측이 사용되는 경우, 단지 제로 값의 MV 차분만이 RPL 1에 대해 허용된다. 예시적인 구현예에서, 인코더는, 인트라 BC 예측이 인에이블되는 경우, mvd_l1_zero_flag 신택스 엘리먼트의 값을 설정하기 위한 자신의 의사결정 프로세스를 적응시킨다.
비교를 위해, 인트라 BC 예측이 인에이블되지 않은 경우, 인코더는 (1) RPL 0의 참조 화상의 수가 RPL 1의 참조 화상의 수와 동일하다는 것, 및 (2) RPL 0의 모든 참조 화상에 대해, (동일한 POC를 갖는) 동일한 참조 화상이 RPL 1의 동일한 포지션에 존재한다는 것을 체크한다. 양 조건이 충족되면, mvd_l1_zero_flag는 1로 설정된다. 그렇지 않다면, mvd_l1_zero_flag는 0으로 설정된다.
인트라 BC 예측이 인에이블되는(그리고 현재 화상이 RPL에 추가되는) 경우, 인코더는 약간 상이한 조건을 체크하는데, 약간 상이한 조건은 현재 화상을 무시한다. 예를 들면, 현재 화상이 RPL 0의 최종 포지션에 추가되면, 인코더는, (1) (현재 화상을 고려하기 위해) 1을 뺀 RPL 0의 참조 화상의 수가 RPL 1의 참조 화상의 수와 동일하다는 것, 및 (2) (RPL 0의 최종 참조 화상을 제외한) RPL 0의 모든 참조 화상에 대해, (동일한 POC)를 갖는 동일한 참조 화상이 RPL 1의 동일한 포지션에 존재한다는 것을 체크한다. 양 조건이 충족되면, mvd_l1_zero_flag는 1로 설정된다. 그렇지 않다면, mvd_l1_zero_flag는 0으로 설정된다.
15. 인트라 BC 예측 모드의 대안적 시그널링 .
대안적으로, 인트라 BC 예측은, 인트라 BC 예측 모드, 인트라 예측 모드(공간 예측) 및 인터 예측 모드를 포함하는 이용가능한 코딩 모드 중에서부터 별개의 코딩 모드로서 선택될 수 있다. 예를 들면, 인트라 BC 예측이 CU에 대한 코딩 모드로서 선택될 수 있고, 비트스트림은 현재 CU에 대해 적용되는 코딩 모드를 나타내는 신택스 엘리먼트를 포함한다. 현재 CU에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 현재 CU(및 CU의 PU, TU, 등등)에 대한 신택스 엘리먼트는, 일반적으로, 인터 예측 모드에 대한 신택스를 따른다. 그러나, 현재 CU에 대해 인트라 BC 코딩 모드가 명시적으로 시그널링되는 경우, 인터 예측 방향 및 참조 화상 인덱스는 PU에 대해 명시적으로 시그널링되지 않는다. 대신, 이들 신택스 엘리먼트의 값이 추론될 수 있다. 현재 CU에 대해 적용되는 코딩 모드가 인트라 BC 예측 모드이면, 예측 방향의 시그널링은 CU의 어떠한 PU에 대해서도 필요로 되지 않으며, 참조 화상은 현재 화상인 것으로 공지된다. 예를 들면, 현재 화상이 RPL 0에만 추가되면, 인터 예측 방향은 0인 것으로 추론되고(RPL 0로부터의 단방향 예측), 참조 화상 인덱스는, 현재 화상을 참조 화상으로 나타내는 것이 되도록 추론된다.
개시된 발명의 원칙이 적용될 수도 있는 많은 가능한 실시형태의 관점에서, 예시된 실시형태는 단지 본 발명의 바람직한 예에 불과하며 본 발명의 범위를 제한하는 것으로 간주되어선 안된다는 것이 인식되어야 한다. 대신, 본 발명의 범위는 하기의 청구범위에 의해 정의된다. 따라서, 이들 특허청구범위의 취지와 범위 내에 있는 모든 것을 본 발명으로서 주장한다.

Claims (35)

  1. 방법으로서,
    인코딩된 데이터를 생성하기 위해 현재 화상을 인코딩하는 단계로서, 상기 현재 화상의 현재 블록에 대한 인트라 블록 카피(block copy; BC) 예측을 수행하는 단계를 포함하고, 상기 인트라 BC 예측은 상기 현재 화상을 참조 화상으로 하여 인터 예측 모드를 사용하는 것인, 상기 인코딩하는 단계; 및
    상기 인코딩된 데이터를 비트스트림으로 출력하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    인트라 BC 예측 모드를 인에이블(enable)할지 또는 디스에이블(disable)할지의 여부를 결정하는 단계; 및
    상기 인트라 BC 예측 모드가 인에이블되는지 또는 디스에이블되는지의 여부를 나타내기 위한 플래그의 값을 상기 비트스트림 내에 설정하는 단계
    를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 플래그는 시퀀스 파라미터 세트의 일부인 것인, 방법.
  4. 제1항에 있어서,
    상기 인코딩하는 단계는, 상기 현재 화상을 인코딩하는 동안 신택스 엘리먼트의 어느 것도 상기 현재 화상의 재구성되지 않은 부분을 참조하는 것으로 이어지지 않도록, 상기 비트스트림의 상기 신택스 엘리먼트의 값을 설정하는 단계를 포함하는 것인, 방법.
  5. 제1항에 있어서,
    상기 인코딩하는 단계는 상기 현재 블록의 모션 벡터(motion vector; "MV")를 식별하는 단계를 더 포함하고, 상기 MV는 정수 픽셀 오프셋을 나타내며, 상기 MV는 상기 비트스트림으로 정수 픽셀 정밀도(integer-pixel precision)로 시그널링되는 것인, 방법.
  6. 제1항에 있어서,
    상기 인코딩하는 단계는 상기 현재 블록의 모션 벡터("MV")를 식별하는 단계를 더 포함하고, 상기 MV는 정수 픽셀 오프셋을 나타내며, 상기 MV는 상기 비트스트림으로 분수적 픽셀 정밀도(fractional-pixel precision)로 시그널링되는 것인, 방법.
  7. 제1항에 있어서,
    상기 인코딩하는 단계는,
    상기 현재 블록의 루마 모션 벡터("MV") - 상기 루마 MV는 정수 픽셀 오프셋을 나타냄 - 를 식별하는 단계;
    상기 루마 MV로부터 크로마 MV를 유도하는 단계; 및
    정수 픽셀 오프셋을 나타내기 위해, 상기 크로마 MV를 반올림 처리하거나(rounding) 또는 버림 처리하는(truncating) 단계
    를 더 포함하는 것인, 방법.
  8. 제1항에 있어서,
    처음에는 상기 현재 화상을 장기간 참조 화상(long-term reference picture)으로서 마킹하는 단계; 및
    상기 현재 화상을 인코딩한 이후, 상기 현재 화상을 단기간 참조 화상(short-term reference picture)으로서 마킹하는 단계
    를 더 포함하는, 방법.
  9. 제1항에 있어서,
    상기 현재 화상은 제1 참조 화상 리스트(reference picture list; "RPL") 및 제2 RPL 중 하나에 추가되고, 상기 현재 블록은 현재 슬라이스의 일부이고, 상기 현재 슬라이스는 B 슬라이스이며, 상기 방법은, 상기 B 슬라이스를 인코딩할 때,
    상기 현재 화상은 제외하고, (a) 상기 제1 RPL에서의 참조 화상의 수가 상기 제2 RPL에서의 참조 화상의 수와 매치하는지의 여부, 및 (b) 상기 제1 RPL에서의 상기 참조 화상의 각각이 상기 제2 RPL에서의 대응하는 포지션에서 또한 나타내어지는지의 여부를 평가하는 단계; 및
    상기 평가의 결과에 따라, 상기 제2 RPL이 상기 B 슬라이스의 상기 블록에 대해 사용될 때 단지 제로 값의 모션 벡터 차분만이 허용되는지의 여부를 나타내는 신택스 엘리먼트의 값을, 상기 비트스트림 내에 설정하는 단계
    를 더 포함하는 것인, 방법.
  10. 제1항에 있어서,
    상기 인코딩하는 단계는, 다수의 이용가능한 코딩 모드 중에서 상기 현재 블록에 대해 적용되는 코딩 모드를 설정하는 단계를 더 포함하고, 상기 다수의 이용가능한 코딩 모드는 인트라 예측 모드, 상기 인터 예측 모드 및 인트라 BC 예측 모드를 포함하며,
    상기 비트스트림은, 상기 현재 블록에 대해 적용되는 상기 코딩 모드를 나타내는 신택스 엘리먼트를 포함하고,
    상기 현재 블록에 대해 적용되는 상기 코딩 모드가 상기 인트라 BC 예측 모드이면, 상기 현재 블록에 대한 신택스 엘리먼트는, 인터 예측 방향 및 참조 화상 인덱스가 추론되는 것을 제외하면, 상기 인터 예측 모드에 대한 신택스를 따르는 것인, 방법.
  11. 방법으로서,
    인코딩된 데이터를 비트스트림으로 수신하는 단계; 및
    상기 인코딩된 데이터를 사용하여 현재 화상을 디코딩하는 단계로서, 상기 현재 화상의 현재 블록에 대한 인트라 블록 카피(BC) 예측을 수행하는 단계를 포함하고, 상기 인트라 BC 예측은 상기 현재 화상을 참조 화상으로 하여 인터 예측 모드를 사용하는 것인, 상기 디코딩하는 단계
    를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 비트스트림의 플래그는, 인트라 BC 예측 모드가 인에이블되는지 또는 디스에이블되는지의 여부를 나타내는 것인, 방법.
  13. 제12항에 있어서,
    상기 플래그는 시퀀스 파라미터 세트의 일부인 것인, 방법.
  14. 제11항에 있어서,
    처음에는 상기 현재 화상을 장기간 참조 화상으로서 마킹하는 단계; 및
    상기 현재 화상을 디코딩한 이후, 상기 현재 화상을 단기간 참조 화상으로서 마킹하는 단계
    를 더 포함하는, 방법.
  15. 제11항에 있어서,
    상기 비트스트림은, 상기 현재 화상을 디코딩하는 동안 상기 현재 화상의 재구성되지 않은 부분의 참조로 이어지는 어떠한 신택스 엘리먼트도 포함하지 않도록 제약되는 것인, 방법.
  16. 제11항에 있어서,
    상기 디코딩하는 단계는 상기 현재 블록의 모션 벡터("MV")를 재구성하는 단계를 더 포함하고, 상기 MV는 정수 픽셀 오프셋을 나타내고, 상기 MV는 상기 비트스트림으로 정수 픽셀 정밀도로 시그널링되며,
    상기 재구성하는 단계는,
    모션 보상 프로세스에서의 사용 이전에 상기 MV를 분수적 픽셀 정밀도로 스케일링하는 단계를 포함하는 것인, 방법.
  17. 제11항에 있어서,
    상기 디코딩하는 단계는 상기 현재 블록의 모션 벡터("MV")를 재구성하는 단계를 더 포함하고, 상기 MV는 정수 픽셀 오프셋을 나타내며, 상기 MV는 상기 비트스트림으로 분수적 픽셀 정밀도로 시그널링되는 것인, 방법.
  18. 제11항에 있어서,
    상기 디코딩하는 단계는,
    상기 현재 블록의 루마 모션 벡터("MV") - 상기 루마 MV는 정수 픽셀 오프셋을 나타냄 - 를 재구성하는 단계;
    상기 루마 MV로부터 크로마 MV를 유도하는 단계; 및
    정수 픽셀 오프셋을 나타내기 위해, 상기 크로마 MV를 반올림 처리하거나 또는 버림 처리하는 단계
    를 더 포함하는 것인, 방법.
  19. 제11항에 있어서,
    상기 현재 블록은 현재 슬라이스의 일부이고, 상기 현재 슬라이스는 I 슬라이스이고,
    인트라 BC 예측 모드가 인에이블되면, 상기 현재 슬라이스는 P 슬라이스 또는 B 슬라이스처럼 디코딩되는 것인, 방법.
  20. 제11항에 있어서,
    상기 디코딩하는 단계는,
    다수의 이용가능한 코딩 모드 - 상기 다수의 이용가능한 코딩 모드는 인트라 예측 모드, 상기 인터 예측 모드 및 인트라 BC 예측 모드를 포함함 - 에서, 상기 현재 블록에 대해 적용되는 코딩 모드를 나타내는, 상기 비트스트림으로부터의 신택스 엘리먼트를 파싱(parsing)하는 단계; 및
    상기 현재 블록에 대해 적용되는 상기 코딩 모드를 설정하는 단계로서, 상기 현재 블록에 대해 적용되는 상기 코딩 모드가 상기 인트라 BC 예측 모드이면, 상기 현재 블록에 대한 신택스 엘리먼트는, 인터 예측 방향 및 참조 화상 인덱스가 추론되는 것을 제외하면, 상기 인터 예측 모드에 대한 신택스를 따르는 것인, 상기 설정하는 단계
    를 더 포함하는 것인, 방법.
  21. 제1항 또는 제11항에 있어서,
    상기 현재 블록은 현재 슬라이스의 일부이고, 상기 현재 슬라이스는 I 슬라이스이고,
    상기 방법은,
    상기 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타내는 카운터를 설정하는 단계를 더 포함하고,
    상기 카운터는, 인트라 BC 예측 모드가 인에이블될 때 단일의 참조 화상이 활성이라는 것을 나타내는 것인, 방법.
  22. 제21항에 있어서,
    상기 비트스트림 내의 신택스 엘리먼트의 값은, 상기 현재 슬라이스에 대해 활성인 참조 화상의 상기 수를 나타내는 것인, 방법.
  23. 제1항 또는 제11항에 있어서,
    상기 현재 화상을 참조 화상 리스트("RPL")에 추가하는 단계를 더 포함하는, 방법.
  24. 제23항에 있어서,
    상기 현재 화상은 상기 RPL의 최종 포지션에 추가되고, 상기 방법은, 상기 현재 블록을 포함하는 현재 슬라이스에 대해 활성인 참조 화상의 수를 나타내는 카운터를 증분시키는(incrementing) 단계를 더 포함하는 것인, 방법.
  25. 제24항에 있어서,
    상기 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 상기 현재 화상은, 하나 이상의 다른 참조 화상이 상기 RPL에 추가되는 리스트 구성 프로세스의 호출 이후에, 상기 RPL에 추가되는 것인, 방법.
  26. 제23항에 있어서,
    상기 현재 블록은 현재 슬라이스의 일부이고,
    상기 현재 슬라이스가 P 슬라이스 또는 B 슬라이스이면, 상기 현재 화상은, 하나 이상의 다른 참조 화상이 상기 RPL에 추가되는 리스트 구성 프로세스 동안 상기 RPL에 추가되는 것인, 방법.
  27. 제1항 또는 제11항에 있어서,
    상기 현재 블록은 현재 슬라이스의 일부이고, 상기 현재 슬라이스는 B 슬라이스이며,
    상기 방법은,
    상기 현재 블록에 대한 상기 인트라 BC 예측의 결과 및 상기 현재 블록에 대한 모션 보상된 예측의 결과를 결합하는 단계를 더 포함하는 것인, 방법.
  28. 제1항 또는 제11항에 있어서,
    상기 인터 예측 모드의 일부로서, (a) 상기 참조 화상이 상기 현재 화상이고 (b) 예측 방향이 단일 예측(uni-predictive)이면, 상기 인트라 BC 예측을 위해 4×4 블록 사이즈를 사용하는 단계를 더 포함하는, 방법.
  29. 제1항 또는 제11항에 있어서,
    상기 인터 예측 모드는, 현재 블록에 대해 고급(advanced) 모션 벡터 예측 모드, 병합 모드 또는 스킵 모드를 사용하는 것을 더 포함하는 것인, 방법.
  30. 제1항 또는 제11항에 있어서,
    상기 인터 예측 모드는, 상기 현재 블록에 대한 병합 모드 프로세싱의 일부로서, 하나 이상의 병합 모드 후보 각각에 대해,
    상기 병합 모드 후보를 획득하는 것;
    상기 병합 모드 후보가 상기 현재 화상을 참조하는지의 여부를 체크하는 것;
    상기 병합 모드 후보가 상기 현재 화상을 참조한다면, 상기 병합 모드 후보를 유지하는 것; 및
    상기 병합 모드 후보가 상기 현재 화상을 참조하지 않는다면, 상기 병합 모드 후보를 배제하는 것
    을 더 포함하는 것인, 방법.
  31. 제30항에 있어서,
    상기 인터 예측 모드는, 상기 현재 블록에 대한 상기 병합 모드 프로세싱의 일부로서,
    유지된 병합 모드 후보의 수가 허용된 병합 모드 후보의 수보다 작으면, 하나 이상의 미리 정의된 병합 모드 후보를 추가하는 것을 더 포함하는 것인, 방법.
  32. 제1항 또는 제11항에 있어서,
    상기 현재 블록은 현재 슬라이스의 일부이고, 상기 현재 슬라이스는 I 슬라이스이고,
    인트라 BC 예측 모드가 인에이블되면, 상기 현재 슬라이스에 대한 신택스 엘리먼트는 P 슬라이스 또는 B 슬라이스에 대한 신택스를 따르고,
    상기 인트라 BC 예측 모드가 인에이블되지 않으면, 상기 현재 슬라이스에 대한 상기 신택스 엘리먼트는 I 슬라이스에 대한 디폴트 신택스를 따르는 것인, 방법.
  33. 제1항 또는 제11항에 있어서,
    상기 현재 블록은 현재 슬라이스의 일부이고, 상기 현재 슬라이스는 I 슬라이스이고, 상기 방법은, 인트라 BC 예측 모드가 인에이블되면, 상기 현재 슬라이스에 대한 시간적 모션 벡터 예측을 디스에이블하는 단계를 더 포함하는 것인, 방법.
  34. 컴퓨팅 시스템으로 하여금, 제1항 내지 제33항 중 어느 한 항의 방법을 수행하게 하기 위한 컴퓨터 실행가능 명령어를 저장하는, 하나 이상의 컴퓨터 판독가능 매체.
  35. 제1항 내지 제33항 중 어느 한 항의 방법을 수행하도록 적응되는, 컴퓨팅 시스템.
KR1020177001605A 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드 Active KR102311815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217032017A KR102413529B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/080302 WO2015192353A1 (en) 2014-06-19 2014-06-19 Unified intra block copy and inter prediction modes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217032017A Division KR102413529B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드

Publications (2)

Publication Number Publication Date
KR20170021302A true KR20170021302A (ko) 2017-02-27
KR102311815B1 KR102311815B1 (ko) 2021-10-13

Family

ID=54934706

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217032017A Active KR102413529B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드
KR1020237030245A Active KR102780333B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드
KR1020227020924A Active KR102576562B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드
KR1020177001605A Active KR102311815B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020217032017A Active KR102413529B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드
KR1020237030245A Active KR102780333B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드
KR1020227020924A Active KR102576562B1 (ko) 2014-06-19 2014-06-19 통합된 인트라 블록 카피 및 인터 예측 모드

Country Status (5)

Country Link
US (10) US10785486B2 (ko)
EP (2) EP3158734A1 (ko)
KR (4) KR102413529B1 (ko)
CN (1) CN105493505B (ko)
WO (1) WO2015192353A1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027551A1 (ko) * 2018-07-30 2020-02-06 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20200059297A (ko) * 2017-10-09 2020-05-28 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
WO2020145656A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Tmvp 후보의 가용 여부를 시그널링하는 방법 및 장치
WO2020149630A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
WO2020180155A1 (ko) * 2019-03-07 2020-09-10 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
WO2020185045A1 (ko) * 2019-03-13 2020-09-17 엘지전자 주식회사 크로마 블록에 대한 분할 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020141831A3 (ko) * 2018-12-31 2020-12-17 엘지전자 주식회사 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치
WO2020262918A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
WO2020262914A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
WO2020262919A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치
US20210203944A1 (en) * 2018-09-13 2021-07-01 Huawei Technologies Co., Ltd. Decoding method and decoding apparatus for predicting motion information
US12328431B2 (en) 2019-02-19 2025-06-10 Humax Co., Ltd. Intra prediction-based video signal processing method and device
US12568206B2 (en) 2018-12-12 2026-03-03 Vidaxio Llc Video signal processing method and device using current picture reference

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
CA2925183C (en) 2013-10-14 2020-03-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
AU2014376061B8 (en) 2014-01-03 2019-05-30 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10136141B2 (en) * 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
CA3171803A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10212445B2 (en) * 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
AU2016269362A1 (en) * 2015-05-28 2017-12-07 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
US10638140B2 (en) * 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN115134609B (zh) * 2015-06-11 2025-02-21 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US10097836B2 (en) * 2015-09-28 2018-10-09 Samsung Electronics Co., Ltd. Method and device to mark a reference picture for video coding
KR102390162B1 (ko) * 2015-10-16 2022-04-22 삼성전자주식회사 데이터 인코딩 장치 및 데이터 인코딩 방법
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
US9955176B2 (en) * 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
CN114189678A (zh) * 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
CN116567226A (zh) 2016-08-11 2023-08-08 Lx 半导体科技有限公司 图像编码/解码设备和图像数据的发送设备
EP3515070B1 (en) * 2016-09-16 2021-11-24 Sony Group Corporation Encoding color component prediction mode when using intra block copy
US20190215521A1 (en) * 2016-09-22 2019-07-11 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
EP3301930A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
KR102390413B1 (ko) * 2017-03-03 2022-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10757420B2 (en) 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10674159B2 (en) 2017-07-28 2020-06-02 Microsoft Technology Licensing, Llc Effective intra encoding for screen data
KR102664781B1 (ko) * 2017-08-03 2024-05-21 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
JP2019041165A (ja) * 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
CN116582670A (zh) * 2017-09-08 2023-08-11 株式会社Kt 视频信号处理方法及装置
CN109587479B (zh) * 2017-09-29 2023-11-10 华为技术有限公司 视频图像的帧间预测方法、装置及编解码器
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11109056B2 (en) 2018-02-12 2021-08-31 Mediatek Inc. Method and apparatus of current picture referencing for video coding using adaptive motion vector resolution and sub-block prediction mode
TWI730311B (zh) * 2018-03-29 2021-06-11 弗勞恩霍夫爾協會 用以選擇內預測模式以供填補之設備
US10462483B1 (en) 2018-04-26 2019-10-29 Tencent America LLC Method and apparatus for video coding
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
WO2019244119A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Sub-block mv inheritance between color components
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US10904559B2 (en) * 2018-07-13 2021-01-26 Tencent America LLC Block vector prediction in intra block copy mode
CN110166770B (zh) * 2018-07-18 2022-09-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
US11463736B2 (en) * 2018-09-21 2022-10-04 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
CN110944193B (zh) 2018-09-24 2023-08-11 北京字节跳动网络技术有限公司 视频编码和解码中的加权双向预测
FI3849190T3 (fi) 2018-10-08 2026-01-09 Lg Electronics Inc Syntaksisuunnittelumenetelmä ja syntaksisuunnittelulaite koodauksen suorittamiseksi syntaksia käyttämällä
KR102863821B1 (ko) 2018-10-08 2025-09-25 에스케이텔레콤 주식회사 현재 픽처 참조 모드를 이용한 예측 방법 및 영상 복호화 장치
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN112840654B (zh) * 2018-10-12 2024-04-16 韦勒斯标准与技术协会公司 使用多假设预测的视频信号处理方法和装置
CN111083492B (zh) 2018-10-22 2024-01-12 北京字节跳动网络技术有限公司 双向光流中的梯度计算
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN113196751B (zh) 2018-10-23 2023-10-13 韦勒斯标准与技术协会公司 通过使用基于子块的运动补偿处理视频信号的方法和设备
CN112889269B (zh) * 2018-10-23 2023-10-27 腾讯美国有限责任公司 视频解码方法及装置
WO2020094151A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in pairwise average candidate calculations
CN111436230B (zh) 2018-11-12 2024-10-11 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
CN113170093B (zh) 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
KR20240024335A (ko) 2018-11-22 2024-02-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
US20200169757A1 (en) * 2018-11-23 2020-05-28 Mediatek Inc. Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction
WO2020108571A1 (en) * 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Extension method for motion reference in intra block copy mode
WO2020108651A1 (en) 2018-11-29 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Affine inheritance method in intra block copy mode
KR102934533B1 (ko) 2018-11-30 2026-03-06 인터디지털 브이씨 홀딩스 인코포레이티드 비디오 코딩 및 디코딩을 위한 삼각형 및 다중-가설 조합
EP3888357A1 (en) 2018-11-30 2021-10-06 InterDigital VC Holdings, Inc. Unified process and syntax for generalized prediction in video coding/decoding
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
US10855992B2 (en) 2018-12-20 2020-12-01 Alibaba Group Holding Limited On block level bi-prediction with weighted averaging
CN115442616B (zh) * 2018-12-21 2026-04-17 华为技术有限公司 视频解码方法及装置
EP3900354A4 (en) 2018-12-21 2022-09-14 Sharp Kabushiki Kaisha SYSTEMS AND METHODS OF INTERPREDICTION IN VIDEO CODING
WO2020125794A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode
US11234044B2 (en) 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
CN109874011B (zh) * 2018-12-28 2020-06-09 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
MX2021007785A (es) * 2018-12-31 2021-08-24 Vid Scale Inc Interpredicción e intraprediccion combinadas.
US11032574B2 (en) * 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN113383542A (zh) * 2019-01-11 2021-09-10 Vid拓展公司 使用合并模式运动向量候选对象的改善的帧内平面预测
CN113302927B (zh) 2019-01-18 2024-04-09 韦勒斯标准与技术协会公司 使用运动补偿的视频信号处理方法和设备
US11095915B2 (en) * 2019-01-31 2021-08-17 Qualcomm Incorporated Shared motion vector predictor list for intra block copy mode in video coding
CN113366833B (zh) * 2019-02-01 2026-03-24 北京字节跳动网络技术有限公司 对环路整形的限制
CN120881292A (zh) 2019-02-02 2025-10-31 北京字节跳动网络技术有限公司 使用用于视频编解码中的帧内块复制的额外缓冲区样点的预测
JP7384912B2 (ja) 2019-02-02 2023-11-21 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのバッファにおけるデータ記憶
WO2020164628A1 (en) 2019-02-17 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy (ibc) mode and non-ibc inter mode
US12356001B2 (en) 2019-02-20 2025-07-08 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of motion vector rounding, clipping and storage for inter prediction
WO2020172342A1 (en) * 2019-02-20 2020-08-27 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of motion vector rounding, clipping and storage for inter prediction
PT3912357T (pt) * 2019-02-20 2023-12-26 Beijing Dajia Internet Information Tech Co Ltd Derivação de vetor de movimento constrangido para imagens de referência de longo prazo em codificação de vídeo
KR102688366B1 (ko) 2019-03-01 2024-07-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 방향 기반 예측
CN113545068B (zh) 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
EP3915251A4 (en) * 2019-03-06 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIZE DEPENDENT INTERCODING
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
CN113709474B (zh) 2019-03-11 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP7092951B2 (ja) * 2019-03-12 2022-06-28 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム
CN111726630B (zh) * 2019-03-18 2024-03-15 华为技术有限公司 基于三角预测单元模式的处理方法及装置
CN113678444B (zh) * 2019-03-27 2023-08-18 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的仿射模式的熵编解码
US11252442B2 (en) 2019-04-08 2022-02-15 Tencent America LLC Method and apparatus for video coding
CN117425015B (zh) * 2019-04-09 2024-11-08 北京达佳互联信息技术有限公司 用于视频编码的方法、装置和存储介质
MX2021012229A (es) 2019-04-12 2021-11-03 Beijing Bytedance Network Tech Co Ltd Determinacion de modo de codificacion de croma basada en intraprediccion basada en matriz.
US11363279B2 (en) * 2019-04-15 2022-06-14 Tencent America LLC Method and apparatus in video coding with flexible coding order
CN117499656A (zh) 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
KR102698314B1 (ko) 2019-05-22 2024-08-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
CN113950840B (zh) 2019-05-25 2025-07-29 北京字节跳动网络技术有限公司 帧内块复制编解码的块的Merge候选的约束
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
WO2020244536A1 (en) * 2019-06-03 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Combined intra and intra-block copy prediction for video coding
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
CN120711189A (zh) * 2019-06-16 2025-09-26 北京字节跳动网络技术有限公司 屏幕内容编解码根据与运动信息之间的相互作用
EP3975556A4 (en) * 2019-06-19 2022-08-03 Lg Electronics Inc. IMAGE DECODING METHOD FOR PERFORMING INTER-PREDICTION WHEN THE CURRENT BLOCK PREDICTION MODE CANNOT FINALLY BE SELECTED AND ASSOCIATED DEVICE
CN113382262B (zh) 2019-06-21 2022-03-08 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
CN118631997A (zh) * 2019-06-25 2024-09-10 华为技术有限公司 一种帧间预测方法及装置
KR102677020B1 (ko) 2019-07-06 2024-06-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
CN114097221B (zh) * 2019-07-11 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的比特流一致性约束
CN114208205A (zh) 2019-07-25 2022-03-18 韦勒斯标准与技术协会公司 视频信号处理方法和设备
US11399199B2 (en) * 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
KR102808776B1 (ko) 2019-08-13 2025-05-15 두인 비전 컴퍼니 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
CN114342408B (zh) * 2019-08-26 2024-11-19 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
CN114365495B (zh) 2019-09-09 2025-03-21 北京字节跳动网络技术有限公司 帧内块复制编码与解码
US11641475B2 (en) 2019-09-12 2023-05-02 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
EP4029256A4 (en) * 2019-09-12 2022-11-09 Alibaba Group Holding Limited METHOD AND DEVICE FOR SIGNALING VIDEO ENCODING INFORMATION
CN110636295B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
KR20260003392A (ko) 2019-10-28 2026-01-06 두인 비전 컴퍼니 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
EP4055822A1 (en) * 2019-11-07 2022-09-14 InterDigital VC Holdings France, SAS Encoding and decoding methods and apparatus
CN115278256B (zh) * 2020-03-16 2023-09-08 北京达佳互联信息技术有限公司 对视频数据进行解码的方法、装置和介质
CN115462085B (zh) * 2020-04-05 2025-06-20 字节跳动有限公司 视频处理方法、装置及可读记录介质
MX2022011739A (es) * 2020-04-07 2022-10-13 Fg innovation co ltd Dispositivo y metodo para codificacion de datos de video.
US20240015308A1 (en) * 2020-11-24 2024-01-11 Hyundai Motor Company Apparatus and method for video encoding and decoding
EP4388735A4 (en) 2021-08-16 2025-07-02 Mediatek Inc Reordering of candidates for fusion mode with motion vector difference
US11805245B2 (en) * 2021-08-16 2023-10-31 Mediatek Inc. Latency reduction for reordering prediction candidates
US20250080756A1 (en) * 2021-12-21 2025-03-06 Mediatek Inc. Method and Apparatus for Cross Component Linear Model for Inter Prediction in Video Coding System
US11849129B2 (en) * 2022-03-18 2023-12-19 Qualcomm Incorporated Intra-block copy decoding using dynamic re-mapping of on-chip memory

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치

Family Cites Families (263)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2114404B (en) 1982-01-28 1986-07-02 British Broadcasting Corp Generating a colour video signal representative of a stored picture
JPH087553B2 (ja) 1988-10-27 1996-01-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 色画像量子化方法及び装置
US5706290A (en) 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
US6389162B2 (en) 1996-02-15 2002-05-14 Canon Kabushiki Kaisha Image processing apparatus and method and medium
JPH10262258A (ja) 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP2000102016A (ja) 1998-09-22 2000-04-07 Victor Co Of Japan Ltd 動き補償予測回路
JP2001251507A (ja) 2000-03-03 2001-09-14 Fujitsu Ltd 画像処理装置
US6701012B1 (en) 2000-07-24 2004-03-02 Sharp Laboratories Of America, Inc. Out-of-layer pixel generation for a decomposed-image layer
US6748116B1 (en) 2000-08-22 2004-06-08 Airzip, Inc. Apparatus and method for compressing and decompressing image files
DE10049571C1 (de) 2000-10-06 2002-06-13 Siemens Ag Verfahren und Anordnung zum Übertragen eines Vektors
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6853755B2 (en) 2001-03-28 2005-02-08 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive compression of scanned documents
EP1433121A4 (en) 2001-09-12 2007-03-21 Bonet Jeremy S De TRANSFORMATION TO INCREASE THE COMPRESSIBILITY OF IMAGES WITH A MINIMUM OF VISUAL DISTORTION BASED ON LEMPEL-ZIV METHODS
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7120196B2 (en) 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
US7289674B2 (en) 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
EP1582061A4 (en) 2003-01-10 2010-09-22 Thomson Licensing DECODING DEVICE AND METHOD FOR THE SMOOTHING OF ARTEFACES PRODUCED DURING ERROR CONSERVATION
DE10301362B4 (de) 2003-01-16 2005-06-09 GEMAC-Gesellschaft für Mikroelektronikanwendung Chemnitz mbH Blockdatenkompressionssystem, bestehend aus einer Kompressionseinrichtung und einer Dekompressionseinrichtung, und Verfahren zur schnellen Blockdatenkompression mit Multi-Byte-Suche
US7373005B2 (en) 2003-04-10 2008-05-13 Micron Technology, Inc. Compression system for integrated sensor devices
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
CN1843038B (zh) 2003-08-26 2010-09-22 汤姆森特许公司 用于解码混合内部-相互编码块的方法和装置
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR101044934B1 (ko) 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
JP4591657B2 (ja) 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US8036271B2 (en) 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
JP4338654B2 (ja) 2004-03-18 2009-10-07 三洋電機株式会社 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置
JP4418762B2 (ja) 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US8116374B2 (en) 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
WO2006012383A2 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for motion vector prediction in temporal video compression
JP2006140683A (ja) 2004-11-11 2006-06-01 Canon Inc 画像符号化装置
JP2006140758A (ja) 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US7720154B2 (en) 2004-11-12 2010-05-18 Industrial Technology Research Institute System and method for fast variable-size motion estimation
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060274070A1 (en) 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
KR101211665B1 (ko) 2005-08-12 2012-12-12 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP2007053561A (ja) 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
CA2618686A1 (en) 2005-08-19 2007-02-22 Telefonaktiebolaget Lm Ericsson (Publ) Texture compression based on two hues with modified brightness
US7986844B2 (en) 2005-11-22 2011-07-26 Intel Corporation Optimized video compression using hashing function
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8582905B2 (en) 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
CN101026761B (zh) 2006-02-17 2010-05-12 中国科学院自动化研究所 一种具有最小误差的快速变尺寸块匹配的运动估计方法
US7668382B2 (en) 2006-02-24 2010-02-23 Microsoft Corporation Block-based fast image compression
US7616816B2 (en) 2006-03-20 2009-11-10 Sarnoff Corporation System and method for mission-driven visual information retrieval and organization
JP4997281B2 (ja) 2006-04-14 2012-08-08 エヌエックスピー ビー ヴィ イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
WO2008004940A1 (en) 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
DE102007035204A1 (de) 2006-07-28 2008-02-07 Mediatek Inc. Videoverarbeitungs- und - betriebsvorrichtung
US8472527B2 (en) 2006-09-13 2013-06-25 Texas Instruments Incorporated Hierarchical motion estimation using original frame for sub-sampled reference
FR2906433B1 (fr) 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
CN101518085A (zh) 2006-09-22 2009-08-26 汤姆森许可贸易公司 多通道视频编码和解码的方法及装置
US20080084924A1 (en) 2006-10-05 2008-04-10 Donald Martin Monro Matching pursuits basis selection design
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US8218640B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
JP2008154015A (ja) 2006-12-19 2008-07-03 Hitachi Ltd 復号化方法および符号化方法
US7907783B2 (en) 2007-01-24 2011-03-15 Samsung Electronics Co., Ltd. Apparatus and method of matching symbols in a text image coding and decoding system
CN100527842C (zh) * 2007-01-26 2009-08-12 清华大学 基于背景的运动估计编码方法
US8472522B2 (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
US8160150B2 (en) 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
KR20100027096A (ko) 2007-04-18 2010-03-10 톰슨 라이센싱 인트라 예측을 위한 적응 기준 영상 데이터 생성
US7903873B2 (en) 2007-09-13 2011-03-08 Microsoft Corporation Textual image coding
CN101420606A (zh) 2007-10-23 2009-04-29 青岛海信电器股份有限公司 图像处理方法和装置
JP2009147807A (ja) 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
CN101232619B (zh) 2008-01-25 2011-05-11 浙江大学 嵌入帧内编码块的视频编码方法
TWI375472B (en) 2008-02-04 2012-10-21 Ind Tech Res Inst Intra prediction method for luma block of video
CN101552924B (zh) 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
WO2009126299A1 (en) 2008-04-11 2009-10-15 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
JP2009260473A (ja) 2008-04-14 2009-11-05 Canon Inc 色処理方法及び装置、プログラム、記録媒体
JP2010035137A (ja) 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
US9445121B2 (en) 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101306834B1 (ko) 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8254704B2 (en) 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8180165B2 (en) 2008-12-19 2012-05-15 Microsoft Corp. Accelerated screen codec
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US8345994B2 (en) 2009-02-02 2013-01-01 Calgary Scientific Inc. Image data transmission
RU2420021C2 (ru) 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
EP2249571A1 (en) 2009-05-04 2010-11-10 Thomson Licensing SA Method and device for encoding an image frame comprising macroblocks
JP5566455B2 (ja) 2009-06-22 2014-08-06 トムソン ライセンシング 画像系列のビデオデータを符号化する方法及びエンコーダ並びに現在のブロックを復号化する方法及びデコーダ
WO2011004598A1 (ja) 2009-07-10 2011-01-13 パナソニック株式会社 動画像符号化方法、装置、プログラム、および集積回路
CN101626512A (zh) 2009-08-11 2010-01-13 北京交通大学 一种基于相关性优化准则的多描述视频编码方法及装置
ES2625010T3 (es) 2009-10-01 2017-07-18 Sk Telecom Co., Ltd. Aparato para codificación de imagen usando una capa dividida
WO2011048903A1 (ja) 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、および、データ構造
TWI566586B (zh) 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
JP5321426B2 (ja) 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR101623124B1 (ko) 2009-12-03 2016-05-24 에스케이 텔레콤주식회사 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2011095260A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget L M Ericsson (Publ) Managing predicted motion vector candidates
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
JP5375676B2 (ja) 2010-03-04 2013-12-25 富士通株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2011121227A1 (fr) 2010-03-31 2011-10-06 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en œuvre une prediction par compensation de mouvement avant, flux et programme d'ordinateur correspondants
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US8644375B2 (en) 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR102223526B1 (ko) 2010-04-09 2021-03-04 엘지전자 주식회사 비디오 데이터 처리 방법 및 장치
WO2011136896A1 (en) 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2011160251A1 (en) 2010-06-21 2011-12-29 Thomson Broadband R&D (Beijing) Co., Ltd. Method and apparatus for encoding/decoding image data
EP2942957A1 (en) 2010-07-02 2015-11-11 HUMAX Holdings Co., Ltd. Apparatus for decoding images for intra-prediction
KR101484281B1 (ko) 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
MX2013000372A (es) 2010-07-14 2013-02-15 Ntt Docomo Inc Intraprediccion de baja comlejidad para la codificacion de video.
CN105163118B (zh) 2010-07-20 2019-11-26 Sk电信有限公司 用于解码视频信号的解码方法
EP4398571B1 (en) 2010-11-04 2025-06-18 GE Video Compression, LLC Picture coding supporting block merging and skip mode
US8787459B2 (en) 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
KR101756442B1 (ko) 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
US20120163457A1 (en) 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
US8767835B2 (en) 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
KR101739579B1 (ko) 2011-01-04 2017-05-24 에스케이 텔레콤주식회사 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
US8913662B2 (en) 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
KR20120080122A (ko) 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
HUE071305T2 (hu) 2011-01-07 2025-08-28 Lg Electronics Inc Eljárás képinformáció kódolására és dekódolására, és az eljárást alkalmazó eszköz
EP2664146A1 (en) 2011-01-14 2013-11-20 Motorola Mobility LLC Joint spatial and temporal block merge mode for hevc
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
KR101955142B1 (ko) 2011-01-14 2019-03-06 지이 비디오 컴프레션, 엘엘씨 엔트로피 인코딩 및 디코딩 방식
KR101912059B1 (ko) 2011-01-19 2018-10-25 르네사스 일렉트로닉스 가부시키가이샤 화상 부호화 장치 및 화상 복호 장치
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9532066B2 (en) 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
US9319716B2 (en) 2011-01-27 2016-04-19 Qualcomm Incorporated Performing motion vector prediction for video coding
US9288501B2 (en) 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9788019B2 (en) 2011-03-09 2017-10-10 Hfi Innovation Inc. Method and apparatus of transform unit partition with reduced complexity
KR101532665B1 (ko) 2011-03-14 2015-07-09 미디어텍 인크. 시간적 움직임 백터 예측을 도출하기 위한 방법 및 장치
KR102117085B1 (ko) 2011-03-21 2020-05-29 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
US8693547B2 (en) 2011-04-06 2014-04-08 Google Inc. Apparatus and method for coding using motion vector segmentation
CA2833874C (en) 2011-04-21 2019-11-05 Ho-Sang Sung Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
US20140050414A1 (en) 2011-04-29 2014-02-20 Telefonaktiebolaget L M Ericsson (Publ) Encoder, Decoder and Methods Thereof for Texture Compression
US20120281760A1 (en) 2011-05-04 2012-11-08 Hyung Joon Kim Iterative Grid-Pattern Motion Search
US8971416B2 (en) 2011-05-05 2015-03-03 Vixs Systems, Inc Video decoder with vector processor and methods for use therewith
CN102137263B (zh) 2011-05-09 2013-07-03 松日数码发展(深圳)有限公司 基于cnm关键帧分类的分布式视频编码及解码方法
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US20140085418A1 (en) * 2011-05-16 2014-03-27 Sony Corporation Image processing device and image processing method
CN102238391B (zh) 2011-05-25 2016-12-07 深圳市云宙多媒体技术有限公司 一种预测编码方法、装置
JP5727873B2 (ja) 2011-06-10 2015-06-03 日本放送協会 動きベクトル検出装置、符号化装置、及びこれらのプログラム
CN103688533B (zh) 2011-06-20 2015-12-23 联发科技（新加坡）私人有限公司 可减少行存储器的色度帧内预测方法及装置
EP2724538A4 (en) 2011-06-24 2016-04-27 Mediatek Inc METHOD AND DEVICE FOR REMOVING REDUNDANCES IN MOTOR VECTOR PREDICTORS
CA2842646C (en) 2011-06-27 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US9060173B2 (en) 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
CN103650496B (zh) 2011-07-12 2018-09-21 华为技术有限公司 用于在hevc中编码的基于像素的帧内预测
CN102223541B (zh) 2011-07-14 2013-07-03 北京工业大学 一种混合图像的编码方法
US9232237B2 (en) 2011-08-05 2016-01-05 Texas Instruments Incorporated Block-based parallel deblocking filter in video coding
EP2745519B1 (en) 2011-08-17 2017-09-27 MediaTek Singapore Pte Ltd. Method and apparatus for intra prediction using non-square blocks
MX365013B (es) 2011-08-29 2019-05-20 Ibex Pt Holdings Co Ltd Metodo para generar un bloque de prediccion en modo de prediccion de vector de movimiento avanzada (amvp).
US8804816B2 (en) 2011-08-30 2014-08-12 Microsoft Corporation Video encoding enhancements
US9578336B2 (en) 2011-08-31 2017-02-21 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
CN103999468A (zh) 2011-10-21 2014-08-20 诺基亚公司 用于视频编码的方法和装置
GB2495990A (en) 2011-10-28 2013-05-01 Canon Kk Motion compensated image coding with omission of coding mode cost calculation for a motion predictor in a set.
US9484952B2 (en) 2011-11-03 2016-11-01 Qualcomm Incorporated Context state and probability initialization for context adaptive entropy coding
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
CN104221373B (zh) 2011-11-08 2017-10-27 谷歌技术控股有限责任公司 用于采样自适应偏移代码化和/或信号通知的设备和方法
EP4161078A1 (en) 2011-11-11 2023-04-05 GE Video Compression, LLC Effective wedgelet partition coding using spatial prediction
US20130121417A1 (en) 2011-11-16 2013-05-16 Qualcomm Incorporated Constrained reference picture sets in wave front parallel processing of video data
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
EP3739886A1 (en) 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
BR112013032615A2 (pt) 2011-11-25 2017-08-01 Panasonic Corp método de processamento de imagem e aparelho de processamento de imagem
RU2493670C2 (ru) 2011-12-15 2013-09-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ блочной межкадровой компенсации движения для видеокодеков
WO2013096671A1 (en) 2011-12-20 2013-06-27 General Instrument Corporation Method and apparatus for efficient transform unit encoding
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US20130163664A1 (en) 2011-12-22 2013-06-27 Qualcomm Incorporated Unified partition mode table for intra-mode coding
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
WO2013102293A1 (en) 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9332259B2 (en) 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
JP2013150173A (ja) 2012-01-19 2013-08-01 Sony Corp 画像処理装置および方法
TWI835639B (zh) 2012-01-20 2024-03-11 美商Ｇｅ影像壓縮有限公司 允許平行處理之編碼器、解碼器、傳送解多工器、系統、儲存媒體、方法及電腦程式
JP2013150215A (ja) 2012-01-20 2013-08-01 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9210438B2 (en) 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
US20130188718A1 (en) 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc without including a temporally neighboring block motion vector in a candidate list
US10244246B2 (en) 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
WO2013128010A2 (en) 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013148002A2 (en) 2012-03-26 2013-10-03 Euclid Discoveries, Llc Context based video encoding and decoding
US20130258052A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
US9838684B2 (en) 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
US20130272409A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
US20150085932A1 (en) 2012-04-24 2015-03-26 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US9521410B2 (en) 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
CN102752595B (zh) 2012-06-29 2014-07-09 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
US9621905B2 (en) 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
US9635369B2 (en) 2012-07-02 2017-04-25 Qualcomm Incorporated Video parameter set including HRD parameters
US9549182B2 (en) * 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
US9264713B2 (en) 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9467692B2 (en) 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
US20140071235A1 (en) 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
WO2014050030A1 (ja) 2012-09-26 2014-04-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN104685881B (zh) 2012-09-28 2018-05-15 夏普株式会社 图像解码装置、图像编码装置以及图像解码方法
US9998755B2 (en) 2012-10-03 2018-06-12 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
US9357214B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9615090B2 (en) 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9826244B2 (en) 2013-01-08 2017-11-21 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN103067716B (zh) 2013-01-10 2016-06-29 华为技术有限公司 深度图像的编解码方法和编解码装置
US9800857B2 (en) 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
CN103237226B (zh) 2013-04-07 2016-08-03 宁波大学 一种立体视频宏块丢失错误隐藏方法
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
CN103281538B (zh) 2013-06-06 2016-01-13 上海交通大学 基于滚动哈希和块级别帧内预测的帧内编码方法
CN104244007B (zh) 2013-06-13 2020-09-01 上海天荷电子信息有限公司 一种图像编码方法和装置及解码方法和装置
US9300967B2 (en) * 2013-06-19 2016-03-29 Apple Inc. Sample adaptive offset control
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
GB2516422A (en) 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US20150016533A1 (en) 2013-07-12 2015-01-15 Qualcomm Incorporated Intra motion compensation extensions
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
SG10201800237QA (en) 2013-07-24 2018-02-27 Qualcomm Inc Simplified advanced motion prediction for 3d-hevc
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
CN112383780B (zh) 2013-08-16 2023-05-02 上海天荷电子信息有限公司 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
US10313682B2 (en) 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
US9503715B2 (en) 2013-08-30 2016-11-22 Qualcomm Incorporated Constrained intra prediction in video coding
WO2015032350A1 (zh) 2013-09-07 2015-03-12 同济大学 一种使用块匹配的图像压缩方法和装置
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
AU2013228045A1 (en) 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10009629B2 (en) 2013-10-11 2018-06-26 Sony Corporation Video coding system with search range and method of operation thereof
CA2925183C (en) 2013-10-14 2020-03-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US20150110181A1 (en) 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
BR112016012417B1 (pt) 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
TWI536811B (zh) 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
AU2014376061B8 (en) 2014-01-03 2019-05-30 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
GB2522844A (en) 2014-01-29 2015-08-12 Sony Corp Data encoding and decoding
US9699468B2 (en) 2014-02-10 2017-07-04 Microsoft Technology Licensing, Llc Adaptive screen and video coding scheme
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
CN106416243B (zh) 2014-02-21 2019-05-03 联发科技（新加坡）私人有限公司 利用基于帧内图像区块复制预测的视频编码方法
WO2015131323A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
WO2015135509A1 (en) 2014-03-14 2015-09-17 Mediatek Inc. Method for palette table initialization and management
US20150264348A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
CN106464888A (zh) 2014-03-17 2017-02-22 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
AU2014202682A1 (en) 2014-05-16 2015-12-03 Canon Kabushiki Kaisha Method, apparatus and system for copying a block of video samples
US11323733B2 (en) 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
EP3158753B1 (en) 2014-06-19 2021-12-08 VID SCALE, Inc. Intra block copy coding with block vector derivation
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
KR101748620B1 (ko) 2014-06-20 2017-07-04 성균관대학교산학협력단 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US9948949B2 (en) 2014-06-20 2018-04-17 Qualcomm Incorporated Intra block copy block vector signaling for video coding
US10477204B2 (en) 2014-06-20 2019-11-12 Sharp Kabushiki Kaisha Harmonized palette coding
US20150381994A1 (en) 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
EP3178228B1 (en) 2014-09-15 2023-10-04 HFI Innovation Inc. Method of deblocking for intra block copy in video coding
CA3171803A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9832467B2 (en) 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
CN107925769B (zh) 2015-09-08 2020-11-27 联发科技股份有限公司 管理已解码图像缓存器的方法及视频编码器或视频解码器
WO2017205621A1 (en) 2016-05-25 2017-11-30 Arris Enterprises Llc Jvet coding block structure with asymmetrical partitioning
JP2018032949A (ja) 2016-08-23 2018-03-01 キヤノン株式会社 動きベクトル検出装置およびその制御方法
US10817747B2 (en) 2019-03-14 2020-10-27 Ubicquia Iq Llc Homography through satellite image matching
MX2021016147A (es) 2019-08-23 2022-05-18 Apple Inc Metodo de codificacion/decodificacion de se?al de imagen, y dispositivo para el mismo.
JP7397211B2 (ja) 2020-02-14 2023-12-12 北京字節跳動網絡技術有限公司 映像ビットストリームにおけるサブピクチャ情報の信号通知

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"On Intra BC mode,"(Bin Li, JCTVC-o0183, 2013.10.23.공개)* *
On unification of intra block copy and inter-picture motion compensation,"(Xiaozhong Xu, et al., JCTVC-Q132, 2014.1.9.공개)* *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166013B2 (en) 2017-10-09 2021-11-02 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR20200059297A (ko) * 2017-10-09 2020-05-28 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US12501024B2 (en) 2017-10-09 2025-12-16 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US11671588B2 (en) 2017-10-09 2023-06-06 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR20220087577A (ko) * 2017-10-09 2022-06-24 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US11800104B2 (en) 2018-07-30 2023-10-24 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
KR20230022284A (ko) * 2018-07-30 2023-02-14 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11870988B2 (en) 2018-07-30 2024-01-09 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
WO2020027551A1 (ko) * 2018-07-30 2020-02-06 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11800103B2 (en) 2018-07-30 2023-10-24 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
KR20210027252A (ko) * 2018-07-30 2021-03-10 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11882246B2 (en) 2018-07-30 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
KR20240018689A (ko) * 2018-07-30 2024-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210156350A (ko) * 2018-07-30 2021-12-24 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210156349A (ko) * 2018-07-30 2021-12-24 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11310499B2 (en) 2018-07-30 2022-04-19 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
US20210203944A1 (en) * 2018-09-13 2021-07-01 Huawei Technologies Co., Ltd. Decoding method and decoding apparatus for predicting motion information
US12568206B2 (en) 2018-12-12 2026-03-03 Vidaxio Llc Video signal processing method and device using current picture reference
WO2020141831A3 (ko) * 2018-12-31 2020-12-17 엘지전자 주식회사 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치
WO2020145656A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Tmvp 후보의 가용 여부를 시그널링하는 방법 및 장치
WO2020149630A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측 기반 영상 디코딩 방법 및 그 장치
US12328431B2 (en) 2019-02-19 2025-06-10 Humax Co., Ltd. Intra prediction-based video signal processing method and device
US11909960B2 (en) 2019-03-07 2024-02-20 Lg Electronics Inc. Method and apparatus for processing video signal
WO2020180155A1 (ko) * 2019-03-07 2020-09-10 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
US12075043B2 (en) 2019-03-13 2024-08-27 Lg Electronics Inc. Video encoding/decoding method and device using segmentation limitation for chroma block, and method for transmitting bitstream
WO2020185045A1 (ko) * 2019-03-13 2020-09-17 엘지전자 주식회사 크로마 블록에 대한 분할 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11627334B2 (en) 2019-06-24 2023-04-11 Lg Electronics Inc. Inter prediction-based image coding method and apparatus
US11895325B2 (en) 2019-06-24 2024-02-06 Lg Electronics Inc. Inter prediction-based image coding method and apparatus
US11659199B2 (en) 2019-06-24 2023-05-23 Lg Electronics Inc. Image coding method and apparatus using motion vector
US11503301B2 (en) 2019-06-24 2022-11-15 Lg Electronics Inc. Image coding method and apparatus using motion vector differences
US11451821B2 (en) 2019-06-24 2022-09-20 Lg Electronics Inc. Image coding method and apparatus using motion vector
WO2020262919A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치
WO2020262914A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
WO2020262918A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치

Also Published As

Publication number Publication date
US20240275987A1 (en) 2024-08-15
US20250227250A1 (en) 2025-07-10
US20250227249A1 (en) 2025-07-10
US20200404289A1 (en) 2020-12-24
WO2015192353A1 (en) 2015-12-23
KR102576562B1 (ko) 2023-09-07
US10785486B2 (en) 2020-09-22
US11172207B2 (en) 2021-11-09
EP4354856A3 (en) 2024-06-19
US12316860B2 (en) 2025-05-27
KR20220092636A (ko) 2022-07-01
US11985332B2 (en) 2024-05-14
US20230209068A1 (en) 2023-06-29
EP3158734A4 (en) 2017-04-26
US20170142418A1 (en) 2017-05-18
US20250227247A1 (en) 2025-07-10
EP4354856A2 (en) 2024-04-17
US20220030251A1 (en) 2022-01-27
KR20230130178A (ko) 2023-09-11
US20250227248A1 (en) 2025-07-10
EP3158734A1 (en) 2017-04-26
CN105493505A (zh) 2016-04-13
KR102311815B1 (ko) 2021-10-13
KR102780333B1 (ko) 2025-03-12
US20250227251A1 (en) 2025-07-10
KR20210124534A (ko) 2021-10-14
US11632558B2 (en) 2023-04-18
CN105493505B (zh) 2019-08-06
KR102413529B1 (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
US12316860B2 (en) Unified intra block copy and inter prediction modes
US12413771B2 (en) Block vector prediction in video and image coding/decoding
KR102401946B1 (ko) 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
KR102330740B1 (ko) 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
KR20160147895A (ko) 샘플 적응 오프셋 필터링에 대한 인코더측 결정
KR20160105855A (ko) 중첩 구역 내에서의 재구성된 샘플 값의 블록 벡터 예측 및 추정에서의 혁신
HK40111355A (en) Unified intra block copy and inter prediction modes

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20170118

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190521

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210128

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210701

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20211005

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211005

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211006

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240925

Start annual number: 4

End annual number: 4