KR20170021794A - 다중 계층 비디오 코딩 - Google Patents

다중 계층 비디오 코딩 Download PDF

Info

Publication number
KR20170021794A
KR20170021794A KR1020167035757A KR20167035757A KR20170021794A KR 20170021794 A KR20170021794 A KR 20170021794A KR 1020167035757 A KR1020167035757 A KR 1020167035757A KR 20167035757 A KR20167035757 A KR 20167035757A KR 20170021794 A KR20170021794 A KR 20170021794A
Authority
KR
South Korea
Prior art keywords
inbl
video
format parameters
layer
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020167035757A
Other languages
English (en)
Inventor
예-쿠이 왕
프누 헨드리
아다르쉬 크리쉬난 라마수브라모니안
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170021794A publication Critical patent/KR20170021794A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 데이터를 프로세싱하는 디바이스가 비디오 데이터의 다중 계층 비트스트림의 적어도 부분을 저장하도록 구성되는 메모리; 및 하나 이상의 프로세서들을 포함하는데, 하나 이상의 프로세서들은, 다중 계층 비트스트림의 부분을 수신하도록 구성되며, 다중 계층 비트스트림은 복수의 계층들을 포함하며, 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 를 포함하며; 코딩된 비디오 데이터와 연관된 상기 비디오 파라미터 세트 (VPS) 를 수신하도록 구성되며, VPS는 제 1 표현 포맷 파라미터들을 포함하며; INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하도록 구성되며, SPS는 제 2 표현 포맷 파라미터들을 포함하며; 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하도록 구성되며; 그리고 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱하도록 구성된다.

Description

다중 계층 비디오 코딩{MULTI-LAYER VIDEO CODING}
본 출원은 2014년 6월 25일자로 출원된 미국 가출원 제62/017,120호를 우선권 주장하며, 그 전체 내용은 참조로 본원에 포함된다.
본 개시물은 비디오 코딩 및 압축과 압축된 비디오와 연관된 데이터의 비트스트림에서의 시그널링에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 정보 단말기들 (personal digital assistants, PDA들), 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 이른바 "스마트 폰들", 비디오 원격회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한 넓은 범위의 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264/MPEG-4, 파트 10, 고급 비디오 코딩 (Advanced Video Coding, AVC) 에 의해 규정된 표준들, 고 효율 비디오 코딩 (High Efficiency Video Coding, HEVC) 표준, 및 이러한 표준들의 확장본들에 기재된 것들과 같은 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 이러한 비디오 압축 기법들을 구현하는 것에 의해 디지털 비디오 정보를 더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기법들은 공간적 (픽처 내) 예측 및/또는 시간적 (픽처 간) 예측을 수행하여 비디오 시퀀스들에 내재하는 리던던시를 감소시키거나 제거한다. 블록 기반 비디오 코딩을 위해, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 부분) 가 비디오 블록들로 구획화될 수도 있으며, 그 비디오 블록들은 또한 트리블록들 (treeblocks), 코딩 유닛들 (coding units, CU들) 및/또는 코딩 노드들이라고 지칭될 수도 있다. 픽처의 인트라 코딩식 (intra-coded; I) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃 블록들에서의 참조 샘플들에 관한 공간적 예측을 이용하여 인코딩된다. 픽처의 인터 코딩식 (inter-coded; P 또는 B) 슬라이스에서의 비디오 블록들은 동일한 픽처의 이웃 블록들에서의 참조 샘플들에 관한 공간적 예측 또는 다른 참조 픽처들에서의 참조 샘플들에 관한 시간적 예측을 이용할 수도 있다.
공간적 또는 시간적 예측은 코딩될 블록에 대한 예측 블록으로 나타나게 된다. 잔차 데이터는 코딩될 원본 블록과 예측 블록 사이의 화소 차이들을 나타낸다. 인터 코딩식 블록이 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터와, 코딩된 블록 및 예측 블록 간의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩식 블록이 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 화소 도메인으로부터 변환 도메인으로 변환될 수도 있으며, 결과적으로 잔차 변환 계수들이 생겨나며, 그 계수들은 그 다음에 양자화될 수도 있다. 처음에는 2차원 어레이로 배열된 양자화된 변환 계수들은, 변환 계수들의 1차원 벡터를 생성하기 위하여 스캐닝될 수도 있고, 엔트로피 코딩이 더 많은 압축을 달성하기 위해 적용될 수도 있다.
본 개시물은 다중 계층 비디오 코딩에 관련된 기법들을 소개하고, 더 상세하게는, 독립적인 비-기본 계층들 (independent non-base layers, INBL들) 에 대표현 포맷을 포함하는 다중 계층 비디오 코딩의 양태들에 관련된 기법들을 소개한다. 본 개시물은 어떤 SPS 또는 PPS가 특정한 SEI 메시지들의 그리고 액세스 유닛 구분자 (delimiter) 들에 대한 해석을 위해 사용되는지를 결정하기 위한 기법들을 또한 소개한다.
하나의 예에서, 비디오 데이터를 프로세싱하는 방법이, 복수의 계층들을 포함하는 코딩된 비디오 데이터를 수신하는 단계로서, 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하는, 상기 코딩된 비디오 데이터를 수신하는 단계; 코딩된 비디오 데이터와 연관된 비디오 파라미터 세트 (video parameter set, VPS) 를 수신하는 단계로서, VPS는 제 1 표현 포맷 파라미터들을 포함하는, 상기 VPS를 수신하는 단계; INBL과 연관된 시퀀스 파라미터 세트 (sequence parameter set, SPS) 를 수신하는 단계로서, SPS는 제 2 표현 포맷 파라미터들을 포함하는, 상기 SPS를 수신하는 단계; 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하는 단계; 및 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱하는 단계를 포함한다.
다른 예에서, 비디오 데이터를 프로세싱하는 디바이스가 비디오 데이터의 다중 계층 비트스트림의 적어도 부분을 저장하도록 구성되는 메모리; 및 하나 이상의 프로세서들을 포함하는데, 하나 이상의 프로세서들은, 다중 계층 비트스트림의 부분을 수신하도록 구성되며, 다중 계층 비트스트림은 복수의 계층들을 포함하며, 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하며; 코딩된 비디오 데이터와 연관된 비디오 파라미터 세트 (VPS) 를 수신하도록 구성되며, VPS는 제 1 표현 포맷 파라미터들을 포함하며; INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하도록 구성되며, SPS는 제 2 표현 포맷 파라미터들을 포함하며; 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하도록 구성되며; 그리고 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱하도록 구성된다.
다른 예에서, 컴퓨터 판독가능 저장 매체가, 하나 이상의 프로세서들에 의해 실행되는 경우, 하나 이상의 프로세서들로 하여금, 복수의 계층들을 포함하는 인코딩된 비디오 데이터를 수신하게 하며, 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하며; 코딩된 비디오 데이터와 연관된 비디오 파라미터 세트 (VPS) 를 수신하게 하며, VPS는 제 1 표현 포맷 파라미터들을 포함하며; INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하게 하며, SPS는 제 2 표현 포맷 파라미터들을 포함하며; 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하게 하며; 그리고 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱하게 하는 명령들을 저장한다.
다른 예에서, 비디오 데이터를 프로세싱하는 장치가, 복수의 계층들을 포함하는 코딩된 비디오 데이터를 수신하는 수단으로서, 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하는, 상기 코딩된 비디오 데이터를 수신하는 수단; 코딩된 비디오 데이터와 연관된 비디오 파라미터 세트 (VPS) 를 수신하는 수단으로서, VPS는 제 1 표현 포맷 파라미터들을 포함하는, 상기 VPS를 수신하는 수단; INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하는 수단으로서, SPS는 제 2 표현 포맷 파라미터들을 포함하는, 상기 SPS를 수신하는 수단; 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하는 수단; 및 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱하는 수단을 포함한다.
본 개시물의 하나 이상의 예들의 상세는 첨부 도면들 및 다음의 설명에서 언급된다. 다른 특징들, 목적들, 및 장점들은 상세한 설명, 도면들, 및 청구항들로부터 명확하게 될 것이다.
도 1은 본 개시물에서 설명되는 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 도시하는 블록도이다.
도 2는 본 개시물에서 설명되는 기법들을 구현할 수도 있는 예시적인 비디오 인코더를 도시하는 블록도이다.
도 3은 본 개시물에서 설명되는 기법들을 구현할 수도 있는 예시적인 비디오 디코더를 도시하는 블록도이다.
도 4는 본 개시물의 하나 이상의 양태들이 구현될 수 있는 하나의 예시적인 네트워크를 도시하는 블록도이다.
도 5는 본 개시물의 기법들에 따른 예시적인 방법을 도시하는 흐름도이다.
도 6은 본 개시물의 기법들에 따른 예시적인 방법을 도시하는 흐름도이다.
도 7은 본 개시물의 기법들에 따른 예시적인 방법을 도시하는 흐름도이다.
도 8은 본 개시물의 기법들에 따른 예시적인 방법을 도시하는 흐름도이다.
본 개시물은 다중 계층 비디오 코딩에 관련된 기법들을 소개하고, 더 상세하게는, 독립적인 비-기본 계층들 (INBL들) 에 대표현 포맷을 포함하는 다중 계층 비디오 코딩의 양태들에 관련된 기법들을 소개한다. 본 개시물은 어떤 SPS 또는 PPS가 특정한 SEI 메시지들의 그리고 액세스 유닛 구분자들에 대한 해석을 위해 사용되는지를 결정하기 위한 기법들을 또한 소개한다.
본 개시물은 고 효율 비디오 코딩 (HEVC) 표준에서 정의되는 보충적 향상 정보 (supplemental enhancement information, SEI) 메시지들을 다중 계층 콘텍스트에서 적용하기 위한 기법들을 포함한다. 일부 사례들에서, 그 기법들은, 아래에서 언급되는 바와 같이, HEVC 표준에 대한 다중 계층 확장본들, 이를테면 HEVC에 대한 멀티-뷰 비디오 코딩 확장본 (MV-HEVC) 또는 HEVC에 대한 스케일러블 비디오 코딩 (Scalable Video Coding, SVC) 확장본 (SHVC) 으로 수행될 수도 있다. 본 개시물의 기법들이 HEVC 기술용어를 사용하여 일반적으로 설명될 것이지만, 본 개시물의 기법들은 임의의 특정 비디오 코딩 표준으로 반드시 제한되지는 않고, HEVC, 다른 멀티-뷰 코딩 표준들, 및/또는 다른 다중 계층 비디오 코딩 표준들에 대한 다른 확장본들과 함께 부가적으로 또는 대안으로 사용될 수도 있다. 덧붙여, 달리 언급되지 않는 한, 본 개시물의 기법들은, 아래에서 설명되는 바와 같이, 독립적으로 또는 조합하여 적용될 수도 있다는 것이 가정되어야 한다.
비디오 데이터의 "계층"이 적어도 하나의 공통 특성, 이를테면 뷰, 해상도, 충실도 (fidelity), 보조 표현 (auxiliary representation) 등을 갖는 픽처들의 시퀀스를 일반적으로 지칭할 수도 있다. 예를 들어, 계층이 멀티-뷰 비디오 데이터의 특정 뷰 (예컨대, 관점) 와 연관된 비디오 데이터를 포함할 수도 있다. 다른 예로서, 계층이 스케일러블 비디오 데이터의 특정 계층와 연관된 비디오 데이터를 포함할 수도 있다. 따라서, 본 개시물은 비디오 데이터의 계층 및 뷰를 교환적으로 지칭할 수도 있다. 다시 말하면, 비디오 데이터의 뷰가 비디오 데이터의 계층이라고 그리고 반대의 경우로도 지칭될 수도 있고, 복수의 뷰들 또는 복수의 스케일러블 계층들이, 유사한 방식으로, 예컨대, 다중 계층 코딩 시스템에서, 다수의 계층들이라고 지칭될 수도 있다. 덧붙여서, 다중 계층 코덱 (또한 다중 계층 비디오 코더 또는 다중 계층 인코더-디코더라고 지칭됨) 이 멀티-뷰 코덱 또는 스케일러블 코덱 (예컨대, MV-HEVC, SHVC, 또는 다른 다중 계층 코딩 기법을 사용하여 비디오 데이터를 인코딩 및/또는 디코딩하도록 구성된 코덱) 이라고 지칭할 수도 있다.
픽처가 프레임 또는 필드 중 어느 하나일 수도 있는데, 필드가 프레임의 양자택일적 (alternative) 행들 (예컨대, 우수 행들 또는 기수 행들) 을 지칭하고, 프레임이 두 개의 필드들, 이를테면 우수 필드 (상단 필드라고 또한 지칭됨) 와 기수 필드 (하단 필드라고 또한 지칭됨) 의 혼합물 (composition) 이라고 지칭한다. 비록 본 개시물이 픽처들 또는 프레임들을 참조하여 기법들을 일반적으로 설명하지만, 명시적으로 달리 언급되지 않는 한, 설명된 그 기법들은 필드들에 또한 적용 가능할 수도 있다는 것이 이해되어야 한다.
HEVC 표준은 nuh_layer_id의 특정 값을 모두가 갖는 네트워크 추상화 계층 (network abstraction layer, NAL) 유닛들 및 연관된 비-비디오 코딩 계층 (VCL) NAL 유닛들의 세트, 또는 계층적 관계를 갖는 구문적 구조들의 세트 중 하나의 구문적 구조로서 계층을 정의한다. HEVC 표준은 NAL 유닛에 포함된 데이터의 유형의 표시 및 원시 바이트 시퀀스 패이로드 (raw byte sequence payload, RBSP) 의 형태로 그 데이터를 포함하는 바이트들을 포함하는 신택스 구조로서 NAL 유닛을 일반적으로 정의한다. 신택스 엘리먼트 "nuh_layer_id"는 NAL 유닛들이 속하는 계층을 정의한다.
다중 계층 비트스트림이 기본 계층과 하나 이상의 비-기본 계층들을, 예컨대, SHVC에서, 또는 복수의 뷰들을, 예컨대, MV-HEVC에서 포함할 수도 있다. 스케일러블 비트스트림에서, 기본 계층은 영과 동일한 계층 식별자 (예컨대, nuh_layer_id) 를 통상적으로 가질 수도 있다. 비-기본 계층이 제로를 초과하는 계층 식별자를 가질 수도 있고 기본 계층에 포함되지 않는 추가적인 비디오 데이터를 제공할 수도 있다. 예를 들어, 멀티-뷰 비디오 데이터의 비-기본 계층이 비디오 데이터의 추가적인 뷰를 포함할 수도 있다. 스케일러블 비디오 데이터의 비-기본 계층이 스케일러블 비디오 데이터의 추가적인 계층을 포함할 수도 있다. 비-기본 계층이 향상 계층이라고 교환적으로 지칭될 수도 있다.
다중 계층 비트스트림의 액세스 유닛 (때때로 AU로서 단축됨) 이, 일반적으로, 공통의 시간적 인스턴스에 대해 모든 계층 성분들 (예컨대, 모든 NAL 유닛들) 을 포함하는 데이터 유닛이다. 액세스 유닛의 계층 성분들은 함께 출력되도록 (즉, 실질적으로 동시에 출력되도록) 통상 의도되는데, 픽처를 출력하는 것은 디코딩된 픽처 버퍼 (decoded picture buffer, DPB) 로부터 픽처들을 전송하는 것 (예컨대, DPB로부터의 픽처들을 외부 메모리에 저장하는 것, DPB로부터의 픽처들을 디스플레이로 전송하는 것 등) 을 일반적으로 수반한다. SHVC 및 MV-HEVC 확장본들을 포함하는 HEVC 표준은, 특정 분류 규칙에 따라 서로 연관되는, 디코딩 순서에서 연속적인, 그리고 nuh_layer_id의 임의의 특정 값을 갖는 기껏해야 하나의 코딩된 픽처를 포함하는 NAL 유닛들의 세트를 액세스 유닛으로서 일반적으로 정의한다. 코딩된 픽처들의 VCL NAL 유닛들을 포함하는 것 외에도, 액세스 유닛이 비-VCL NAL 유닛들을 또한 포함할 수도 있다. 액세스 유닛의 디코딩은 nuh_layer_id의 임의의 특정 값을 갖는 기껏해야 하나의 디코딩된 픽처를 초래한다. 액세스 유닛들의 특정한 시퀀스가 코딩된 비디오 시퀀스 (coded video sequence, CVS) 라고 지칭될 수도 있다.
비디오 데이터의 인코딩된 표현을 포함하는 비트스트림이 일련의 NAL 유닛들을 포함할 수도 있다. NAL 유닛들은 VCL NAL 유닛들 및 비-VCL NAL 유닛들을 포함할 수도 있다. VCL NAL 유닛들은 픽처들의 코딩된 슬라이스들을 포함할 수도 있다. 비-VCL NAL 유닛이 다른 정보, 이를테면 비디오 파라미터 세트 (VPS), 시퀀스 파라미터 세트 (SPS), 픽처 파라미터 세트 (picture parameter set, PPS), 하나 이상의 SEI 메시지들, 또는 다른 유형들의 데이터를, 예를 들어, 캡슐화할 수도 있다.
비트스트림의 NAL 유닛들은 비트스트림의 상이한 계층들와 연관될 수도 있다. SHVC에서, 위에서 언급된 바와 같이, 기본 계층 외의 계층들은 "향상 계층들 (enhancement layers)"이라고 지칭될 수도 있고 비디오 데이터의 플레이백의 품질을 개선시키는 데이터를 포함할 수도 있다. 멀티-뷰 코딩 및 3-차원 비디오 (3-dimensional video, 3DV) 코딩, 이를테면 MV-HEVC에서, 계층들은 상이한 뷰들와 연관된 데이터를 포함할 수도 있다. 비트스트림의 각각의 계층은 상이한 계층 식별자와 연관된다.
덧붙여서, NAL 유닛들은 시간적 식별자 (temporal identifier) 들을 포함할 수도 있다. 비트스트림의 각각의 동작 포인트가 계층 식별자들의 세트와 시간적 식별자를 갖는다. NAL 유닛이 계층 식별자들의 세트에서의 계층 식별자를 동작 포인트에 대해 특정하고 그 NAL 유닛의 시간적 식별자가 동작 포인트의 시간적 식별자 이하이면, 그 NAL 유닛은 그 동작 포인트와 연관된다.
H.264/AVC 및 HEVC 둘 다에서 지원되는 SEI 메커니즘은, 출력 픽처들의 샘플 값들의, 비디오 디코더 또는 다른 디바이스에 의한, 올바른 디코딩을 위해 요구되지 않지만 다양한 다른 목적들, 이를테면 픽처 출력 타이밍, 디스플레이, 뿐만 아니라 손실 검출 및 은닉을 위해 사용될 수 있는 그런 메타데이터를 비디오 인코더가 비트스트림에 포함시키는 것을 가능하게 한다. 하나 이상의 SEI 메시지들을 캡슐화하는 NAL 유닛이 SEI NAL 유닛이라고 지칭된다. SEI 메시지의 하나의 유형이 스케일러블 네스팅 (nesting) SEI 메시지이다. 스케일러블 네스팅 SEI 메시지가 하나 이상의 추가적인 SEI 메시지들을 포함하는 SEI 메시지이다. 스케일러블 네스팅 SEI 메시지는 SEI 메시지가 다중 계층 비트스트림의 특정 계층들 또는 시간적 서브-계층들에 적용되는지의 여부를 나타내는데 사용될 수도 있다. 스케일러블 네스트형 SEI 메시지에 포함되지 않는 SEI 메시지가 비-네스팅된 SEI 메시지라고 지칭될 수도 있다.
SEI 메시지들의 특정한 유형들은 특정 동작 포인트들에만 적용 가능한 정보를 포함한다. 비트스트림의 동작 포인트가 계층 식별자들의 세트 및 시간적 식별자와 연관된다. 동작 포인트 표현이 동작 포인트와 연관되는 각각의 NAL 유닛을 포함할 수도 있다. 동작 포인트 표현이 원래의 비트스트림과는 상이한 프레임 레이트 및/또는 비트 레이트를 가질 수도 있다. 이는 동작 포인트 표현이 일부 픽처들 및/또는 원래의 비트스트림의 데이터의 일부를 포함하지 않을 수도 있기 때문이다.
본 개시물은 액세스 유닛 구분자 (access unit delimiter, AUD) NAL 유닛들에 관련된 기법들을 더 포함한다. HEVC 표준에 따르면, AUD NAL 유닛이 코딩된 픽처에서 제시된 슬라이스들의 유형을 나타내는데 그리고 액세스 유닛들 간의 경계의 검출을 단순화하는데 사용될 수도 있다. 액세스 유닛 구분자와 연관된 규범적 디코딩 프로세스는 없다.
아래에서 더 상세히 설명될 바와 같이, 비디오 데이터의 표현 포맷을 나타내는 것, 어떤 SPS 또는 PPS가 특정한 SEI 메시지들의 해석을 위해 사용되는지를 결정하는 것, 및 AUD NAL 유닛들의 해석이, 단일-계층 비디오에서 제시되지 않는 다중 계층 비디오에서 여러 도전과제들을 제시한다. 본 개시물은 그들 도전과제들을 해결할 수도 있는 기법들을 소개한다.
도 1은 본 개시물에서 설명되는 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 도시하는 블록도이다. 시스템 (10) 은 다중 계층 비디오 데이터를 인코딩, 캡슐화, 송신, 캡슐화해제, 및 디코딩하도록 구성될 수도 있다. 도 1에 도시된 바와 같이, 시스템 (10) 은 목적지 디바이스 (14) 에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 데스크톱 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 이른바 "스마트" 폰들과 같은 무선/셀룰러 전화 핸드셋들, 이른바 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 매우 다양한 디바이스들 중 임의의 것을 포함할 수도 있다. 일부 경우들에서, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 무선 통신을 위해 장비될 수도 있다. 일부 구현예들에서, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 모바일 네트워크를 통해 통신하도록 구성되는 모바일 네트워크 디바이스들일 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 소스 디바이스 (12) 로부터의 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 이동시킬 수 있는 임의 유형의 매체 또는 디바이스를 포함할 수도 있다. 하나의 예에서, 링크 (16) 는 소스 디바이스 (12) 가 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 직접 실시간으로 송신하는 것을 가능하게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 통신 표준, 이를테면 무선 통신 프로토콜에 따라 변조되고 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면 라디오 주파수 (radio frequency, RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는 패킷 기반 네트워크, 이를테면 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다. 통신 매체는 셀룰러 또는 모바일 네트워크의 일부를 또한 형성할 수도 있고, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 GSM 네트워크, CDMA 네트워크, LTE 네트워크, 또는 다른 이러한 네트워크와 같은, 때때로 셀룰러라고 또한 불리는 모바일 통신 표준을 사용하여 통신하도록 구성될 수도 있다.
대안으로, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스 (32) 로 출력될 수도 있다. 마찬가지로, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스 (32) 로부터 액세스될 수도 있다. 저장 디바이스 (32) 는 하드 드라이브, 블루 레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산형 또는 국부적으로 액세스되는 데이터 저장 매체들 중 임의의 것을 포함할 수도 있다. 추가의 예에서, 저장 디바이스 (32) 는 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 유지할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 해당할 수도 있다. 목적지 디바이스 (14) 는 저장 디바이스 (32) 로부터의 저장된 비디오 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 유형의 서버일 수도 있다. 예의 파일 서버들은 웹 서버 (예컨대, 웹사이트용), FTP 서버, 네트워크 부속 스토리지 (network attached storage; NAS) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는 인터넷 접속을 포함한 임의의 표준 데이터 접속을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이는 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 파일 서버 상에 저장된 인코딩된 비디오 데이터에 액세스하기에 적합한 양쪽 모두의 조합을 포함할 수도 있다. 저장 디바이스 (32) 로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 양쪽 모두의 조합일 수도 있다.
본 개시물의 기법들은 무선 애플리케이션들 또는 설정 (setting) 들로 반드시 제한되지는 않는다. 그 기법들은, 다양한 멀티미디어 애플리케이션들, 이를테면 OTA (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예컨대, 인터넷을 통한 스트리밍 비디오 송신들 중 임의의 것의 지원 하의 비디오 코딩, 데이터 저장 매체 상의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오폰 통화 (video telephony) 와 같은 애플리케이션들을 지원하기 위해 단방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 1의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 캡슐화 부 (21), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 구비할 수도 있다. 소스 디바이스 (12) 에서, 비디오 소스 (18) 는 비디오 캡처 디바이스, 예컨대, 비디오 카메라, 이전에 캡처된 비디오를 담고 있는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하는 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽 데이터를 소스 비디오로서 생성하는 컴퓨터 그래픽 시스템과 같은 소스, 또는 그런 소스들의 조합을 포함할 수도 있다. 하나의 예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 와 목적지 디바이스 (14) 는 이른바 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 본 개시물에서 설명되는 기법들은 일반적으로 비디오 코딩에 적용 가능할 수도 있고, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다.
캡처된, 사전 캡처된 (pre-captured), 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 캡슐화 부 (21) 는 멀티미디어 콘텐츠의 하나 이상의 표현들을 형성할 수도 있는데, 그 표현들의 각각은 하나 이상의 계층들을 포함할 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는, 예컨대, 상이한 프레임 레이트들, 상이한 비트 레이트들, 상이한 해상도들, 또는 다른 이러한 차이들을 이용하여 상이한 방도들로 각각의 계층에서 인코딩할 수도 있다. 따라서, 캡슐화 부 (21) 는 다양한 특성들, 예컨대, 비트 레이트, 프레임 레이트, 해상도 등을 갖는 다양한 표현들을 형성할 수도 있다.
표현들의 각각은 목적지 디바이스 (14) 에 의해 취출될 수 있는 각각의 비트스트림들에 대응할 수도 있다. 캡슐화 부 (21) 는, 예컨대 멀티미디어 콘텐츠에 대한 미디어 프레젠테이션 디스크립션 (media presentation description, MPD) 데이터 구조 내에, 각각의 표현에 포함된 뷰들에 대한 다양한 뷰 식별자들 (view_id들) 의 표시를 제공할 수도 있다. 예를 들어, 캡슐화 부 (21) 는 표현의 뷰들에 대한 최대 뷰 식별자의 표시 및 최소 뷰 식별자를 제공할 수도 있다. MPD는 멀티미디어 콘텐츠의 복수의 표현들의 각각에 대해 출력을 위해 목표로 하는 뷰들의 최대 수들의 표시들을 추가로 제공할 수도 있다. MPD 또는 그 데이터는, 일부 예들에서, 표현(들)을 위한 매니페스트 (manifest) 에 저장될 수도 있다.
인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 로 직접 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안으로) 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 디코딩 및/또는 플레이백을 위한 나중의 액세스를 위해 저장 디바이스 (32) 에 저장될 수도 있다.
목적지 디바이스 (14) 는 입력 인터페이스 (28), 캡슐화해제 부 (29), 비디오 디코더 (30), 및 디스플레이 디바이스 (31) 를 구비한다. 일부 경우들에서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 구비할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 링크 (16) 를 통해 인코딩된 비디오 데이터를 수신한다. 링크 (16) 를 통해 통신되거나 또는 저장 디바이스 (32) 상에 제공된 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩함에 있어서, 비디오 디코더, 이를테면 비디오 디코더 (30) 에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 이러한 신택스 엘리먼트들은 통신 매체 상에서 송신되는, 저장 매체 상에 저장되는, 또는 파일 서버 상에 저장되는 인코딩된 비디오 데이터에 포함될 수도 있다.
목적지 디바이스 (14) 의 캡슐화해제 부 (29) 는 비트스트림 (또는 다중 계층 코딩의 맥락에서 동작 포인트라고 지칭되는, 비트스트림의 서브세트) 으로부터 SEI 메시지들을 캡슐화해제하는 유닛을 나타낼 수도 있다. 역캡슐화 부 (29) 는 캡슐화된 인코딩된 비트스트림로부터 데이터, 이를테면 SEI 메시지들을 캡슐화해제하기 위해 캡슐화 부 (21) 에 의해 수행될 동작들에 대한 반대의 순서로 동작들을 수행할 수도 있다.
디스플레이 디바이스 (31) 는 목적지 디바이스 (14) 와 통합되거나, 또는 목적지 디바이스 외부에 있을 수도 있다. 일부 예들에서, 목적지 디바이스 (14) 는 통합형 디스플레이 디바이스를 포함할 수도 있고 또한 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (31) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
비디오 인코더 (20) 와 비디오 디코더 (30) 각각은 다양한 적합한 인코더 회로, 이를테면 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (digital signal processors, DSP들), 주문형 집적회로들 (application specific integrated circuits, ASIC들), 필드 프로그램가능 게이트 어레이들 (field programmable gate arrays, FPGA들), 개별 로직, 소프트웨어, 하드웨어, 펌웨어 또는 그것들의 임의의 조합 중 임의의 것으로서 구현될 수도 있다. 그 기법들이 소프트웨어에서 부분적으로 구현되는 경우, 디바이스가 본 개시물의 기법들을 수행하기 위해, 적합한 비일시적 컴퓨터 판독가능 매체 내에 소프트웨어에 대한 명령들을 저장하고 하나 이상의 프로세서들을 사용하여 하드웨어에서 그 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들 내에 구비될 수도 있고, 그것들 중 어느 하나는 결합형 인코더/디코더 (CODEC) 의 일부로서 개별 디바이스 내에 통합될 수도 있다.
비록 도 1에 도시되지 않았지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함하여, 공통 데이터 스트림 또는 개별 데이터 스트림들에서의 오디오 및 비디오 양쪽 모두의 인코딩을 핸들링할 수도 있다. 적용 가능하다면, 일부 예들에서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (user datagram protocol, UDP) 과 같은 다른 프로토콜들에 부합할 수도 있다.
본 개시물은 다른 디바이스, 이를테면 비디오 디코더 (30) 에 특정한 정보를 "시그널링하는" 비디오 인코더 (20) 에 일반적으로 관련이 있을 수도 있다. "시그널링"이란 용어는 일반적으로는 압축된 비디오 데이터를 디코딩하는데 사용되는 신택스 엘리먼트들 및/또는 다른 데이터의 통신을 지칭할 수도 있다. 이러한 통신은 실시간 또는 거의 실시간으로 일어날 수도 있다. 대안으로, 이러한 통신은, 인코딩 시에 신택스 엘리먼트들을 인코딩된 비트스트림으로 컴퓨터 판독가능 저장 매체에 저장하고 그 신택스 엘리먼트들이 이 매체에 저장된 후의 임의의 시간에 디코딩 디바이스에 의해 취출될 수도 있는 경우에 일어날 바와 같이 어떤 기간 (span of time) 에 걸쳐 일어날 수도 있다.
일부 예들에서, 비디오 인코더 (20) 와 비디오 디코더 (30) 는, ISO/IEC MPEG-4 비주얼 그리고 SVC (Scalable Video Coding) 확장본, MVC (Multiview Video Coding) 확장본, MVC 기반 3DV 확장본을 포함한 ITU-T H.264 (또한 ISO/IEC MPEG-4 AVC로 알려짐) 와 같은 비디오 압축 표준에 따라 동작한다. 다른 예들에서, 비디오 인코더 (20) 와 비디오 인코더 (30) 는, ITU-T 비디오 코딩 전문가 그룹 (Video Coding Experts Group, VCEG) 및 ISO/IEC 동 화상 전문가 그룹 (Motion Picture Experts Group, MPEG) 의 JCT-VC (Joint Collaboration Team on Video Coding) 에 의해 개발된 HEVC 표준에 따라 동작할 수도 있다.
더욱이, HEVC에 대한 스케일러블 비디오 코딩, 멀티-뷰 코딩, 및 3DV 확장본들을 생성하려는 노력이 지속되고 있다. HEVC의 스케일러블 비디오 코딩 확장본은 SHVC라고 지칭될 수도 있다. SHVC의 최근 규격 초안 (WD) (이후로는 SHVC WD5 또는 현재 SHVC WD라고 지칭됨) 이, 『Chen et al., "High Efficiency Video Coding (HEVC) scalable extension draft 5," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, document JCTVC-P1008_v4, 16th Meeting, San Jose, Jan. 2014』에서 설명된다. MV-HEVC의 최근 규격 초안 (WD) (이후로는 MV-HEVC WD7 또는 현재 MV-HEVC WD라고 지칭됨) 이, 『Tech et al., "MV-HEVC Draft Text 7," Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, document JCTVC-G1004_v7, 16th Meeting, San Jose, Jan. 2014』에서 설명된다.
HEVC 및 다른 비디오 코딩 규격들에서, 비디오 시퀀스가 일련의 픽처들을 통상 포함한다. 픽처들은 "프레임들"이라고 또한 지칭될 수도 있다. 픽처가 SL, SCb 및 SCr로 표시되는 세 개의 샘플 어레이들을 포함할 수도 있다. SL은 루마 샘플들의 2차원 어레이 (즉, 블록) 이다. SCb는 Cb 색차 샘플들의 2차원 어레이이다. SCr은 Cr 색차 샘플들의 2차원 어레이이다. 색차 샘플들은 본원에서 "크로마" 샘플들이라고 또한 지칭될 수도 있다. 다른 사례들에서, 픽처가 모노크롬일 수도 있고 루마 샘플들의 어레이만을 포함할 수도 있다.
픽처의 인코딩된 표현을 생성하기 위해, 비디오 인코더 (20) 는 코딩 트리 유닛들 (coding tree units, CTU) 의 세트를 생성할 수도 있다. CTU들의 각각은, 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2 개의 대응 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 모노크롬 픽처들 또는 별개의 세 개의 컬러 평면들을 갖는 픽처들에서, CTU가 단일 코딩 트리 블록과 그 코딩 트리 블록의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 코딩 트리 블록이 샘플들의 NxN 블록일 수도 있다. CTU가 "트리 블록" 또는 "최대 코딩 유닛 (largest coding unit; LCU)"이라고 또한 지칭될 수도 있다. HEVC의 CTU들은 다른 표준들, 이를테면 H.264/AVC의 매크로블록들과 대체로 유사할 수도 있다. 그러나, CTU가 특정 사이즈로 반드시 제한되는 것은 아니고 하나 이상의 코딩 유닛들 (CU들) 을 포함할 수도 있다. 슬라이스가 래스터 스캔 순서에서 연속하여 순서화된 정수 수의 CTU들을 포함할 수도 있다.
코딩된 CTU를 생성하기 위해, 비디오 인코더 (20) 는 CTU의 코딩 트리 블록들에 대해 쿼드트리 구획화를 재귀적으로 수행하여 코딩 트리 블록들을 코딩 블록들로 나눌 수도 있으며, 그래서 그 이름이 "코딩 트리 유닛들"이다. 코딩 블록이 샘플들의 NxN 블록일 수도 있다. CU가, 루마 샘플 어레이, Cb 샘플 어레이 및 Cr 샘플 어레이를 갖는 픽처의 루마 샘플들의 코딩 블록 및 크로마 샘플들의 대응하는 두 개의 코딩 블록들과, 그 코딩 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 모노크롬 픽처들 또는 별개의 세 개의 컬러 평면들을 갖는 픽처들에서, CU가 단일 코딩 블록과 그 코딩 블록의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 CU의 코딩 블록을 하나 이상의 예측 블록들로 구획화할 수도 있다. 예측 블록이 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형이거나 또는 정사각형이 아닌) 블록이다. CU의 예측 유닛 (prediction unit, PU) 이 루마 샘플들의 예측 블록, 크로마 샘플들의 대응하는 두 개의 예측 블록들, 및 그 예측 블록들을 예측하는데 사용된 신택스 구조들을 포함할 수도 있다. 모노크롬 픽처들 또는 별개의 세 개의 컬러 평면들을 갖는 픽처들에서, PU가 단일 예측 블록과 그 예측 블록을 예측하는데 사용된 신택스 구조들을 포함할 수도 있다. 비디오 인코더 (20) 는 CU의 각각의 PU의 루마, Cb 및 Cr 예측 블록들에 대한 예측 루마, Cb 및 Cr 블록들을 생성할 수도 있다.
비디오 인코더 (20) 는 PU에 대한 예측 블록들을 생성하기 위해 인트라 예측 또는 인터 예측을 사용할 수도 있다. 비디오 인코더 (20) 가 PU의 예측 블록들을 생성하기 위해 인트라 예측을 사용하면, 비디오 인코더 (20) 는 그 PU와 연관된 픽처의 디코딩된 샘플들에 기초하여 그 PU의 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 가 PU의 예측 블록들을 생성하기 위해 인터 예측을 사용하면, 비디오 인코더 (20) 는 그 PU와 연관된 픽처 이외의 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여 그 PU의 예측 블록들을 생성할 수도 있다.
비디오 인코더 (20) 가 CU의 하나 이상의 PU들에 대한 예측 루마, Cb 및 Cr 블록들을 생성한 후, 비디오 인코더 (20) 는 그 CU에 대한 루마 잔차 블록을 생성할 수도 있다. CU의 루마 잔차 블록에서의 각각의 샘플은 CU의 예측 루마 블록들 중 하나의 예측 루마 블록에서의 루마 샘플과 CU의 원래의 루마 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낸다. 덧붙여서, 비디오 인코더 (20) 는 CU에 대한 Cb 잔차 블록을 생성할 수도 있다. CU의 Cb 잔차 블록에서의 각각의 샘플은 CU의 예측 Cb 블록들 중 하나의 예측 Cb 블록에서의 Cb 샘플과 CU의 원래의 Cb 코딩 블록에서의 대응 샘플 간의 차이를 나타낼 수도 있다. 비디오 인코더 (20) 는 CU에 대한 Cr 잔차 블록을 또한 생성할 수도 있다. CU의 Cr 잔차 블록에서의 각각의 샘플은 CU의 예측 Cr 블록들 중 하나의 예측 Cr 블록에서의 Cr 샘플과 CU의 원래의 Cr 코딩 블록에서의 대응 샘플 간의 차이를 나타낼 수도 있다.
더욱이, 비디오 인코더 (20) 는 쿼드트리 구획화를 사용하여 CU의 루마, Cb 및 Cr 잔차 블록들을 하나 이상의 루마, Cb 및 Cr 변환 블록들로 분해할 수도 있다. 동일한 변환이 적용되는 샘플들의 직사각형 (예컨대, 정사각형이거나 또는 정사각형이 아닌) 블록이 변환 블록이다. CU의 변환 유닛 (PU) 이 루마 샘플들의 변환 블록, 크로마 샘플들의 두 개의 대응하는 변환 블록들, 및 그 변환 블록 샘플들을 변환하는데 사용된 신택스 구조들을 포함할 수도 있다. 따라서, CU의 각각의 TU는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록와 연관될 수도 있다. TU와 연관된 루마 변환 블록은 CU의 루마 잔차 블록의 서브-블록일 수도 있다. Cb 변환 블록은 CU의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 변환 블록은 CU의 Cr 잔차 블록의 서브-블록일 수도 있다. 모노크롬 픽처들 또는 별개의 3 개의 컬러 평면들을 갖는 픽처들에서, TU가 단일 변환 블록과 그 변환 블록의 샘플들을 변환하는데 사용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 하나 이상의 변환들을 TU의 루마 변환 블록에 적용하여 그 TU에 대한 루마 계수 블록을 생성할 수도 있다. 계수 블록이 변환 계수들의 2차원 어레이일 수도 있다. 변환 계수가 스칼라 양일 수도 있다. 비디오 인코더 (20) 는 하나 이상의 변환들을 TU의 Cb 변환 블록에 적용하여 TU에 대한 Cb 계수 블록을 생성할 수도 있다. 비디오 인코더 (20) 는 하나 이상의 변환들을 TU의 Cr 변환 블록에 적용하여 TU에 대한 Cr 계수 블록을 생성할 수도 있다.
계수 블록 (예컨대, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록) 을 생성한 후, 비디오 인코더 (20) 는 그 계수 블록을 양자화할 수도 있다. 양자화는 변환 계수들이 그 변환 계수들을 표현하는데 사용된 데이터의 양을 가능한 한 줄이도록 양자화되어서, 추가의 압축을 제공하는 프로세스를 일반적으로 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들에 대해 콘텍스트 적응 이진 산술 코딩 (Context-Adaptive Binary Arithmetic Coding, CABAC) 을 수행할 수도 있다.
비디오 인코더 (20) 는 코딩된 픽처들의 표현 및 연관된 데이터를 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수도 있다. 그 비트스트림은 NAL 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛이, NAL 유닛에서의 데이터의 유형의 표시 (표시) 와 에뮬레이션 방지 바이트들로 필요한대로 점재된 (interspersed) RBSP 형태로 그 데이터를 포함한 바이트들을 포함하는 신택스 구조이다. NAL 유닛들의 각각은 NAL 유닛 헤더를 포함하고 RBSP를 캡슐화한다. NAL 유닛 헤더는 NAL 유닛 유형 코드를 나타내는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 특정된 NAL 유닛 유형 코드는 NAL 유닛의 유형을 나타낸다. RBSP가 NAL 유닛 내에 캡슐화되는 정수 수의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부 사례들에서, RBSP가 영 비트들을 포함한다.
상이한 유형들의 NAL 유닛들이 상이한 유형들의 RBSP들을 캡슐화할 수도 있다. 예를 들어, 제 1 유형의 NAL 유닛이 PPS에 대한 RBSP를 캡슐화할 수도 있으며, 제 2 유형의 NAL 유닛이 코딩된 슬라이스에 대한 RBSP를 캡슐화할 수도 있으며, 제 3 유형의 NAL 유닛이 SEI 메시지들에 대한 RBSP를 캡슐화할 수도 있다는 등등이다. 비디오 코딩 데이터에 대한 RBSP들 (파라미터 세트들 및 SEI 메시지들에 대한 RBSP과는 대조적임) 을 캡슐화하는 NAL 유닛들은, VCL NAL 유닛들이라고 지칭될 수도 있다.
비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 생성된 비트스트림을 수신할 수도 있다. 덧붙여서, 비디오 디코더 (30) 는 비트스트림으로부터 신택스 엘리먼트들을 획득하기 위해 그 비트스트림을 파싱할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 획득된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 복원할 수도 있다. 비디오 데이터를 복원하는 프로세스는 비디오 인코더 (20) 에 의해 수행된 프로세스에 일반적으로 역일 수도 있다. 덧붙여서, 비디오 디코더 (30) 는 현재 CU의 TU들와 연관된 계수 블록들을 역 양자화할 수도 있다. 비디오 디코더 (30) 는 현재 CU의 TU들와 연관된 변환 블록들을 복원하기 위해 계수 블록들에 대해 역 변환들을 수행할 수도 있다. 비디오 디코더 (30) 는 현재 CU의 PU들에 대한 예측 블록들의 샘플들을 현재 CU의 TU들의 변환 블록들의 대응 샘플들에 가산함으로써 현재 CU의 코딩 블록들을 복원할 수도 있다. 픽처의 각각의 CU에 대한 코딩 블록들을 복원함으로써, 비디오 디코더 (30) 는 그 픽처를 복원할 수도 있다.
멀티-뷰 코딩에서는, 동일한 장면의 상이한 관점들로부터의 다수의 뷰들이 있을 수도 있다. 위에서 언급된 바와 같이, 액세스 유닛이 동일한 타임 인스턴스에 대응하는 픽처들의 세트를 포함한다. 따라서, 비디오 데이터는 시간이 지남에 따라 발생하는 일련의 액세스 유닛들로서 개념화될 수도 있다. "뷰 성분"이 단일 액세스 유닛에서의 뷰의 코딩된 표현일 수도 있다. 본 개시물에서, "뷰"가 동일한 뷰 식별자와 연관된 뷰 성분들의 시퀀스를 지칭할 수도 있다. 뷰 성분들의 예시적 유형들이 텍스처 뷰 성분들과 깊이 뷰 성분들을 포함한다.
멀티-뷰 코딩은 뷰 간 예측을 지원한다. 뷰 간 예측은 HEVC에서 사용된 인터 예측과 유사하고, 동일한 신택스 엘리먼트들을 사용할 수도 있다. 그러나, 비디오 코더가 현재 비디오 유닛 (이를테면 PU) 에 대해 뷰 간 예측을 수행하는 경우, 비디오 인코더 (20) 는, 참조 픽처로서, 현재 비디오 유닛과는 동일한 액세스 유닛에 있지만 상이한 뷰에 있는 픽처를 사용할 수도 있다. 그 반면, 기존의 인터 예측은 상이한 액세스 유닛들에서의 픽처들만을 참조 픽처들로서 사용한다.
멀티-뷰 코딩에서, 비디오 디코더 (예컨대, 비디오 디코더 (30)) 가 뷰에서의 픽처들을 임의의 다른 뷰에서의 픽처들에 대한 참조 없이 디코딩할 수 있다면, 그 뷰는 "기본 뷰 (base view)"라고 지칭될 수도 있다. 비-기본 뷰 (non-base view) 들 중 하나의 비-기본 뷰에서의 픽처를 코딩하는 경우, 그 픽처가 비디오 코더가 현재 코딩하고 있는 픽처와는 상이한 뷰에 있지만 동일한 시간 인스턴스 (즉, 액세스 유닛) 내에 있다면, 비디오 코더 (이를테면 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 그 픽처를 참조 픽처 리스트에 추가할 수도 있다. 다른 인터 예측 참조 픽처들처럼, 비디오 코더는 뷰 간 예측 참조 픽처를 참조 픽처 리스트의 임의의 포지션에 삽입할 수도 있다.
H.264/AVC 및 HEVC 둘 다에서 지원되는 SEI 메커니즘은, 출력 픽처들의 샘플 값들의 올바른 디코딩을 위해 요구되지 않지만 다양한 다른 목적들, 이를테면 픽처 출력 타이밍, 디스플레이, 뿐만 아니라 손실 검출 및 은닉을 위해 사용될 수 있는 그런 메타데이터를 비디오 인코더 (예컨대, 비디오 인코더 (20)) 가 비트스트림에 포함시키는 것을 가능하게 한다. 비디오 인코더 (20) 는 SEI 메시지들을 사용하여 픽처들의 샘플 값들의 올바른 디코딩에 요구되지 않는 메타데이터를 비트스트림에 포함시킬 수도 있다. 그러나, 비디오 디코더 (30) 또는 다른 디바이스들은 다양한 다른 목적들을 위해 SEI 메시지들에 포함된 메타데이터를 사용할 수도 있다. 예를 들어, 비디오 디코더 (30) 또는 다른 디바이스는 픽처 출력 타이밍, 픽처 디스플레이, 손실 검출, 및 에러 은닉을 위해 SEI 메시지들에서의 메타데이터를 사용할 수도 있다.
비디오 인코더 (20) 는 하나 이상의 SEI NAL 유닛들을 액세스 유닛에의 포함을 위해 생성할 수도 있다. 다르게 말하면, 임의의 수의 SEI NAL 유닛들이 액세스 유닛와 연관될 수도 있다. 더욱이, 각각의 SEI NAL 유닛은 하나 이상의 SEI 메시지들을 포함할 수도 있다. 다시 말하면, 비디오 인코더들은 임의의 수의 SEI NAL 유닛들을 액세스 유닛에 포함시킬 수도 있고, 각각의 SEI NAL 유닛은 하나 이상의 SEI 메시지들을 포함할 수 있다. SEI NAL 유닛이 NAL 유닛 헤더와 패이로드를 포함할 수도 있다. SEI NAL 유닛의 NAL 유닛 헤더는 적어도 제 1 신택스 엘리먼트와 제 2 신택스 엘리먼트를 포함한다. 제 1 신택스 엘리먼트는 SEI NAL 유닛의 계층 식별자를 특정한다. 제 2 신택스 엘리먼트는 SEI NAL 유닛의 시간적 식별자를 특정한다.
네스팅된 SEI 메시지가 스케일러블 네스팅 SEI 메시지에 포함되는 SEI 메시지를 지칭한다. 비-네스팅된 SEI 메시지가 스케일러블 네스팅 SEI 메시지에 포함되지 않는 SEI 메시지를 지칭한다. SEI NAL 유닛의 패이로드는 네스팅된 SEI 메시지 또는 비-네스팅된 SEI 메시지를 포함할 수도 있다.
HEVC 표준은 다양한 유형들의 SEI 메시지들에 대한 신택스 및 시맨틱스를 설명한다. 그러나, HEVC 표준은 SEI 메시지들의 핸들링을 설명하지 않는데, SEI 메시지들이 규범적 디코딩 프로세스에 영향을 미치지 않기 때문이다. HEVC 표준에서 SEI 메시지들을 가지고 있는 하나의 이유는, 보충적 데이터가 HEVC를 사용하여 상이한 시스템들에서 동일하게 해석되는 것을 가능하게 한다는 것이다. HEVC를 사용하는 사양들 및 시스템들은 비디오 인코더들이 특정한 SEI 메시지들을 생성하는 것을 요구할 수도 있거나 또는 특정 유형들의 수신된 SEI 메시지들의 특정 핸들링을 정의할 수도 있다.
아래의 표 1은, HEVC에서 특정된 SEI 메시지들을 열거하고 그것들의 목적들을 간략히 설명한다:
표 1 - SDEI 메시지들의 개관
Figure pct00001
위에서 소개된 바와 같이, 본 개시물은 다중 계층 비디오 코딩에 관련된 기법들을 소개하고, 더 상세하게는, 독립적인 비-기본 계층들 (INBL들) 의 표현 포맷, 어떤 SPS 또는 PPS가 특정한 SEI 메시지들의 해석을 위해 사용되는지, 및 AUD NAL 유닛들의 프로세싱을 포함하는 다중 계층 비디오 코딩의 양태들에 관련된 기법들을 소개한다.
비디오 인코더 (20) 는 다중 계층 비디오 데이터를 생성하도록 구성될 수도 있고, 비디오 디코더 (30) 는 다중 계층 비디오 데이터를 디코딩하도록 구성될 수도 있다. 다중 계층 비디오 데이터는 기본 계층뿐만 아니라 하나 이상의 비-기본 계층들을 포함할 수도 있다. 비-기본 계층들은 디코딩을 위해 다른 계층들에 의존하는 의존적인 기본 계층들과 디코딩을 위해 다른 계층들에 의존하지 않는 INBL들 양쪽 모두를 포함할 수도 있다. 다중 계층 비디오 코딩에서의 INBL들의 현존 구현예들은 일부 잠재적 문제들을 포함한다.
현존 구현예들과 함께하는 잠재적 문제의 하나의 예로서, 0을 초과하는 계층 식별자 (예컨대, nuh_layer_id) 를 갖는 계층이, 그 계층이 INBL인지의 여부에 상관없이, VPS에서 시그널링된 표현 포맷을 사용한다. 표현 포맷은 폭, 높이, 비트 깊이, 및 컬러 포맷과 같은 파라미터들을 포함한다. 1과 동일한 V1CompatibleSPSFlag 또는 0과 동일한 nuh_layer_id를 갖는 SPS를 참조하는 INBL이, 예컨대, JCTVC-R0010v3/JCT3V-I0010v3 (http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0010-v3.zip) 에서의 AHG10 출력 텍스트에서 특정된 바와 같이, HEVC 버전 1 호환 기본 계층인 것으로 다시 쓰이는 (rewrite) 것이라면, VPS로부터의 사용된 표현 포맷이 SPS에서 시그널링되는 (파라미터들 중 임의의 것에 대한) 표현 포맷과 상이한 경우, 다시쓰기 프로세스는 표현 포맷이 VPS로부터의 사용된 표현 포맷과 동일하도록 SPS를 변경하는 것이 필요하다. 이 요건은 전체 SPS의 다시쓰기를 필요로 하는데, 이는 INBL의 HEVC 버전 1 호환 기본 계층으로의 전체 다시쓰기 프로세스가 훨씬 더 많이 복잡해지게 할 수도 있다.
V1CompatibleSPSFlag가 1과 동일한 경우, SPS는 HEVC 버전 1에서 특정된 SPS 신택스와는 호환 가능하고 HEVC 버전 1에 따라 구현된 레거시 HEVC 디코더들에 의해 파싱될 수 있다. V1CompatibleSPSFlag가 0과 동일한 경우, SPS는 HEVC 버전 1에서 특정된 SPS 신택스와는 호환 가능하지 않고 HEVC 버전 1에 따라 구현된 레거시 HEVC 디코더들에 의해 파싱될 수 없다.
본 개시물은 위에서 설명된 문제를 해결할 수도 있는 여러 기법들을 소개한다. 하나의 예로서, 비디오 인코더 (20) 는 VPS로부터의 사용된 표현 포맷과 INBL에 대해 SPS에서 시그널링된 표현 포맷이 동일하도록 다중 계층 비디오를 인코딩하도록 구성될 수도 있다. 부가적으로 또는 대안으로, INBL만을 포함하는 비트스트림 구획에 포함된 INBL에 대해, 특정된 표현 포맷은 액티브 SPS에서 시그널링된 표현 포맷이다. 부가적으로 또는 대안으로, 임의의 INBL에 대해, 특정 표현 포맷은 계층에 대해 액티브 SPS에서 시그널링되는 표현 포맷일 수도 있다.
다중 계층 비디오의 현존 구현예들과 함께하는 잠재적 문제의 다른 예로서, SEI 메시지가, 예컨대, SEI 메시지가 네스팅된 경우, 다수의 계층들 또는 다수의 계층들을 포함하는 (출력) 계층 세트와 연관되는 (출력) 동작 포인트에 적용될 수도 있다. 이러한 사례에서, 다수의 액티브 SPS들과 다수의 액티브 PPS들이 있을 수 있다. 예를 들어, 각각의 계층에 대해 액티브 SPS와 액티브 PPS가 있을 수도 있는데, 이는 어떤 PPS 또는 SPS에 일부 SEI 메시지들이 적용되는지를 불분명하게 할 수도 있다.
예를 들어, 플래그들 "general_progressive_source_flag"와 "general_interlaced_source_flag"는 프레임-필드 정보 SEI 메시지의 ffinfo_source_scan_type의 시맨틱스에서 언급된다. 이들 두 개의 플래그들은 프로파일, 티어 및 레벨 (profile, tier and level, PTL) 신택스 구조에 위치되는데, 그것들은 액티브 SPS들의 각각에 있을 수 있고 플래그들의 다수의 인스턴스들은 VPS에서도 제시될 수도 있다. 그러므로, 프레임-필드 정보 SEI 메시지가 다수의 계층들에 적용될 경우 두 개의 플래그들을 포함하는 어떤 PTL 신택스 구조가 적용될지를 명확히 해야 한다. 유사한 문제들이 ffinfo_pic_struct의 시맨틱스에서 사용되는 SPS 플래그 "field_seq_flag"와 프레임-필드 정보 SEI 메시지에서의 ffinfo_duplicate_flag에 대해 존재한다.
위에서 설명된 문제를 잠재적으로 해결하기 위해, 본 개시물은 프레임-필드 정보 SEI 메시지가 적용되는 계층들에 대한 모든 액티브 SPS들에 대해 field_seq_flag의 값이 동일하다는 것을 요구할 수도 있는 인코딩 제약을 도입한다. 부가적으로 또는 대안으로, 본 개시물은, 계층들에 대한 모든 액티브 SPS들에 대해 field_seq_flag의 값이 동일하지 않다면 계층들의 세트에 적용할 프레임-필드 정보 SEI 메시지가 존재하지 않을 것을 요구할 수도 있는 인코딩 제약을 도입한다. HEVC에서, 1과 동일한 field_seq_flag는 CVS가 필드들을 표현하는 픽처들을 운반함을 나타내고, 픽처 타이밍 SEI 메시지가 현재 CVS의 모든 액세스 유닛에 존재할 것임을 특정한다. HEVC에서, 0과 동일한 field_seq_flag는 CVS가 프레임들을 표현하는 픽처들을 운반함을 나타내고, 픽처 타이밍 SEI 메시지가 현재 CVS의 임의의 액세스 유닛에 존재할 수도 있거나 또는 존재하지 않을 수도 있다는 것을 특정한다.
마찬가지로, 플래그들 "general_progressive_source_flag"와 "general_interlaced_source_flag"의 경우, 본 개시물은 프레임-필드 정보 SEI 메시지가 적용되는 계층들을 포함하는 비트스트림 구획들에 적용되는 모든 PTL 신택스 구조들에 대해, 플래그들이 각각 동일할 것을 요구할 수도 있는 인코딩 제약을 도입한다. HEVC에 따르면, general_progressive_source_flag와 general_interlaced_source_flag는 다음과 같이 해석된다:
- general_progressive_source_flag가 1과 동일하고 general interlaced_source_flag가 0과 동일하면, CVS에서의 픽처들의 소스 스캔 유형은 프로그레시브로서만 해석되어야 한다.
- 그렇지 않고, general_progressive_source_flag가 0과 동일하고 general_interlaced_source_flag가 1과 동일하면, CVS에서의 픽처들의 소스 스캔 유형은 인터레이스로서만 해석되어야 한다.
- 그렇지 않고, general_progressive_source_flag가 0과 동일하고 general_interlaced_source_flag가 0과 동일하면, CVS에서의 픽처들의 소스 스캔 유형은 미지이거나 또는 특정되지 않은 것으로서 해석되어야 한다.
그렇지 않으면 (general_progressive_source_flag가 1과 동일하고 general_interlaced_source_flag가 1과 동일하면), CVS에서의 각각의 픽처의 소스 스캔 유형은 픽처 타이밍 SEI 메시지에서의 신택스 엘리먼트 source_scan_type을 사용하여 픽처 레벨에서 나타내어진다. 유사한 제약들이 다른 SEI 메시지들의 신택스 엘리먼트들에도 적용될 수도 있다. 다수의 계층들 또는 다수의 (출력) 계층 세트들에 적용되는 임의의 SEI 메시지 seiA에 대해, seiA의 부분이 아닌 임의의 신택스 엘리먼트의 다수의 인스턴스들이 seiA의 부분인 임의의 신택스 엘리먼트의 시맨틱스에 수반된다면, seiA의 부분이 아닌 신택스 엘리먼트의 값은 모든 인스턴스들에 대해 동일하다. 그러므로, 비디오 인코더 (20) 가, SEI 메시지가 다중 계층 비디오 데이터의 하나를 초과하는 계층들에 적용된다고 결정하고 SEI 메시지가 다중 계층 비디오 데이터의 하나를 초과하는 계층들와 연관된 다수의 인스턴스들을 갖는 신택스 엘리먼트를 참조한다고 결정하면, 비디오 인코더 (20) 는 다수의 인스턴스들의 모두를 동일한 값으로 설정한다. 신택스 엘리먼트는 field_seq_flag 신택스 엘리먼트, general_progressive_source_flag 신택스 엘리먼트, general_interlaced_source_flag 신택스 엘리먼트, 또는 본 명세서에서 설명되는 임의의 다른 이러한 신택스 엘리먼트 중 임의의 것일 수도 있다.
위에서 소개된 바와 같이, 본 개시물은 AUD NAL 유닛들에 관련된 여러 기법들을 또한 소개하는데, 그 기법들은 현재 구현된 바와 같이 다중 계층 비디오와 연계하여 사용되는 경우 일부 잠재적인 단점을 갖는다. AUD NAL 유닛에서의 신택스 엘리먼트 "pic_type"의 시맨틱스는 다중 계층 비트스트림에서와 같은 다중 계층 콘텍스트들에서 분명하지 않을 수도 있다. 다중 계층 콘텍스트에서의 액세스 유닛이 하나 이상의 코딩된 픽처들을 포함할 수도 있지만, pic_type의 시맨틱스는 그것이 "코딩된 픽처"에 존재하는 슬라이스들의 유형을 나타내는데 사용될 수도 있다는 것을 나타낸다. 그러므로, 잠재적으로 하나를 초과하는 픽처들이 액세스 유닛에 있는 다중 계층 비디오 콘텍스트에서, 현재의 시맨틱스는 불분명하다.
이 잠재적인 단점을 해결하기 위해, 본 개시물은 AUD NAL 유닛 시맨틱스를 다음과 같이 변경하는 것을 제안한다. 액세스 유닛 구분자 RBSP 시맨틱스는 (밑줄친 텍스트는 추가이고 [[대괄호로 묶은 텍스트]]는 제거로 하여) 다음과 같이 변경된다.
액세스 유닛 구분자는 액세스 유닛 구분자 NAL 유닛을 포함하는 액세스 유닛에서 [[a]] 모든 코딩된 픽처들에 존재하는 슬라이스들의 유형을 나타내는데 그리고 액세스 유닛들 간의 경계의 검출을 단순화하는데 사용될 수도 있다. 액세스 유닛 구분자와 연관된 규범적 디코딩 프로세스는 없다.
pic _type은 액세스 유닛 구분자 NAL 유닛을 포함하는 액세스 유닛에서의 코딩된 픽처들의 모든 슬라이스들에 대한 slice_type 값들이 pic_type의 주어진 값에 대한 표 7-2에 열거된 세트의 구성원이라는 것을 나타낸다. pic_type은 이 규격의 이 버전에 부합하는 비트스트림들에서 0, 1 또는 2와 동일할 것이다. pic_type의 다른 값들은 ITU-T | ISO/IEC에 의한 향후의 사용을 위해 유보된다. 이 규격의 이 버전에 부합하는 디코더들은 pic_type의 예약된 값들을 무시할 것이다. pic_type의 값은 이 규격의 이 버전에 부합하는 비트스트림들에서 0, 1, 또는 2와 동일할 것이다. pic_type의 다른 값들은 ITU-T | ISO/IEC에 의한 향후의 사용을 위해 유보된다. 이 규격의 이 버전에 부합하는 디코더들은 pic_type의 예약된 값들을 무시할 것이다.
표 7-2 - pic_type의 해석
Figure pct00002
대안적으로, pic_type의 시맨틱스는, 액세스 유닛 구분자 NAL 유닛의 nuh_layer_id와 동일한 nuh_layer_id를 갖는 액세스 유닛에서의 코딩된 픽처의 모든 슬라이스들에 대한 slice_type 값들이 pic_type의 주어진 값에 대한 표 7-2에 열거된 세트의 구성원들임을 pic_type의 값이 나타내도록 단순화될 수도 있다.
다중 계층 비디오 코딩의 현존 구현예들은 0 외의 값과 동일한 nuh_layer_id를 갖는 AUD NAL 유닛을 프로세싱하는 것에 관련된 일부 잠재적 문제들을 또한 갖는다. 예를 들어, HEVC 버전 1 규격은 다음의 제약조건을 갖는다:
액세스 유닛 구분자 NAL 유닛이 존재하는 경우, 그것은 제 1 NAL 유닛일 것이다. 기껏해야 하나의 액세스 유닛 구분자 NAL 유닛이 임의의 액세스 유닛에 있을 것이다.
이 제약조건은 HEVC 버전 1 규격에 적용된다. 그러나, 다중 계층 비트스트림이 0을 초과하는 nuh_layer_id를 갖는 AUD NAL 유닛들을 포함하는 경우, 그러한 AUD NAL 유닛들은 버전 1 디코더에 의해 새로운 액세스 유닛의 개시부분인 것으로 간주되지 않아야 한다. 그렇게 못할 경우, 디코더는 0을 초과하는 nuh_layer_id를 갖는 임의의 NAL 유닛들을 인식하지 못할 것이므로 빈 액세스 유닛들임을 알게 될 것이고 그 비트스트림을 부합하지 않는 것으로서 간주할 것이지만 이러한 다중 계층 비트스트림의 기본 계층이 그렇지 않으면 디코딩가능할 수도 있다.
본 개시물의 기법에 따르면, AUD NAL 유닛의 제약조건은 (밑줄친 텍스트를 추가된 것으로 하여) 다음과 같이 수정될 수도 있다:
0과 동일한 nuh _layer_id를 갖는 액세스 유닛 구분자 NAL 유닛이 존재하는 경우, 그것은 제 1 NAL 유닛일 것이다. 임의의 액세스 유닛에서 0과 동일한 nuh_layer_id를 갖는 기껏해야 하나의 액세스 유닛 구분자 NAL 유닛이 있을 것이다.
대안적으로, 제약조건은 다음과 같이 수정된다:
0과 동일한 nuh _layer_id를 갖는 액세스 유닛 구분자 NAL 유닛이 존재하는 경우, 그것은 제 1 NAL 유닛일 것이다. 기껏해야 하나의 액세스 유닛 구분자 NAL 유닛이 임의의 액세스 유닛에 있을 것이다. 따라서, 본 개시물의 기법들에 따르면, 비디오 인코더 (20) 는, 제 1 액세스 유닛에 대해, 0과 동일한 계층 식별자 값 (예컨대, nuh_layer_id) 값을 갖는 제 1 AUD NAL 유닛을 생성하고, 제 1 액세스 유닛에 대해, 제로를 초과하는 계층 식별자들을 갖는 후속 AUD NAL 유닛들을 생성할 수도 있다. 비디오 디코더 (30) 는, 제 1 액세스 유닛에 대해, 0과 동일한 계층 식별자를 갖는 제 1 AUD NAL 유닛을 수신하고, 제 1 액세스 유닛에 대해, 제로를 초과하는 계층 식별자들을 갖는 후속 AUD NAL 유닛들을 수신할 수도 있다. 제 1 액세스 유닛에서, 제 2 AUD NAL 유닛은 제 1 AUD NAL 유닛과 적어도 하나의 VCL NAL 유닛을 뒤따른다.
도 2는 본 개시물에서 설명되는 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 를 도시하는 블록도이다. 도 2는 설명의 목적으로 제공되고 본 개시물에서 폭넓게 예시되고 설명된 바와 같은 기법들의 제한으로서 고려되지 않아야 한다. 설명의 목적으로, 본 개시물은 HEVC 코딩의 맥락에서 비디오 인코더 (20) 를 설명한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용 가능할 수도 있다.
비디오 인코더 (20) 는 본 개시물에서 설명되는 기법들을 구현할 수도 있는 다른 예시적인 디바이스인 사후-프로세싱 엔티티 (27) 에게 비디오를 출력하도록 구성될 수도 있다. 사후 프로세싱 엔티티 (27) 는, 비디오 인코더 (20) 로부터의 인코딩된 비디오 데이터를 프로세싱할 수도 있는 미디어 인식 네트워크 엘리먼트 (media aware network element, MANE) 또는 잘라이음 (splicing) /편집 디바이스와 같은 비디오 엔티티의 일 예를 나타내기 위해 의도된다. 일부 경우들에서, 사후 프로세싱 엔티티는 네트워크 엔티티의 일 예일 수도 있다. 일부 비디오 인코딩 시스템들에서, 사후 프로세싱 엔티티 (27) 와 비디오 인코더 (20) 는 별개의 디바이스들의 부분들일 수도 있지만, 다른 사례들에서, 사후 프로세싱 엔티티 (27) 에 관해 설명된 기능은 비디오 인코더 (20) 를 포함하는 동일한 디바이스에 의해 구현될 수도 있다.
비디오 인코더 (20) 는 비디오 슬라이스들 내의 비디오 블록들의 인트라 코딩 및 인터 코딩을 수행할 수도 있다. 인트라-코딩은 공간적 예측에 의존하여, 주어진 비디오 프레임 또는 픽처 내의 비디오에서 공간적 리던던시를 감소시키거나 또는 제거한다. 인터 코딩은 시간적 예측에 의존하여, 비디오 시퀀스의 인접한 프레임들 또는 픽처들 내의 비디오에서 시간적 리던던시를 감소시키거나 또는 제거한다. 인트라 모드 (I 모드) 는 여러 공간 기반 압축 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양-예측 (B 모드) 과 같은 인터 모드들은 여러 시간 기반 압축 모드들 중 임의의 것을 지칭할 수도 있다.
도 2의 예에서, 비디오 인코더 (20) 는 비디오 데이터 메모리 (33), 구획화 부 (35), 예측 프로세싱 부 (41), 필터 부 (63), 디코딩된 픽처 버퍼 (decoded picture buffer, DBF) (64), 합산기 (50), 변환 프로세싱 부 (52), 양자화 부 (54), 및 엔트로피 인코딩 부 (56) 를 포함한다. 예측 프로세싱 부 (41) 는 모션 추정 부 (42), 모션 보상 부 (44), 및 인트라 예측 프로세싱 부 (46) 를 포함한다. 비디오 블록 복원을 위해, 비디오 인코더 (20) 는 또한 역 양자화 부 (58), 역 변환 프로세싱 부 (60), 및 합산기 (62) 를 구비한다. 필터 부 (63) 는 블록화제거 필터, 적응 루프 필터 (adaptive loop filter; ALF), 및 샘플 적응 오프셋 (sample adaptive offset; SAO) 필터와 같은 하나 이상의 루프 필터들을 나타내고자 하는 것이다. 비록 필터 부 (63) 가 도 2에서 루프 내 필터 (in loop filter) 인 것으로 도시되고 있지만, 다른 구성들에서, 필터 부 (63) 는 사후 (post) 루프 필터일 수도 있다.
도 2에 도시된 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 수신하고 수신된 비디오 데이터를 비디오 데이터 메모리 (33) 에 저장한다. 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 컴포넌트들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다.　 비디오 데이터 메모리 (33) 에 저장된 비디오 데이터는, 예를 들어, 비디오 소스 (18) 로부터 획득될 수도 있다.　 DPB (64) 가, 예컨대, 인트라 코딩 또는 인터 코딩 모드들에서 비디오 인코더 (20) 에 의해 비디오 데이터를 인코딩함에 있어서의 사용을 위해 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다.　 비디오 데이터 메모리 (33) 와 DPB (64) 는 동기식 DRAM (SDRAM) 을 포함한 다이나믹 랜덤 액세스 메모리 (DRAM), 자기저항 RAM (MRAM), 저항 RAM (RRAM), 또는 다른 유형들의 메모리 디바이스들과 같은 다양한 메모리 디바이스들 중 임의의 것에 의해 형성될 수도 있다.　 비디오 데이터 메모리 (33) 와 DPB (64) 는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수도 있다. 　다양한 예들에서, 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 다른 컴포넌트들과 온-칩, 또는 그들 컴포넌트들에 대하여 오프-칩일 수도 있다.
구획화 부 (35) 는 비디오 데이터 메모리 (33) 로부터 비디오 데이터를 취출하고 비디오 데이터를 비디오 블록들로 구획화한다. 이 구획화는 슬라이스들, 타일들, 또는 다른 더 큰 유닛들로의 구획화, 뿐만 아니라, 예컨대, LCU들 및 CU들의 쿼드트리 구조에 따른 비디오 블록 구획화를 또한 포함할 수도 있다. 비디오 인코더 (20) 는 인코딩될 비디오 슬라이스 내의 비디오 블록들을 인코딩하는 컴포넌트들을 일반적으로 예시한다. 슬라이스는 다수의 비디오 블록들로 (및 아마도 타일들이라고 지칭된 비디오 블록들의 세트들로) 나누어질 수도 있다. 예측 프로세싱 부 (41) 는 복수의 가능한 코딩 모드들 중 하나, 이를테면 복수의 인트라 코딩 모드들 중 하나 또는 복수의 인터 코딩 모드들 중 하나를 에러 결과들 (예컨대, 코딩 레이트 및 왜곡의 레벨) 에 기초하여 현재 비디오 블록에 대해 선택할 수도 있다. 예측 프로세싱 부 (41) 는 결과적인 인트라 또는 인터 코딩된 블록을 잔차 블록 데이터를 생성하는 합산기 (50) 및 참조 픽처로서 사용하기 위해 인코딩된 블록을 복원하는 합산기 (62) 에 제공할 수도 있다.
예측 프로세싱 부 (41) 내의 인트라 예측 프로세싱 부 (46) 는 코딩될 현재 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들을 기준으로 현재 비디오 블록의 인트라 예측 코딩을 수행하여 공간적 압축을 제공할 수도 있다. 예측 프로세싱 부 (41) 내의 모션 추정 부 (42) 및 모션 보상 부 (44) 는 하나 이상의 참조 픽처들에서의 하나 이상의 예측 블록들을 기준으로 현재 비디오 블록의 인터 예측 코딩을 수행하여 시간적 압축을 제공한다.
모션 추정 부 (42) 는 비디오 시퀀스에 대한 미리 결정된 패턴에 따라 비디오 슬라이스에 대한 인터 예측 모드를 결정하도록 구성될 수도 있다. 미리 결정된 패턴은 시퀀스에서의 비디오 슬라이스들을 P 슬라이스들 또는 B 슬라이스들이라고 지정할 수도 있다. 모션 추정 부 (42) 와 모션 보상 부 (44) 는 고도로 통합될 수도 있지만 개념적 목적들을 위해 별개로 예시된다. 모션 추정 부 (42) 에 의해 수행되는 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터가, 예를 들어, 참조 픽처 내의 예측 블록에 대한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU의 변위 (displacement) 를 나타낼 수도 있다.
예측 블록이 차의 절대값 합 (sum of absolute difference, SAD), 차의 제곱 합 (sum of square difference, SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있는, 화소 차이의 관점에서 코딩될 비디오 블록의 PU에 밀접하게 매칭된다고 생각되는 블록이다. 일부 예들에서, 비디오 인코더 (20) 는 DPB (64) 에 저장된 참조 픽처들의 부 정수 (sub-integer) 화소 위치들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 픽처의 1/4 화소 위치들, 1/8 화소 위치들, 또는 다른 분수 화소 위치들의 값들을 보간할 수도 있다. 그러므로, 모션 추정 부 (42) 는 풀 (full) 화소 위치들 및 분수 화소 위치들에 대한 모션 검색을 수행하여 분수 화소 정밀도를 갖는 모션 벡터를 출력할 수도 있다.
모션 추정 부 (42) 는 PU의 위치와 참조 픽처의 예측 블록의 위치를 비교함으로써 인터 코딩된 슬라이스에서의 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 참조 픽처는 DPB (64) 에 저장된 하나 이상의 참조 픽처들을 각각 식별하는 제 1 참조 픽처 리스트 (List 0) 또는 제 2 참조 픽처 리스트 (List 1) 로부터 선택될 수도 있다. 모션 추정 부 (42) 는 계산된 모션 벡터를 엔트로피 인코딩 부 (56) 와 모션 보상 부 (44) 로 전송한다.
모션 보상 부 (44) 에 의해 수행되는 모션 보상은 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것, 아마도 부 화소 (sub-pixel) 정밀도로 보간들을 수행하는 것을 수반할 수도 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신 시, 모션 보상 부 (44) 는 참조 픽처 리스트들 중 하나에서 모션 벡터가 가리키는 예측 블록을 찾을 수도 있다. 비디오 인코더 (20) 는, 코딩되고 있는 현재 비디오 블록의 화소 값들로부터 예측 블록의 화소 값들을 감산하여 화소 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 화소 차이 값들은 블록에 대한 잔차 데이터를 형성하고, 루마 및 크로마 차이 성분들 양쪽 모두를 포함할 수도 있다. 합산기 (50) 는 이 감산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 모션 보상 부 (44) 는 비디오 슬라이스의 비디오 블록들의 디코딩 시에 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 또한 생성할 수도 있다.
인트라 예측 프로세싱 부 (46) 는, 위에서 설명된 바와 같이, 모션 추정 부 (42) 및 모션 보상 부 (44) 에 의해 수행된 인터 예측에 대한 대안으로서 현재 블록을 인트라 예측할 수도 있다. 특히, 인트라 예측 프로세싱 부 (46) 는 현재 블록을 인코딩하는데 사용하기 위한 인트라 예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라 예측 프로세싱 부 (46) 는 예컨대, 개별 인코딩 과정들 동안에 다양한 인트라 예측 모드들을 사용하여 현재 블록을 인코딩할 수도 있고, 인트라 예측 프로세싱 부 (46) (또는 몇몇 예들에서, 모드 선택 부 (40)) 는 테스트된 모드들로부터 사용할 적절한 인트라 예측 모드를 선택할 수도 있다. 예를 들어, 인트라 예측 프로세싱 부 (46) 는 다양한 테스트된 인트라 예측 모드들에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값들을 계산하고, 테스트된 모드들 중에서 최상의 레이트 왜곡 특성들을 갖는 인트라 예측 모드를 선택할 수도 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩되었던 원래의 인코딩되지 않은 블록 사이의 왜곡 (또는 에러) 의 양, 뿐만 아니라 인코딩된 블록을 생성하는데 사용된 비트 레이트 (다시 말하면, 비트들의 수) 를 결정한다. 인트라 예측 프로세싱 부 (46) 는 다양한 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터 비율들을 계산하여 어떤 인트라 예측 모드가 그 블록에 대한 최상의 레이트 왜곡 값을 나타내는지를 결정할 수도 있다.
어느 경우에나, 블록에 대한 인트라 예측 모드를 선택한 후, 인트라 예측 프로세싱 부 (46) 는 그 블록에 대한 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 부 (56) 에 제공할 수도 있다. 엔트로피 인코딩 부 (56) 는 본 개시물의 기법들에 따라 선택된 인트라 예측 모드를 나타내는 정보를 인코딩할 수도 있다. 비디오 인코더 (20) 는 송신되는 비트스트림에 구성 데이터를 포함시킬 수도 있는데, 이 구성 데이터는 복수의 인트라 예측 모드 인덱스 테이블들 및 복수의 수정된 인트라 예측 모드 인덱스 테이블들 (코드워드 매핑 테이블들이라고 또한 지칭됨), 다양한 블록들에 대한 콘텍스트들을 인코딩하는 정의들, 그리고 그 콘텍스트들의 각각에 대한 사용을 위한 가장 가능성 있는 인트라 예측 모드, 인트라 예측 모드 인덱스 테이블, 및 수정된 인트라 예측 모드 인덱스 테이블의 표시들을 포함할 수도 있다.
예측 프로세싱 부 (41) 가 인터 예측 또는 인트라 예측 중 어느 하나를 통해 현재 비디오 블록에 대한 예측 블록을 생성한 후, 비디오 인코더 (20) 는 현재 비디오 블록으로부터 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록에서의 잔차 비디오 데이터는, 하나 이상의 TU들에 포함되고 변환 프로세싱 부 (52) 에 인가될 수도 있다. 변환 프로세싱 부 (52) 는 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 사용하여 잔차 비디오 데이터를 잔차 변환 계수들로 변환시킨다. 변환 프로세싱 부 (52) 는 잔차 비디오 데이터를 화소 도메인으로부터 변환 도메인, 이를테면 주파수 도메인으로 변환할 수도 있다.
변환 프로세싱 부 (52) 는 결과적인 변환 계수들을 양자화 부 (54) 에 전송할 수도 있다. 양자화 부 (54) 는 변환 계수들을 양자화하여 비트 레이트를 더욱 감소시킨다. 양자화 프로세스는 그 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 양자화 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 일부 예들에서, 양자화 부 (54) 는 그 후, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 대안으로, 엔트로피 인코딩 부 (56) 가 그 스캔을 수행할 수도 있다.
양자화를 뒤따라, 엔트로피 인코딩 부 (56) 는 양자화된 변환 계수들을 엔트로피 인코딩한다. 예를 들어, 엔트로피 인코딩 부 (56) 는 콘텍스트 적응 가변 길이 코딩 (context adaptive variable length coding, CAVLC), 콘텍스트 적응 이진 산술 코딩 (context adaptive binary arithmetic coding, CABAC), 신택스 기반 콘텍스트 적응 이진 산술 코딩 (syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 구획화 엔트로피 (probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 인코딩 수법 또는 기법을 수행할 수도 있다. 엔트로피 인코딩 부 (56) 에 의한 엔트로피 인코딩에 뒤이어, 인코딩된 비트스트림은 비디오 디코더 (30) 로 송신되거나 또는 나중의 송신 또는 비디오 디코더 (30) 에 의한 취출을 위해 보관될 수도 있다. 엔트로피 인코딩 부 (56) 는 코딩되고 있는 현재 비디오 슬라이스에 대한 모션 벡터들 및 다른 신택스 엘리먼트들을 또한 엔트로피 인코딩할 수도 있다.
역 양자화 부 (58) 와 역 변환 프로세싱 부 (60) 는 역 양자화 및 역 변환을 각각 적용하여, 참조 픽처의 참조 블록으로서 나중에 사용하기 위해 화소 도메인에서 잔차 블록을 복원한다. 모션 보상 부 (44) 는 참조 픽처 리스트들 중 하나의 참조 픽처 리스트 내의 참조 픽처들 중 하나의 참조 픽처의 예측 블록에 잔차 블록을 가산함으로써 참조 블록을 계산할 수도 있다. 모션 보상 부 (44) 는 또한 하나 이상의 보간 필터들을 복원된 잔차 블록에 적용하여 모션 추정에서 사용하기 위한 부 정수 화소 값들을 계산할 수도 있다. 합산기 (62) 는 복원된 잔차 블록을 모션 보상 부 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 메모리 (64) 에서의 저장을 위한 참조 블록을 생성한다. 참조 블록은 모션 추정 부 (42) 및 모션 보상 부 (44) 에 의해 후속 비디오 프레임 또는 픽처에서 블록을 인터 예측하기 위한 참조 블록으로서 사용될 수도 있다.
본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는 보충적 향상 정보 (SEI) 메시지가 다중 계층 비디오 데이터의 하나를 초과하는 계층들에 적용할 것을 결정하도록 그리고 SEI 메시지가 다중 계층 비디오 데이터의 하나를 초과하는 계층들와 연관된 다수의 인스턴스들을 갖는 신택스 엘리먼트를 참조한다는 것을 결정하도록 구성될 수도 있다. 이런 경우들에서, 비디오 인코더 (20) 는 다수의 인스턴스들의 모두를 동일한 값으로 설정할 수도 있다.
본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는 액세스 유닛의 제 1 픽처에 대해 제 1 VCL NAL 유닛을 생성하도록 또한 구성될 수도 있다. 제 1 VCL NAL 유닛은 제 1 슬라이스 유형을 포함한다. 비디오 인코더 (20) 는 액세스 유닛의 제 2 픽처에 대해 제 2 VCL NAL 유닛을 생성할 수도 있다. 제 2 VCL NAL 유닛은 제 2 슬라이스 유형을 포함한다. 비디오 인코더 (20) 는 제 1 및 제 2 슬라이스 유형들에 기초하여 AUD NAL 유닛을 생성할 수도 있다.
도 3은 본 개시물에서 설명되는 기법들을 구현할 수도 있는 예시적인 비디오 디코더 (30) 를 도시하는 블록도이다. 도 3은 설명의 목적으로 제공되고 본 개시물에서 폭넓게 예시되고 설명된 바와 같은 기법들로 제한하고 있지는 않다. 설명의 목적으로, 본 개시물은 HEVC 코딩의 맥락에서 비디오 디코더 (30) 를 설명한다. 그러나, 본 개시물의 기법들은 다른 코딩 표준들 또는 방법들에 적용 가능할 수도 있다.
도 3의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 부 (80), 예측 프로세싱 부 (81), 역 양자화 부 (86), 역 변환 프로세싱 부 (88), 합산기 (90), 필터 부 (91), 및 참조 픽처 메모리 (92) 를 구비한다. 예측 프로세싱 부 (81) 는 모션 보상 부 (82) 와 인트라 예측 프로세싱 부 (84) 를 구비한다. 비디오 디코더 (30) 는, 일부 예들에서, 도 2로부터 비디오 인코더 (20) 에 관해 설명된 인코딩 과정 (pass) 에 일반적으로 역인 디코딩 과정을 수행할 수도 있다.
디코딩 프로세스 동안, 비디오 디코더 (30) 는 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관된 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 는 인코딩된 비디오 비트스트림을 네트워크 엔티티 (78) 로부터 수신할 수도 있다. 네트워크 엔티티 (78) 는, 예를 들어, 서버, MANE, 비디오 편집기/스플라이서 (splicer), 또는 위에서 설명된 기법들 중 하나 이상을 구현하도록 구성된 다른 이러한 디바이스일 수도 있다. 네트워크 엔티티 (78) 는 비디오 인코더, 이를테면 비디오 인코더 (20) 를 포함할 수도 있거나 또는 포함하지 않을 수도 있다. 본 개시물에서 설명되는 기법들 중 일부는 네트워크 (78) 가 인코딩된 비디오 비트스트림을 비디오 디코더 (30) 로 송신하기 전에 네트워크 엔티티 (78) 에 의해 구현될 수도 있다. 일부 비디오 디코딩 시스템들에서, 네트워크 엔티티 (78) 와 비디오 디코더 (30) 는 별개의 디바이스들의 부분들일 수도 있지만, 다른 사례들에서, 네트워크 엔티티 (78) 에 관해 설명된 기능은 비디오 디코더 (30) 를 포함하는 동일한 디바이스에 의해 구현될 수도 있다.
디코딩 프로세스 동안, 비디오 디코더 (30) 는 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관된 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 는 수신된 인코딩된 비디오 비트스트림을 비디오 데이터 메모리 (79) 에 저장한다. 비디오 데이터 메모리 (79) 는, 비디오 디코더 (30) 의 컴포넌트들에 의해 디코딩될 인코딩된 비디오 비트스트림과 같은 비디오 데이터를 저장할 수도 있다.　 비디오 데이터 메모리 (79) 에 저장된 비디오 데이터는, 예를 들어, 링크 (16) 를 통해, 저장 디바이스 (26) 로부터, 또는 로컬 비디오 소스, 이를테면 카메라로부터, 또는 물리적 데이터 저장 매체에 액세스함으로써 획득될 수도 있다.　 비디오 데이터 메모리 (79) 는 인코딩된 비디오 비트스트림으로부터의 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼 (coded picture buffer, CPB) 를 형성할 수도 있다.　 DPB (94) 가, 예컨대, 인트라 코딩 또는 인터 코딩 모드들에서 비디오 디코더 (30) 에 의해 비디오 데이터를 디코딩함에 있어서의 사용을 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다.　 비디오 데이터 메모리 (79) 와 DPB (94) 는 다양한 메모리 디바이스들, 이를테면 DRAM, SDRAM, MRAM, RRAM, 또는 다른 유형들의 메모리 디바이스들 중 임의의 것에 의해 형성될 수도 있다.　 비디오 데이터 메모리 (79) 와 DPB (94) 는 동일한 메모리 디바이스 또는 별개의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (79) 는 비디오 디코더 (30) 의 다른 컴포넌트들과 온-칩, 또는 그들 컴포넌트들에 대하여 오프-칩일 수도 있다.
비디오 디코더 (30) 의 엔트로피 디코딩 부 (80) 는 비디오 데이터 메모리 (79) 에 저장된 비디오 데이터를 엔트로피 디코딩하여 양자화된 계수들, 모션 벡터들, 및 다른 신택스 엘리먼트들을 생성한다. 엔트로피 디코딩 부 (80) 는 모션 벡터들 및 다른 신택스 엘리먼트들을 예측 프로세싱 부 (81) 에 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수도 있다.
비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩되는 경우, 예측 프로세싱 부 (81) 의 인트라 예측 프로세싱 부 (84) 는 현재 비디오 슬라이스의 비디오 블록을 위한 예측 데이터를 현재 프레임 또는 픽처의 이전에 디코딩된 블록들로부터의 시그널링된 인트라 예측 모드 및 데이터에 기초하여 생성할 수도 있다. 비디오 프레임이 인터 코딩된 (즉, B 또는 P) 슬라이스로서 코딩되는 경우, 예측 프로세싱 부 (81) 의 모션 보상 부 (82) 는 엔트로피 디코딩 부 (80) 로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여, 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록을 생성한다. 그 예측 블록들은 참조 픽처 리스트들 중 하나의 참조 픽처 리스트 내의 참조 픽처들 중 하나의 참조 픽처로부터 생성될 수도 있다. 비디오 디코더 (30) 는 참조 픽처 메모리 (92) 에 저장된 참조 픽처들에 기초하여 디폴트 구축 기법들을 이용하여, 참조 프레임 리스트들 (List 0 및 List 1) 을 구축할 수도 있다.
모션 보상 부 (82) 는 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 그 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모션 보상 부 (82) 는 수신된 신택스 엘리먼트들의 일부를 이용하여, 비디오 슬라이스의 비디오 블록들을 코딩하는데 사용된 예측 모드 (예컨대, 인트라 또는 인터 예측), 인터 예측 슬라이스 유형 (예컨대, B 슬라이스 또는 P 슬라이스), 슬라이스에 대한 참조 픽처 리스트들 중 하나 이상에 대한 구축 정보, 슬라이스의 각각의 인터 인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터 코딩된 비디오 블록에 대한 인터 예측 스테이터스, 및 현재 비디오 슬라이스 내의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다.
모션 보상 부 (82) 는 보간 필터들에 기초하여 보간을 또한 수행할 수도 있다. 모션 보상 부 (82) 는 비디오 블록들의 인코딩 동안에 비디오 인코더 (20) 에 의해 사용된 것과 같은 보간 필터들을 사용하여 참조 블록들의 부 정수 화소들에 대한 보간된 값들을 계산할 수도 있다. 이 경우, 모션 보상 부 (82) 는 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 사용된 보간 필터들을 결정하고 그 보간 필터들을 사용하여 예측 블록들을 생성할 수도 있다.
역 양자화 부 (86) 는 비트스트림으로 제공되고 엔트로피 디코딩 부 (80) 에 의해 디코딩된 양자화된 변환 계수들을 역 양자화, 즉, 탈-양자화 (dequantize) 한다. 역 양자화 프로세스는 양자화 정도와, 마찬가지로 적용되어야 할 역 양자화의 정도를 결정하기 위해, 비디오 슬라이스에서의 각각의 비디오 블록에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터의 사용을 포함할 수도 있다. 역 변환 프로세싱 부 (88) 는 화소 도메인에서 잔차 블록들을 생성하기 위하여 역 변환, 예컨대, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스를 변환 계수들에 적용한다.
모션 보상 부 (82) 가 현재 비디오 블록에 대한 예측 블록을 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 생성한 후, 비디오 디코더 (30) 는 역 변환 프로세싱 부 (88) 로부터의 잔차 블록들을 모션 보상 부 (82) 에 의해 생성된 대응하는 예측 블록들과 합산함으로써 디코딩된 비디오 블록을 형성한다. 합산기 (90) 는 이 합산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 원한다면, 루프 필터들이 (코딩 루프 내 또는 코딩 루프 후 중 어느 하나에서) 화소 전이 (transition) 들을 부드럽게 하기 위해, 또는 그렇지 않으면 비디오 품질을 개선하기 위해 또한 사용될 수도 있다.
필터 부 (91) 는 블록화제거 필터, 적응 루프 필터 (ALF), 및 샘플 적응 오프셋 (SAO) 필터와 같은 하나 이상의 루프 필터들을 나타내고자 하는 것이다. 비록 필터 부 (91) 가 도 3에서 루프 내 필터인 것으로 도시되고 있지만, 다른 구성들에서, 필터 부 (91) 는 사후 루프 필터 (post loop filter) 일 수도 있다. 주어진 프레임 또는 픽처에서의 디코딩된 비디오 블록들은 그 다음에 참조 픽처 메모리 (92) 에 저장되는데, 그 참조 픽처 메모리는 후속 모션 보상을 위해 사용되는 참조 픽처들을 저장한다. 참조 픽처 메모리 (92) 는 디스플레이 디바이스, 이를테면 도 1의 디스플레이 디바이스 (31) 상의 나중의 프레젠테이션을 위해 디코딩된 비디오를 또한 저장한다.
본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는 비-INBL 및 INBL을 포함하는 복수의 계층들을 포함하는 코딩된 비디오 데이터를 수신하도록 구성될 수도 있다. 비디오 디코더 (30) 는 제 1 표현 포맷 파라미터들을 포함하는 코딩된 비디오 데이터와 연관된 VPS를 수신하고 제 2 표현 포맷 파라미터들을 포함하는 INBL과 연관된 SPS를 수신할 수도 있다. 비디오 디코더 (30) 는 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 디코딩하고; 제 2 표현 포맷 파라미터들에 기초하여 INBL을 디코딩할 수도 있다.
도 4는 네트워크 (120) 의 부분을 형성하는 디바이스들의 일 예의 세트를 도시하는 블록도이다. 이 예에서, 네트워크 (120) 는 라우팅 디바이스들 (124A, 124B) (라우팅 디바이스들 (124)) 과 트랜스코딩 (transcoding) 디바이스 (126) 를 구비한다. 라우팅 디바이스들 (124) 과 트랜스코딩 디바이스 (126) 는 네트워크 (120) 의 부분을 형성할 수도 있는 적은 수의 디바이스들을 나타내려고 하는 것이다. 다른 네트워크 디바이스들, 이를테면 스위치들, 허브들, 게이트웨이들, 방화벽들, 브리지들, 및 다른 그런 디바이스들이 네트워크 (120) 내에 또한 포함될 수도 있다. 더구나, 부가적인 네트워크 디바이스들이 서버 디바이스 (122) 및 클라이언트 디바이스 (128) 사이에서 네트워크 경로를 따라 제공될 수도 있다. 일부 예들에서, 서버 디바이스 (122) 는 소스 디바이스 (12) (도 1) 에 해당할 수도 있는 반면, 클라이언트 디바이스 (128) 는 목적지 디바이스 (14) (도 1) 에 해당할 수도 있다.
대체로, 라우팅 디바이스들 (124) 은 네트워크 (120) 를 통해 네트워크 데이터를 교환하기 위해 하나 이상의 라우팅 프로토콜들을 구현한다. 일부 예들에서, 라우팅 디바이스들 (124) 은 프록시 또는 캐시 동작들을 수행하도록 구성될 수도 있다. 그러므로, 일부 예들에서, 라우팅 디바이스들 (124) 은 프록시 디바이스들이라고 지칭될 수도 있다. 대체로, 라우팅 디바이스들 (124) 은 네트워크 (120) 를 통해 루트들을 발견하기 위해 라우팅 프로토콜들을 실행한다. 그런 라우팅 프로토콜들을 실행함으로써, 라우팅 디바이스 (124B) 는 자신으로부터 라우팅 디바이스 (124A) 를 통해 서버 디바이스 (122) 로 네트워크 루트를 발견할 수도 있다. 라우팅 디바이스들 (124) 중 하나 이상은 본 개시물의 하나 이상의 양태들을 사용하는 MANE를 포함할 수도 있다.
예를 들어, MANE는 비-INBL 및 INBL을 포함하는 복수의 계층들을 포함하는 코딩된 비디오 데이터를 수신하도록 구성될 수도 있다. MANE는 제 1 표현 포맷 파라미터들을 포함하는, 코딩된 비디오 데이터와 연관된 VPS를 수신할 수도 있다. MANE는 제 2 표현 포맷 파라미터들을 포함하는 INBL과 연관된 SPS를 수신할 수도 있다. MANE는 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하고 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱할 수도 있다. 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱하는 부분으로서, MANE는 제 2 표현 포맷 파라미터들에 기초하여 INBL을 기본 계층인 것으로서 다시 쓸 수도 있다. 다시쓰기 프로세스의 부분으로서, MANE는 INBL을, 예를 들어 HEVC 버전 1과 호환 가능한 기본 계층으로 트랜스코딩 (또는 변환) 한다. MANE는 INBL을 입력으로서 수신하고 그 출력을 HEVC 버전 1 디코더로 송신한다.
본 개시물의 기법들은 라우팅 디바이스들 (124) 및 트랜스코딩 디바이스 (126) 와 같은 네트워크 디바이스들에 의해 구현될 수도 있지만, 클라이언트 디바이스 (128) 에 의해 또한 구현될 수도 있다. 이런 방식으로, 라우팅 디바이스들 (124), 트랜스코딩 디바이스 (126), 및 클라이언트 디바이스 (128) 는 본 개시물의 기법들을 수행하도록 구성된 디바이스들의 예들을 나타낸다. 더구나, 도 1의 디바이스들과, 도 2에 예시된 비디오 인코더 (20) 및 도 3에 도시된 비디오 디코더 (30) 는 또한 본 개시물의 기법들을 수행하도록 구성될 수 있는 예시적인 디바이스들이다.
도 5는 본 개시물의 기법들에 따른 다중 계층 비디오 데이터를 프로세싱하는 방법을 도시하는 흐름도이다. 도 5의 기법들은 일반 비디오 프로세싱 디바이스에 관해 설명될 것이다. 비디오 프로세싱 디바이스는, 예를 들어, 사후-프로세싱 엔티티 (27), 네트워크 엔티티 (78), 비디오 디코더 (30), 라우팅 디바이스들 (124), 또는 트랜스코딩 디바이스 (126) 와 같은 비디오 프로세싱 디바이스에 해당할 수도 있다. 비디오 프로세싱 디바이스는 비-INBL 및 INBL을 포함하는 코딩된 비디오 데이터를 수신한다 (140). 비디오 프로세싱 디바이스들은, 코딩된 비디오 데이터에 대해, 제 1 표현 포맷 파라미터들을 포함하는 VPS를 수신한다 (142). 비디오 프로세싱 디바이스들은 제 2 표현 포맷 파라미터들을 포함하는 INBL과 연관된 SPS를 수신한다 (144). 비디오 프로세싱 디바이스는 제 1 표현 포맷 파라미터들에 기초하여 비-INBL을 프로세싱하고 (146) 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱한다 (148). 제 1 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값이 제 2 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값과는 상이할 수도 있다.
비디오 프로세싱 디바이스가 MANE이면, 비디오 프로세싱 디바이스는 제 2 표현 포맷 파라미터들에 기초하여 INBL을 기본 계층인 것으로 다시 쓰기함으로써 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱할 수도 있다. INBL은 0을 초과하는 계층 ID (예컨대, nuh_layer_id) 를 가질 수도 있고, INBL을 다시 쓰기하는 부분으로서, 비디오 프로세싱 디바이스는 INBL의 계층 ID를 0으로 설정하며, 그래서 0과 동일한 계층 ID를 갖는 기본 계층을 생성할 수도 있다. INBL로부터 다시 쓰기된 기본 계층은 다중 계층 비디오를 지원하지 않는 HEVC 버전 1 디코더에 의해 디코딩가능할 수도 있다.
비디오 프로세싱 디바이스가 비디오 디코더이면, 비디오 프로세싱 디바이스는 INBL을 디코딩함으로써 제 2 표현 포맷 파라미터들에 기초하여 INBL을 프로세싱할 수도 있다. INBL을 디코딩한 후, 비디오 디코더는 INBL 및 비-INBL에 기초하여 디코딩된 비디오를 출력 또는 디스플레이할 수도 있다.
도 6은 본 개시물의 기법들에 따른 다중 계층 비디오 데이터를 인코딩하는 방법을 도시하는 흐름도이다. 도 6의 기법들은 비디오 인코더 (20) 에 관해 설명될 것이다. 비디오 인코더 (20) 는 SEI 메시지가 다중 계층 비디오 데이터의 하나를 초과하는 계층들에 적용된다고 결정한다 (150). 비디오 인코더 (20) 는 SEI 메시지가 다중 계층 비디오 데이터의 하나를 초과하는 계층들와 연관된 다수의 인스턴스들을 갖는 신택스 엘리먼트를 참조한다고 결정한다 (152). 다중 계층 비디오 데이터의 하나를 초과하는 계층들와 연관된 다수의 인스턴스들을 갖는 신택스 엘리먼트를 참조하는 SEI 메시지에 응답하여, 비디오 인코더 (20) 는 다수의 인스턴스들의 모두를 동일한 값으로 설정한다 (154). 신택스 엘리먼트의 다수의 인스턴스들은 신택스 엘리먼트의 제 1 인스턴스를 다중 계층 비디오 데이터의 제 1 계층와 연관된 제 1 시퀀스 파라미터 세트에 포함하고 신택스 엘리먼트의 제 2 인스턴스를 다중 계층 비디오 데이터의 제 2 계층와 연관된 제 2 시퀀스 파라미터 세트에 포함할 수도 있다. 신택스 엘리먼트는 field_seq_flag 신택스 엘리먼트, general_progressive_source_flag 신택스 엘리먼트, 또는 general_interlaced_source_flag 신택스 엘리먼트 중 임의의 것일 수도 있다.
도 7은 본 개시물의 기법들에 따른 다중 계층 비디오 데이터를 인코딩하는 방법을 도시하는 흐름도이다. 도 7의 기법들은 비디오 인코더 (20) 에 관해 설명될 것이다. 비디오 인코더 (20) 는 액세스 유닛의 제 1 픽처에 대해 제 1 VCL NAL 유닛을 생성한다 (160). 제 1 VCL NAL 유닛은 제 1 슬라이스 유형을 포함한다. 비디오 인코더 (20) 는 액세스 유닛의 제 2 픽처에 대해 제 2 VCL NAL 유닛을 생성한다 (162). 제 2 VCL NAL 유닛은 제 2 슬라이스 유형을 포함한다. 비디오 인코더 (20) 는 제 1 및 제 2 슬라이스 유형들에 기초하여 AUD NAL 유닛을 생성한다 (164).
비디오 인코더 (20) 는 액세스 유닛이 제 1 슬라이스 유형 및 제 2 슬라이스 유형 둘 다를 포함한다는 것을 나타내는 픽처 유형 신택스 엘리먼트를 AUD NAL 유닛에서 나타냄으로써 AUD NAL 유닛을 생성할 수도 있다. 제 1 AUD NAL 유닛은 액세스 유닛과 선행하는 액세스 유닛 간의 경계를 식별하는데 사용될 수도 있다. AUD NAL 유닛은 액세스 유닛에서 모든 픽처들에 대한 픽처 유형을 나타내는데 부가적으로 또는 대안으로 사용될 수도 있다. 제 1 슬라이스 유형과 제 2 슬라이스 유형은 I 슬라이스, P 슬라이스, 및 B 슬라이스로 이루어진 그룹으로부터 선택될 수도 있거나, 또는 제 1 슬라이스 유형과 제 2 슬라이스 유형은 I 슬라이스와 P 슬라이스로 이루어진 그룹으로부터 선택될 수도 있다.
도 8은 본 개시물의 기법들에 따른 다중 계층 비디오 데이터를 인코딩하는 방법을 도시하는 흐름도이다. 도 8의 기법들은 비디오 디코더 (30) 에 관해 설명될 것이다. 비디오 디코더 (30) 는 제 1 액세스 유닛에 대해 제 1 AUD NAL 유닛을 수신한다 (170). 제 1 AUD NAL 유닛에 대한 계층 식별자가 0과 동일하다. 비디오 디코더 (30) 는 제 1 액세스 유닛에 대해 제 2 AUD NAL 유닛을 수신한다 (172). 제 2 AUD NAL 유닛에 대한 계층 식별자가 0을 초과한다. 비디오 디코더 (30) 는 제 1 액세스 유닛을 디코딩한다 (174).
제 1 액세스 유닛에서의 제 2 AUD NAL 유닛은, 디코딩 순서에서, 제 1 액세스 유닛에서의 제 1 AUD NAL 유닛과 적어도 하나의 비디오 코딩 계층 (VCL) NAL 유닛에 뒤따를 수도 있다. 제 1 AUD NAL 유닛은, 디코딩 순서에서, 제 1 액세스 유닛에서의 제 1 NAL 유닛일 수도 있다. 제 1 AUD NAL 유닛은 제 1 액세스 유닛과 선행하는 액세스 유닛 간의 경계를 식별할 수도 있다. 일부 예들에서, 제 1 AUD NAL 유닛이 아닌 제 1 액세스 유닛에서의 다른 AUD NAL 유닛이 0과 동일한 계층 식별자를 갖지 않을 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그것들의 임의의 조합으로 구현될 수도 있다.　 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 또는 그것을 통해 송신될 수도 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체들과 같은 유형의 (tangible) 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예컨대 통신 프로토콜에 따라 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다. 이런 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 해당할 수도 있다. 　 데이터 저장 매체들은 본 개시물에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능 매체들일 수도 있다.　 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 소망의 프로그램 코드를 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다.　 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 명령들이 웹사이트, 서버, 또는 다른 원격 자원으로부터 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 회선 (DSL), 또는 무선 기술들 이를테면 적외선, 라디오, 및/또는 마이크로파를 이용하여 송신된다면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 반송파들, 신호들, 또는 다른 일시적인 매체들을 포함하지 않지만, 대신 비일시적, 유형의 저장 매체들을 지향하고 있음이 이해되어야 한다. 디스크 (disk 및 disc) 는 본원에서 사용되는 바와 같이, 콤팩트 디스크 (compact disc, CD), 레이저 디스크, 광 디스크, 디지털 다용도 디스크 (DVD), 플로피 디스크 (floppy disk) 및 블루레이 디스크를 포함하는데, disk들은 보통 데이터를 자기적으로 재생하지만, disc들은 레이저들로써 광적으로 데이터를 재생한다. 상기한 것들의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를테면 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그램가능 로직 어레이들 (FPGA들), 또는 다른 동등한 집적 또는 개별 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 "프로세서"라는 용어는 앞서의 구조 또는 본원에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 나타낼 수도 있다. 덧붙여서, 일부 양태들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성되는, 또는 결합형 코덱 (codec) 으로 통합되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 본 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들 내에 완전히 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적회로 (IC) 또는 IC들의 세트 (예컨대, 칩 셋) 를 포함하는 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하지는 않는다. 대신에, 위에서 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는, 상호운용적 하드웨어 유닛들의 컬렉션에 의해 제공될 수도 있다.
다양한 예들이 설명되어 있다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (29)

  1. 비디오 데이터를 프로세싱하는 방법으로서,
    복수의 계층들을 포함하는 코딩된 비디오 데이터를 수신하는 단계로서, 상기 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하는, 상기 코딩된 비디오 데이터를 수신하는 단계;
    상기 코딩된 비디오 데이터와 연관된 비디오 파라미터 세트 (VPS) 를 수신하는 단계로서, 상기 VPS는 제 1 표현 포맷 파라미터들을 포함하는, 상기 VPS를 수신하는 단계;
    상기 INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하는 단계로서, 상기 SPS는 제 2 표현 포맷 파라미터들을 포함하는, 상기 SPS를 수신하는 단계;
    상기 제 1 표현 포맷 파라미터들에 기초하여 상기 비-INBL을 프로세싱하는 단계; 및
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하는 단계를 포함하는, 비디오 데이터 프로세싱 방법.
  2. 제 1 항에 있어서,
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하는 단계는, 상기 제 2 표현 포맷 파라미터들에 기초하여 기본 계층이 되도록 상기 INBL을 다시 쓰는 단계를 포함하는, 비디오 데이터 프로세싱 방법.
  3. 제 2 항에 있어서,
    상기 INBL은 제로를 초과하는 계층 ID를 갖고, 상기 INBL을 다시 쓰는 단계는 상기 기본 계층 식별의 계층 ID를 0과 동일하게 설정하는 단계를 포함하는, 비디오 데이터 프로세싱 방법.
  4. 제 1 항에 있어서,
    상기 INBL은 0을 초과하는 계층 ID를 갖는, 비디오 데이터 프로세싱 방법.
  5. 제 1 항에 있어서,
    상기 제 1 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값은 상기 제 2 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값과는 상이한, 비디오 데이터 프로세싱 방법.
  6. 제 1 항에 있어서,
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL를 프로세싱하는 단계는 상기 INBL를 디코딩하는 단계를 포함하는, 비디오 데이터 프로세싱 방법.
  7. 제 1 항에 있어서,
    상기 INBL 및 상기 비-INBL에 기초하여 디코딩된 비디오를 출력하는 단계를 더 포함하는, 비디오 데이터 프로세싱 방법.
  8. 제 1 항에 있어서,
    상기 방법은 무선 통신 디바이스 상에서 실행 가능하며,
    상기 디바이스는,
    상기 코딩된 비디오 데이터를 수신하도록 구성되는 수신기;
    상기 코딩된 비디오 데이터를 저장하도록 구성되는 메모리;
    상기 메모리에 저장된 상기 코딩된 비디오 데이터를 프로세싱하기 위한 명령들을 실행하도록 구성되는 하나 이상의 프로세서들; 및
    상기 INBL 및 상기 비-INBL에 기초하여 디코딩된 비디오를 디스플레이하도록 구성되는 디스플레이를 포함하는, 비디오 데이터 프로세싱 방법.
  9. 제 8 항에 있어서,
    상기 무선 통신 디바이스는 셀룰러 전화기이고 코딩된 비디오 데이터는 상기 수신기에 의해 수신되고 셀룰러 통신 표준에 따라 변조되는, 비디오 데이터 프로세싱 방법.
  10. 비디오 데이터를 프로세싱하는 디바이스로서,
    다중 계층 비디오 데이터의 비트스트림의 적어도 부분을 저장하도록 구성되는 메모리; 및
    하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은,
    다중 계층 비트스트림의 부분을 수신하되, 상기 다중 계층 비트스트림은 복수의 계층들을 포함하며, 상기 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하며;
    코딩된 비디오 데이터와 연관된 상기 비디오 파라미터 세트 (VPS) 를 수신하되, 상기 VPS는 제 1 표현 포맷 파라미터들을 포함하며;
    상기 INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하되, 상기 SPS는 제 2 표현 포맷 파라미터들을 포함하며;
    상기 제 1 표현 포맷 파라미터들에 기초하여 상기 비-INBL을 프로세싱하고; 그리고
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하도록 구성되는, 비디오 데이터 프로세싱 디바이스.
  11. 제 10 항에 있어서,
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 제 2 표현 포맷 파라미터들에 기초하여 기본 계층이 되도록 상기 INBL을 다시 쓰도록 구성되는, 비디오 데이터 프로세싱 디바이스.
  12. 제 11 항에 있어서,
    상기 INBL은 제로를 초과하는 계층 ID를 갖고, 상기 INBL을 다시 쓰는 것은 상기 기본 계층 식별의 계층 ID를 0과 동일하게 설정하는 것을 포함하는, 비디오 데이터 프로세싱 디바이스.
  13. 제 10 항에 있어서,
    상기 INBL은 0을 초과하는 계층 ID를 갖는, 비디오 데이터 프로세싱 디바이스.
  14. 제 10 항에 있어서,
    상기 제 1 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값은 상기 제 2 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값과는 상이한, 비디오 데이터 프로세싱 디바이스.
  15. 제 10 항에 있어서,
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 INBL을 디코딩하도록 구성되는, 비디오 데이터 프로세싱 디바이스.
  16. 제 10 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 INBL 및 상기 비-INBL에 기초하여 디코딩된 비디오를 출력하도록 구성되는, 비디오 데이터 프로세싱 디바이스.
  17. 제 10 항에 있어서,
    상기 디바이스는 무선 통신 디바이스이며,
    상기 다중 계층 비디오 데이터를 수신하도록 구성되는 수신기를 더 포함하는, 비디오 데이터 프로세싱 디바이스.
  18. 제 17 항에 있어서,
    상기 무선 통신 디바이스는 셀룰러 전화기를 포함하고, 상기 수신기는 셀룰러 통신 표준에 따른 변조된 데이터로서 상기 다중 계층 비디오 데이터를 수신하도록 구성되는, 비디오 데이터 프로세싱 디바이스.
  19. 제 10 항에 있어서,
    상기 디바이스는 미디어 인식 네트워크 엘리먼트를 포함하는, 비디오 데이터 프로세싱 디바이스.
  20. 명령들을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금,
    복수의 계층들을 포함하는 인코딩된 비디오 데이터를 수신하게 하되, 상기 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하며;
    코딩된 비디오 데이터와 연관된 상기 비디오 파라미터 세트 (VPS) 를 수신하게 하되, 상기 VPS는 제 1 표현 포맷 파라미터들을 포함하며;
    상기 INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하게 하되, 상기 SPS는 제 2 표현 포맷 파라미터들을 포함하며;
    상기 제 1 표현 포맷 파라미터들에 기초하여 상기 비-INBL을 프로세싱하게 하며; 그리고
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하게 하는, 컴퓨터 판독가능 저장 매체.
  21. 제 20 항에 있어서,
    상기 INBL은 제로를 초과하는 계층 ID를 갖고, 상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하기 위해, 상기 하나 이상의 프로세서들은 상기 제 2 표현 포맷 파라미터들에 기초하여, 계층 ID가 0과 동일한 기본 계층이 되도록 상기 INBL을 다시 쓰는, 컴퓨터 판독가능 저장 매체.
  22. 제 20 항에 있어서,
    상기 제 1 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값은 상기 제 2 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값과는 상이한, 컴퓨터 판독가능 저장 매체.
  23. 비디오 데이터를 프로세싱하는 장치로서,
    복수의 계층들을 포함하는 코딩된 비디오 데이터를 수신하는 수단으로서, 상기 복수의 계층들은 비-독립적으로 디코딩가능한 비-기본 계층 (비-INBL) 과 독립적으로 디코딩가능한 비-기본 계층 (INBL) 을 포함하는, 상기 코딩된 비디오 데이터를 수신하는 수단;
    상기 코딩된 비디오 데이터와 연관된 비디오 파라미터 세트 (VPS) 를 수신하는 수단으로서, 상기 VPS는 제 1 표현 포맷 파라미터들을 포함하는, 상기 VPS를 수신하는 수단;
    상기 INBL과 연관된 시퀀스 파라미터 세트 (SPS) 를 수신하는 수단으로서, 상기 SPS는 제 2 표현 포맷 파라미터들을 포함하는, 상기 SPS를 수신하는 수단;
    상기 제 1 표현 포맷 파라미터들에 기초하여 상기 비-INBL을 프로세싱하는 수단; 및
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하는 수단을 포함하는, 비디오 데이터 프로세싱 장치.
  24. 제 23 항에 있어서,
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL을 프로세싱하는 수단은, 상기 제 2 표현 포맷 파라미터들에 기초하여 기본 계층이 되도록 상기 INBL을 다시 쓰는 수단을 포함하는, 비디오 데이터 프로세싱 장치.
  25. 제 24 항에 있어서,
    상기 INBL은 제로를 초과하는 계층 ID를 갖고, 상기 INBL을 다시 쓰는 수단은 상기 기본 계층 식별의 계층 ID를 0과 동일하게 설정하는 수단을 포함하는, 비디오 데이터 프로세싱 장치.
  26. 제 23 항에 있어서,
    상기 INBL은 0을 초과하는 계층 ID를 갖는, 비디오 데이터 프로세싱 장치.
  27. 제 23 항에 있어서,
    상기 제 1 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값은 상기 제 2 표현 포맷 파라미터들 중 표현 포맷 파라미터의 적어도 하나의 값과는 상이한, 비디오 데이터 프로세싱 장치.
  28. 제 23 항에 있어서,
    상기 제 2 표현 포맷 파라미터들에 기초하여 상기 INBL를 프로세싱하는 수단은 상기 INBL를 디코딩하는 수단을 포함하는, 비디오 데이터 프로세싱 장치.
  29. 제 23 항에 있어서,
    상기 INBL 및 상기 비-INBL에 기초하여 디코딩된 비디오를 출력하는 수단을 더 포함하는, 비디오 데이터 프로세싱 장치.
KR1020167035757A 2014-06-25 2015-06-25 다중 계층 비디오 코딩 Abandoned KR20170021794A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462017120P 2014-06-25 2014-06-25
US62/017,120 2014-06-25
US14/749,526 US10244242B2 (en) 2014-06-25 2015-06-24 Multi-layer video coding
US14/749,526 2015-06-24
PCT/US2015/037744 WO2015200666A1 (en) 2014-06-25 2015-06-25 Multi-layer video coding

Publications (1)

Publication Number Publication Date
KR20170021794A true KR20170021794A (ko) 2017-02-28

Family

ID=54931997

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020167035758A Active KR102388859B1 (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩
KR1020167035759A Active KR102388860B1 (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩
KR1020167035760A Active KR102388861B1 (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩
KR1020167035757A Abandoned KR20170021794A (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020167035758A Active KR102388859B1 (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩
KR1020167035759A Active KR102388860B1 (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩
KR1020167035760A Active KR102388861B1 (ko) 2014-06-25 2015-06-25 다중 계층 비디오 코딩

Country Status (9)

Country Link
US (4) US9819945B2 (ko)
EP (4) EP3162058A1 (ko)
JP (4) JP6728074B2 (ko)
KR (4) KR102388859B1 (ko)
CN (4) CN106464924B (ko)
BR (1) BR112016030044B1 (ko)
CA (3) CA2951499C (ko)
ES (1) ES2839148T3 (ko)
WO (4) WO2015200666A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819945B2 (en) 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding
WO2016027375A1 (ja) 2014-08-22 2016-02-25 パイオニア株式会社 ダンパ及びスピーカ装置
EP4531405A3 (en) 2016-08-25 2025-06-04 LG Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
WO2018173498A1 (en) * 2017-03-20 2018-09-27 Sharp Kabushiki Kaisha Systems and methods for signaling scalable video in a media application format
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
CN107360433B (zh) * 2017-07-20 2020-06-19 北京奇艺世纪科技有限公司 一种帧间预测编码方法和装置
WO2020058896A1 (en) 2018-09-19 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Intra mode coding based on history information
KR20210145736A (ko) * 2019-03-11 2021-12-02 브이아이디 스케일, 인크. 서브-픽처 비트스트림 추출 및 재배치
US11166033B2 (en) * 2019-06-06 2021-11-02 Qualcomm Incorporated Adaptation parameter set in access unit in video coding
US11825121B2 (en) * 2019-09-23 2023-11-21 Tencent America LLC Method for access unit delimiter signaling
BR112022005407A2 (pt) 2019-09-24 2022-06-21 Huawei Tech Co Ltd Método implementado por um decodificador, dispositivo de codificação de vídeo, mídia legível por computador não transitória e decodificador
IL291689B2 (en) 2019-09-24 2025-07-01 Huawei Tech Co Ltd Hypothetical Source Decoder (HRD) for checking the suitability of output layer sets (OLS)
US11375232B2 (en) * 2019-12-10 2022-06-28 Zte (Uk) Limited Sub picture signaling in video coding
US12160591B2 (en) * 2019-12-26 2024-12-03 Nokia Technologies Oy Method, apparatus, and computer program product for gradual decoding refresh for video encoding and decoding
US11706428B2 (en) * 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
WO2021257529A1 (en) * 2020-06-17 2021-12-23 Bytedance Inc. Decoded picture buffer management and subpictures in video coding
US11671627B2 (en) * 2020-09-17 2023-06-06 Lemon Inc. Operating point entity group signaling in coded video
EP3972269A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture entity groups in video coding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0937258A2 (en) 1996-10-29 1999-08-25 Fred Hutchinson Cancer Research Center, Inc. Cell stress regulated human mhc class i gene
ES2383656T3 (es) 2004-04-28 2012-06-25 Panasonic Corporation Aparato de generación de flujos de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato multiplexador de imágenes en movimiento y aparato de descodificación de imágenes en movimiento
US7852353B1 (en) 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
WO2007006592A2 (en) 2005-07-12 2007-01-18 International Business Machines Corporation Method and system for reconfiguring functional capabilities in a data processing system with dormant resources
CN101218831B (zh) * 2005-09-20 2010-07-21 三菱电机株式会社 图像解码方法以及图像解码装置
CN101317459A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
KR100889745B1 (ko) * 2006-01-09 2009-03-24 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
CN101924944B (zh) * 2009-06-15 2013-06-05 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备
US9467690B2 (en) * 2010-01-06 2016-10-11 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9338476B2 (en) * 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
US9648322B2 (en) * 2012-07-10 2017-05-09 Qualcomm Incorporated Coding random access pictures for video coding
IN2015DN02130A (ko) 2012-09-27 2015-08-14 Dolby Lab Licensing Corp
US9479782B2 (en) 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9479779B2 (en) * 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
US10178410B2 (en) * 2012-10-03 2019-01-08 Mediatek Inc. Method and apparatus of motion information management in video coding
KR20150095625A (ko) * 2012-12-14 2015-08-21 엘지전자 주식회사 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
WO2014112830A1 (ko) * 2013-01-17 2014-07-24 삼성전자 주식회사 디코더 설정을 위한 비디오 부호화 방법 및 그 장치, 디코더 설정에 기초한 비디오 복호화 방법 및 그 장치
KR102177831B1 (ko) 2013-04-05 2020-11-11 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
KR20140122200A (ko) 2013-04-05 2014-10-17 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
EP2965523A1 (en) 2013-04-08 2016-01-13 Arris Technology, Inc. Signaling for addition or removal of layers in video coding
WO2015007751A1 (en) 2013-07-15 2015-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Layer characteristic signaling in multi-layered coding
CN105612745A (zh) * 2013-10-08 2016-05-25 夏普株式会社 图像解码装置、图像编码装置以及编码数据
EP3055999A1 (en) * 2013-10-11 2016-08-17 Telefonaktiebolaget LM Ericsson (publ) Layer switching in video coding
US20150103895A1 (en) * 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. Electronic devices for signaling multiple initial buffering parameters
CN104754347B (zh) 2013-12-26 2019-05-17 中兴通讯股份有限公司 视频图像序号的编码、解码方法及装置、电子设备
CN104754358B (zh) 2013-12-27 2019-02-19 中兴通讯股份有限公司 码流的生成和处理方法、装置及系统
EP3090550A1 (en) 2014-01-02 2016-11-09 VID SCALE, Inc. Sub-bitstream extraction process for hevc extensions
US9819945B2 (en) 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding

Also Published As

Publication number Publication date
JP6728074B2 (ja) 2020-07-22
US9729887B2 (en) 2017-08-08
EP3162057B1 (en) 2020-09-30
US20150381998A1 (en) 2015-12-31
CA2952826A1 (en) 2015-12-30
CA2952826C (en) 2023-01-03
KR102388859B1 (ko) 2022-04-20
WO2015200695A1 (en) 2015-12-30
BR112016030044B1 (pt) 2024-02-27
CN106537922B (zh) 2019-05-28
KR20170026370A (ko) 2017-03-08
CN106464924A (zh) 2017-02-22
JP2017525256A (ja) 2017-08-31
JP2017525253A (ja) 2017-08-31
CA2952821A1 (en) 2015-12-30
US20150381997A1 (en) 2015-12-31
EP3162057A1 (en) 2017-05-03
CA2951499C (en) 2023-01-03
CN106537922A (zh) 2017-03-22
CN106464924B (zh) 2019-07-09
CN106537919B (zh) 2019-07-05
EP3162071A1 (en) 2017-05-03
WO2015200676A1 (en) 2015-12-30
JP2017525252A (ja) 2017-08-31
US9838697B2 (en) 2017-12-05
BR112016030044A2 (pt) 2017-08-22
CA2951499A1 (en) 2015-12-30
JP6585096B2 (ja) 2019-10-02
US20150381991A1 (en) 2015-12-31
WO2015200694A1 (en) 2015-12-30
KR20170021795A (ko) 2017-02-28
CN106537919A (zh) 2017-03-22
JP2017525255A (ja) 2017-08-31
US9819945B2 (en) 2017-11-14
CN106576177A (zh) 2017-04-19
WO2015200666A1 (en) 2015-12-30
KR102388860B1 (ko) 2022-04-20
EP3162070A1 (en) 2017-05-03
KR102388861B1 (ko) 2022-04-20
US10244242B2 (en) 2019-03-26
EP3162058A1 (en) 2017-05-03
CA2952829A1 (en) 2015-12-30
ES2839148T3 (es) 2021-07-05
JP6542271B2 (ja) 2019-07-10
KR20170023838A (ko) 2017-03-06
US20150381996A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
KR102388859B1 (ko) 다중 계층 비디오 코딩
KR102372120B1 (ko) 멀티­계층 코덱들을 위한 ｈｅｖｃ ｓｅｉ 메시지들의 일반적인 이용
KR102388868B1 (ko) 멀티 계층 비디오 코덱들에서의 복구 포인트 ｓｅｉ 메시지
CA2952829C (en) Multi-layer video coding

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20161221

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200608

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210713

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220117

NORF Unpaid initial registration fee
PC1904 Unpaid initial registration fee