KR20210077759A - 이미지 예측 방법 및 디바이스 - Google Patents

이미지 예측 방법 및 디바이스 Download PDF

Info

Publication number
KR20210077759A
KR20210077759A KR1020217015800A KR20217015800A KR20210077759A KR 20210077759 A KR20210077759 A KR 20210077759A KR 1020217015800 A KR1020217015800 A KR 1020217015800A KR 20217015800 A KR20217015800 A KR 20217015800A KR 20210077759 A KR20210077759 A KR 20210077759A
Authority
KR
South Korea
Prior art keywords
mode
intra
prediction
triangle
prediction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020217015800A
Other languages
English (en)
Other versions
KR102704764B1 (ko
Inventor
웨이웨이 쉬
하이타오 양
인 자오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020247029778A priority Critical patent/KR20240136469A/ko
Publication of KR20210077759A publication Critical patent/KR20210077759A/ko
Application granted granted Critical
Publication of KR102704764B1 publication Critical patent/KR102704764B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예들은 픽처 예측 방법을 제공한다. 본 방법은 비트스트림을 수신하는 단계; 비트스트림을 파싱하여 현재 블록의 예측 모드를 획득하는 단계; 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드일 때, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드의 실행 모드를 선택하는 단계; 삼각형 예측 유닛 모드의 실행 모드에 따라 현재 블록의 모션 정보를 결정하는 단계; 모션 정보에 기초하여 모션 보상 프로세스를 수행하여, 인터 예측 샘플을 획득하는 단계; 현재 블록의 예측 모드에 따라 인트라 예측 샘플을 획득하는 단계; 및 인터 예측 샘플과 인트라 예측 샘플을 조합하여 현재 블록의 예측 픽처를 획득하는 단계를 포함한다. 본 발명의 실시예들은 인코딩 및 디코딩 효율을 향상시킬 수 있다.

Description

이미지 예측 방법 및 디바이스
본 출원은 2018년 10월 27일자로 중국 지적 재산권 관리국(China National Intellectual Property Administration)에 출원되고 발명의 명칭이 "PICTURE PREDICTION METHOD AND APPARATUS"인 중국 특허 출원 제201811262934.7호에 대한 우선권을 주장하며, 그 전체가 본 명세서에 참고로 포함된다.
본 출원은 비디오 인코딩 및 디코딩 분야에 관한 것으로, 보다 구체적으로는, 픽처 예측 방법 및 장치에 관한 것이다.
인터넷 기술들이 급속히 발전하고 사람들의 물질적 및 정신적 문화들이 점점 더 풍부해짐에 따라, 비디오의 애플리케이션, 특히 고화질 비디오의 애플리케이션을 위한 인터넷에 대한 요구들이 증가하고 있다. 그러나, 고화질 비디오는 상당히 많은 양의 데이터를 갖는다. 제한된 대역폭으로 인터넷 상에서 고화질 비디오를 송신하기 위해서는, 비디오 인코딩 및 디코딩의 문제들이 먼저 해결될 필요가 있다. 비디오 인코딩 및 디코딩은 광범위한 디지털 비디오 애플리케이션, 예를 들어, 방송 디지털 TV, 인터넷 및 모바일 네트워크를 통한 비디오 송신, 비디오 채팅 및 비디오 회의와 같은 실시간 대화 애플리케이션, DVD 및 블루레이 디스크, 및 비디오 콘텐츠 수집 및 편집 시스템 및 캠코더의 보안 애플리케이션에서 사용된다.
비디오 시퀀스에서의 각각의 픽처는 일반적으로 비중첩 블록들의 세트로 분할되고, 코딩은 일반적으로 블록 레벨에서 수행된다. 예를 들어, 예측 블록은 공간(인트라-픽처) 예측 및 시간(인터-픽처) 예측을 통해 생성된다. 이에 대응하여, 예측 모드들은 인트라 예측 모드(공간 예측)와 인터 예측 모드(시간 예측)를 포함할 수 있다. 인트라 예측 모드 세트는 35개의 상이한 인트라 예측 모드, 예를 들어, DC(또는 평균) 모드 및 평면 모드와 같은 비-방향성 모드들, 또는 H.265에 정의된 것들과 같은 방향성 모드들을 포함할 수 있거나, 67개의 상이한 인트라 예측 모드, 예를 들어, DC(또는 평균) 모드 및 평면 모드와 같은 비-방향성 모드들, 또는 개발 중인 H.266에 정의된 것들과 같은 방향성 모드들을 포함할 수 있다. 인터 예측 모드 세트는 이용가능한 참조 픽처 및 다른 인터 예측 파라미터들에 의존하며, 예를 들어, 전체 참조 픽처가 사용되는지 또는 참조 픽처의 일부만이 사용되는지에 의존한다.
종래의 기술에서, 픽처 예측 효율은 비교적 낮다.
본 출원(또는 본 개시내용)의 실시예들은 픽처 예측 장치 및 방법을 제공한다.
제1 양태에 따르면, 본 발명의 일 실시예는 픽처 예측 방법을 제공한다. 본 방법은 비트스트림을 수신하는 단계; 비트스트림을 파싱하여 현재 블록의 예측 모드를 획득하는 단계; 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드일 때, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드(triangular prediction unit mode)의 실행 모드를 선택하는 단계; 삼각형 예측 유닛 모드의 실행 모드에 따라 현재 블록의 모션 정보를 결정하는 단계; 모션 정보에 기초하여 모션 보상 프로세스를 수행하여, 인터 예측 샘플을 획득하는 단계; 현재 블록의 예측 모드에 따라 인트라 예측 샘플을 획득하는 단계; 및 인터 예측 샘플과 인트라 예측 샘플을 조합하여 현재 블록의 예측 픽처를 획득하는 단계를 포함한다.
본 발명의 실시예들의 제1 양태에서의 방법에 따르면, 인코딩 및 디코딩 효율이 개선될 수 있다.
제2 양태에 따르면, 본 발명의 일 실시예는 픽처 예측 방법을 제공한다. 본 방법은 비트스트림을 수신하는 단계; 비트스트림을 파싱하여 현재 블록의 삼각형 예측 유닛 모드를 획득하는 단계; 삼각형 예측 유닛 모드가 현재 블록에 사용될 때, 제1 미리 설정된 정책에 따라 조합된 인트라 및 인터 예측 모드의 실행 모드를 선택하는 단계; 삼각형 예측 유닛 모드에 따라 현재 블록의 모션 정보를 획득하여, 인터 예측 샘플을 획득하는 단계; 및 조합된 인트라 및 인터 예측 모드의 실행 모드 및 인터 예측 샘플에 따라 현재 블록의 예측 픽처를 획득하는 단계를 포함한다.
본 발명의 실시예들의 제2 양태에서의 방법에 따르면, 인코딩 및 디코딩 효율이 개선될 수 있다.
제3 양태에 따르면, 본 발명의 실시예는 프로세서와 메모리를 포함하는, 비디오 스트림을 디코딩하기 위한 장치를 제공한다. 메모리는 명령어들을 저장하고, 명령어들은 프로세서가 제1 양태에서의 방법을 수행할 수 있게 한다.
제4 양태에 따르면, 본 발명의 실시예는 프로세서와 메모리를 포함하는, 비디오 스트림을 디코딩하기 위한 장치를 제공한다. 메모리는 명령어들을 저장하고, 명령어들은 프로세서가 제2 양태에서의 방법을 수행할 수 있게 한다.
제5 양태에 따르면, 컴퓨터 판독가능 저장 매체가 제공된다. 컴퓨터 판독가능 저장 매체는 명령어들을 저장하고, 명령어들이 실행될 때, 하나 이상의 프로세서는 비디오 데이터를 인코딩 또는 디코딩할 수 있게 된다. 명령어들은 하나 이상의 프로세서가 제1 양태의 임의의 가능한 구현에서의 방법을 수행할 수 있게 한다.
제6 양태에 따르면, 본 발명의 실시예는 프로그램 코드를 포함하는 컴퓨터 프로그램을 제공한다. 프로그램 코드가 컴퓨터 상에서 실행될 때, 제1 양태의 임의의 가능한 구현에서의 방법이 수행된다.
제7 양태에 따르면, 컴퓨터 판독가능 저장 매체가 제공된다. 컴퓨터 판독가능 저장 매체는 명령어들을 저장하고, 명령어들이 실행될 때, 하나 이상의 프로세서는 비디오 데이터를 인코딩 또는 디코딩할 수 있게 된다. 명령어들은 하나 이상의 프로세서가 제2 양태의 임의의 가능한 구현에서의 방법을 수행할 수 있게 한다.
제8 양태에 따르면, 본 발명의 실시예는 프로그램 코드를 포함하는 컴퓨터 프로그램을 제공한다. 프로그램 코드가 컴퓨터 상에서 실행될 때, 제2 양태의 임의의 가능한 구현에서의 방법이 수행된다.
하나 이상의 실시예의 세부사항들은 첨부 도면들 및 이하의 설명에서 설명된다. 다른 특징들, 목적들, 및 장점들은 명세서, 도면들, 및 청구항들로부터 명백하다.
본 출원의 실시예들에서의 또는 배경기술에서의 기술적 해결책들을 보다 명확하게 설명하기 위해, 다음은 본 출원의 실시예들 또는 배경기술에 필요한 첨부 도면들을 설명한다.
도 1a는 본 발명의 일 실시예를 구현하기 위한 비디오 인코딩 시스템의 일례를 나타낸 블록도이고;
도 1b는 도 2의 인코더(20)와 도 3의 디코더(30) 중 임의의 하나 또는 2개를 포함하는 비디오 코딩 시스템의 일례를 나타내는 블록도이고;
도 2는 본 발명의 일 실시예를 구현하기 위한 비디오 인코더의 예시적인 구조를 나타내는 블록도이고;
도 3은 본 발명의 일 실시예를 구현하기 위한 비디오 디코더의 예시적인 구조를 나타내는 블록도이고;
도 4는 인코딩 장치 또는 디코딩 장치의 일례를 나타내는 블록도이고;
도 5는 다른 인코딩 장치 또는 다른 디코딩 장치의 일례를 나타내는 블록도이고;
도 6은 현재 블록의 공간 후보 및 시간 후보의 예를 나타내고;
도 7은 인트라(intra) 예측 모드의 개략도이고;
도 8은 삼각형 예측 유닛 모드의 개략도이고;
도 9는 본 발명의 실시예 1의 개략적인 흐름도이고;
도 10은 본 발명의 실시예 2의 개략적인 흐름도이고;
도 11은 본 발명의 일 실시예에 따른 장치(1100)의 개략적인 구조도이고;
도 12는 콘텐츠 전달 서비스를 구현하는 콘텐츠 공급 시스템(3100)의 예시적인 구조를 나타내는 블록도이고;
도 13은 단말 디바이스의 예시적인 구조의 블록도이다.
이하에서, 동일한 참조 부호들은 달리 특정되지 않는 한 동일하거나 적어도 기능적으로 동등한 특징들을 나타낸다.
비디오 코딩은 일반적으로 비디오 또는 비디오 시퀀스를 형성하는 픽처들의 시퀀스를 처리하는 것이다. 비디오 코딩 분야에서, 용어 "픽처(picture)", "프레임(frame)", 및 "이미지(image)"는 용어는 동의어로서 사용될 수 있다. 본 출원(또는 본 개시내용)에서 사용되는 비디오 코딩은 비디오 인코딩 또는 비디오 디코딩을 나타낸다. 비디오 인코딩은 소스 측에서 수행되고, 일반적으로 (더 효율적인 저장 및/또는 송신을 위해) 비디오 픽처를 표현하는 데 필요한 데이터의 양을 감소시키기 위해 원래의 비디오 픽처를 (예를 들어, 압축을 통해) 처리하는 것을 포함한다. 비디오 디코딩은 목적지 측에서 수행되고, 일반적으로 비디오 픽처를 재구성하기 위해 인코더에 대한 역 처리를 포함한다. 실시예들에서 비디오 픽처의 "코딩"은 비디오 시퀀스에 관련된 "인코딩" 또는 "디코딩"으로서 이해되어야 한다. 인코딩과 디코딩의 조합은 코딩(인코딩 및 디코딩)이라고도 지칭된다.
비디오 시퀀스에서의 각각의 픽처는 일반적으로 비중첩 블록들의 세트로 분할되고, 코딩은 일반적으로 블록 레벨에서 수행된다. 구체적으로, 인코더 측에서, 비디오는 일반적으로 블록(픽처 블록 또는 비디오 블록이라고도 지칭됨) 레벨에서 처리, 즉 인코딩된다. 예를 들어, 예측 블록은 공간(인트라-픽처) 예측과 시간(인터-픽처) 예측을 통해 생성되고, 예측 블록은 현재 블록(처리되고 있거나 처리될 블록)으로부터 감산되어 잔차 블록을 획득하고, 잔차 블록은 변환 도메인에서 변환되고 양자화되어 송신(압축)될 데이터의 양을 감소시킨다. 디코더 측에서, 인코더에 대한 역 처리가 인코딩되거나 압축된 블록에 적용되어 표현을 위해 현재 블록을 재구성한다. 또한, 인코더는 디코더의 처리 루프를 복제하여, 인코더 및 디코더가 동일한 예측(예를 들어, 인트라 예측 및 인터 예측) 및/또는 처리를 위한 재구성, 즉 후속 블록을 인코딩한다.
용어 "블록"은 픽처 또는 프레임의 일부일 수 있다. 본 출원에서의 핵심 용어들은 다음과 같이 정의된다:
현재 블록: 현재 블록은 처리되고 있는 블록이다. 예를 들어, 인코딩 동안, 현재 블록은 인코딩되고 있는 블록이고, 디코딩 동안, 현재 블록은 디코딩되고 있는 블록이다. 처리되고 있는 블록이 크로마 성분 블록인 경우, 블록은 현재 크로마 블록이라고 지칭된다. 현재 크로마 블록에 대응하는 루마 블록은 현재 루마 블록이라고 지칭될 수 있다.
참조 블록: 참조 블록은 현재 블록에 대한 참조 신호를 제공하는 블록이다. 검색 프로세스에서, 최적의 참조 블록을 찾기 위해 복수의 참조 블록이 순회될 수 있다.
예측 블록: 현재 블록에 대한 예측을 제공하는 블록은 예측 블록이라고 지칭된다. 예를 들어, 복수의 참조 블록이 순회된 후에, 최적의 참조 블록이 발견된다. 최적 참조 블록은 현재 블록에 대한 예측을 제공하고, 블록은 예측 블록이라고 지칭된다.
픽처 블록 신호: 픽처 블록 신호는 픽처 블록에서의 픽셀 값, 샘플 값, 또는 샘플 신호이다.
예측 신호: 예측 블록에서의 픽셀 값, 샘플 값, 또는 샘플 신호는 예측 신호라고 지칭된다.
다음은 도 1a 및 도 1b 내지 도 3에 기초한 인코더(20), 디코더(30), 및 인코딩 시스템(10)의 실시예들을 설명한다.
도 1a는 예시적인 인코딩 시스템(10), 예를 들어, 본 출원(본 개시 내용)의 기술들을 사용할 수 있는 비디오 인코딩 시스템(10)을 나타내는 개념적인 또는 개략적인 블록도이다. 비디오 인코딩 시스템(10) 내의 인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30))는 본 출원에서 설명되는 다양한 예들에 따라 인트라 예측을 수행하도록 구성될 수 있는 디바이스 예를 나타낸다. 도 1a에 도시된 바와 같이, 인코딩 시스템(10)은 인코딩된 픽처(13)와 같은 인코딩된 데이터(13)를 인코딩된 데이터(13) 등을 디코딩하기 위한 목적지 디바이스(14)에 제공하도록 구성된 소스 디바이스(12)를 포함한다.
소스 디바이스(12)는 인코더(20)를 포함하고, 그에 부가하여 또는 선택적으로, 픽처 소스(16), 예를 들어, 픽처 전처리 유닛(18)과 같은 전처리 유닛(18), 및 통신 인터페이스 또는 통신 유닛(22)을 포함할 수 있다.
픽처 소스(16)는 실세계 픽처 등을 캡처하도록 구성되는 임의의 타입의 픽처 캡처링 디바이스, 및/또는 픽처 또는 코멘트를 생성하기 위한 임의의 타입의 디바이스(스크린 콘텐츠 인코딩을 위해, 스크린 상의 일부 텍스트는 또한 인코딩될 픽처의 일부로서 고려됨), 예를 들어, 컴퓨터 애니메이션 픽처를 생성하도록 구성되는 컴퓨터 그래픽 처리 유닛, 또는 실세계 픽처 또는 컴퓨터 애니메이션 픽처(예를 들어, 스크린 콘텐츠 또는 가상 현실(virtual reality, VR) 픽처), 및/또는 이들의 임의의 조합(예를 들어, 증강 현실(augmented reality, AR) 픽처)을 획득 및/또는 제공하도록 구성되는 임의의 타입의 디바이스를 포함할 수 있거나 또는 이들일 수 있다.
픽처는 루마 값들을 갖는 샘플들의 2차원 어레이 또는 행렬로서 간주될 수 있다. 어레이 내의 샘플은 픽셀(pixel)(픽처 요소(picture element)의 짧은 형태) 또는 펠(pel)이라고도 지칭될 수 있다. 어레이 또는 픽처의 수평 및 수직 방향들(또는 축들)에서의 샘플들의 수량은 픽처의 크기 및/또는 해상도를 정의한다. 컬러를 표현하기 위해, 3개의 컬러 성분이 일반적으로 사용되는데, 즉 픽처는 3개의 샘플 어레이로서 표현되거나 이들을 포함할 수 있다. RBG 포맷 또는 컬러 공간에서, 픽처는 대응하는 적색, 녹색, 및 청색 샘플 어레이들을 포함한다. 그러나, 비디오 코딩시, 각각의 픽셀은 일반적으로 휘도/색차 포맷 또는 컬러 공간으로 표현되며, 예를 들어, YCbCr 포맷의 픽처는 Y(때때로 L로 표시됨)로 표시된 휘도 성분 및 Cb와 Cr로 표시된 2개의 색차 성분을 포함한다. 휘도(줄여서 루마) 성분 Y는 휘도 또는 그레이 레벨 강도를 나타내고(예를 들어, 그 둘은 그레이-스케일 픽처에서 동일함), 2개의 색차(줄여서 크로마) 성분 Cb 및 Cr은 색차 또는 컬러 정보 성분을 나타낸다. 따라서, YCbCr 포맷의 픽처는 휘도 샘플 값들(Y)의 휘도 샘플 어레이, 및 색차 값들(Cb 및 Cr)의 2개의 색차 샘플 어레이들을 포함한다. RGB 포맷의 픽처는 YCbCr 포맷의 픽처로 변환 또는 변형될 수 있고, 그 반대도 가능하다. 이 프로세스는 컬러 변형 또는 변환이라고도 한다. 픽처가 단색이면, 픽처는 휘도 샘플 어레이만을 포함할 수 있다.
픽처 소스(16)(예를 들어, 비디오 소스(16))는, 예를 들어, 픽처를 캡처하도록 구성된 카메라, 예를 들어, 이전에 캡처되거나 생성된 픽처를 포함하거나 저장하는 픽처 메모리와 같은 메모리, 및/또는 픽처를 획득하거나 수신하기 위한 임의의 타입의(내부 또는 외부) 인터페이스일 수 있다. 카메라는, 예를 들어, 로컬 카메라 또는 소스 디바이스에 통합된 통합 카메라일 수 있고, 메모리는 로컬 메모리 또는 소스 디바이스에 통합된 통합 메모리일 수 있다. 인터페이스는, 예를 들어, 외부 비디오 소스로부터 픽처를 수신하기 위한 외부 인터페이스일 수 있다. 외부 비디오 소스는, 예를 들어, 카메라, 외부 메모리, 또는 외부 픽처 생성 디바이스와 같은 외부 픽처 캡처링 디바이스이다. 외부 픽처 생성 디바이스는, 예를 들어, 외부 컴퓨터 그래픽 처리 유닛, 컴퓨터, 또는 서버이다. 인터페이스는 임의의 독점적 또는 표준화된 인터페이스 프로토콜에 따른 임의의 타입의 인터페이스, 예를 들어, 유선 또는 무선 인터페이스 또는 광학 인터페이스일 수 있다. 픽처 데이터(17)를 획득하기 위한 인터페이스는 통신 인터페이스(22)와 동일한 인터페이스일 수 있거나, 통신 인터페이스(22)의 일부일 수 있다.
전처리 유닛(18) 및 전처리 유닛(18)에 의해 수행되는 처리와 달리, 픽처(17) 또는 픽처 데이터(17)(예를 들어, 비디오 데이터(16))는 원래의 픽처(17) 또는 원래의 픽처 데이터(17)라고도 지칭될 수 있다.
전처리 유닛(18)은 (원래의) 픽처 데이터(17)를 수신하고 픽처 데이터(17)에 대해 전처리를 수행하여, 전처리된 픽처(19) 또는 전처리된 픽처 데이터(19)를 획득하도록 구성된다. 예를 들어, 전처리 유닛(18)에 의해 수행되는 전처리는 트리밍, 컬러 포맷 변환(예를 들어, RGB로부터 YCbCr로의), 컬러 보정, 또는 노이즈 감소를 포함할 수 있다. 전처리 유닛(18)은 선택적인 컴포넌트일 수 있다는 것을 이해할 수 있다.
인코더(20)(예를 들어, 비디오 인코더(20))는 전처리된 픽처 데이터(19)를 수신하고 인코딩된 픽처 데이터(21)를 제공하도록 구성된다(세부사항들은, 예를 들어, 도 2 또는 도 4에 기초하여 이하에서 추가로 설명된다). 예에서, 인코더(20)는 다음의 실시예들 1 내지 7을 수행하도록 구성될 수 있다.
소스 디바이스(12)의 통신 인터페이스(22)는 인코딩된 픽처 데이터(21)를 수신하고 인코딩된 픽처 데이터(21)를 저장 또는 직접 재구성하기 위해 다른 디바이스, 예를 들어, 목적지 디바이스(14) 또는 임의의 다른 디바이스에 송신하도록 구성될 수 있거나, 또는 인코딩된 데이터(13)를 대응적으로 저장하고/하거나 인코딩된 데이터(13)를 다른 디바이스에 송신하기 전에 인코딩된 픽처 데이터(21)를 처리하도록 구성될 수 있다. 다른 디바이스는, 예를 들어, 목적지 디바이스(14) 또는 디코딩 또는 저장을 위해 사용되는 임의의 다른 디바이스이다.
목적지 디바이스(14)는 디코더(30)(예를 들어, 비디오 디코더(30))를 포함하고, 그에 부가하여 또는 선택적으로, 통신 인터페이스 또는 통신 유닛(28), 후처리 유닛(32), 및 디스플레이 디바이스(34)를 포함할 수 있다.
예를 들어, 목적지 디바이스(14)의 통신 인터페이스(28)는 소스 디바이스(12) 또는 임의의 다른 소스로부터 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를 직접 수신하도록 구성된다. 임의의 다른 소스는 예를 들어, 저장 디바이스이고, 저장 디바이스는 예를 들어, 인코딩된 픽처 데이터 저장 디바이스이다.
통신 인터페이스(22)와 통신 인터페이스(28)는 소스 디바이스(12)와 목적지 디바이스(14) 사이의 직접 통신 링크를 통해 또는 임의의 타입의 네트워크를 통해 인코딩된 픽처 데이터(21) 또는 인코딩된 데이터(13)를 송신 또는 수신하도록 구성될 수 있다. 직접 통신 링크는, 예를 들어, 직접 유선 또는 무선 접속이고, 임의의 타입의 네트워크는, 예를 들어, 유선 또는 무선 네트워크 또는 이들의 임의의 조합, 또는 임의의 타입의 사설 네트워크 또는 공중 네트워크 또는 이들의 임의의 조합이다.
통신 인터페이스(22)는, 예를 들어, 인코딩된 픽처 데이터(21)를 통신 링크 또는 통신 네트워크를 통한 송신을 위한 패킷과 같은 적절한 포맷으로 캡슐화하도록 구성될 수 있다.
통신 인터페이스(22)의 대응하는 부분으로서의 통신 인터페이스(28)는 인코딩된 데이터(13)를 역캡슐화하여 인코딩된 픽처 데이터(21) 등을 획득하도록 구성될 수 있다.
통신 인터페이스(22)와 통신 인터페이스(28) 둘 다는 단방향 통신 인터페이스들, 예를 들어, 도 1a에서 인코딩된 픽처 데이터(13)에 사용되는 소스 디바이스(12)로부터 목적지 디바이스(14)를 가리키는 화살표로서 구성될 수 있거나, 또는 양방향 통신 인터페이스들로서 구성될 수 있고, 예를 들어, 연결을 설정하기 위해 메시지를 송신 및 수신하고, 인코딩된 픽처 데이터 송신과 같은 통신 링크 및/또는 데이터 송신에 관련된 임의의 다른 정보를 확인 및 교환하도록 구성될 수 있다.
디코더(30)는 인코딩된 픽처 데이터(21)를 수신하고 디코딩된 픽처 데이터(31) 또는 디코딩된 픽처(31)를 제공하도록 구성된다(세부사항들은, 예를 들어, 도 3 또는 도 5에 기초하여 이하에서 추가로 설명된다). 예에서, 디코더(30)는 다음의 실시예들 1 내지 7을 수행하도록 구성될 수 있다.
목적지 디바이스(14)의 후처리 유닛(32)은 디코딩된 픽처(131)와 같은 디코딩된 픽처 데이터(31)(재구성된 픽처 데이터라고도 지칭됨)를 후처리하여, 후처리된 픽처(33)와 같은 후처리된 픽처 데이터(33)를 획득하도록 구성된다. 후처리 유닛(32)에 의해 수행되는 후처리는, 예를 들어, 컬러 포맷 변환(예를 들어, YCbCr로부터 RGB로의), 컬러 보정, 트리밍, 리샘플링, 또는 디스플레이 디바이스(34)에 의한 디스플레이를 위해 디코딩된 픽처 데이터(31)를 준비하기 위한 임의의 다른 처리를 포함할 수 있다.
목적지 디바이스(14)의 디스플레이 디바이스(34)는 후처리된 픽처 데이터(33)를 수신하여 픽처를 사용자, 뷰어 등에 디스플레이하도록 구성된다. 디스플레이 디바이스(34)는 재구성된 픽처를 제시하도록 구성된 임의의 타입의 디스플레이, 예를 들어, 통합된 또는 외부 디스플레이 또는 모니터일 수 있거나 이를 포함할 수 있다. 예를 들어, 디스플레이는 액정 디스플레이(liquid crystal display, LCD), 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 플라즈마 디스플레이, 프로젝터, 마이크로-LED 디스플레이, 실리콘 액정(liquid crystal on silicon, LCoS) 디스플레이, 디지털 광 프로세서(digital light processor, DLP), 또는 임의의 다른 타입의 디스플레이를 포함할 수 있다.
도 1a는 소스 디바이스(12)와 목적지 디바이스(14)를 별개의 디바이스로서 도시하고 있지만, 디바이스 실시예들은 또한, 소스 디바이스(12)와 목적지 디바이스(14) 양쪽 모두 또는 소스 디바이스(12)의 기능과 목적지 디바이스(14)의 기능 양쪽 모두, 즉, 소스 디바이스(12) 또는 대응하는 기능과 목적지 디바이스(14) 또는 대응하는 기능을 포함할 수 있다. 이러한 실시예들에서, 소스 디바이스(12) 또는 대응하는 기능과 목적지 디바이스(14) 또는 대응하는 기능은, 동일한 하드웨어 및/또는 소프트웨어, 별개의 하드웨어 및/또는 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다.
본 설명에 기초하여, 본 기술분야의 통상의 기술자는 도 1a에 도시된 상이한 유닛들의 기능들 또는 소스 디바이스(12) 및/또는 목적지 디바이스(14)의 기능들/기능의 존재 및 (정확한) 분할이 실제 디바이스 및 애플리케이션에 따라 변할 수 있다는 것을 쉽게 이해한다.
인코더(20)(예를 들어, 비디오 인코더(20)) 및 디코더(30)(예를 들어, 비디오 디코더(30)) 각각은 다양한 적절한 회로들, 예를 들어, 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적 회로(application-specific integrated circuit, ASIC), 필드-프로그래머블 게이트 어레이(field-programmable gate array, FPGA), 이산 로직, 하드웨어, 또는 이들의 임의의 조합 중 임의의 하나로서 구현될 수 있다. 본 기술이 부분적으로 소프트웨어로 구현되는 경우, 디바이스는 소프트웨어 명령어들을 적절한 비일시적 컴퓨터 판독가능 저장 매체에 저장할 수 있고, 본 개시내용의 기술들을 수행하기 위해 하나 이상의 프로세서를 사용함으로써 하드웨어로 명령어들을 실행할 수 있다. (하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 비롯한) 전술한 콘텐츠 중 어느 하나는 하나 이상의 프로세서로서 간주될 수 있다. 비디오 인코더(20)와 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 인코더들 또는 디코더들 중 임의의 하나는 대응하는 디바이스 내의 결합된 인코더/디코더(코덱)의 일부로서 통합될 수 있다.
소스 디바이스(12)는 비디오 인코딩 디바이스 또는 비디오 인코딩 장치라고 지칭될 수 있다. 목적지 디바이스(14)는 비디오 디코딩 디바이스 또는 비디오 디코딩 장치라고 지칭될 수 있다. 소스 디바이스(12)와 목적지 디바이스(14) 각각은 비디오 인코딩 디바이스 또는 비디오 디코딩 장치의 일례일 수 있다.
소스 디바이스(12) 및 목적지 디바이스(14) 각각은, 임의의 타입의 핸드헬드 또는 고정 디바이스, 예를 들어, 노트북 또는 랩톱 컴퓨터, 모바일 폰, 스마트폰, 태블릿 또는 태블릿 컴퓨터, 비디오 카메라, 데스크톱 컴퓨터, 셋탑 박스, 텔레비전, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, (콘텐츠 서비스 서버 또는 콘텐츠 전달 서버 등의) 비디오 스트리밍 송신 디바이스, 방송 수신기 디바이스, 또는 방송 송신기 디바이스를 포함한, 다양한 디바이스들 중 임의의 하나를 포함할 수 있고, 임의의 타입의 운영 체제를 사용하거나 사용하지 않을 수 있다.
일부 경우들에서, 소스 디바이스(12)와 목적지 디바이스(14)는 무선 통신을 위해 구비될 수 있다. 따라서, 소스 디바이스(12)와 목적지 디바이스(14)는 무선 통신 디바이스일 수 있다.
일부 경우들에서, 도 1a에 도시된 비디오 인코딩 시스템(10)은 단지 일례이고, 본 출원에서의 기술들은 인코딩 디바이스와 디코딩 디바이스 사이의 임의의 데이터 통신을 포함할 필요가 없는 비디오 코딩 설정(예를 들어, 비디오 인코딩 또는 비디오 디코딩)에 적용될 수 있다. 다른 예들에서, 데이터는 로컬 메모리로부터 검색될 수 있거나, 네트워크를 통해 스트리밍될 수 있거나, 기타 등등이다. 비디오 인코딩 디바이스는 데이터를 인코딩하고 데이터를 메모리에 저장할 수 있고, 및/또는 비디오 디코딩 디바이스는 메모리로부터 데이터를 검색하고 데이터를 디코딩할 수 있다. 일부 예들에서, 인코딩 및 디코딩은 서로 통신하지 않고 메모리에 데이터를 인코딩하고/하거나 메모리로부터 데이터를 검색하고 데이터를 디코딩하는 디바이스들에 의해 수행된다.
비디오 인코더(20)를 참조하여 설명된 전술한 예들 각각에 대해, 비디오 디코더(30)는 역 프로세스를 수행하도록 구성될 수 있다는 것을 이해해야 한다. 시그널링 신택스 요소에 대해, 비디오 디코더(30)는 신택스 요소를 수신 및 파싱하고 그에 따라 관련 비디오 데이터를 디코딩하도록 구성될 수 있다. 일부 예들에서, 비디오 인코더(20)는 신택스 요소를 인코딩된 비디오 비트스트림으로 엔트로피-인코딩할 수 있다. 이러한 예들에서, 비디오 디코더(30)는 신택스 요소를 파싱하고 그에 따라 관련된 비디오 데이터를 디코딩할 수 있다.
도 1b는 예시적인 실시예에 따른 도 2의 인코더(20) 및/또는 도 3의 디코더(30)를 포함하는 비디오 코딩 시스템(40)의 일례를 나타내는 도면이다. 시스템(40)은 본 출원의 다양한 기술들의 조합을 구현할 수 있다. 도시된 구현에서, 비디오 코딩 시스템(40)은 이미징 디바이스(41), 비디오 인코더(20), 비디오 디코더(30)(및/또는 처리 유닛(46)의 로직 회로(47)에 의해 구현되는 비디오 디코더), 안테나(42), 하나 이상의 프로세서(43), 하나 이상의 메모리(44), 및/또는 디스플레이 디바이스(45)를 포함할 수 있다.
도면에 도시된 바와 같이, 이미징 디바이스(41), 안테나(42), 처리 유닛(46), 로직 회로(47), 비디오 인코더(20), 비디오 디코더(30), 프로세서(43), 메모리(44) 및/또는 디스플레이 디바이스(45)는 서로 통신할 수 있다. 설명된 바와 같이, 비디오 코딩 시스템(40)이 비디오 인코더(20)와 비디오 디코더(30) 둘 다를 갖는 것으로 도시되어 있지만, 상이한 예들에서, 비디오 코딩 시스템(40)은 비디오 인코더(20)만을 또는 비디오 디코더(30)만을 포함할 수 있다.
일부 예들에서, 도면에 도시된 바와 같이, 비디오 코딩 시스템(40)은 안테나(42)를 포함할 수 있다. 예를 들어, 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 송신 또는 수신하도록 구성될 수 있다. 또한, 일부 예들에서, 비디오 코딩 시스템(40)은 디스플레이 디바이스(45)를 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 데이터를 제시하도록 구성될 수 있다. 일부 예들에서, 도면에 도시된 바와 같이, 로직 회로(47)는 처리 유닛(46)에 의해 구현될 수 있다. 처리 유닛(46)은 주문형 집적 회로(application-specific integrated circuit, ASIC) 로직, 그래픽 처리 유닛, 범용 프로세서 등을 포함할 수 있다. 비디오 코딩 시스템(40)은 또한 선택적 프로세서(43)를 포함할 수 있다. 선택적 프로세서(43)는 유사하게 주문형 집적 회로(application-specific integrated circuit, ASIC) 로직, 그래픽 처리 유닛, 범용 프로세서 등을 포함할 수 있다. 일부 예들에서, 로직 회로(47)는 비디오 인코딩 전용 하드웨어와 같은 하드웨어에 의해 구현될 수 있고, 프로세서(43)는 범용 소프트웨어, 운영 체제 등에 의해 구현될 수 있다. 또한, 메모리(44)는 임의의 타입의 메모리, 예를 들어, 휘발성 메모리(예를 들어, 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM) 또는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM)) 또는 비휘발성 메모리(예를 들어, 플래시 메모리)일 수 있다. 비제한적인 예에서, 메모리(44)는 캐시 메모리에 의해 구현될 수 있다. 일부 예들에서, 로직 회로(47)는 (예를 들어, 픽처 버퍼를 구현하기 위해) 메모리(44)에 액세스할 수 있다. 다른 예들에서, 로직 회로(47) 및/또는 처리 유닛(46)은 픽처 버퍼 등을 구현하기 위한 메모리(예를 들어, 캐시)를 포함할 수 있다.
일부 예들에서, 로직 회로에 의해 구현되는 비디오 인코더(20)는 픽처 버퍼(예를 들어, 처리 유닛(46) 또는 메모리(44)에 의해 구현됨) 및 그래픽 처리 유닛(예를 들어, 처리 유닛(46)에 의해 구현됨)을 포함할 수 있다. 그래픽 처리 유닛은 픽처 버퍼에 통신가능하게 결합될 수 있다. 그래픽 처리 유닛은 도 2를 참조하여 설명되는 다양한 모듈들 및/또는 본 명세서에서 설명되는 임의의 다른 인코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)에 의해 구현되는 비디오 인코더(20)를 포함할 수 있다. 로직 회로는 본 명세서에 설명된 다양한 동작들을 수행하도록 구성될 수 있다.
비디오 디코더(30)는 도 3의 디코더(30) 및/또는 본 명세서에서 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 참조하여 설명되는 다양한 모듈들을 구현하기 위해 로직 회로(47)에 의해 유사하게 구현될 수 있다. 일부 예들에서, 로직 회로에 의해 구현되는 비디오 디코더(30)는 픽처 버퍼(처리 유닛(2820) 또는 메모리(44)에 의해 구현됨) 및 그래픽 처리 유닛(예를 들어, 처리 유닛(46)에 의해 구현됨)을 포함할 수 있다. 그래픽 처리 유닛은 픽처 버퍼에 통신가능하게 결합될 수 있다. 그래픽 처리 유닛은 도 3을 참조하여 설명되는 다양한 모듈들 및/또는 본 명세서에서 설명되는 임의의 다른 디코더 시스템 또는 서브시스템을 구현하기 위해 로직 회로(47)에 의해 구현되는 비디오 디코더(30)를 포함할 수 있다.
일부 예들에서, 비디오 코딩 시스템(40)의 안테나(42)는 비디오 데이터의 인코딩된 비트스트림을 수신하도록 구성될 수 있다. 설명된 바와 같이, 인코딩된 비트스트림은 본 명세서에서 설명된 비디오 프레임 인코딩에 관련된 데이터, 표시자, 인덱스 값, 모드 선택 데이터 등, 예를 들어, 인코딩 분할(encoding partitioning)에 관련된 데이터(예를 들어, 변환 계수 또는 양자화된 변환 계수, (설명된) 선택적 표시자, 및/또는 인코딩 분할을 정의하는 데이터)를 포함할 수 있다. 비디오 코딩 시스템(40)은 안테나(42)에 결합되고 인코딩된 비트스트림을 디코딩하도록 구성되는 비디오 디코더(30)를 추가로 포함할 수 있다. 디스플레이 디바이스(45)는 비디오 프레임을 제시하도록 구성된다.
인코더 및 인코딩 방법
도 2는 본 출원(개시내용)에서의 기술들을 구현하도록 구성된 비디오 인코더(20)의 예의 개략적인/개념적인 블록도이다. 도 2의 예에서, 비디오 인코더(20)는 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 역양자화 유닛(210), 및 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230), 예측 처리 유닛(260), 및 엔트로피 인코딩 유닛(270)을 포함한다. 예측 처리 유닛(260)은 인터 예측 유닛(244), 인트라 예측 유닛(254), 및 모드 선택 유닛(262)을 포함할 수 있다. 인터 예측 유닛(244)은 모션 추정 유닛 및 모션 보상 유닛(도면에 도시되지 않음)을 포함할 수 있다. 도 2에 도시된 비디오 인코더(20)는 하이브리드 비디오 인코더 또는 하이브리드 비디오 코덱-기반 비디오 인코더라고도 지칭될 수 있다.
예를 들어, 잔차 계산 유닛(204), 변환 처리 유닛(206), 양자화 유닛(208), 예측 처리 유닛(260), 및 엔트로피 인코딩 유닛(270)은 인코더(20)의 순방향 신호 경로를 형성하고, 역양자화 유닛(210), 역변환 처리 유닛(212), 재구성 유닛(214), 버퍼(216), 루프 필터 유닛(220), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230), 예측 처리 유닛(260) 등은 인코더의 역방향 신호 경로를 형성한다. 인코더의 역방향 신호 경로는 디코더(도 3의 디코더(30) 참조)의 신호 경로에 대응한다.
인코더(20)는 입력(202) 등을 사용하여 픽처(201) 또는 픽처(201)의 블록(203), 예를 들어, 비디오 또는 비디오 시퀀스를 형성하는 픽처들의 시퀀스 내의 픽처를 수신한다. 픽처 블록(203)은 현재 픽처 블록 또는 인코딩될 픽처 블록이라고도 지칭될 수 있고, 픽처(201)는 현재 픽처 또는 인코딩될 픽처라고 지칭될 수 있다(특히 현재 픽처가 비디오 코딩에서의 다른 픽처와 구별될 때, 예를 들어, 동일한 비디오 시퀀스에서의 다른 픽처들은 또한 현재 픽처의 비디오 시퀀스에서의 이전에 인코딩된 및/또는 디코딩된 픽처들을 포함한다).
분할(Partitioning)
인코더(20)의 실시예는 픽처(201)를 블록(203)들과 같은 복수의 비중첩 블록으로 분할하도록 구성된 분할 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 분할 유닛은 비디오 시퀀스에서의 모든 픽처들에 대해 동일한 블록 크기 및 블록 크기를 정의하는 대응하는 래스터를 사용하도록 구성될 수 있거나, 또는 픽처들, 서브세트들, 또는 픽처 그룹들 사이에서 블록 크기를 변경하고, 각각의 픽처를 대응하는 블록들로 분할하도록 구성될 수 있다.
예에서, 비디오 인코더(20)의 예측 처리 유닛(260)은 전술한 분할 기술들의 임의의 조합을 수행하도록 구성될 수 있다.
예를 들어, 픽처(201)에서, 블록(203)은 또한 루마 값들(샘플 값들)을 갖는 샘플들의 2차원 어레이 또는 행렬이거나 그로서 또한 고려될 수 있지만, 블록(203)의 크기는 픽처(201)의 크기보다 작다. 즉, 블록(203)은, 예를 들어, 하나의 샘플 어레이(예를 들어, 단색 픽처(201)의 경우에는 휘도 어레이), 3개의 샘플 어레이(예를 들어, 컬러 픽처의 경우에는 하나의 휘도 어레이 및 2개의 색차 어레이), 또는 사용된 컬러 포맷에 기초한 기타 임의의 수량 및/또는 타입의 어레이를 포함할 수 있다. 블록(203)의 수평 및 수직 방향들(또는 축들)에서의 샘플들의 수량은 블록(203)의 크기를 정의한다.
도 2에 도시된 인코더(20)는 픽처(201)를 블록별로 인코딩하도록, 예를 들어, 각각의 블록(203)에 대해 인코딩 및 예측을 수행하도록 구성된다.
잔차 계산
잔차 계산 유닛(204)은 픽처 블록(203) 및 예측 블록(265)에 기초하여 잔차 블록(205)을 계산하도록(예측 블록(265)에 관한 추가 세부사항들은 아래에 제공됨), 예를 들어, 샘플별로(픽셀별로) 픽처 블록(203)의 샘플 값으로부터 예측 블록(265)의 샘플 값을 감산함으로써 샘플 도메인에서의 잔차 블록(205)을 획득하도록 구성된다.
변환
변환 처리 유닛(206)은 이산 코사인 변환(discrete cosine transform, DCT) 또는 이산 사인 변환(discrete sine transform, DST)과 같은 변환을 잔차 블록(205)의 샘플 값에 적용하여, 변환 도메인에서 변환 계수(207)를 획득하도록 구성된다. 변환 계수(207)는 잔차 변환 계수라고도 지칭될 수 있고, 변환 도메인에서 잔차 블록(205)을 나타낸다.
변환 처리 유닛(206)은 DCT/DST의 정수 근사, 예를 들어, HEVC/H.265에 명시된 변환을 적용하도록 구성될 수 있다. 이 정수 근사는 일반적으로 직교 DCT 변환과 비교하여 인자에 비례하여 스케일링된다. 순방향 변환 및 역변환을 통해 획득된 잔차 블록의 표준(norm)을 유지하기 위해, 변환 프로세스의 일부로서 추가적인 스케일 인자가 적용된다. 스케일 인자는 일반적으로 일부 제약 조건들에 기초하여 선택되는데, 예를 들어, 2의 거듭제곱, 변환 계수의 비트 심도, 또는 시프트 동작에 사용되는 구현 비용과 정확도 사이의 트레이드오프이다. 예를 들어, 디코더(30) 측의 역변환에 대해 역변환 처리 유닛(212)을 사용하여(그리고, 대응적으로, 인코더(20) 측의 역변환에 대해 역변환 처리 유닛(212) 등을 사용하여) 특정 스케일 인자가 지정되고, 대응적으로, 인코더(20) 측의 순방향 변환에 대해 변환 처리 유닛(206)을 사용하여 대응하는 스케일 인자가 지정될 수 있다.
양자화
양자화 유닛(208)은 스케일 양자화, 벡터 양자화 등을 적용하여 변환 계수(207)를 양자화함으로써 양자화된 변환 계수(209)를 획득하도록 구성된다. 양자화된 변환 계수(209)는 양자화된 잔차 계수(209)라고도 지칭될 수 있다. 양자화 프로세스는 일부 또는 모든 변환 계수들(207)에 관련된 비트 심도를 감소시킬 수 있다. 예를 들어, n-비트 변환 계수는 양자화 동안 m-비트 변환 계수로 라운딩 다운될 수 있으며, 여기서 n은 m 초과이다. 양자화 정도는 양자화 파라미터(quantization parameter, QP)를 조정함으로써 수정될 수 있다. 예를 들어, 스케일 양자화의 경우, 더 미세하거나 더 거친 양자화를 달성하기 위해 상이한 스케일들이 적용될 수 있다. 더 작은 양자화 단계는 더 미세한 양자화에 대응하고, 더 큰 양자화 단계는 더 거친 양자화에 대응한다. 적절한 양자화 단계는 양자화 파라미터(quantization parameter, QP)를 사용하여 표시될 수 있다. 예를 들어, 양자화 파라미터는 미리 정의된 세트의 적절한 양자화 단계들의 인덱스일 수 있다. 예를 들어, 더 작은 양자화 파라미터는 더 미세한 양자화(더 작은 양자화 단계)에 대응할 수 있고, 더 큰 양자화 파라미터는 더 거친 양자화(더 큰 양자화 단계)에 대응할 수 있으며, 그 반대도 가능하다. 양자화는 양자화 단계에 의한 나눗셈 및 역양자화 유닛(210)에 의해 수행되는 대응하는 양자화 또는 역양자화 등을 포함할 수 있거나, 양자화 단계에 의한 곱셈을 포함할 수 있다. HEVC와 같은 일부 표준들에 따른 실시예들에서, 양자화 파라미터를 사용하여 양자화 단계를 결정할 수 있다. 일반적으로, 양자화 단계는 나눗셈을 포함하는 방정식의 고정 소수점 근사를 통해 양자화 파라미터에 기초하여 계산될 수 있다. 양자화 단계 및 양자화 파라미터에 사용되는 방정식의 고정 소수점 근사에서 사용되는 스케일 때문에 수정될 수 있는, 잔차 블록의 표준을 복원하기 위해, 양자화 및 역양자화를 위한 추가적인 스케일 인자들이 도입될 수 있다. 예시적인 구현에서, 역변환의 스케일은 역양자화의 스케일과 결합될 수 있다. 대안적으로, 맞춤화된 양자화 테이블이 사용되어, 예를 들어, 비트스트림에서 인코더로부터 디코더로 시그널링될 수 있다. 양자화는 손실 동작이고, 더 큰 양자화 단계는 더 큰 손실을 나타낸다.
역양자화 유닛(210)은 양자화 유닛(208)의 역양자화를 양자화된 계수에 적용하여 역양자화된 계수(211)를 획득하도록, 예를 들어, 양자화 유닛(208)과 동일한 양자화 단계에 기초하여 또는 이를 사용하여, 양자화 유닛(208)에 의해 적용되는 양자화 스킴의 역양자화 스킴을 적용하도록 구성된다. 역양자화된 계수(211)는 역양자화된 잔차 계수(211)로도 지칭될 수 있고, 변환 계수(207)에 대응하지만, 양자화에 의해 유발되는 손실은 일반적으로 변환 계수와 상이하다.
역변환 처리 유닛(212)은 변환 처리 유닛(206)에 의해 적용되는 변환의 역변환, 예를 들어, 역 이산 코사인 변환(discrete cosine transform, DCT) 또는 역 이산 사인 변환(discrete sine transform, DST)을 적용하여, 샘플 도메인에서 역변환 블록(213)을 획득하도록 구성된다. 역변환 블록(213)은 역변환 역양자화된 블록(213) 또는 역변환 잔차 블록(213)이라고도 지칭될 수 있다.
재구성 유닛(214)(예를 들어, 합산기(214))은 역변환 블록(213)(즉, 재구성된 잔차 블록(213))을 예측 블록(265)에 추가하여, 예를 들어, 재구성된 잔차 블록(213)의 샘플 값과 예측 블록(265)의 샘플 값을 가산함으로써, 샘플 도메인에서 재구성된 블록(215)을 획득하도록 구성된다.
선택적으로, 라인 버퍼(216)와 같은 버퍼 유닛(216)(또는 줄여서 "버퍼"(216))은 재구성된 블록(215) 및 인트라 예측 등을 위한 대응하는 샘플 값을 버퍼링 또는 저장하도록 구성된다. 다른 실시예들에서, 인코더는 인트라 예측과 같은 임의의 타입의 추정 및/또는 예측을 위해 버퍼 유닛(216)에 저장되는 필터링되지 않은 재구성된 블록 및/또는 대응하는 샘플 값을 사용하도록 구성될 수 있다.
예를 들어, 인코더(20)의 실시예는 버퍼 유닛(216)이 인트라 예측(254)을 위해 재구성된 블록(215)을 저장하도록 구성될 뿐만 아니라, 루프 필터 유닛(220)(도 2에 도시되지 않음)의 필터링된 블록(221)을 저장하도록 구성되고/되거나, 버퍼 유닛(216) 및 디코딩된 픽처 버퍼 유닛(230)이 하나의 버퍼를 형성하도록 구성될 수 있다. 다른 실시예들은 필터링된 블록(221) 및/또는 디코딩된 픽처 버퍼(230)(도 2에 도시되지 않음)로부터의 블록 또는 샘플을 인트라 예측(254)을 위한 입력 또는 기초로서 사용하기 위해 사용될 수 있다.
루프 필터 유닛(220)(또는 줄여서 "루프 필터"(220))은 재구성된 블록(215)에 대해 필터링을 수행하여 필터링된 블록(221)을 획득하여, 픽셀 변환을 원활하게 수행하거나 비디오 품질을 개선하도록 구성된다. 루프 필터 유닛(220)은 하나 이상의 루프 필터, 예를 들어, 디블록킹 필터, 샘플 적응 오프셋(sample-adaptive offset, SAO) 필터, 또는 양방향 필터, 적응 루프 필터(adaptive loop filter, ALF), 샤프닝 또는 평활화 필터, 또는 협력 필터와 같은 다른 필터를 나타내도록 의도된다. 루프 필터 유닛(220)이 인-루프 필터로서 도 2에 도시되어 있지만, 루프 필터 유닛(220)은 다른 구성들에서 포스트-루프 필터로서 구현될 수 있다. 필터링된 블록(221)은 필터링된 재구성된 블록(221)이라고도 지칭될 수 있다. 디코딩된 픽처 버퍼(230)는 루프 필터 유닛(220)이 재구성된 코딩 블록에 대해 필터링 동작을 수행한 후에 재구성된 코딩 블록을 저장할 수 있다.
인코더(20)의 실시예(대응적으로, 루프 필터 유닛(220))는 루프 필터 파라미터(예를 들어, 샘플 적응 오프셋 정보)를 출력하는데 사용될 수 있는데, 예를 들어, 엔트로피 인코딩 유닛(270) 또는 임의의 다른 엔트로피 인코딩 유닛이 엔트로피 인코딩을 수행한 후에 루프 필터 파라미터를 직접 출력하거나 루프 필터 파라미터를 출력하는데 이용될 수 있어서, 디코더(30)는 디코딩 등을 위해 동일한 루프 필터 파라미터를 수신 및 적용할 수 있다.
디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230)는 비디오 인코더(20)가 비디오 데이터를 인코딩하기 위한 참조 픽처 데이터를 저장하는 참조 픽처 메모리일 수 있다. DPB(230)는 복수의 메모리 중 어느 하나, 예를 들어, 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM)(동기식 DRAM(synchronous DRAM, SDRAM), 자기저항 RAM(magnetoresistive RAM, MRAM), 또는 저항 RAM(resistive RAM, RRAM)을 포함함), 또는 다른 타입의 메모리일 수 있다. DPB(230)와 버퍼(216)는 동일한 메모리 또는 별개의 메모리들에 의해 제공될 수 있다. 예에서, 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230)는 필터링된 블록(221)을 저장하도록 구성된다. 디코딩된 픽처 버퍼(230)는 이전의 재구성된 픽처들과 같은 동일한 현재 픽처 또는 상이한 픽처들의 이전의 재구성된 및 필터링된 블록들(221)과 같은 다른 이전의 필터링된 블록들을 저장하도록 추가로 구성될 수 있고, 인터 예측 등을 위한 완전한 이전의 재구성된, 즉, 디코딩된 픽처(및 대응하는 참조 블록 및 대응하는 샘플) 및/또는 부분적으로 재구성된 현재 픽처(및 대응하는 참조 블록 및 대응하는 샘플)를 제공할 수 있다. 예에서, 재구성된 블록(215)이 인-루프 필터링 없이 재구성되면, 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(230)는 재구성된 블록(215)을 저장하도록 구성된다.
예측 처리 유닛(260)은 블록 예측 처리 유닛(260)이라고도 지칭되며, 블록(203)(현재 픽처(201)의 현재 블록(203)) 및 재구성된 픽처 데이터, 예를 들어, 버퍼(216) 내의 동일한(현재) 픽처로부터의 참조 샘플 및/또는 디코딩된 픽처 버퍼(230) 내의 하나 이상의 이전 디코딩된 픽처들로부터의 참조 픽처 데이터(231)를 수신 또는 획득하고, 예측을 위해 이러한 데이터를 처리하도록, 즉, 인터 예측 블록(245) 또는 인트라 예측 블록(255)일 수 있는 예측 블록(265)을 제공하도록 구성된다.
모드 선택 유닛(262)은 예측 블록(265)으로서 예측 모드(예를 들어, 인트라 또는 인터 예측 모드) 및/또는 대응하는 예측 블록(245 또는 255)을 선택하여, 잔차 블록(205)을 계산하고 재구성된 블록(215)을 재구성하도록 구성될 수 있다.
모드 선택 유닛(262)의 실시예는 (예를 들어, 예측 처리 유닛(260)에 의해 지원되는 예측 모드로부터) 예측 모드를 선택하는데 사용될 수 있다. 예측 모드는 최상의 매칭 또는 최소 잔차를 제공하거나(최소 잔차는 송신 또는 저장에서 더 나은 압축을 의미함), 최소 시그널링 오버헤드를 제공하거나(최소 시그널링 오버헤드는 송신 또는 저장에서 더 나은 압축을 의미함), 또는 이 둘을 고려하거나 밸런싱한다. 모드 선택 유닛(262)은 레이트 왜곡 최적화(rate distortion optimization, RDO)에 기초하여 예측 모드를 결정하도록 구성될 수 있는데, 즉, 최소 레이트 왜곡 최적화를 제공하는 예측 모드를 선택하거나, 관련된 레이트 왜곡이 적어도 예측 모드 선택 기준을 충족하는 예측 모드를 선택하도록 구성될 수 있다.
인코더(20)의 일례에 의해 수행되는 (예를 들어, 예측 처리 유닛(260)을 사용하는 것에 의한) 예측 처리 및 (예를 들어, 모드 선택 유닛(262)을 사용하는 것에 의한) 모드 선택이 이하에서 상세히 기술된다.
전술된 바와 같이, 인코더(20)는 (미리 결정된) 예측 모드 세트로부터 최상의 또는 최적의 예측 모드를 결정하거나 선택하도록 구성된다. 예측 모드 세트는, 예를 들어, 인트라 예측 모드 및/또는 인터 예측 모드를 포함할 수 있다.
인트라 예측 모드 세트는 35개의 상이한 인트라 예측 모드를 포함할 수 있거나, 또는 67개의 상이한 인트라 예측 모드를 포함할 수 있거나, 또는 개발 중인 H.266에서 정의된 인트라 예측 모드를 포함할 수 있다.
인터 예측 모드 세트는 이용가능한 참조 픽처(예를 들어, DBP(230)에 저장된 디코딩된 픽처의 적어도 일부) 및 다른 인터 예측 파라미터들에 의존하고, 예를 들어, 전체 참조 픽처가 사용되는지 또는 참조 픽처의 일부만이 사용되는지, 예를 들어, 현재 블록의 영역을 둘러싸는 검색창 영역이 최상으로 매칭된 참조 블록에 대해 검색되는지에 의존하며, 및/또는 1/2 픽셀 및/또는 1/4 픽셀 보간과 같은 픽셀 보간이 적용되는지에 의존한다.
전술한 예측 모드들 이외에, 스킵 모드 및/또는 직접 모드가 또한 적용될 수 있다.
예측 처리 유닛(260)은, 예를 들어, 쿼드-트리(quad-tree, QT) 분할, 이진-트리(binary-tree, BT) 분할, 트리플-트리(triple-tree, TT) 분할, 또는 이들의 임의의 조합을 반복적으로 사용함으로써, 블록(203)을 더 작은 블록 분할들 또는 서브블록들로 분할하고, 블록 분할들(block partitions) 또는 서브블록들 각각에 대해 예측 등을 수행하도록 추가로 구성될 수 있다. 모드 선택은 분할된 블록(203)의 트리 구조를 선택하는 것 및 블록 분할들 또는 서브블록들 각각에 적용되는 예측 모드를 선택하는 것을 포함한다.
인터 예측 유닛(244)은 모션 추정(motion estimation, ME) 유닛(도 2에 도시되지 않음) 및 모션 보상(motion compensation, MC) 유닛(도 2에 도시되지 않음)을 포함할 수 있다. 모션 추정 유닛은 픽처 블록(203)(현재 픽처(201)의 현재 픽처 블록(203)) 및 디코딩된 픽처(231), 또는 적어도 하나 이상의 이전의 재구성된 블록, 예를 들어, 이전의 디코딩된 픽처(231)와 상이한 하나 이상의 다른 재구성된 블록을 수신 또는 획득하여 모션 추정을 수행하도록 구성된다. 예를 들어, 비디오 시퀀스는 현재 픽처 및 이전의 디코딩된 픽처(31)를 포함할 수 있다. 즉, 현재 픽처 및 이전의 디코딩된 픽처(31)는 비디오 시퀀스를 형성하거나 픽처 시퀀스를 형성하는 픽처 시퀀스의 일부일 수 있다.
예를 들어, 인코더(20)는 동일한 픽처 또는 복수의 다른 픽처들 중 상이한 픽처들의 복수의 참조 블록들로부터 참조 블록을 선택하고, 참조 픽처(또는 참조 픽처 인덱스) 및/또는 참조 블록의 위치(X-Y 좌표들)와 현재 블록의 위치 사이의 오프셋(공간 오프셋)을 인터 예측 파라미터로서 모션 추정 유닛(도 2에 도시되지 않음)에 제공하도록 구성될 수 있다. 이 오프셋은 모션 벡터(motion vector, MV)라고도 지칭된다.
모션 보상 유닛은, 인터 예측 파라미터를 획득, 예를 들어 수신하고, 인터 예측 파라미터에 기초하여 또는 이를 사용하여 인터 예측을 수행하여 인터 예측 블록(245)을 획득하도록 구성된다. 모션 보상 유닛(도 2에 도시되지 않음)에 의해 수행되는 모션 보상은 모션 추정을 통해 결정된 모션/블록 벡터에 기초하여 예측 블록을 페치하거나 생성하는 것(아마도 서브-픽셀 정밀도에 대한 보간을 수행하는 것)을 포함할 수 있다. 보간 필터링 동안, 추가 샘플이 알려진 샘플들로부터 생성될 수 있고, 그에 의해 픽처 블록을 인코딩하기 위해 사용될 수 있는 후보 예측 블록들의 수량을 잠재적으로 증가시킨다. 현재 픽처 블록의 PU에 대해 사용되는 모션 벡터가 수신되면, 모션 보상 유닛(246)은 모션 벡터가 가리키는 예측 블록을 참조 픽처 리스트에 위치시킬 수 있다. 모션 보상 유닛(246)은 블록 및 비디오 슬라이스와 연관된 신택스 요소를 추가로 생성할 수 있어서, 비디오 디코더(30)는 비디오 슬라이스의 픽처 블록을 디코딩할 때 신택스 요소를 사용한다.
인터 예측은 모션 보상(motion compensation)에 기초한 예측 기술이고, 현재 블록의 모션 정보를 결정하고, 모션 정보에 기초하여 참조 프레임으로부터 참조 픽처 블록을 획득하고, 현재 블록의 예측 픽처를 생성하는 것으로서 주로 처리된다. 모션 정보는 인터 예측 방향, 참조 프레임 인덱스(reference index, ref_idx), 모션 벡터(motion vector, MV) 등을 포함한다. 인터 예측 동안, 인터 예측 방향은 현재 블록에 사용되는 순방향 예측, 역방향 예측, 또는 양방향 예측에서의 예측 방향을 나타내는데 사용되고, 참조 프레임 인덱스(reference index)는 참조 프레임(reference frame)을 나타내는데 사용되고, 모션 벡터는 현재 프레임 내의 현재 블록에 대한 참조 프레임 내의 현재 블록(current block)의 참조 블록(reference block)의 위치 오프셋을 나타내는데 사용된다. 모션 벡터는 현재 블록에 대한 현재 블록을 예측하는데 사용되는 참조 프레임 내의 참조 픽처 블록의 변위 벡터를 나타낸다. 따라서, 하나의 모션 벡터는 하나의 참조 픽처 블록에 대응한다.
인트라 예측 유닛(254)은 인트라 추정을 수행하기 위해, 예를 들어, 동일한 픽처의 픽처 블록(203)(현재 픽처 블록) 및 재구성된 이웃 블록들과 같은 하나 이상의 이전의 재구성된 블록을 획득하도록 구성된다. 예를 들어, 인코더(20)는 복수의 인트라 예측 모드로부터 인트라 예측 모드를 선택하도록 구성될 수 있다.
인코더(20)의 실시예는 최적화 기준에 기초하여, 예를 들어, 최소 잔차(예를 들어, 현재 픽처 블록(203)과 가장 유사한 예측 블록(255)을 제공하는 인트라 예측 모드) 또는 최소 레이트 왜곡에 기초하여 인트라 예측 모드를 선택하도록 구성될 수 있다.
인트라 예측 유닛(254)은 선택된 인트라 예측 모드의 인트라 예측 파라미터에 기초하여 인트라 예측 블록(255)을 결정하도록 추가로 구성된다. 어쨌든, 블록에 사용되는 인트라 예측 모드를 선택한 후에, 인트라 예측 유닛(254)은 인트라 예측 파라미터를 엔트로피 인코딩 유닛(270)에 제공하도록 추가로 구성되는데, 즉, 블록에 사용되는 선택된 인트라 예측 모드를 나타내기 위한 정보를 제공하도록 구성된다. 예에서, 인트라 예측 유닛(254)은 다음의 인트라 예측 기술들의 임의의 조합을 수행하도록 구성될 수 있다.
엔트로피 인코딩 유닛(270)은 엔트로피 인코딩 알고리즘 또는 스킴(예를 들어, 가변 길이 코딩(variable length coding, VLC) 스킴, 컨텍스트 적응 VLC(context adaptive VLC, CAVLC) 스킴, 산술 코딩 스킴, 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC) 스킴, 신택스-기반 컨텍스트-적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC) 스킴, 확률 구간 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩 스킴, 또는 다른 엔트로피 인코딩 방법 또는 기술)을 양자화된 잔차 계수(209), 인터 예측 파라미터, 인트라 예측 파라미터, 및/또는 루프 필터 파라미터 중 하나 이상에 적용하여(또는 어느 것에도 적용하지 않고), 출력(272)을 사용하여, 예를 들어, 인코딩된 비트스트림(21)의 형태로 출력될 수 있는 인코딩된 픽처 데이터(21)를 획득하도록 구성된다. 인코딩된 비트스트림은 비디오 디코더(30)에 송신될 수 있거나, 또는 비디오 디코더(30)에 의한 후속 송신 또는 검색을 위해 보관될 수 있다. 엔트로피 인코딩 유닛(270)은 인코딩되고 있는 현재 비디오 슬라이스의 다른 신택스 요소에 대해 엔트로피 인코딩을 수행하도록 추가로 구성될 수 있다.
비디오 인코더(20)의 다른 구조적 변형은 비디오 스트림을 인코딩하도록 구성될 수 있다. 예를 들어, 비변환-기반 인코더(20)는 일부 블록들 또는 프레임들에 대해 변환 처리 유닛(206) 없이 잔차 신호를 직접 양자화할 수 있다. 다른 구현에서, 인코더(20)는 하나의 유닛으로 결합되는 양자화 유닛(208) 및 역양자화 유닛(210)을 가질 수 있다.
도 3은 본 출원에서의 기술들을 구현하도록 구성된 비디오 디코더(30)의 예를 도시한다. 비디오 디코더(30)는 인코더(20) 등에 의해 인코딩된 픽처 데이터(예를 들어, 인코딩된 비트스트림)(21)를 수신하여, 디코딩된 픽처(231)를 획득하도록 구성된다. 디코딩 프로세스에서, 비디오 디코더(30)는 비디오 인코더(20)로부터 비디오 데이터, 예를 들어, 인코딩된 비디오 슬라이스의 픽처 블록 및 연관된 신택스 요소를 나타내는 인코딩된 비디오 비트스트림을 수신한다.
도 3의 예에서, 디코더(30)는 엔트로피 디코딩 유닛(304), 역양자화 유닛(310), 역변환 처리 유닛(312), 재구성 유닛(314)(예를 들어, 합산기(314)), 버퍼(316), 루프 필터(320), 디코딩된 픽처 버퍼(330), 및 예측 처리 유닛(360)을 포함한다. 예측 처리 유닛(360)은 인터 예측 유닛(344), 인트라 예측 유닛(354), 및 모드 선택 유닛(362)을 포함할 수 있다. 일부 예들에서, 비디오 디코더(30)는 도 2의 비디오 인코더(20)를 참조하여 설명된 인코딩 순회(encoding traversal)와 일반적으로 역인 디코딩 순회(decoding traversal)를 수행할 수 있다.
엔트로피 디코딩 유닛(304)은 인코딩된 픽처 데이터(21)에 대해 엔트로피 디코딩을 수행하여, 양자화된 계수(309), 디코딩된 코딩 파라미터(도 3에 도시되지 않음), 및/또는 이와 유사한 것, 예를 들어, 인터 예측 파라미터, 인트라 예측 파라미터, 루프 필터 파라미터, 및/또는 (디코딩된) 다른 신택스 요소 중 임의의 하나 또는 전부를 획득하도록 구성된다. 엔트로피 디코딩 유닛(304)은 인터 예측 파라미터, 인트라 예측 파라미터, 및/또는 다른 신택스 요소를 예측 처리 유닛(360)에 전달하도록 추가로 구성된다. 비디오 디코더(30)는 비디오 슬라이스 레벨에서 신택스 요소 및/또는 비디오 블록 레벨에서 신택스 요소를 수신할 수 있다.
역양자화 유닛(310)은 역양자화 유닛(110)과 동일한 기능을 가질 수 있고, 역변환 처리 유닛(312)은 역변환 처리 유닛(212)과 동일한 기능을 가질 수 있고, 재구성 유닛(314)은 재구성 유닛(214)과 동일한 기능을 가질 수 있고, 버퍼(316)는 버퍼(216)와 동일한 기능을 가질 수 있고, 루프 필터(320)는 루프 필터(220)와 동일한 기능을 가질 수 있고, 디코딩된 픽처 버퍼(330)는 디코딩된 픽처 버퍼(230)와 동일한 기능을 가질 수 있다.
예측 처리 유닛(360)은 인터 예측 유닛(344)과 인트라 예측 유닛(354)을 포함할 수 있다. 인터 예측 유닛(344)은 인터 예측 유닛(244)과 유사한 기능을 가질 수 있고, 인트라 예측 유닛(354)은 인트라 예측 유닛(254)과 유사한 기능을 가질 수 있다. 예측 처리 유닛(360)은 일반적으로 블록 예측을 수행하고 및/또는 인코딩된 데이터(21)로부터 예측 블록(365)을 획득하고, 예를 들어, 엔트로피 디코딩 유닛(304)으로부터, 선택된 예측 모드에 관한 예측-관련 파라미터 및/또는 정보를 (명시적으로 또는 암시적으로) 수신 또는 획득하도록 구성된다.
비디오 슬라이스가 인트라-인코딩된(I) 슬라이스로서 인코딩될 때, 예측 처리 유닛(360)의 인트라 예측 유닛(354)은 시그널링된 인트라 예측 모드 및 현재 프레임 또는 픽처의 이전의 디코딩된 블록으로부터의 데이터에 기초하여 현재 비디오 슬라이스의 픽처 블록에 사용되는 예측 블록(365)을 생성하도록 구성된다. 비디오 프레임이 인터-코딩된(즉, B 또는 P) 슬라이스로서 인코딩될 때, 예측 처리 유닛(360)의 인터 예측 유닛(344)(예를 들어, 모션 보상 유닛)은 엔트로피 디코딩 유닛(304)으로부터 수신된 모션 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 슬라이스의 비디오 블록에 사용되는 예측 블록(365)을 생성하도록 구성된다. 인터 예측을 위해, 예측 블록은 하나의 참조 픽처 리스트 내의 참조 픽처들 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(330)에 저장된 참조 픽처에 기초한 디폴트 구성 기술을 사용하여 참조 프레임 리스트들: 리스트 0 및 리스트 1을 구성할 수 있다.
예측 처리 유닛(360)은 모션 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 사용되는 예측 정보를 결정하고, 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록에 사용되는 예측 블록을 생성하도록 구성된다. 예를 들어, 예측 처리 유닛(360)은 현재 비디오 슬라이스의 비디오 블록을 디코딩하기 위해, 일부 수신된 신택스 요소들을 사용하여, 비디오 슬라이스의 비디오 블록을 인코딩하는데 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측), 인터 예측 슬라이스 타입(예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대해 사용되는 참조 픽처 리스트 내의 하나 이상의 픽처의 구성 정보, 슬라이스에 사용되는 각각의 인터-인코딩된 비디오 블록의 모션 벡터, 슬라이스에 사용되는 각각의 인터-인코딩된 비디오 블록의 인터 예측 상태, 및 다른 정보를 결정한다.
역양자화 유닛(310)은 비트스트림에 제공되고 엔트로피 디코딩 유닛(304)에 의해 디코딩된 양자화된 변환 계수에 대해 역양자화(즉, 탈양자화)를 수행하도록 구성될 수 있다. 역양자화 프로세스는 비디오 슬라이스의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 계산된 양자화 파라미터를 이용하여, 적용되어야 하는 양자화 정도를 결정하고 적용되어야 하는 역양자화 정도를 결정하는 것을 포함할 수 있다.
역변환 처리 유닛(312)은 역변환(예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스)을 변환 계수에 적용하여, 샘플 도메인에서 잔차 블록을 생성하도록 구성된다.
재구성 유닛(314)(예를 들어, 합산기(314))은 역변환 블록(313)(즉, 재구성된 잔차 블록(313))을 예측 블록(365)에 추가하여, 예를 들어, 재구성된 잔차 블록(313)의 샘플 값을 예측 블록(365)의 샘플 값에 가산함으로써, 샘플 도메인에서 재구성된 블록(315)을 획득하도록 구성된다.
루프 필터 유닛(320)은 (인코딩 루프에서 또는 인코딩 루프 후에) 재구성된 블록(315)을 필터링하여 필터링된 블록(321)을 획득함으로써, 픽셀 변환을 원활하게 수행하거나 비디오 품질을 개선하도록 구성된다. 예에서, 루프 필터 유닛(320)은 다음의 필터링 기술들의 임의의 조합을 수행하도록 구성될 수 있다. 루프 필터 유닛(320)은 하나 이상의 루프 필터, 예를 들어, 디블록킹 필터, 샘플-적응 오프셋(sample-adaptive offset, SAO) 필터, 또는 양방향 필터, 적응 루프 필터(adaptive loop filter, ALF), 샤프닝 또는 평활화 필터, 또는 협업 필터와 같은 다른 필터를 나타내도록 의도된다. 루프 필터 유닛(320)이 인-루프 필터로서 도 3에 도시되어 있지만, 루프 필터 유닛(320)은 다른 구성들에서 포스트-루프 필터로서 구현될 수 있다.
그 후, 주어진 프레임 또는 픽처 내의 디코딩된 비디오 블록(321)은 후속 모션 보상을 위해 사용되는 참조 픽처를 저장하는 디코딩된 픽처 버퍼(330)에 저장된다.
디코더(30)는 출력(332) 등을 사용하여 디코딩된 픽처(31)를 출력하여, 디코딩된 픽처(31)를 사용자에게 제시하거나, 또는 사용자가 보도록 디코딩된 픽처(31)를 제공하도록 구성된다.
비디오 디코더(30)의 다른 변형은 압축된 비트스트림을 디코딩하도록 구성될 수 있다. 예를 들어, 디코더(30)는 루프 필터 유닛(320) 없이 출력 비디오 스트림을 생성할 수 있다. 예를 들어, 비변환-기반 디코더(30)는 일부 블록들 또는 프레임들에 대해 역변환 처리 유닛(312) 없이 잔차 신호를 직접 탈양자화할 수 있다. 다른 구현에서, 비디오 디코더(30)는 하나의 유닛으로 결합되는 역양자화 유닛(310) 및 역변환 처리 유닛(312)을 가질 수 있다.
도 4는 본 발명의 실시예에 따른 비디오 코딩 디바이스(400)(예를 들어, 비디오 인코딩 디바이스(400) 또는 비디오 디코딩 디바이스(400))의 개략적인 구조도이다. 비디오 코딩 디바이스(400)는 본 명세서에서 설명된 실시예를 구현하기에 적합하다. 일 실시예에서, 비디오 코딩 디바이스(400)는 비디오 디코더(예를 들어, 도 1a의 비디오 디코더(30)) 또는 비디오 인코더(예를 들어, 도 1a의 비디오 인코더(20))일 수 있다. 다른 실시예에서, 비디오 코딩 디바이스(400)는 도 1a의 비디오 디코더(30) 또는 도 1a의 비디오 인코더(20) 내의 하나 이상의 컴포넌트일 수 있다.
비디오 코딩 디바이스(400)는 데이터를 수신하도록 구성된 입구 포트(410) 및 수신기 유닛(Rx)(420); 데이터를 처리하도록 구성된 프로세서, 로직 유닛, 또는 중앙 처리 유닛(CPU)(430); 데이터를 송신하도록 구성된 송신기 유닛(Tx)(440) 및 출구 포트(450); 및 데이터를 저장하도록 구성된 메모리(460)를 포함한다. 비디오 코딩 디바이스(400)는 입구 포트(410), 수신기 유닛(420), 송신기 유닛(440), 및 출구 포트(450)에 결합되어, 광 신호 또는 전기 신호의 출구 또는 입구의 역할을 하는 광-전기 변환 컴포넌트 및 전기-광(EO) 변환 컴포넌트를 추가로 포함할 수 있다.
프로세서(430)는 하드웨어 및 소프트웨어를 사용함으로써 구현된다. 프로세서(430)는 하나 이상의 CPU 칩들, 코어들(예를 들어, 멀티-코어 프로세서), FPGA들, ASIC들, 또는 DSP들로서 구현될 수 있다. 프로세서(430)는 입구 포트(410), 수신기 유닛(420), 송신기 유닛(440), 출구 포트(450), 및 메모리(460)와 통신한다. 프로세서(430)는 코딩 모듈(470)(예를 들어, 인코딩 모듈(470) 또는 디코딩 모듈(470))을 포함한다. 인코딩/디코딩 모듈(470)은 전술한 개시된 실시예들을 구현한다. 예를 들어, 인코딩/디코딩 모듈(470)은 다양한 코딩 동작들을 수행, 처리 또는 제공한다. 따라서, 인코딩/디코딩 모듈(470)은 비디오 코딩 디바이스(400)의 기능들을 실질적으로 확장하고 비디오 코딩 디바이스(400)의 상이한 상태들로의 변환에 영향을 미친다. 대안적으로, 인코딩/디코딩 모듈(470)은 메모리(460)에 저장되고 프로세서(430)에 의해 실행되는 명령어들을 사용하여 구현된다.
메모리(460)는 하나 이상의 디스크들, 테이프 드라이브들, 및 솔리드-스테이트 드라이브들을 포함하고, 오버플로우 데이터 저장 디바이스로서 사용될 수 있고, 이러한 프로그램들이 선택적으로 실행될 때 프로그램들을 저장하고, 프로그램 실행 동안 판독되는 명령어들 및 데이터를 저장하도록 구성된다. 메모리(460)는 휘발성 및/또는 비휘발성일 수 있고, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 3진 콘텐츠-어드레스가능 메모리(ternary content-addressable memory, TCAM), 및/또는 정적 랜덤 액세스 메모리(SRAM)일 수 있다.
도 5는 예시적인 실시예에 따른 도 1a의 소스 디바이스(12) 및 목적지 디바이스(14) 중 임의의 하나 또는 둘로서 사용될 수 있는 장치(500)의 단순화된 블록도이다. 장치(500)는 본 출원에서의 기술들을 구현할 수 있다. 장치(500)는 복수의 컴퓨팅 디바이스를 포함하는 컴퓨팅 시스템의 형태를 사용할 수 있거나, 또는 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 또는 데스크톱 컴퓨터와 같은 단일 컴퓨팅 디바이스의 형태를 사용할 수 있다.
이러한 장치(500)에서의 프로세서(502)는 중앙 처리 유닛일 수 있다. 대안적으로, 프로세서(502)는 정보를 제어 또는 처리할 수 있는 임의의 다른 타입의 기존의 또는 장래의 디바이스 또는 디바이스들일 수 있다. 도면에 도시된 바와 같이, 개시된 구현들이 프로세서(502)와 같은 단일 프로세서를 사용하여 실시될 수 있지만, 속도 및 효율의 이점들이 적어도 하나의 프로세서를 사용하여 달성될 수 있다.
일 구현에서, 장치(500) 내의 메모리(504)는 판독 전용 메모리(Read Only Memory, ROM) 디바이스 또는 랜덤 액세스 메모리(random access memory, RAM) 디바이스일 수 있다. 임의의 다른 적절한 타입의 저장 디바이스가 메모리(504)로서 사용될 수 있다. 메모리(504)는 버스(512)를 사용하여 프로세서(502)에 의해 액세스되는 코드 및 데이터(506)를 포함할 수 있다. 메모리(504)는 운영 체제(508)와 애플리케이션 프로그램(510)을 추가로 포함할 수 있다. 애플리케이션 프로그램(510)은 프로세서(502)가 본 명세서에서 설명된 방법을 수행할 수 있게 하는 적어도 하나의 프로그램을 포함한다. 예를 들어, 애플리케이션 프로그램(510)은 애플리케이션들 1 내지 N을 포함할 수 있고, 애플리케이션들 1 내지 N은 본 명세서에서 설명된 방법을 수행하기 위한 비디오 인코딩 애플리케이션을 추가로 포함한다. 장치(500)는 보조 메모리(514)의 형태의 추가 메모리를 추가로 포함할 수 있다. 보조 메모리(514)는, 예를 들어, 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있다. 비디오 통신 세션은 다량의 정보를 포함할 수 있기 때문에, 정보는 보조 메모리(514)에 완전히 또는 부분적으로 저장되고 필요에 따라 처리를 위해 메모리(504)에 로딩될 수 있다.
장치(500)는 하나 이상의 출력 디바이스, 예를 들어, 디스플레이(518)를 추가로 포함할 수 있다. 예에서, 디스플레이(518)는 터치 입력을 감지하도록 동작될 수 있는 터치-감지 요소와 디스플레이를 조합하는 터치-감지 디스플레이일 수 있다. 디스플레이(518)는 버스(512)를 사용하여 프로세서(502)에 결합될 수 있다. 디스플레이(518) 이외에, 사용자가 장치(500)를 프로그램하거나 장치(500)를 다른 방식으로 사용할 수 있게 하는 다른 출력 디바이스가 추가로 제공될 수 있거나, 또는 다른 출력 디바이스가 디스플레이(518)의 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 디스플레이를 포함할 때, 디스플레이는, 예를 들어, 액정 디스플레이(liquid crystal display, LCD), 음극선관(cathode-ray tube, CRT) 디스플레이, 플라즈마 디스플레이, 또는 유기 LED(organic LED, OLED) 디스플레이와 같은 발광 다이오드(LED) 디스플레이를 사용함으로써 상이하게 구현될 수 있다.
장치(500)는 픽처 감지 디바이스(520)를 추가로 포함할 수 있거나, 또는 픽처 감지 디바이스(520)에 접속될 수 있다. 픽처 감지 디바이스(520)는, 예를 들어, 픽처를 감지할 수 있는 카메라 또는 임의의 다른 기존의 또는 미래의 픽처 감지 디바이스(520)이다. 픽처는, 예를 들어, 장치(500)를 실행하는 사용자의 픽처이다. 픽처 감지 디바이스(520)는 장치(500)를 실행하는 사용자와 직접 대면하여 배치될 수 있다. 예에서, 픽처 감지 디바이스(520)의 위치 및 광축이 구성될 수 있어서, 픽처 감지 디바이스(520)의 시야는 디스플레이(518)에 인접한 영역을 포함하고, 디스플레이(518)는 그 영역으로부터 보여질 수 있다.
장치(500)는 사운드 감지 디바이스(522)를 추가로 포함할 수 있거나, 또는 사운드 감지 디바이스(522)에 접속될 수 있다. 사운드 감지 디바이스(522)는, 예를 들어, 장치(500) 근처의 사운드를 감지할 수 있는 마이크로폰 또는 임의의 다른 기존의 또는 미래의 사운드 감지 디바이스이다. 사운드 감지 디바이스(522)는 장치(500)를 실행하는 사용자와 직접 대면하여 배치될 수 있고, 사용자가 장치(500)를 실행할 때 사용자에 의해 이루어지는 음성과 같은 사운드 또는 다른 사운드를 수신하도록 구성될 수 있다.
장치(500)의 프로세서(502) 및 메모리(504)는 도 5에 도시된 바와 같이 하나의 유닛으로 통합되지만, 다른 구성들이 사용될 수 있다. 프로세서(502)의 실행은 직접 결합될 수 있는 복수의 머신에 분산될 수 있거나(각각의 머신은 하나 이상의 프로세서를 가짐), 로컬 영역에 또는 다른 네트워크에 분산될 수 있다. 메모리(504)는 네트워크-기반 메모리 및 장치(500)를 실행하는 복수의 머신 내의 메모리와 같은 복수의 머신에 분산될 수 있다. 단일 버스가 여기에 도시되어 있지만, 장치(500)의 복수의 버스(512)가 있을 수 있다. 또한, 보조 메모리(514)는 장치(500)의 다른 컴포넌트들에 직접 결합될 수 있거나 네트워크를 통해 액세스될 수 있고, 메모리 카드와 같은 단일 통합 유닛, 또는 복수의 메모리 카드와 같은 복수의 유닛을 포함할 수 있다. 따라서, 장치(500)는 복수의 구성으로 구현될 수 있다.
비트스트림에서, 모션 정보는 다량의 데이터를 차지한다. 필요한 데이터량을 줄이기 위해, 모션 정보는 일반적으로 예측을 통해 송신된다. 일반적으로, 2가지 타입의 모드: 인터 및 병합이 있다.
인터 모션 벡터 예측자(motion vector predictor, MVP) 모드: 송신된 모션 정보는 인터 예측 방향(순방향, 역방향, 또는 양방향), 참조 프레임 인덱스, 모션 벡터 예측자 인덱스, 및 모션 벡터 차이를 포함한다. 모션 정보 내의 모션 벡터 정보에 대해, 실제 모션 벡터와 모션 벡터 예측자(motion vector predictor, MVP) 간의 차이를 송신하는 방식이 보통 사용된다. 인코더는 MVP와 실제 모션 벡터 사이의 모션 벡터 차이(motion vector difference, MVD)를 디코더로 송신한다. 복수의 모션 벡터 예측자가 있을 수 있다. 일반적으로, 모션 벡터 예측자 후보 리스트(mvp 후보 리스트)는 인코더 및 디코더 상에서 동일한 방식으로 구성되고, 모션 벡터 예측자 인덱스(모션 벡터 예측자 인덱스, MVP 인덱스)가 디코더로 송신된다.
병합 모드: 병합 모션 정보 후보 리스트(병합 후보 리스트)가 인코더 및 디코더 상에서 동일한 방식으로 구성되고, 인덱스가 디코더에 송신된다. 병합 인덱스는 비트스트림으로 송신된다. 모션 정보 후보 리스트(후보 리스트) 내의 모션 정보는 일반적으로 참조 프레임 내의 공간적으로 이웃하는 블록 또는 시간 블록으로부터 획득된다. 현재 블록에 이웃하는 픽처 블록의 모션 정보로부터 획득되는 후보 모션 정보는 공간 후보(spatial candidate)라고 지칭되고, 참조 픽처에서의 현재 블록의 대응하는 위치의 픽처 블록의 모션 정보는 시간 후보(temporal candidate)라고 지칭된다. 현재 블록의 공간 후보 및 시간 후보는 도 6에 도시되어 있다.
인트라(intra) 예측 모드에서, 방향성 보간(directional interpolation) 방식이 일반적으로 사용되고, 보간 방향은 비트스트림으로 송신되고, 현재 코딩 블록의 예측된 픽셀은 보간 방향 정보 및 공간적으로 이웃하는 인코딩된 픽셀을 사용하여 디코더 상에서 획득된다. 상이한 예측 모드들이 도 7에 도시되어 있다.
삼각형 예측 유닛 모드(triangular prediction unit mode)
삼각형 예측 유닛 모드(triangular prediction unit mode)는 원래의 HEVC 또는 VVC VTM에서의 인터 인코딩에 기초하여 코딩 블록을 대각선을 따라 2개의 삼각형 코딩 블록으로 분할하는 것이다. 각각의 삼각형 코딩 블록은 개별 모션 정보를 사용한다. 대각선 분할은 도 8에 도시된 바와 같이 대각선(diagonal) 분할 또는 역 대각선(inverse diagonal) 분할일 수 있다. 현재 코딩 블록의 좌측 상부 코너로부터 우측 하부 코너로의 분할은 대각선 분할이고, 현재 코딩 블록의 우측 상부 코너로부터 좌측 하부 코너로의 분할은 역 대각선 분할이다. 역 대각선 분할(inverse diagonal splitting)은 후방 대각선 분할(back diagonal splitting)이라고도 지칭될 수 있다. 삼각형 예측 유닛 모드는 모션 보상 예측에서만 사용되며, 변환 및 양자화 프로세스에서 2개의 삼각형을 조합함으로써 획득되는 전체 코딩 블록에 대해 수행된다. 삼각형 예측 유닛 모드는 블록 크기가 8x8 이상이고 인코딩 모드가 병합 또는 스킵 모드인 코딩 블록에 대해 사용될 수 있다.
삼각형 예측 유닛 모드가 사용될 수 있는 코딩 블록에 대해, 식별자 merge_triangle_flag는 삼각형 예측 유닛 모드가 사용되는지를 나타내기 위해 CU 레벨에서 송신된다. 삼각형 예측 유닛 모드가 현재 코딩 블록/CU에 사용될 때, 시퀀스 번호 merge_triangle_idx는 CU가 2개의 삼각형 예측 유닛 및 2개의 삼각형 예측 유닛의 모션 정보로 분할되는 방향을 나타내기 위해 송신된다. 예를 들어, 2개의 삼각형 예측 유닛의 방향들 및 2개의 삼각형 예측 유닛의 모션 정보 인덱스들은 룩업 테이블을 사용하여 캡슐화될 수 있고, 대응하는 정보는 merge_triangle_idx를 사용하여 룩업 테이블로부터 결정된다. 그 후, 각각의 삼각형 예측 유닛은 모션 정보 인덱스에 기초하여 단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))로부터 단방향 예측 정보(단일 예측 후보(uni-prediction candidate))를 획득한다.
가중된 픽셀 예측 프로세스(가중된 샘플 예측 프로세스)에서, 적응 가중 프로세스는 분할 방향 및 분할 방향으로부터 획득된 가중 모드(가중 세트, WS)에 따라 수행된다.
조합된 인트라 및 인터 예측 모드에서의 인코딩 및 디코딩
병합(merge) 모드가 사용되는 코딩 블록/CU에서, 식별자 mh_intra_flag는 인트라 예측이 사용되는지를 나타내기 위해 송신된다. 인트라 예측이 사용될 때, 인트라 예측 블록은 인트라 인코딩 모드-관련 신택스 요소들 mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 선택된 인트라 예측 모드에 기초하여 생성된다. 루마 블록에 대해, 인트라 후보 모드 리스트는 4개의 모드: DC 모드, 평면 모드, 수평 모드, 및 수직 모드를 포함할 수 있다. 인트라 후보 모드 리스트의 크기는 현재 코딩 블록의 형상에 기초하여 선택되고, 인트라 후보 모드 리스트는 3개 또는 4개의 모드를 포함할 수 있다. 현재 코딩 블록/CU의 폭이 현재 코딩 블록/CU의 높이의 2배일 때, 인트라 후보 모드 리스트는 수평 모드를 포함하지 않는다. 현재 코딩 블록/CU의 높이가 현재 코딩 블록/CU의 폭의 2배일 때, 인트라 후보 모드 리스트는 수직 모드를 포함하지 않는다. 조합된 인트라 및 인터 예측 모드가 사용될 때, 인트라 예측 모드 인덱스에 기초하여 획득된 인트라 예측 및 병합 인덱스(merge index)에 기초하여 획득된 인터 예측은 가중 평균화를 통해 조합된다. 크로마 성분에 대해, DM 모드만이 사용된다.
조합된 인트라 및 인터 예측 모드의 가중 방법에서, 상이한 가중 계수들이 상이한 인트라 예측 모드들에 사용된다. DC 모드 및 평면 모드가 사용될 때 인트라 예측에 동일한 가중 계수가 사용되거나, 또는 현재 코딩 블록의 길이 또는 폭이 4 이하일 때 동일한 가중 계수가 사용된다. 가변 가중 계수는 수평 모드 및 수직 모드가 사용될 때 인트라 예측에 사용된다.
조합된 인트라 및 인터 예측 모드의 다중-가설(multi-hypothesis, MH) 인코딩 방법에서, 병합(merge) 모드가 사용되는 코딩 블록/CU에서, 식별자는 인트라 예측이 사용되는지, 또는 현재 코딩 블록 주위의 공간적으로 이웃하는 픽셀들이 사용되는지를 나타내기 위해 송신된다. 인트라 예측이 사용될 때, 인트라 예측 블록은 인트라 예측 모드를 사용하여 생성된다. 루마 블록의 경우, 인트라 후보 모드는 평면 모드로 설정된다. 최종 예측 블록은 적응 가중화(adaptive weighting)를 통해 예측 블록에 대해 조합된 인트라 및 인터 예측을 수행함으로써 생성된다.
병합 삼각형 예측 유닛 모드 및 조합된 인트라 및 인터 예측 모드의 다중-가설 인코딩 방법 둘 다는 모션 보상 프로세스를 수반한다. 본 발명의 실시예들에서 제공되는 방법 및 장치는 2개의 상이한 예측 방법: 삼각형 예측 유닛 모드 및 조합된 인트라 및 인터 예측 모드의 다중-가설 인코딩 방법을 조합함으로써, 인코딩 및 디코딩 복잡도를 감소시키고 인코딩 및 디코딩 성능 및 효율을 개선할 수 있다. 본 발명의 실시예들에서 제공되는 방법에 따르면, 인코더 상에서의 처리는 디코더 상에서의 처리와 유사하다. 다음은 상세한 설명을 위한 예로서 실시예들 1 내지 5를 사용한다. 실시예들 1 내지 5는 도 1a 내지 도 5의 장치 또는 시스템에 의해 수행될 수 있다.
실시예 1
픽처 내의 적어도 하나의 픽처 블록에 대해 디코딩 처리를 수행하여 픽처 블록의 재구성된 픽처를 획득한다. 도 9에 도시된 바와 같이, 전술한 디코딩 처리는 단계 902 내지 단계 914를 포함한다. 디코딩 처리가 수행되고 있는 블록은 현재 블록이라고 지칭된다.
이 실시예에서, 조합된 인트라 및 인터 예측 모드 식별자는 mh_intra_flag이고, 삼각형 예측 유닛 모드 식별자는 merge_triangle_flag이다.
단계 902: 비트스트림을 수신한다.
단계 904: 비트스트림을 파싱하여 현재 블록의 예측 모드를 획득한다.
비트스트림이 mh_intra_flag를 포함하고 mh_intra_flag가 참이면, 현재 블록의 예측 모드는 조합된 인트라 및 인터 예측 모드이고, 단계 906이 수행된다.
단계 906: 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드일 때, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드의 실행 모드를 선택한다. 구체적으로, 다음의 구현들이 포함된다:
구현 1: 조합된 인트라 및 인터 예측 모드가 사용될 때, 삼각형 예측 유닛 모드는 사용되지 않는다.
intrainter_flag();
If(intrainter_flag==0) Tri_flag();
If(intrainter_flag())intra_mode()가 존재하지 않거나 그의 위치가 제한되지 않는다
If(Tri_flag()) triangle_idx()는 위치가 제한되지 않음을 나타낸다
구현 2: 조합된 인트라 및 인터 예측 모드가 사용될 때, 인트라 예측 모드가 DC 또는 평면 모드이면, 삼각형 예측 유닛 모드는 사용되지 않고; 그렇지 않으면, 삼각형 예측 유닛 모드가 사용된다.
intrainter_flag();
If(intrainter_flag())intra_mode()
If((intrainter_flag ==0)
|| ((intrainter_flag ==1) &&(intra_mode!=DC)&&(intra_mode!=PLANAR)))
Tri_flag();
If(Tri_flag()) triangle_idx()
구현 3: 조합된 인트라 및 인터 예측 모드가 사용될 때, 인트라 예측 모드가 DC 또는 평면 모드인 경우, 삼각형 예측 유닛 모드에서 후방 대각선 분할만이 사용되고; 그렇지 않으면, 대각선 분할 및 후방 대각선 분할이 삼각형 예측 유닛 모드에서 사용된다.
단계 908: 삼각형 예측 유닛 모드의 실행 모드에 따라 현재 블록의 모션 정보를 결정한다.
단계 910: 모션 정보에 기초하여 모션 보상 프로세스를 수행하여, 인터 예측 샘플을 획득한다.
단계들 908 및 910은 삼각형 예측 유닛 모드의 실행 모드에 따라 모션 보상 프로세스를 결정하고, 인터 예측 샘플을 획득하기 위해 조합될 수 있다. 그러면, 다음의 방식 1 및 방식 2가 있다.
방식 1: 삼각형 예측 유닛 모드가 실행되면, 모션 보상 프로세스는 삼각형 예측 유닛 모드에 따라 수행된다. 예를 들어, 비트스트림이 파싱되어 삼각형 예측 유닛 모드 인덱스(merge_triangle_idx)를 획득할 수 있고, 삼각형 예측 유닛 모드의 분할 방향(TriangleDir)이 merge_triangle_idx에 기초하여 획득된다. 구체적으로, 단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))가 생성될 수 있고, 삼각형 예측 유닛 모드 인덱스에 기초하여 단방향 모션 정보 후보 리스트로부터 현재 블록의 모션 정보가 결정된다.
방식 2: 삼각형 예측 유닛 모드가 실행되지 않으면, 모션 보상 프로세스는 병합 모드에 따라 수행된다. 구체적으로, 병합 모션 정보 후보 리스트가 생성될 수 있고, 그 후 비트스트림에 반송되는 병합 인덱스에 기초하여 현재 블록의 모션 정보가 결정된다.
단계 912: 현재 블록의 예측 모드에 따라 인트라 예측 샘플을 획득한다.
구체적으로, 비트스트림은 인트라 예측 모드-관련 신택스를 획득하기 위해 파싱될 수 있고, 인트라 예측 모드는 신택스에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 선택된다. 예를 들어, 인트라 인코딩 모드 신택스는 최고 확률 모드 식별자 mh_intra_luma_mpm_flag 및 최고 확률 모드 인덱스 mh_intra_luma_mpm_idx를 포함한다.
단계 914: 인터 예측 샘플과 인트라 예측 샘플을 조합하여 현재 블록의 예측 픽처를 획득한다.
단계 906 내지 910 및 단계 912는 특정 시퀀스의 대상이 아니다.
세부사항들에 대해서는, 실시예들 3 내지 5의 다음의 설명들을 참조한다.
실시예 2
픽처 내의 적어도 하나의 픽처 블록에 대해 디코딩 처리를 수행하여 픽처 블록의 재구성된 픽처를 획득한다. 도 10에 도시된 바와 같이, 전술한 디코딩 처리는 단계 1002 내지 단계 1010을 포함한다. 디코딩 처리가 수행되고 있는 블록은 현재 블록이라고 지칭된다.
이 실시예에서, 조합된 인트라 및 인터 예측 모드 식별자는 mh_intra_flag이고, 삼각형 예측 유닛 모드 식별자는 merge_triangle_flag이다.
단계 1002: 비트스트림을 수신한다.
단계 1004: 비트스트림을 파싱하여 현재 블록의 삼각형 예측 유닛 모드를 획득한다.
비트스트림이 merge_triangle_idx를 포함하고 merge_triangle_idx가 참인 경우, 현재 블록에 대해 삼각형 예측 유닛 모드가 사용되고, 단계 1006이 수행된다.
단계 1006: 삼각형 예측 유닛 모드가 현재 블록에 사용될 때, 제1 미리 설정된 정책에 따라 조합된 인트라 및 인터 예측 모드의 실행 모드를 선택한다. 구체적으로, 다음의 구현들이 포함된다:
구현 1: 삼각형 예측 유닛 모드가 사용될 때, 조합된 인트라 및 인터 예측 모드는 사용되지 않는다.
Tri_flag()
If(tri_flag==0) intrainter_flag();
If(intrainter_flag())intra_mode()가 존재하지 않거나 그의 위치가 제한되지 않는다
If(Tri_flag()) triangle_idx()는 위치가 제한되지 않음을 나타낸다
구현 2: 삼각형 예측 유닛 모드가 사용될 때, 삼각형이 대각선을 따라 분할되면, 조합된 인트라 및 인터 예측 모드는 사용되지 않는다.
Tri_flag()
If(Tri_flag()) triangle_idx()
TriangleDir = getTriangleDir(triangle_idx);
If((tri_flag==0)
||((tri_flag==1)&&(TriangleDir== inverse diagonal)))
intrainter_flag();
If(intrainter_flag())intra_mode()
구현 3: 삼각형 예측 유닛 모드가 사용될 때, 삼각형이 대각선을 따라 분할되면, 조합된 인트라 및 인터 예측 모드가 사용될 때 수평 예측 모드들만이 사용된다.
단계 1008: 삼각형 예측 유닛 모드에 따라 현재 블록의 모션 정보를 획득하여, 인터 예측 샘플을 획득한다.
예를 들어, 비트스트림은 삼각형 예측 유닛 모드 인덱스 merge_triangle_idx를 획득하기 위해 파싱될 수 있고, 삼각형 예측 유닛 모드의 분할 방향 TriangleDir은 merge_triangle_idx에 기초하여 룩업 테이블로부터 획득된다.
그 후, 단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))가 생성되고, 삼각형 예측 유닛 모드 인덱스에 기초하여 단방향 모션 정보 후보 리스트로부터 현재 블록의 모션 정보가 결정된다.
단계 1010: 조합된 인트라 및 인터 예측 모드의 실행 모드 및 인터 예측 샘플에 따라 현재 블록의 예측 픽처를 획득한다.
구체적으로, 조합된 인트라 및 인터 예측 모드가 제1 미리 설정된 정책에 따라 실행되면, 인트라 예측 샘플은 조합된 인트라 및 인터 예측 모드에 따라 획득되고, 인터 예측 샘플 및 인트라 예측 샘플은 조합되어 현재 블록의 예측 픽처를 획득한다.
대안적으로, 조합된 인트라 및 인터 예측 모드가 제1 미리 설정된 정책에 따라 실행되지 않으면, 현재 블록의 예측 픽처는 인터 예측 샘플에 따라 획득된다.
단계 1006 및 단계 1008은 특정 시퀀스의 대상이 아니다.
세부사항들에 대해서는, 실시예들 3 내지 5의 다음의 설명들을 참조한다.
실시예 3
실시예 3에서, 픽처 내의 적어도 하나의 픽처 블록에 대해 디코딩 처리를 수행하여 픽처 블록의 재구성된 픽처를 획득한다. 전술한 디코딩 처리는 단계 1101 내지 단계 1106을 포함한다. 디코딩 처리가 수행되고 있는 블록은 현재 블록이라고 지칭된다.
단계 1101: 현재 블록의 인터 예측 모드를 파싱하여 삼각형 예측 유닛 모드 식별자, 조합된 인트라 및 인터 예측 모드 식별자, 및 모드-관련 신택스 요소를 획득한다.
현재 코딩 블록/CU가 병합 모드에 있다면, 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag에 대한 공동 파싱 방법은 구체적으로 다음의 방법들 중 하나를 포함한다:
방법 1: 현재 코딩 블록/CU가 삼각형 예측 유닛 모드 식별자 merge_triangle_flag의 개별 제약 조건을 충족시키고 merge_triangle_flag의 송신이 허용될 때, merge_triangle_flag가 파싱된다. merge_triangle_flag가 삼각형 예측 유닛 모드가 실행되지 않음을 나타내고, 현재 코딩 블록/CU가 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag의 개별 제약 조건을 충족시키며 mh_intra_flag의 송신이 허용될 때, mh_intra_flag가 파싱된다. 제약 조건이 충족되지 않을 때, mh_intra_flag는 파싱되지 않고, mh_intra_flag는 0이다. 즉, merge_triangle_flag가 삼각형 예측 유닛 모드가 실행되는 것을 나타낼 때, mh_intra_flag는 송신되지 않고, 조합된 인트라 및 인터 예측 모드의 다중-가설 방법이 수행되지 않는다.
방법 2: 현재 코딩 블록/CU가 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag의 개별 제약 조건을 충족시키고 mh_intra_flag의 송신이 허용될 때, mh_intra_flag가 파싱된다. mh_intra_flag가 조합된 인트라 및 인터 예측 모드가 실행되지 않고, 현재 코딩 블록/CU가 삼각형 예측 유닛 모드 식별자 merge_triangle_flag의 개별 제약 조건을 충족시키고 merge_triangle_flag의 송신이 허용될 때, merge_triangle_flag가 파싱된다. 따라서, 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드가 아닐 때, 삼각형 예측 유닛 모드가 현재 블록에 대해 실행된다. 삼각형 예측 유닛 모드의 제약 조건이 충족될 때, 삼각형 예측 유닛 모드 식별자는 1이다. 제약 조건이 충족되지 않을 때, merge_triangle_flag는 파싱되지 않고, merge_triangle_flag는 0이다. 즉, mh_intra_flag가 조합된 인트라 및 인터 예측 모드가 실행되는 것을 나타낼 때, merge_triangle_flag는 송신되지 않고, 삼각형 예측 유닛 모드는 실행되지 않는다. 이 경우, 삼각형 예측 유닛 모드의 제약 조건은 미리 설정된 정책으로서 이해될 수 있다. 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드일 때, 삼각형 예측 유닛 모드는 현재 블록에 대해 실행되지 않는다.
merge_triangle_flag가 삼각형 예측 유닛 모드가 실행되는 것을 나타낼 때, 비트스트림을 파싱하여 삼각형 예측 유닛 모드 인덱스 merge_triangle_idx를 획득하고, 삼각형 예측 유닛 모드의 분할 정보 및 모션 정보가 merge_triangle_idx에 기초하여 룩업 테이블로부터 획득될 수 있다. 또한, 룩업 테이블 내의 각 요소는 삼각형 예측 유닛 모드의 분할 정보 및 단방향 모션 정보 후보 리스트 인덱스를 포함할 수 있다. 특정 구현에서, merge_triangle_flag가 삼각형 예측 유닛 모드가 실행되는 것을 나타낼 때, 비트스트림은 삼각형 예측 유닛 모드의 분할 방향(TriangleDir)을 획득하기 위해 파싱될 수 있다.
식별자 mh_intra_flag는 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드인지를 나타내는데 사용될 수 있다. mh_intra_flag가 조합된 인트라 및 인터 예측 모드가 실행되는 것을 나타낼 때, 비트스트림을 파싱하여 인트라 인코딩 모드-관련 신택스를 획득한다. 인트라 인코딩 모드-관련 신택스는 최고 확률 모드 식별자 mh_intra_luma_mpm_flag 및 최고 확률 모드 인덱스 mh_intra_luma_mpm_idx를 포함하고, 그 후 인트라 인코딩 모드는 mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 추출된다. 대안적으로, 평면 모드와 같은 고정 모드는 어떠한 인덱스도 송신하지 않고 직접 사용될 수 있다.
merge_triangle_idx가 merge_triangle_flag 이후에 파싱되는 경우, 비트스트림에서의 merge_triangle_idx의 위치가 본 발명의 이 실시예에서 명시되지 않는다는 점에 유의해야 한다.
본 발명의 이 실시예에서, mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx가 mh_intra_flag 이후에 파싱된다면, 비트스트림 내의 mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx의 위치들은 특정되지 않는다.
본 발명의 이 실시예에서, 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag를 공동으로 사용하기 위한 방법만이 사용된다는 점에 유의해야 한다. 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 또는 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag에 대한 파싱 방법은 제한되지 않는다. 예를 들어, 제약은 다음과 같을 수 있다: 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag는 코딩 블록/CU의 폭 및 높이가 8 이상이고 128 미만일 때에만 파싱되고; 그렇지 않으면, mh_intra_flag는 파싱되지 않고, mh_intra_flag는 조합된 인트라 및 인터 예측 모드를 실행하지 않도록 설정된다. 삼각형 예측 유닛 모드 식별자 merge_triangle_flag는 코딩 블록/CU의 폭 플러스(plus) 높이가 12보다 클 때에만 파싱되고; 그렇지 않으면, merge_triangle_flag는 파싱되지 않고, merge_triangle_flag는 삼각형 예측 유닛 모드를 실행하지 않도록 설정된다.
단계 1102: 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 삼각형 예측 유닛 모드 인덱스 merge_triangle_idx에 기초하여 삼각형 예측 유닛 모드의 분할 정보 및 모션 정보를 획득한다.
현재 블록이 병합/스킵 모드에 있고 merge_triangle_flag가 0이면, 병합 모션 정보 후보 리스트가 생성된다. 그 후, 비트스트림에 반송되는 병합 인덱스에 기초하여 현재 블록의 모션 정보가 결정된다. HEVC 또는 VTM에서의 방법이 사용될 수 있거나, 또는 모션 벡터 예측자 후보 리스트를 생성하는 다른 방법이 사용될 수 있다. 이것은 본 발명의 이 실시예에서 한정되지 않는다.
현재 블록이 병합/스킵 모드에 있고 merge_triangle_flag가 1이면, 단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))가 생성되고, merge_triangle_idx를 사용하여 룩업 테이블로부터 결정되는 삼각형 예측 유닛 모드의 분할 정보 및 단방향 모션 정보 후보 리스트 인덱스에 기초하여 단방향 모션 정보 후보 리스트로부터 모션 정보가 결정된다.
현재 블록이 인터 MVP 모드에 있는 경우, 비트스트림으로 송신되는 인터 예측 방향, 참조 프레임 인덱스, 모션 벡터 예측자 인덱스, 및 모션 벡터 차이에 기초하여 현재 블록의 모션 정보가 결정된다. HEVC 또는 VTM에서의 방법이 사용될 수 있거나, 또는 모션 벡터 예측자 후보 리스트를 생성하는 다른 방법이 사용될 수 있다. 이것은 본 발명의 이 실시예에서 한정되지 않는다.
단계 1103: 모션 정보에 기초하여 모션 보상 프로세스를 수행함으로써, 인터 예측 샘플(예측 샘플)을 획득한다.
단계 1103에서는, 현재 블록의 모션 정보에 기초하여 모션 보상 프로세스 및 가중 예측 프로세스가 수행되어, 인터 예측 샘플을 획득한다.
단계 1104: mh_intra_flag에 기초하여 인트라 예측 샘플을 획득한다.
mh_intra_flag가 1이면, 다음의 방법들 중 하나가 구체적으로 사용될 수 있다:
방법 1: mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 인트라 인코딩 모드를 획득하고, 인트라 예측 모듈을 호출하여 인트라 예측 블록을 생성한다.
방법 2: mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 인트라 인코딩 모드를 획득하고, 인트라 예측 모듈을 호출하여 인트라 예측 블록을 생성하며, 인트라 예측 모듈은 다음의 2개의 인트라 인코딩 도구: 경계 필터링 및 PDPC를 사용하지 않는다.
방법 3: 인트라 인코딩 모드를 평면 모드로 설정하고, 인트라 예측 모듈을 호출하여 인트라 예측 블록을 생성한다.
방법 4: 인트라 인코딩 모드를 평면 모드로 설정하고, 인트라 예측 모듈을 호출하여 인트라 예측 블록을 생성하며, 인트라 예측 모듈은 다음의 2개의 인트라 인코딩 도구: 경계 필터링 및 PDPC를 사용하지 않는다.
단계 1105: 인터 예측 샘플과 인트라 예측 샘플을 조합하여 현재 블록의 최종 예측 블록/예측 픽처를 획득한다.
보다 구체적으로는, 디코더 상에서, 적응 가중 방법, 고정 계수 가중 방식, 또는 등비율 가중 방식(equal-proportion weighting manner)이 사용된다.
단계 1106: 최종 인터 예측 픽처 및 잔차 픽처를 추가하여 현재 블록의 재구성된 픽처를 획득한다.
구체적으로, 디코더 상에서, 현재 블록이 잔차를 가지면, 잔차 정보 및 예측 픽처가 추가되어 현재 블록의 재구성된 픽처를 획득하거나; 또는 현재 블록이 잔차를 갖지 않으면, 예측 픽처가 현재 블록의 재구성된 픽처이다.
단계 1102 및 단계 1103의 시퀀스는 교환될 수 있다는 점에 유의해야 한다. 이것은 본 발명의 이 실시예에서 한정되지 않는다.
실시예 4
실시예 4는 인터 인코딩 및 필터링 방법과 이 방법을 사용한 픽처 블록에 대한 디코딩 처리에 관한 것이다. 실시예 3과의 주요 차이점은 단계 1201에 있다.
단계 1201: 현재 블록의 인터 예측 모드를 파싱하여 삼각형 예측 유닛 모드 식별자, 조합된 인트라 및 인터 예측 모드 식별자, 및 모드-관련 신택스 요소를 획득한다.
삼각형 예측 유닛 모드에서, 코딩 블록은 대각선을 따라 2개의 삼각형 코딩 블록으로 분할된다. 대각선 분할은 도 3에 도시된 바와 같이 대각선(diagonal) 분할 또는 역 대각선(inverse diagonal) 분할일 수 있다. 현재 코딩 블록의 좌측 상부 코너로부터 우측 하부 코너로의 분할은 대각선 분할이고, 현재 코딩 블록의 우측 상부 코너로부터 좌측 하부 코너로의 분할은 후방 대각선 분할이다.
현재 코딩 블록/CU가 병합 모드에 있으면, 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag에 대한 공동 파싱 방법은, 삼각형 예측 유닛 모드의 분할 정보에 기초하여, 조합된 인트라 및 인터 예측 모드가 실행되는지 및 실행 모드를 주로 제한한다.
구체적으로, 다음의 방법들 중 하나가 포함된다:
방법 1: 현재 코딩 블록/CU가 삼각형 예측 유닛 모드 식별자 merge_triangle_flag의 개별 제약 조건을 충족시키고 merge_triangle_flag의 송신이 허용될 때, merge_triangle_flag가 파싱된다. merge_triangle_flag가 1일 때, merge_triangle_idx가 파싱되고, merge_triangle_idx에 기초하여 룩업 테이블로부터 삼각형 예측 유닛 모드의 분할 방향 TriangleDir이 획득된다. TriangleDir이 삼각형 예측 유닛이 대각선(diagonal)을 따라 분할되는 것을 나타낼 때, 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag는 송신되지 않고, 조합된 인트라 및 인터 예측 모드는 사용되지 않는다. TriangleDir이 삼각형 예측 유닛이 역 대각선(inverse diagonal)을 따라 분할되는 것을 나타낼 때, mh_intra_flag는 현재 코딩 블록/CU가 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag의 개별 제약 조건을 충족하고 mh_intra_flag의 송신이 허용될 때 파싱된다. mh_intra_flag가 조합된 인트라 및 인터 예측 모드가 실행되는 것을 나타낼 때, 비트스트림을 파싱하여 인트라 인코딩 모드-관련 신택스를 획득한다. 인트라 인코딩 모드-관련 신택스는 최고 확률 모드 식별자 mh_intra_luma_mpm_flag 및 최고 확률 모드 인덱스 mh_intra_luma_mpm_idx를 포함할 수 있다. 대안적으로, 평면 모드와 같은 고정 모드는 어떠한 인덱스도 송신하지 않고 직접 사용될 수 있다. 인트라 인코딩 모드는 mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 추출될 수 있다는 점에 유의해야 한다.
방법 2: 현재 코딩 블록/CU가 삼각형 예측 유닛 모드 식별자 merge_triangle_flag의 개별 제약 조건을 충족시키고 merge_triangle_flag의 송신이 허용될 때, merge_triangle_flag가 파싱된다. merge_triangle_flag가 1일 때, merge_triangle_idx를 파싱하여 삼각형 예측 유닛 모드의 분할 방향 TriangleDir을 획득한다. 현재 코딩 블록/CU가 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag의 개별 제약 조건을 충족하고 mh_intra_flag의 송신이 허용될 때, mh_intra_flag가 파싱된다. mh_intra_flag가 1일 때, 인트라 인코딩 모드-관련 인덱스가 파싱되고, 인트라 인코딩 모드-관련 인덱스에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 인트라 예측 모드가 선택된다. TriangleDir이 삼각형 예측 유닛이 대각선(diagonal)을 따라 분할되는 것을 나타낼 때, 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))는 수평 및 수직 예측 모드들만을 포함한다. TriangleDir이 삼각형 예측 유닛이 역 대각선(inverse diagonal)을 따라 분할되는 것을 나타낼 때, 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))의 구성은 수정되지 않는다.
삼각형 예측 유닛 모드의 분할 정보 및 모션 정보는 merge_triangle_idx에 기초하여 룩업 테이블로부터 획득될 수 있다는 점에 유의해야 한다. 또한, 룩업 테이블 내의 각 요소는 삼각형 예측 유닛 모드의 분할 정보 및 단방향 모션 정보 후보 리스트 인덱스를 포함할 수 있다.
merge_triangle_idx가 merge_triangle_flag 이후에 파싱되는 경우, 비트스트림에서의 merge_triangle_idx의 위치가 본 발명의 이 실시예에서 명시되지 않는다는 점에 유의해야 한다.
비트스트림 내의 인트라 인코딩 모드-관련 인덱스의 위치는, 인트라 인코딩 모드-관련 인덱스가 mh_intra_flag 후에 파싱된다면, 본 발명의 이 실시예에서 특정되지 않는다는 점에 유의해야 한다.
본 발명의 이 실시예에서, 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag를 공동으로 사용하기 위한 방법만이 사용된다는 점에 유의해야 한다. 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 또는 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag에 대한 파싱 방법은 제한되지 않는다. 예를 들어, 제약은 다음과 같을 수 있다: 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag는 코딩 블록/CU의 폭 및 높이가 8 이상이고 128 미만일 때에만 파싱되고; 그렇지 않으면, mh_intra_flag는 파싱되지 않고, mh_intra_flag는 조합된 인트라 및 인터 예측 모드를 실행하지 않도록 설정된다. 삼각형 예측 유닛 모드 식별자 merge_triangle_flag는 코딩 블록/CU의 폭 플러스(plus) 높이가 12보다 클 때에만 파싱되고; 그렇지 않으면, merge_triangle_flag가 파싱되지 않고, merge_triangle_flag가 삼각형 예측 유닛 모드를 실행하도록 설정된다.
다른 단계들에 대해서는, 실시예 3에서의 설명을 참조한다. 세부사항들은 다시 설명되지 않는다.
실시예 5
실시예 5는 인터 인코딩 및 필터링 방법과 이 방법을 사용한 픽처 블록에 대한 디코딩 처리에 관한 것이다. 실시예 3과의 주요 차이점은 단계들(1301 및 1302)에 있다.
단계 1301: 현재 블록의 인터 예측 모드를 파싱하여 삼각형 예측 유닛 모드 식별자, 조합된 인트라 및 인터 예측 모드 식별자, 및 모드-관련 신택스 요소를 획득한다.
삼각형 예측 유닛 모드에서, 코딩 블록은 대각선을 따라 2개의 삼각형 코딩 블록으로 분할된다. 대각선 분할은 도 3에 도시된 바와 같이 대각선(diagonal) 분할 또는 역 대각선(inverse diagonal) 분할일 수 있다. 현재 코딩 블록의 좌측 상부 코너로부터 우측 하부 코너로의 분할은 대각선 분할이고, 현재 코딩 블록의 우측 상부 코너로부터 좌측 하부 코너로의 분할은 후방 대각선 분할이다.
현재 코딩 블록/CU가 병합 모드에 있는 경우, 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag에 대한 공동 파싱 방법은, 조합된 인트라 및 인터 예측 모드에 기초하여, 삼각형 예측 유닛 모드가 실행되는지 및 분할 정보를 주로 제한한다.
세부사항들은 다음과 같다:
방법 1: 현재 코딩 블록/CU가 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag의 개별 제약 조건을 충족시키고 mh_intra_flag의 송신이 허용될 때, mh_intra_flag가 파싱된다. mh_intra_flag가 1일 때, (mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx와 같은) 인트라 인코딩 모드-관련 신택스 요소들이 파싱되고, 인트라 예측 모드는 mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 선택된다. 미리 설정된 정책에 따라 룩업 테이블 상에서 삭제가 수행된다. 삭제 정책은 다음과 같다: 인트라 예측 모드가 DC 또는 평면 모드일 때, merge_triangle_flag는 파싱되지 않고, 삼각형 예측 유닛 모드는 실행되지 않는다. 인트라 예측 모드가 수평 또는 수직 모드이고, 현재 코딩 블록/CU가 삼각형 예측 유닛 모드 식별자 merge_triangle_flag의 개별 제약 조건을 충족시키고 merge_triangle_flag의 송신이 허용될 때, merge_triangle_flag가 파싱된다. merge_triangle_flag가 1일 때, merge_triangle_idx가 파싱되고, 룩업 테이블에 기초하여 삼각형 예측 유닛 모드의 분할 방향 TriangleDir이 획득된다.
방법 2: 현재 코딩 블록/CU가 조합된 인트라 및 인터 예측 모드 식별자 mh_intra_flag의 개별 제약 조건을 충족시키고 mh_intra_flag의 송신이 허용될 때, mh_intra_flag가 파싱된다. mh_intra_flag가 1일 때, (mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx와 같은) 인트라 인코딩 모드-관련 신택스 요소들이 파싱되고, 인트라 예측 모드는 mh_intra_luma_mpm_flag 및 mh_intra_luma_mpm_idx에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 선택된다. 현재 코딩 블록/CU가 삼각형 예측 유닛 모드 식별자 merge_triangle_flag의 개별 제약 조건을 충족시키고 merge_triangle_flag의 송신이 허용될 때, merge_triangle_flag가 파싱된다. merge_triangle_flag가 1일 때, merge_triangle_idx가 파싱되고, 룩업 테이블에 기초하여 삼각형 예측 유닛 모드의 분할 방향 TriangleDir이 획득된다. 삭제는 미리 설정된 정책에 따라 룩업 테이블에 대해 수행될 수 있다. 삭제 정책은 다음과 같다: 인트라 예측 모드가 DC 또는 평면 모드일 때, 룩업 테이블은 대각선(diagonal)을 따른 분할을 통해 획득된 요소들을 포함하지 않는다. 인트라 예측 모드가 수평 또는 수직 모드일 때, 룩업 테이블은 수정되지 않을 수 있다.
단계 1302: 삼각형 예측 유닛 모드 식별자 merge_triangle_flag 및 삼각형 예측 유닛 모드 인덱스 merge_triangle_idx에 기초하여 획득되는 삼각형 예측 유닛 모드의 분할 정보 및 모션 정보에 기초하여 인터 예측 블록을 획득한다.
단계 2.1: 모션 정보를 획득한다.
현재 블록이 병합/스킵 모드에 있고 merge_triangle_flag가 0이면, 병합 모션 정보 후보 리스트가 생성된다. 그 후, 비트스트림에 반송되는 병합 인덱스에 기초하여 현재 블록의 모션 정보가 결정된다. HEVC 또는 VTM에서의 방법이 사용될 수 있거나, 또는 모션 벡터 예측자 후보 리스트를 생성하는 다른 방법이 사용될 수 있다. 이것은 본 발명의 이 실시예에서 한정되지 않는다.
현재 블록이 병합/스킵 모드에 있고 merge_triangle_flag가 1이면, 단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))가 생성되고, merge_triangle_idx를 사용하여 룩업 테이블로부터 결정되는 삼각형 예측 유닛 모드의 분할 정보 및 단방향 모션 정보 후보 리스트 인덱스에 기초하여 단방향 모션 정보 후보 리스트로부터 모션 정보가 결정된다.
룩업 테이블은 기존의 방식으로 구성되고 미리 설정된 정책에 따라 삭제가 수행되는 룩업 테이블이다. 삭제 정책은 다음과 같다: 인트라 예측 모드가 DC 또는 평면 모드일 때, 룩업 테이블은 대각선(diagonal)을 따른 분할을 통해 획득된 요소들을 포함하지 않는다. 인트라 예측 모드가 수평 또는 수직 모드일 때, 룩업 테이블은 기존의 방식으로 구성된다.
다른 단계들에 대해서는, 실시예 3에서의 설명을 참조한다. 세부사항들은 다시 설명되지 않는다.
본 발명의 실시예들 1 내지 5는 인코딩 복잡도를 감소시키고 인코딩 효율을 향상시킬 수 있다.
도 11은 본 발명의 실시예에 따른 장치(1100)의 개략적인 구조도이다. 장치(1100)는 수신 모듈(1102), 파싱 모듈(1104), 결정 모듈(1106), 및 획득 모듈(1108)을 포함한다. 일부 실시예들에서, 파싱 모듈(1104), 결정 모듈(1106), 및 획득 모듈(1108)은 전술한 프로세서, 예를 들어, 도 4의 프로세서(430) 또는 도 5의 프로세서(502)에서 실행될 수 있다. 일부 다른 실시예들에서, 파싱 모듈(1104), 결정 모듈(1106), 및 획득 모듈(1108)의 관련 기능들은 도 1a 내지 도 3의 실시예들에서 설명된 시스템 또는 장치에서 구현될 수 있다.
제1 장치 실시예는 다음과 같다:
수신 모듈(1102)은 비트스트림을 수신하도록 구성된다.
파싱 모듈(1104)은 비트스트림을 파싱하여 현재 블록의 예측 모드를 획득하도록 구성된다.
결정 모듈(1106)은, 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드가 아닐 때, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드의 실행 모드를 선택하고, 삼각형 예측 유닛 모드의 실행 모드에 따라 현재 블록의 모션 정보를 결정하도록 구성된다.
획득 모듈(1108)은 현재 블록의 예측 픽처를 획득하기 위해, 모션 정보에 기초하여 모션 보상 프로세스를 수행하도록 구성된다.
결정 모듈은, 조합된 인트라 및 인터 예측 모드가 사용되지 않을 때, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드를 실행하도록 구성된다. 대안적으로, 결정 모듈은 조합된 인트라 및 인터 예측 모드가 사용되지 않을 때, 삼각형 예측 유닛 모드 식별자를 파싱하고, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드를 실행하도록 구성된다.
제2 장치 실시예는 다음과 같다:
수신 모듈(1102)은 비트스트림을 수신하도록 구성된다.
파싱 모듈(1104)은 비트스트림을 파싱하여 현재 블록의 삼각형 예측 유닛 모드를 획득하도록 구성된다.
결정 모듈(1106)은, 삼각형 예측 유닛 모드가 현재 블록에 사용될 때, 제1 미리 설정된 정책에 따라 조합된 인트라 및 인터 예측 모드의 실행 모드를 선택하도록 구성된다.
획득 모듈(1108)은 삼각형 예측 유닛 모드에 따라 현재 블록의 모션 정보를 획득하여, 인터 예측 샘플을 획득하고; 조합된 인트라 및 인터 예측 모드의 실행 모드 및 인터 예측 샘플에 따라 현재 블록의 예측 픽처를 획득하도록 구성된다.
제3 장치 실시예에서, 수신 모듈(1102)과 파싱 모듈(1104)은 선택적이다.
결정 모듈(1106)은, 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드가 아닐 때, 삼각형 예측 유닛 모드가 실행된다고 결정하고; 삼각형 예측 유닛 모드에 따라 현재 블록의 모션 정보를 결정하도록 구성된다.
획득 모듈(1108)은 현재 블록의 예측 픽처를 획득하기 위해, 모션 정보에 기초하여 모션 보상 프로세스를 수행하도록 구성된다.
결정 모듈(1106)은, 미리 설정된 정책에 따라, 삼각형 예측 유닛 모드가 실행된다고 결정될 때, 삼각형 예측 유닛 모드의 분할 방향(TriangleDir)을 획득하고; 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드일 때, 삼각형 예측 유닛 모드가 현재 블록에 대해 실행되지 않는다고 결정하도록 추가로 구성된다.
획득 모듈(1108)은 식별자 mh_intra_flag를 획득하도록 구성되고, 여기서 식별자 mh_intra_flag는 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드인지를 나타내는데 사용된다.
수신 모듈(1102), 파싱 모듈(1104), 결정 모듈(1106), 및 획득 모듈(1108)은 실시예들 1 내지 5에 도시된 관련 방법 단계들을 구현하도록 구체적으로 구성될 수 있다. 본 명세서의 간결성을 위해, 세부사항들은 여기서 다시 설명되지 않는다.
전술한 실시예들에서, 각각의 실시예의 설명은 각각의 주안점들을 갖는다. 실시예에서 상세히 설명되지 않은 부분에 대해서는, 다른 실시예들에서의 관련 설명들을 참조한다.
본 출원에서 제공되는 몇몇 실시예들에서, 개시된 장치는 다른 방식들로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 설명된 장치 실시예들은 단지 예들이다. 예를 들어, 유닛들로의 분할은 단지 논리적 기능 분할이다. 실제 구현에는 다른 분할 방식이 있을 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 결합되거나 다른 시스템에 통합되거나, 일부 특징이 무시되거나 수행되지 않을 수 있다. 또한, 디스플레이되거나 논의된 상호 결합 또는 직접적 결합 또는 통신 접속은 소정의 인터페이스를 통해 구현될 수도 있다. 장치들 또는 유닛들 간의 간접 결합들 또는 통신 접속들은 전자적 또는 다른 형태들로 구현될 수 있다.
개별 부분들로서 설명된 유닛들은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛들로서 디스플레이된 부분들은 물리적 유닛들이거나 아닐 수 있고, 하나의 위치에 위치될 수 있거나, 또는 복수의 네트워크 유닛 상에 분산될 수 있다. 유닛들의 일부 또는 전부는 실시예들의 해결책들의 목적들을 달성하기 위해 실제 요건들에 기초하여 선택될 수 있다.
게다가, 본 발명의 실시예들에서의 기능 유닛들은 하나의 처리 유닛으로 통합될 수 있거나, 유닛들 각각은 물리적으로 단독으로 존재할 수 있거나, 2개 이상의 유닛은 하나의 유닛으로 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현될 수 있거나, 소프트웨어 기능 유닛의 형태로 구현될 수 있다.
다음은 전술한 실시예들에 도시된 인코딩 방법 및 디코딩 방법의 적용, 및 인코딩 방법 및 디코딩 방법을 사용하는 시스템을 설명한다.
도 12는 콘텐츠 전달 서비스를 구현하도록 구성된 콘텐츠 공급 시스템(3100)을 나타내는 블록도이다. 콘텐츠 공급 시스템(3100)은, 캡처 디바이스(3102), 단말 디바이스(3106), 및 선택적으로 디스플레이(3126)를 포함한다. 캡처 디바이스(3102)는 통신 링크(3104)를 통해 단말 디바이스(3106)와 통신한다. 통신 링크는 위에 설명된 통신 채널(13)을 포함할 수 있다. 통신 링크(3104)는 Wi-Fi, 이더넷, 유선 접속, 무선(3G/4G/5G) 접속, USB, 또는 이들의 임의의 타입의 조합을 포함하지만, 이들로 한정되지 않는다.
캡처 디바이스(3102)는 데이터를 생성하고, 전술한 실시예들에 도시된 인코딩 방법에 따라 데이터를 인코딩할 수 있다. 대안적으로, 캡처 디바이스(3102)는 데이터를 스트리밍 서버(도면에 도시되지 않음)에 배포할 수 있고, 서버는 데이터를 인코딩하여 인코딩된 데이터를 단말 디바이스(3106)에 송신한다. 캡처 디바이스(3102)는 카메라, 스마트폰 또는 태블릿 컴퓨터, 컴퓨터 또는 노트북 컴퓨터, 화상 회의 시스템, PDA, 차량-탑재 디바이스, 또는 이들의 임의의 조합을 포함하지만, 이들로 한정되지 않는다. 예를 들어, 캡처 디바이스(3102)는 위에 설명된 바와 같은 소스 디바이스(12)를 포함할 수 있다. 데이터가 비디오를 포함할 때, 캡처 디바이스(3102)에 포함된 비디오 인코더(20)는 실제로 비디오를 인코딩할 수 있다. 데이터가 오디오(즉, 음성)를 포함할 때, 캡처 디바이스(3102)에 포함된 오디오 인코더는 실제로 오디오를 인코딩할 수 있다. 일부 실제 시나리오에서, 캡처 디바이스(3102)는 인코딩된 비디오 데이터와 인코딩된 오디오 데이터를 멀티플렉싱함으로써 인코딩된 비디오 데이터와 인코딩된 오디오 데이터를 배포한다. 다른 실제 시나리오에서, 예를 들어, 화상 회의 시스템에서, 인코딩된 오디오 데이터와 인코딩된 비디오 데이터는 멀티플렉싱되지 않는다. 캡처 디바이스(3102)는 인코딩된 오디오 데이터와 인코딩된 비디오 데이터를 단말 디바이스(3106)에 개별적으로 배포한다.
콘텐츠 공급 시스템(3100)에서, 단말 디바이스(310)는 인코딩된 데이터를 수신하여 재생한다. 단말 디바이스(3106)는 데이터 수신 및 복구 능력을 갖는 디바이스, 예를 들어, 스마트폰 또는 태블릿 컴퓨터(3108), 컴퓨터 또는 노트북 컴퓨터(3110), 네트워크 비디오 레코더(network video recorder, NVR)/디지털 비디오 레코더(digital video recorder, DVR)(3112), TV(3114), 셋톱 박스(set top box, STB)(3116), 화상 회의 시스템(3118), 비디오 감시 시스템(3120), 개인 휴대 정보 단말기(personal digital assistant, PDA)(3122), 차량-탑재 디바이스(3124), 또는 인코딩된 데이터를 디코딩할 수 있는 전술한 디바이스들의 임의의 조합일 수 있다. 예를 들어, 단말 디바이스(3106)는 위에 설명된 바와 같은 목적지 디바이스(14)를 포함할 수 있다. 인코딩된 데이터가 비디오를 포함할 때, 단말 디바이스에 포함되는 비디오 디코더(30)는 비디오 디코딩을 수행하도록 우선순위화된다. 인코딩된 데이터가 오디오를 포함할 때, 단말 디바이스에 포함되는 오디오 디코더는 오디오 디코딩 처리를 수행하도록 우선순위화된다.
디스플레이를 갖는 단말 디바이스, 예를 들어, 스마트폰 또는 태블릿 컴퓨터(3108), 컴퓨터 또는 노트북 컴퓨터(3110), 네트워크 비디오 레코더(network video recorder, NVR)/디지털 비디오 레코더(digital video recorder, DVR)(3112), TV(3114), 개인 휴대 정보 단말기(personal digital assistant, PDA)(3122), 또는 차량-탑재 디바이스(3124)의 경우, 단말 디바이스는 디코딩된 데이터를 단말 디바이스의 디스플레이에 공급할 수 있다. 디스플레이가 없는 단말 디바이스, 예를 들어, STB(3116), 화상 회의 시스템(3118), 또는 비디오 감시 시스템(3120)의 경우, 외부 디스플레이(3126)가 단말 디바이스에 접속되어 디코딩된 데이터를 수신 및 디스플레이한다.
시스템 내의 각각의 디바이스가 인코딩 또는 디코딩을 수행할 때, 전술한 실시예들에 도시된 픽처 인코딩 디바이스 또는 픽처 디코딩 디바이스가 사용될 수 있다.
도 13은 단말 디바이스(3106)의 예시적인 구조의 도면이다. 단말 디바이스(3106)가 캡처 디바이스(3102)로부터 스트림을 수신한 후에, 프로토콜 처리 유닛(3202)은 스트림의 전송 프로토콜을 분석한다. 프로토콜은 실시간 스트리밍 프로토콜(Real Time Streaming Protocol, RTSP), 하이퍼텍스트 전송 프로토콜(Hyper Text Transfer Protocol, HTTP), HTTP 라이브 스트리밍 프로토콜(HTTP Live streaming protocol, HLS), MPEG-DASH, 실시간 전송 프로토콜(Real-time Transport protocol, RTP), 실시간 메시징 프로토콜(Real Time Messaging Protocol, RTMP), 또는 이들의 임의의 조합을 포함하지만, 이들로 제한되지 않는다.
스트림을 처리한 후, 프로토콜 처리 유닛(3202)은 스트림 파일을 생성한다. 파일은 역다중화 유닛(3204)에 출력된다. 역다중화 유닛(3204)은 다중화된 데이터를 인코딩된 오디오 데이터 및 인코딩된 비디오 데이터로 분할할 수 있다. 전술한 바와 같이, 다른 실제 시나리오에서, 예를 들어, 화상 회의 시스템에서, 인코딩된 오디오 데이터와 인코딩된 비디오 데이터는 다중화되지 않는다. 이 경우, 인코딩된 데이터는 역다중화 유닛(3204)을 통해 송신되지 않고 비디오 디코더(3206) 및 오디오 디코더(3208)에 송신된다.
역다중화는 비디오 기본 스트림(elementary stream, ES), 오디오 ES, 및 선택적인 자막을 생성하기 위해 수행된다. 비디오 디코더(3206)는 전술한 실시예들에서 설명된 비디오 디코더(30)를 포함하고, 전술한 실시예들에서 도시된 디코딩 방법에 따라 비디오 ES를 디코딩하여 비디오 프레임을 생성하고, 그러한 데이터를 동기화 유닛(3212)에 공급한다. 오디오 디코더(3208)는 오디오 ES를 디코딩하여 오디오 프레임을 생성하고, 이러한 데이터를 동기화 유닛(3212)에 공급한다. 대안적으로, 비디오 프레임은 비디오 프레임이 동기화 유닛(3212)에 공급되기 전에 버퍼(도 Y에 도시되지 않음)에 저장될 수 있다. 유사하게, 오디오 프레임은 오디오 프레임이 동기화 유닛(3212)에 공급되기 전에 버퍼(도 Y에 도시되지 않음)에 저장될 수 있다.
동기화 유닛(3212)은 비디오 프레임과 오디오 프레임을 동기화하고, 비디오/오디오 디스플레이(3214)에 비디오/오디오를 제공한다. 예를 들어, 동기화 유닛(3212)은 비디오 정보 및 오디오 정보의 제시를 동기화한다. 정보는 인코딩된 오디오 및 비주얼 데이터의 제시와 관련된 타임스탬프 및 데이터 스트림의 송신과 관련된 타임스탬프를 사용하여 구문론적으로 인코딩될 수 있다.
자막이 스트림에 포함되면, 자막 디코더(3210)는 자막을 디코딩하여 자막을 비디오 프레임 및 오디오 프레임과 동기화하고, 비디오/오디오/자막을 비디오/오디오/자막 디스플레이(3216)에 제공한다.
본 발명은 전술한 시스템에 한정되지 않고, 전술한 실시예들에서의 픽처 인코딩 디바이스 또는 픽처 디코딩 디바이스는 다른 시스템, 예를 들어, 자동차 시스템으로 조합될 수 있다.
설명된 방법과 조합된 개시된 내용은 방법을 수행하도록 구성된 대응하는 디바이스 또는 시스템에 대해서도 유효할 수 있고 그 반대도 마찬가지라는 것을 이해해야 한다. 예를 들어, 하나 이상의 특정 방법 단계들이 설명되면, 대응하는 디바이스는 설명된 하나 이상의 방법 단계들을 수행하기 위해 기능 유닛들과 같은 하나 이상의 유닛(예를 들어, 하나 이상의 단계를 수행하는 하나의 유닛, 또는 복수의 단계 중 하나 이상을 각각 수행하는 복수의 유닛)을 포함할 수 있지만, 이러한 하나 이상의 유닛은 첨부 도면들에서 명시적으로 설명되거나 예시되지 않는다. 또한, 예를 들어, 특정 장치가 기능 유닛들과 같은 하나 이상의 유닛에 기초하여 설명되면, 대응하는 방법은 하나 이상의 유닛의 기능을 수행하기 위해 사용되는 하나의 단계(예를 들어, 하나 이상의 유닛의 기능을 수행하기 위해 사용되는 하나의 단계, 또는 복수의 유닛 중 하나 이상의 유닛의 기능을 수행하기 위해 각각 사용되는 복수의 단계)를 포함할 수 있지만, 그러한 하나 이상의 단계는 첨부 도면들에서 명시적으로 설명되거나 도시되지 않는다. 또한, 본 명세서에서 설명된 다양한 예시적인 실시예들 및/또는 양태들의 특징들은, 달리 구체적으로 언급되지 않는 한, 서로 조합될 수 있다는 점이 이해되어야 한다.
하나 이상의 예에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어에 의해 구현되는 경우, 기능들은 하나 이상의 명령어 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 이를 통해 송신될 수 있고, 하드웨어-기반 처리 유닛에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 데이터 저장 매체 또는 통신 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 예를 들어, 통신 매체는 통신 프로토콜에 따라, 한 장소에서 다른 장소로의 컴퓨터 프로그램의 송신을 용이하게 하는 임의의 매체를 포함한다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비-일시적 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 발명에서 설명되는 기술들을 구현하기 위한 명령어들, 코드, 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 사용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.
제한이 아닌 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 메모리, 자기 디스크 메모리 또는 다른 자기 저장 디바이스, 플래시 메모리, 또는 원하는 프로그램 코드를 명령어 또는 데이터 구조의 형태로 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독가능 매체라고 적절히 지칭될 수 있다. 예를 들어, 명령어들이 동축 케이블, 광섬유, 트위스티드 페어, 디지털 가입자 회선(digital subscriber line, DSL), 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유, 트위스티드 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속들, 캐리어들, 신호들, 또는 다른 일시적 매체를 포함하지 않지만, 비-일시적 유형의 저장 매체를 실제로 의미한다는 점이 이해되어야 한다. 본 명세서에서 사용되는, 디스크 및 디스크는 콤팩트 디스크(compact disc, CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크(digital versatile disc, DVD), 플로피 디스크, 및 블루레이 디스크를 포함한다. 디스크는 보통 자기적으로 데이터를 재생하지만, 디스크는 레이저를 사용하여 광학적으로 데이터를 재생한다. 전술한 아이템들의 조합은 또한 컴퓨터 판독가능 매체의 범위에 포함되어야 한다.
명령어들은 하나 이상의 프로세서에 의해 실행될 수 있다. 하나 이상의 프로세서는, 예를 들어, 하나 이상의 디지털 신호 프로세서(digital signal processor, DSP), 범용 마이크로프로세서, 주문형 집적 회로(application specific integrated circuit, ASIC), 필드 프로그래머블 로직 어레이(field programmable logic array, FPGA), 또는 다른 등가의 집적 또는 이산 로직 회로이다. 따라서, 본 명세서에서 사용되는 용어 "프로세서(processor)"는 전술한 구조들 중 임의의 것 또는 본 명세서에서 설명되는 기술들을 구현하기에 적합한 임의의 다른 구조일 수 있다. 또한, 일부 양태들에서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공되거나, 조합된 코덱에 통합될 수 있다. 또한, 기술들은 모두 하나 이상의 회로 또는 로직 요소에서 구현될 수 있다.
본 개시내용의 기술들은 무선 핸드셋, 집적 회로(integrated circuit, IC) 또는 IC들의 세트(예를 들어, 칩셋)를 포함하는 매우 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 다양한 컴포넌트들, 모듈들, 또는 유닛들이 본 개시내용에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의해 구현되는 것은 아니다. 정확하게는, 전술한 바와 같이, 다양한 유닛들이 적절한 소프트웨어 및/또는 펌웨어와 조합하여 코덱 하드웨어 유닛으로 결합될 수 있거나, 상호운용 하드웨어 유닛들의 세트에 의해 제공될 수 있다. 하드웨어 유닛들은 전술한 하나 이상의 프로세서를 포함한다.

Claims (43)

  1. 픽처 예측 방법으로서,
    비트스트림을 수신하는 단계;
    상기 비트스트림을 파싱하여 현재 블록의 예측 모드를 획득하는 단계;
    상기 현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드일 때, 미리 설정된 정책에 따라 삼각형 예측 유닛 모드(triangular prediction unit mode)의 실행 모드를 선택하는 단계;
    상기 삼각형 예측 유닛 모드의 실행 모드에 따라 상기 현재 블록의 모션 정보를 결정하는 단계;
    상기 모션 정보에 기초하여 모션 보상 프로세스를 수행함으로써, 인터 예측 샘플을 획득하는 단계;
    상기 현재 블록의 예측 모드에 따라 인트라 예측 샘플을 획득하는 단계; 및
    상기 인터 예측 샘플과 상기 인트라 예측 샘플을 조합하여 상기 현재 블록의 예측 픽처를 획득하는 단계를 포함하는 픽처 예측 방법.
  2. 제1항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드에서의 인트라 예측 모드가 DC 또는 평면 모드이면, 상기 삼각형 예측 유닛 모드는 상기 미리 설정된 정책에 따라 실행되지 않는 픽처 예측 방법.
  3. 제1항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드에서의 인트라 예측 모드가 DC 또는 평면 모드이면, 상기 미리 설정된 정책에 따라 상기 삼각형 예측 유닛 모드에서 역 대각선 분할만이 사용되는 픽처 예측 방법.
  4. 제1항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드가 사용될 때, 상기 삼각형 예측 유닛 모드는 상기 미리 설정된 정책에 따라 실행되지 않는 픽처 예측 방법.
  5. 제1항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드에서의 인트라 예측 모드가 DC 또는 평면 모드이면, 삼각형 예측 유닛 모드 식별자는 파싱되지 않고 상기 삼각형 예측 유닛 모드는 상기 미리 설정된 정책에 따라 실행되지 않는 픽처 예측 방법.
  6. 제1항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드가 사용될 때, 삼각형 예측 유닛 모드 식별자는 파싱되지 않고 상기 삼각형 예측 유닛 모드는 상기 미리 설정된 정책에 따라 실행되지 않는 픽처 예측 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 삼각형 예측 유닛 모드 식별자는 merge_triangle_flag인 픽처 예측 방법.
  8. 제3항에 있어서,
    상기 역 대각선 분할은 우측 상부 코너로부터 좌측 하부 코너로의 분할을 포함하는 픽처 예측 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 삼각형 예측 유닛 모드의 실행 모드에 따라 상기 현재 블록의 모션 정보를 결정하고, 상기 모션 정보에 기초하여 모션 보상 프로세스를 수행하는 것은:
    상기 삼각형 예측 유닛 모드가 실행되면, 상기 삼각형 예측 유닛 모드에 따라 상기 모션 보상 프로세스를 수행하는 것; 또는
    상기 삼각형 예측 유닛 모드가 실행되지 않으면, 병합 모드에 따라 상기 모션 보상 프로세스를 수행하는 것을 포함하는 픽처 예측 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    조합된 인트라 및 인터 예측 모드 식별자는 상기 조합된 인트라 및 인터 예측 모드를 나타내는 픽처 예측 방법.
  11. 제10항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드 식별자는 mh_intra_flag인 픽처 예측 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 미리 설정된 정책에 따라, 상기 삼각형 예측 유닛 모드가 실행된다고 결정될 때, 상기 비트스트림이 파싱되어 삼각형 예측 유닛 모드 인덱스(merge_triangle_idx)를 획득하고, merge_triangle_idx에 기초하여 상기 삼각형 예측 유닛 모드의 분할 방향(TriangleDir)이 획득되는 픽처 예측 방법.
  13. 제12항에 있어서,
    단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))가 생성되고, 상기 현재 블록의 모션 정보는 상기 삼각형 예측 유닛 모드 인덱스에 기초하여 상기 단방향 모션 정보 후보 리스트로부터 결정되는 픽처 예측 방법.
  14. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 삼각형 예측 유닛 모드가 상기 미리 설정된 정책에 따라 실행되지 않을 때, 상기 방법은:
    병합 모션 정보 후보 리스트를 생성하고, 상기 비트스트림에서 반송되는 병합 인덱스에 기초하여 상기 현재 블록의 모션 정보를 결정하는 단계를 포함하는 픽처 예측 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 현재 블록의 예측 모드에 따라 인트라 예측 샘플을 획득하는 단계는:
    상기 비트스트림을 파싱하여 인트라 인코딩 모드-관련 신택스를 획득하고, 상기 신택스에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 인트라 예측 모드를 선택하는 단계를 포함하는 픽처 예측 방법.
  16. 제15항에 있어서,
    상기 인트라 인코딩 모드-관련 신택스는 최고 확률 모드 식별자 mh_intra_luma_mpm_flag와 최고 확률 모드 인덱스 mh_intra_luma_mpm_idx를 포함하는 픽처 예측 방법.
  17. 픽처 예측 방법으로서,
    비트스트림을 수신하는 단계;
    상기 비트스트림을 파싱하여 현재 블록의 삼각형 예측 유닛 모드를 획득하는 단계;
    상기 삼각형 예측 유닛 모드가 상기 현재 블록에 사용될 때, 제1 미리 설정된 정책에 따라 조합된 인트라 및 인터 예측 모드의 실행 모드를 선택하는 단계;
    상기 삼각형 예측 유닛 모드에 따라 상기 현재 블록의 모션 정보를 획득하여, 인터 예측 샘플을 획득하는 단계; 및
    상기 조합된 인트라 및 인터 예측 모드의 실행 모드 및 상기 인터 예측 샘플에 따라 상기 현재 블록의 예측 픽처를 획득하는 단계를 포함하는 픽처 예측 방법.
  18. 제17항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드의 실행 모드 및 상기 인터 예측 샘플에 따라 상기 현재 블록의 예측 픽처를 획득하는 단계는:
    상기 조합된 인트라 및 인터 예측 모드가 상기 제1 미리 설정된 정책에 따라 실행되면, 상기 조합된 인트라 및 인터 예측 모드에 따라 인트라 예측 샘플을 획득하고, 상기 인터 예측 샘플과 상기 인트라 예측 샘플을 조합하여 상기 현재 블록의 예측 픽처를 획득하는 단계; 또는
    상기 조합된 인트라 및 인터 예측 모드가 상기 제1 미리 설정된 정책에 따라 실행되지 않으면, 상기 인터 예측 샘플에 따라 상기 현재 블록의 예측 픽처를 획득하는 단계를 포함하는 픽처 예측 방법.
  19. 제17항에 있어서,
    상기 삼각형 예측 유닛 모드가 사용될 때, 조합된 인트라 및 인터 예측 모드 식별자는 파싱되지 않고 상기 조합된 인트라 및 인터 예측 모드는 상기 제1 미리 설정된 정책에 따라 실행되지 않는 픽처 예측 방법.
  20. 제17항에 있어서,
    상기 삼각형 예측 유닛 모드가 사용될 때, 삼각형 예측 유닛이 역 대각선을 따라 분할되면, 조합된 인트라 및 인터 예측 모드 식별자가 제2 미리 설정된 규칙에 따라 파싱되거나; 또는 삼각형 예측 유닛이 대각선을 따라 분할되면, 조합된 인트라 및 인터 예측 모드 식별자가 파싱되지 않고 조합된 인트라 및 인터 예측 모드가 실행되지 않는 픽처 예측 방법.
  21. 제19항 또는 제20항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드 식별자는 mh_intra_flag인 픽처 예측 방법.
  22. 제17항에 있어서,
    상기 삼각형 예측 유닛 모드가 사용될 때, 상기 조합된 인트라 및 인터 예측 모드는 상기 제1 미리 설정된 정책에 따라 실행되지 않는 픽처 예측 방법.
  23. 제17항에 있어서,
    상기 삼각형 예측 유닛 모드가 사용될 때, 삼각형 예측 유닛이 역 대각선을 따라 분할되면, 상기 조합된 인트라 및 인터 예측 모드가 실행되거나; 또는 삼각형 예측 유닛이 대각선을 따라 분할되면, 상기 조합된 인트라 및 인터 예측 모드가 실행되지 않는 픽처 예측 방법.
  24. 제17항에 있어서,
    상기 삼각형 예측 유닛 모드가 사용될 때, 삼각형 예측 유닛이 대각선을 따라 분할되면, 상기 조합된 인트라 및 인터 예측 모드가 사용될 때 수평 및 수직 예측 모드들만이 사용되는 픽처 예측 방법.
  25. 제17항 내지 제24항 중 어느 한 항에 있어서,
    삼각형 예측 유닛 모드 식별자는 상기 삼각형 예측 유닛 모드의 실행 모드를 나타내는 픽처 예측 방법.
  26. 제25항에 있어서,
    상기 삼각형 예측 유닛 모드 식별자는 merge_triangle_flag인 픽처 예측 방법.
  27. 제17항 내지 제26항 중 어느 한 항에 있어서,
    상기 조합된 인트라 및 인터 예측 모드가 실행될 때, 상기 비트스트림을 파싱하여 인트라 인코딩 모드-관련 신택스를 획득하고, 상기 신택스에 기초하여 인트라 후보 모드 리스트(인트라 후보 리스트(intra candidate list))로부터 인트라 예측 모드가 선택되는 픽처 예측 방법.
  28. 제27항에 있어서,
    상기 인트라 인코딩 모드-관련 신택스는 최고 확률 모드 식별자 mh_intra_luma_mpm_flag와 최고 확률 모드 인덱스 mh_intra_luma_mpm_idx를 포함하는 픽처 예측 방법.
  29. 제17항 내지 제28항 중 어느 한 항에 있어서,
    상기 비트스트림을 파싱하여 삼각형 예측 유닛 모드 인덱스 merge_triangle_idx를 획득하고, 상기 삼각형 예측 유닛 모드의 분할 방향 TriangleDir은 merge_triangle_idx에 기초하여 룩업 테이블로부터 획득되는 픽처 예측 방법.
  30. 제29항에 있어서,
    단방향 모션 정보 후보 리스트(단일 예측 후보 리스트(uni-prediction candidate list))가 생성되고, 상기 현재 블록의 모션 정보는 상기 삼각형 예측 유닛 모드 인덱스에 기초하여 상기 단방향 모션 정보 후보 리스트로부터 결정되는 픽처 예측 방법.
  31. 픽처 예측 방법으로서,
    현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드가 아닐 때, 삼각형 예측 유닛 모드가 실행된다고 결정하는 단계;
    상기 삼각형 예측 유닛 모드에 따라 상기 현재 블록의 모션 정보를 결정하는 단계; 및
    상기 모션 정보에 기초하여 모션 보상 프로세스를 수행함으로써, 상기 현재 블록의 예측 픽처를 획득하는 단계를 포함하는 픽처 예측 방법.
  32. 제31항에 있어서,
    삼각형 예측 유닛 모드 식별자는 merge_triangle_flag인 픽처 예측 방법.
  33. 제31항 또는 제32항에 있어서,
    상기 방법은 상기 삼각형 예측 유닛 모드의 분할 방향(TriangleDir)을 획득하는 단계를 추가로 포함하는 픽처 예측 방법.
  34. 제31항 내지 제33항 중 어느 한 항에 있어서,
    상기 방법은
    식별자 mh_intra_flag를 획득하는 단계를 추가로 포함하고, 상기 식별자 mh_intra_flag는 상기 현재 블록의 예측 모드가 상기 조합된 인트라 및 인터 예측 모드인지를 나타내는데 사용되는 픽처 예측 방법.
  35. 제31항 내지 제34항 중 어느 한 항에 있어서,
    상기 현재 블록의 예측 모드가 상기 조합된 인트라 및 인터 예측 모드일 때, 상기 삼각형 예측 유닛 모드가 상기 현재 블록에 대해 실행되지 않는다고 결정되는 픽처 예측 방법.
  36. 비디오 스트림을 디코딩하기 위한 장치로서,
    프로세서와 메모리를 포함하고, 상기 메모리는 명령어들을 저장하고, 상기 명령어들은 상기 프로세서가 제1항 내지 제16항 또는 제31항 내지 제35항 중 어느 한 항에 따른 방법을 수행할 수 있게 하는 장치.
  37. 비디오 스트림을 디코딩하기 위한 장치로서,
    프로세서와 메모리를 포함하고, 상기 메모리는 명령어들을 저장하고, 상기 명령어들은 상기 프로세서가 제17항 내지 제35항 중 어느 한 항에 따른 방법을 수행할 수 있게 하는 장치.
  38. 디코딩 디바이스로서,
    서로 결합되는 비휘발성 메모리와 프로세서를 포함하고, 상기 메모리는 프로그램 명령어들을 저장하도록 구성되고, 상기 프로그램 명령어들은 상기 프로세서가 제1항 내지 제16항 또는 제31항 내지 제35항 중 어느 한 항에 따른 방법을 수행할 수 있게 하는 디코딩 디바이스.
  39. 디코딩 디바이스로서,
    서로 결합되는 비휘발성 메모리와 프로세서를 포함하고, 상기 메모리는 프로그램 명령어들을 저장하도록 구성되고, 상기 프로그램 명령어들은 상기 프로세서가 제17항 내지 제38항 중 어느 한 항에 따른 방법을 수행할 수 있게 하는 디코딩 디바이스.
  40. 픽처 예측 장치로서,
    현재 블록의 예측 모드가 조합된 인트라 및 인터 예측 모드가 아닐 때, 삼각형 예측 유닛 모드가 실행된다고 결정하고; 상기 삼각형 예측 유닛 모드에 따라 상기 현재 블록의 모션 정보를 결정하도록 구성된 결정 모듈; 및
    상기 모션 정보에 기초하여 모션 보상 프로세스를 수행하여, 상기 현재 블록의 예측 픽처를 획득하도록 구성된 획득 모듈을 포함하는 픽처 예측 장치.
  41. 제40항에 있어서,
    상기 획득 모듈은 상기 삼각형 예측 유닛 모드의 분할 방향(TriangleDir)을 획득하도록 추가로 구성되는 픽처 예측 장치.
  42. 제40항 또는 제41항에 있어서,
    상기 획득 모듈은 식별자 mh_intra_flag를 획득하도록 구성되고, 상기 식별자 mh_intra_flag는 상기 현재 블록의 예측 모드가 상기 조합된 인트라 및 인터 예측 모드인지를 나타내는데 사용되는 픽처 예측 장치.
  43. 제40항 내지 제42항 중 어느 한 항에 있어서,
    상기 결정 모듈은 상기 현재 블록의 예측 모드가 상기 조합된 인트라 및 인터 예측 모드일 때, 상기 삼각형 예측 유닛 모드가 상기 현재 블록에 대해 실행되지 않는다고 결정하도록 추가로 구성되는 픽처 예측 장치.
KR1020217015800A 2018-10-27 2019-10-28 이미지 예측 방법 및 디바이스 Active KR102704764B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247029778A KR20240136469A (ko) 2018-10-27 2019-10-28 이미지 예측 방법 및 디바이스

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811262934.7 2018-10-27
CN201811262934.7A CN111107356B (zh) 2018-10-27 2018-10-27 图像预测方法及装置
PCT/CN2019/113541 WO2020083403A1 (zh) 2018-10-27 2019-10-28 图像预测方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247029778A Division KR20240136469A (ko) 2018-10-27 2019-10-28 이미지 예측 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20210077759A true KR20210077759A (ko) 2021-06-25
KR102704764B1 KR102704764B1 (ko) 2024-09-10

Family

ID=70330274

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217015800A Active KR102704764B1 (ko) 2018-10-27 2019-10-28 이미지 예측 방법 및 디바이스
KR1020247029778A Pending KR20240136469A (ko) 2018-10-27 2019-10-28 이미지 예측 방법 및 디바이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247029778A Pending KR20240136469A (ko) 2018-10-27 2019-10-28 이미지 예측 방법 및 디바이스

Country Status (7)

Country Link
US (3) US11711511B2 (ko)
EP (1) EP3866464A4 (ko)
JP (3) JP7254919B2 (ko)
KR (2) KR102704764B1 (ko)
CN (4) CN117528077A (ko)
MX (2) MX2021004793A (ko)
WO (1) WO2020083403A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059100A1 (ko) * 2021-10-06 2023-04-13 현대자동차주식회사 기하학적 분할 모드를 이용한 비디오 부호화/복호화 방법 및 장치
WO2024219792A1 (ko) * 2023-04-20 2024-10-24 현대자동차주식회사 인트라 예측에 기반한 기하학적 분할모드를 이용하는 비디오 부호화/복호화 방법 및 장치
WO2024225782A1 (ko) * 2023-04-25 2024-10-31 엘지전자 주식회사 템플릿 매칭을 이용하는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117528077A (zh) * 2018-10-27 2024-02-06 华为技术有限公司 图像预测方法及装置
CN112997489B (zh) 2018-11-06 2024-02-06 北京字节跳动网络技术有限公司 具有几何分割的帧间预测的边信息信令
PL3849184T3 (pl) * 2018-11-08 2023-07-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób kodowania/dekodowania sygnału obrazu i urządzenie do jego wykonywania
DK3876539T3 (da) * 2018-11-08 2024-02-12 Guangdong Oppo Mobile Telecommunications Corp Ltd Fremgangsmåde til kodning/afkodning af et billedsignal og tilknyttet apparat
US20200169757A1 (en) * 2018-11-23 2020-05-28 Mediatek Inc. Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction
WO2020139903A1 (en) * 2018-12-25 2020-07-02 Beijing Dajia Internet Information Technology Co., Ltd. Video coding with triangular shape prediction units
KR20200083315A (ko) * 2018-12-28 2020-07-08 한국전자통신연구원 화면 내 예측 모드 유도 방법 및 장치
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
CN114245115B (zh) * 2018-12-30 2023-03-21 北京达佳互联信息技术有限公司 用于对视频进行编码的方法和装置
CN112369033B (zh) * 2019-03-08 2024-10-11 Jvc建伍株式会社 动图像编码装置、动图像编码方法、动图像解码装置以及动图像解码方法
CN112118450B (zh) 2019-06-21 2022-03-29 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
WO2021125751A1 (ko) * 2019-12-16 2021-06-24 현대자동차주식회사 임의의 모양으로 분할되는 블록을 예측하는 방법 및 복호화 장치
EP4091327A4 (en) 2020-02-19 2023-05-03 ByteDance Inc. Inferencing weight values for video components in a bitstream
CN114554195B (zh) * 2020-11-25 2024-06-25 腾讯科技（深圳）有限公司 图像处理方法、设备及存储介质
KR20230111254A (ko) * 2020-12-03 2023-07-25 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 방법, 인코더, 디코더 및 저장 매체
JP7516325B2 (ja) 2021-08-18 2024-07-16 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
EP4459985A4 (en) * 2022-01-04 2026-03-11 Hyundai Motor Co Ltd METHOD AND DEVICE FOR VIDEO ENCODING/DECODING TO IMPROVE A FUSION MODE
CN114302138B (zh) * 2022-01-14 2024-10-22 北方工业大学 视频编解码中组合预测值确定
CN119893087A (zh) * 2025-01-07 2025-04-25 格兰菲智能科技股份有限公司 用于编码器的运动估计模块和编码器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3217663A1 (en) * 2014-11-06 2017-09-13 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
WO2017204532A1 (ko) * 2016-05-24 2017-11-30 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277116B2 (ja) * 1996-03-18 2002-04-22 シャープ株式会社 動画像符号化装置および動画像復号化装置
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
CN101415121B (zh) 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
BRPI0818649A2 (pt) * 2007-10-16 2015-04-07 Thomson Licensing Métodos e aparelho para codificação e decodificação de vídeo em superblocos geometricamente particionados.
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
CN102113326A (zh) * 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
CN102685474B (zh) * 2011-03-10 2014-11-05 华为技术有限公司 预测模式的编解码方法、编解码设备及网络系统
US10075733B2 (en) * 2011-09-29 2018-09-11 Sharp Kabushiki Kaisha Image decoding device, image decoding method, and image encoding device
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
SG11201510554RA (en) * 2013-07-24 2016-02-26 Qualcomm Inc Simplified advanced motion prediction for 3d-hevc
WO2015056158A1 (en) * 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US10368092B2 (en) * 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
MX361228B (es) * 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
EP3120553B1 (en) * 2014-03-17 2022-02-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR102298599B1 (ko) * 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
KR20170101983A (ko) * 2014-12-31 2017-09-06 노키아 테크놀로지스 오와이 스케일러블 비디오 코딩 및 디코딩을 위한 계층 간 예측
CA2988107A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US20170078703A1 (en) * 2015-09-10 2017-03-16 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR102775879B1 (ko) * 2015-09-10 2025-02-28 엘지전자 주식회사 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170094288A1 (en) * 2015-09-25 2017-03-30 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10009622B1 (en) * 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
FI20165256A7 (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
US11363253B2 (en) * 2016-05-13 2022-06-14 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
FI20165547A1 (fi) * 2016-06-30 2018-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
CN109565602A (zh) * 2016-08-15 2019-04-02 诺基亚技术有限公司 视频编码和解码
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
WO2018128466A1 (ko) * 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CN116170585A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
WO2019002662A1 (en) * 2017-06-26 2019-01-03 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
CN110870302B (zh) * 2017-07-03 2021-06-29 诺基亚技术有限公司 用于全向视频的装置、方法和计算机程序
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
EP3503557A1 (en) * 2017-12-22 2019-06-26 Thomson Licensing Method and apparatus for video encoding and decoding based on context switching
KR20200047723A (ko) * 2018-05-03 2020-05-07 엘지전자 주식회사 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
WO2020009086A1 (ja) 2018-07-04 2020-01-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN112913247B (zh) * 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
CN117528077A (zh) * 2018-10-27 2024-02-06 华为技术有限公司 图像预测方法及装置
US11611759B2 (en) * 2019-05-24 2023-03-21 Qualcomm Incorporated Merge mode coding for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3217663A1 (en) * 2014-11-06 2017-09-13 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
WO2017204532A1 (ko) * 2016-05-24 2017-11-30 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059100A1 (ko) * 2021-10-06 2023-04-13 현대자동차주식회사 기하학적 분할 모드를 이용한 비디오 부호화/복호화 방법 및 장치
WO2024219792A1 (ko) * 2023-04-20 2024-10-24 현대자동차주식회사 인트라 예측에 기반한 기하학적 분할모드를 이용하는 비디오 부호화/복호화 방법 및 장치
WO2024225782A1 (ko) * 2023-04-25 2024-10-31 엘지전자 주식회사 템플릿 매칭을 이용하는 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
BR112021007865A2 (pt) 2021-07-27
CN111107356B (zh) 2023-11-10
JP2022511657A (ja) 2022-02-01
US20230188711A1 (en) 2023-06-15
KR102704764B1 (ko) 2024-09-10
CN111107356A (zh) 2020-05-05
CN117692636A (zh) 2024-03-12
US20250211737A1 (en) 2025-06-26
EP3866464A4 (en) 2022-03-16
EP3866464A1 (en) 2021-08-18
CN115695785B (zh) 2023-06-06
WO2020083403A1 (zh) 2020-04-30
US20210250581A1 (en) 2021-08-12
US11711511B2 (en) 2023-07-25
CN117528077A (zh) 2024-02-06
JP7254919B2 (ja) 2023-04-10
JP7781812B2 (ja) 2025-12-08
JP2024173974A (ja) 2024-12-13
US12231628B2 (en) 2025-02-18
MX2024009928A (es) 2024-08-22
MX2021004793A (es) 2021-08-11
KR20240136469A (ko) 2024-09-13
CN115695785A (zh) 2023-02-03
JP2023076568A (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
US12231628B2 (en) Picture prediction method and apparatus
US11765343B2 (en) Inter prediction method and apparatus
KR102756329B1 (ko) 인코딩 방법, 인코딩된 비트스트림 및 인코딩 디바이스
US11653032B2 (en) Video processing method, video processing apparatus, encoder, decoder, medium and computer program
JP7225375B2 (ja) パレット符号化を使用するエンコード装置、デコード装置および対応する方法
US12452465B2 (en) Encoder, a decoder and corresponding methods of deblocking filter adaptation
US11503290B2 (en) Video encoder, video decoder and methods
CA3106486C (en) Video processing method, video processing apparatus, encoder, decoder, medium and computer program product
RU2798316C2 (ru) Способ и аппаратура внешнего предсказания
WO2020073928A1 (en) Inter prediction method and apparatus
BR112021007865B1 (pt) Método e aparelho de predição de imagem
BR122022021335B1 (pt) Método e aparelho de predição de imagem

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20210525

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230413

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20231024

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240604

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240904

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240905

End annual number: 3

Start annual number: 1

PG1601 Publication of registration