KR20220140047A

KR20220140047A - 광 흐름을 이용한 예측 개선 방법 및 장치

Info

Publication number: KR20220140047A
Application number: KR1020227034882A
Authority: KR
Inventors: 샤오위 슈; 이-원 천; 샹린 왕; 빙 위
Original assignee: 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date: 2019-07-10
Filing date: 2020-07-10
Publication date: 2022-10-17
Anticipated expiration: 2040-07-10
Also published as: CN114342378A; JP7813753B2; KR102942293B1; CN115002454B; CN115002454A; KR102453806B1; MX2025007807A; US20240430438A1; MX2022000395A; JP2022531629A; EP3991431A1; JP2023089253A; JP2023159292A; EP3991431A4; US20220132138A1; MX2025007806A; MX2025007805A; JP7813752B2; JP7763805B2; JP7313533B2

Abstract

비디오 신호를 디코딩하기 위한 방법, 장치, 및 비 일시적 컴퓨터 판독 가능형 저장 매체가 제공된다. 방법은 비디오 블록을 복수의 비중첩 비디오 서브블록으로 분할하는 단계, 비디오 블록을 복수의 비중첩 비디오 서브블록으로 분할하는 단계, 제1 참조 픽처

및 제2 참조 픽처

을 획득하는 단계, 제1 예측 샘플

를 획득하는 단계, 제2 예측 샘플

를 획득하는 단계, 제1 예측 샘플

및 제2 예측 샘플

의 수평 그라디언트 값 및 수직 그라디언트 값을 획득하는 단계, 상기 비디오 블록이 아핀 모드에서 코딩되지 않을 때 BDOF에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하는 단계, 상기 비디오 블록이 아핀 모드에서 코딩될 때 PROF에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하는 단계, 및 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 예측 샘플을 획득하는 단계를 포함한다.

Description

광 흐름을 이용한 예측 개선 방법 및 장치{METHODS AND APPARATUS ON PREDICTION REFINEMENT WITH OPTICAL FLOW}

본 출원은 2019년 7월 10일에 출원된 가출원 번호 62/872,700 및 2019년 7월 12일에 출원된 가출원 번호 62/873,837에 기초하고 우선권을 주장하며, 이들 두 문헌 모두는 모든 목적을 위해 참조로 그 전문이 여기에 포함된다.

본 개시는 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 개시는 다목적 비디오 코딩(versatile video coding, VVC) 표준, 즉, 광 흐름을 사용한 예측 리파인먼트(prediction refinement with optical flow, PROF) 및 양방향 광 흐름(bi-directional optical flow, BDOF)에서 조사되는 2개의 인터 예측 도구에 관한 방법 및 장치에 관한 것이다.

다양한 비디오 코딩 기술이 비디오 데이터를 압축하기 위해 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준에는 다목적 비디오 코딩(versatile video coding, VVC), 공동 탐색 테스트 모델(joint exploration test model, JEM), 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC), 동영상 전문가 그룹(moving picture expert group, MPEG) 코딩 등이 포함된다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 존재하는 중복성을 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 사용한다. 비디오 코딩 기술의 중요한 목표는 비디오 품질의 저하를 피하거나 최소화하면서 더 낮은 비트 전송률을 사용하는 형식으로 비디오 데이터를 압축하는 것이다.

본 개시의 예는 비디오 코딩에서 모션 벡터 예측을 위한 방법 및 장치를 제공한다.

본 개시의 제1 관점에 따라, 비디오 신호를 디코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF) 및 광 흐름을 사용한 예측 리파인먼트(prediction refinement with optical flow, PROF)의 통합 방법이 제공된다. 디코더는 비디오 블록을 복수의 비중첩 비디오 서브블록으로 분할할 수 있으며, 여기서 상기 복수의 비중첩 비디오 서브블록 중 적어도 하나는 2개의 모션 벡터와 연관된다. 상기 디코더는 상기 복수의 비중첩 비디오 서브블록 중 적어도 하나의 2개의 모션 벡터와 연관된 제1 참조 픽처

및 제2 참조 픽처

을 획득할 수 있다. 상기 제1 참조 픽처

는 디스플레이 순서에서 현재 픽처 이전이고 상기 제2 참조 픽처

는 현재 픽처 이후이다. 상기 디코더는 상기 제1 참조 픽처

의 참조 블록으로부터 상기 비디오 서브블록의 제1 예측 샘플

를 획득할 수 있다. 여기서 i 및 j는 상기 현재 픽처를 갖는 하나의 샘플의 좌표를 나타낸다. 상기 디코더는 상기 제2 참조 픽처

의 참조 블록으로부터 상기 비디오 서브블록의 제2 예측 샘플

를 획득할 수 있다. 상기 디코더는 상기 제1 예측 샘플

및 상기 제2 예측 샘플

의 수평 그라디언트 값 및 수직 그라디언트 값을 획득할 수 있다. 상기 디코더는 상기 비디오 블록이 아핀 모드에서 코딩되지 않을 때 BDOF에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득할 수 있다. 상기 디코더는 상기 비디오 블록이 아핀 모드에서 코딩될 때 PROF에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득할 수 있다. 그런 다음 상기 디코더는 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 예측 샘플을 획득할 수 있다.

본 개시의 제2 관점에 따라, 비디오 신호를 디코딩하기 위한 BDOF 및 PROF 방법이 제공된다. 방법은 디코더에서, 비디오 블록과 연관된 제1 참조 픽처

및 제2 참조 픽처

를 획득하는 단계를 포함할 수 있다. 상기 제1 참조 픽처

는 현재 픽처 이후이다. 방법은 또한 상기 디코더에서, 상기 제1 참조 픽처

의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플

를 획득하는 단계를 포함할 수 있다. i 및 j는 상기 현재 픽처를 갖는 하나의 샘플의 좌표를 나타낸다. 방법은 상기 디코더에서, 상기 제2 참조 픽처

의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플

를 획득하는 단계를 포함할 수 있다. 방법은 상기 디코더가 적어도 하나의 플래그를 수신하는 단계를 더 포함할 수 있다. 상기 적어도 하나의 플래그는 시퀀스 파라미터 세트(sequence parameter set, SPS)에서 인코더에 의해 시그널링되고 BDOF 및 PROF가 현재 비디오 블록에 대해 인에이블되는지를 시그널링한다. 방법은 상기 디코더에서, 상기 적어도 하나의 플래그가 인에이블될 때, 상기 비디오 블록이 아핀 모드에서 코딩되지 않으면 BDOF를 적용하여 제1 예측 샘플

및 제2 예측 샘플

에 기초하여 상기 비디오 블록의 모션 리파인먼트를 유도하는 단계를 더 포함할 수 있다. 방법은 상기 디코더에서, 상기 적어도 하나의 플래그가 인에이블될 때, 상기 비디오 블록이 아핀 모드에서 코딩되면 PROF를 적용하여 제1 예측 샘플

및 제2 예측 샘플

에 기초하여 상기 비디오 블록의 모션 리파인먼트를 유도하는 단계를 추가로 포함할 수 있다. 방법은 또한 상기 디코더에서, 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 예측 샘플을 획득하는 단계를 더 포함할 수 있다.

본 개시의 제3 관점에 따라, 디코딩 신호를 디코딩하기 위한 컴퓨팅 디바이스가 제공된다. 컴퓨팅 디바이스는 하나 이상의 프로세서 상기 하나 이상의 프로세서에 의해 실행 가능한 명령을 저장하는 비 일시적 컴퓨터 판독 가능형 저장 매체를 포함한다. 상기 하나 이상의 프로세서는 비디오 블록을 복수의 비중첩 비디오 서브블록으로 분할하도록 구성될 수 있다. 상기 복수의 비중첩 비디오 서브블록 중 적어도 하나는 2개의 모션 벡터와 연관될 수 있다. 상기 복수의 비중첩 비디오 서브블록 중 적어도 하나의 2개의 모션 벡터와 연관된 제1 참조 픽처

및 제2 참조 픽처

을 획득하도록 추가로 구성될 수 있다. 상기 제1 참조 픽처

는 현재 픽처 이후이다. 하나 이상의 프로세서는 상기 제1 참조 픽처

를 획득하도록 추가로 구성될 수 있다. i 및 j는 상기 현재 픽처를 갖는 하나의 샘플의 좌표를 나타낸다. 하나 이상의 프로세서는 상기 제2 참조 픽처

를 획득하도록 추가로 구성될 수 있다. 하나 이상의 프로세서는 상기 제1 예측 샘플

및 상기 제2 예측 샘플

의 수평 그라디언트 값 및 수직 그라디언트 값을 획득하도록 추가로 구성될 수 있다. 하나 이상의 프로세서는 상기 비디오 블록이 아핀 모드에서 코딩되지 않을 때 양방향 광 흐름(bi-directional optical flow, BDOF)에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 획득하도록 추가로 구성될 수 있다. 상기 하나 이상의 프로세서는 상기 비디오 블록이 아핀 모드에서 코딩될 때 광 흐름을 사용한 예측 리파인먼트(prediction refinement with optical flow, PROF)에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득하도록 구성될 수 있다. 상기 하나 이상의 프로세서는 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 예측 샘플을 획득하도록 추가로 구성될 수 있다.

본 개시의 제4 관점에 따라, 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능형 저장 매체가 제공된다. 장치의 하나 이상의 프로세서에 의해 명령이 실행될 때, 상기 명령은 상기 장치로 하여금 디코더에서, 비디오 블록과 연관된 제1 참조 픽처

및 제2 참조 픽처

를 획득하게 할 수 있다. 상기 제1 참조 픽처

는 현재 픽처 이후일 수 있다. 상기 명령은 상기 장치로 하여금 상기 디코더에서, 상기 제1 참조 픽처

의 참조 블록으로부터 상기 비디오 블록의 제1 예측 샘플

를 추가로 획득하게 할 수 있다. i 및 j는 상기 현재 픽처를 갖는 하나의 샘플의 좌표를 나타낸다. 상기 명령은 상기 장치로 하여금 상기 디코더에서, 상기 제2 참조 픽처

의 참조 블록으로부터 상기 비디오 블록의 제2 예측 샘플

를 추가로 획득하게 할 수 있다. 상기 명령은 상기 장치로 하여금 상기 디코더가 적어도 하나의 플래그를 추가로 수신하게 할 수 있다. 상기 적어도 하나의 플래그는 시퀀스 파라미터 세트(sequence parameter set, SPS)에서 인코더에 의해 시그널링되고 BDOF 및 PROF가 현재 비디오 블록에 대해 인에이블되는지를 시그널링한다. 상기 명령은 상기 장치로 하여금 상기 디코더에서, 상기 적어도 하나의 플래그가 인에이블될 때, 상기 비디오 블록이 아핀 모드에서 코딩되지 않으면 BDOF를 적용하여 제1 예측 샘플

및 제2 예측 샘플

에 기초하여 상기 비디오 블록의 모션 리파인먼트를 추가로 유도하게 할 수 있다. 상기 명령은 상기 장치로 하여금 상기 디코더에서, 상기 적어도 하나의 플래그가 인에이블될 때, 상기 비디오 블록이 아핀 모드에서 코딩되면 PROF를 적용하여 제1 예측 샘플

및 제2 예측 샘플

에 기초하여 상기 비디오 블록의 모션 리파인먼트를 추가로 유도하게 할 수 있다. 상기 명령은 상기 장치로 하여금 상기 디코더에서, 상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 예측 샘플을 추가로 획득하게 할 수 있다.

본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부 도면은 본 개시와 일치하는 예를 예시하고, 상세한 설명과 함께 본 개시의 원리를 설명하는 역할을 한다.
도 1은 본 개시의 일 예에 따른 인코더의 블록도이다.
도 2는 본 개시의 일 예에 따른 디코더의 블록도이다.
도 3a는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다.
도 3c는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다.
도 3d는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 3e는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 BDOF 모델을 나타낸 도면이다.
도 5a는 본 개시의 예에 따른 아핀 모델의 예시이다.
도 5b는 본 개시의 예에 따른 아핀 모델의 예시이다.
도 6은 본 개시의 예에 따른 아핀 모델의 예시이다.
도 7은 본 개시의 예에 따른 PROF의 예시이다.
도 8은 본 발명의 일 실시예에 따른 BDOF의 작업 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 PROF의 작업 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 비디오 신호 디코딩을 위한 BDOF 및 PROF의 통합된 방법이다.
도 11은 본 개시의 일 실시예에 따른 비디오 신호를 디코딩하기 위한 BDOF 및 PROF의 방법이다.
도 12는 본 발명의 일 실시예에 따른 양방향 예측을 위한 PROF의 작업 흐름을 나타내는 도면이다.
도 13은 본 개시에 따른 BDOF 및 PROF 프로세스의 파이프라인 단계의 예시이다.
도 14는 본 개시에 따른 BDOF의 그라디언트 유도 방법의 예시이다.
도 15는 본 개시에 따른 PROF의 그라디언트 유도 방법의 예시이다.
도 16a는 본 개시의 예에 따른 아핀 모드에 대한 템플릿 샘플을 유도하는 예시이다.
도 16b는 본 개시의 예에 따른 아핀 모드에 대한 템플릿 샘플을 유도하는 예시이다.
도 17a는 본 개시의 일 예에 따른 아핀 모드에 대해 PROF 및 LIC를 배타적으로 인에이블하는 예시이다.
도 17b는 본 개시의 일 예에 따른 아핀 모드를 위해 PROF 및 LIC를 공동으로 인에이블하는 예시이다.
도 18a는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 추가 방법을 나타낸 도면이다.
도 18b는 본 개시의 일 실시예에 따른 16X16 BDOF CU에 적용되는 제안된 추가 방법을 나타내는 도면이다.
도 18c는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 추가 방법을 나타낸 도면이다.
도 18d는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 추가 방법을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 나타내는 도면이다.

이제 예시적인 실시예를 상세히 참조할 것이며, 그 예는 첨부 도면에 도시되어 있다. 다음 설명은 다른 도면에서 동일한 번호가 달리 표시되지 않는 한 동일하거나 유사한 요소를 나타내는 첨부 도면을 참조한다. 예시적인 실시예의 다음 설명에서 설명된 구현은 본 개시와 일치하는 모든 구현을 나타내는 것은 아니다. 대신, 그것들은 첨부된 청구범위에 인용된 바와 같은 개시와 관련된 관점과 일치하는 장치 및 방법의 예일 뿐이다.

본 발명에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 개시 및 첨부된 특허청구범위에서 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 형태도 포함하는 것으로 의도된다. 또한, 여기에서 사용된 "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목의 임의의 또는 모든 가능한 조합을 의미하고 포함하도록 의도된 것으로 이해되어야 한다.

"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 본 명세서에서 사용될 수 있지만, 정보는 이러한 용어에 의해 제한되어서는 안 된다는 것을 이해해야 한다. 이 용어는 정보의 한 범주를 다른 범주와 구별하는 데만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 명명될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, 용어 "만약"은 문맥에 따라 "때" 또는 "시" 또는 "판단에 대한 응답으로"를 의미하는 것으로 이해될 수 있다.

HEVC 표준의 첫 번째 버전은 2013년 10월에 확정되었으며, 이는 이전 세대의 비디오 코딩 표준 H.264/MPEG AVC와 비교하여 대략 50%의 비트율 절약 또는 동등한 지각 품질을 제공한다. HEVC 표준이 이전 표준보다 상당한 코딩 개선 사항을 제공하지만 HEVC에 대한 추가 코딩 도구를 사용하여 우수한 코딩 효율성을 달성할 수 있다는 증거가 있다. 이를 기반으로 VCEG와 MPEG 모두 미래의 비디오 코딩 표준화를 위한 새로운 코딩 기술의 탐색 작업을 시작하였다. ITU-T VECG와 ISO/IEC MPEG는 2015년 10월 공통 비디오 탐색 팀(Joint Video Exploration Team, JVET)를 구성하여 코딩 효율성을 크게 향상시킬 수 있는 첨단 기술에 대한 중요한 연구를 시작하였다. 공동 탐색 모델(joint exploration model, JEM)이라고 하는 하나의 참조 소프트웨어는 HEVC 테스트 모델(HM) 위에 여러 추가 코딩 도구를 통합하여 JVET에서 유지 관리하였다.

2017년 10월, ITU-T 및 ISO/IEC에 의해 HEVC 이상의 기능을 갖는 비디오 압축에 대한 공동 제안 요청(call for proposals0, CfP)이 발행되었다. 2018년 4월, 10차 JVET 회의에서 23개의 CfP 응답이 접수 및 평가되었으며, 이는 HEVC에 비해 약 40%의 압축 효율성 향상을 보여주었다. 이러한 평가 결과를 바탕으로 JVET는 버서타일 비디오 코딩(Versatile Video Coding, VVC)이라는 차세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 시작하였다. 같은 달에 VVC 표준의 참조 구현을 시연하기 위해 VVC 테스트 모델(VTM)이라고 하는 하나의 참조 소프트웨어 코드베이스가 설정되었다.

HEVC와 같이, VVC는 블록 기반 하이브리드 비디오 코딩 프레임워크를 기반으로 구축된다.

도 1은 VVC를 위한 블록 기반 비디오 인코더의 일반적인 다이어그램을 보여준다. 구체적으로, 도 1은 전형적인 인코더(100)를 도시한다. 인코더(100)는 비디오 입력(110), 모션 보상(112), 모션 추정(114), 인트라/인터 모드 결정(116), 블록 예측기(140), 가산기(128), 변환(130), 양자화(132), 예측 관련 정보(142), 인트라 예측(118), 픽처 버퍼(120), 역양자화(134), 역변환(136), 가산기(126), 메모리(124), 인-루프 필터(122), 엔트로피 코딩(138), 및 비트스트림(144)을 갖는다.

인코더(100)에서, 비디오 프레임은 처리를 위해 복수의 비디오 블록으로 분할된다. 각각의 주어진 비디오 블록에 대해 인터 예측 접근법 또는 인트라 예측 접근법에 기초하여 예측이 형성된다.

비디오 입력(110)의 일부인 현재 비디오 블록과 블록 예측기(140)의 일부인 그 예측기 간의 차이를 나타내는 예측 잔여는 가산기(128)로부터 변환(130)으로 전송된다. 그런 다음, 변환 계수는 변환(130)으로부터 엔트로피 감소를 위한 양자화(132)로 전송된다. 양자화된 계수는 압축된 비디오 비트스트림을 생성하기 위해 엔트로피 코딩(138)에 공급된다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 모션 벡터(MV), 참조 픽처 인덱스 및 인트라 예측 모드와 같은 인트라/인터 모드 결정(116)으로부터의 예측 관련 정보(142)도 엔트로피 코딩(138)을 통해 공급되고 압축된 파일로 저장된다. 압축된 비트스트림(144)은 비디오 비트스트림을 포함한다.

인코더(100)에서, 예측을 위해 픽셀을 재구성하기 위해 디코더 관련 회로도 또한 필요하다. 먼저, 역양자화(134) 및 역변환(136)을 통해 예측 잔여가 재구성된다. 이 재구성된 예측 잔여는 블록 예측기(140)와 결합되어 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성한다.

공간 예측(또는 "인트라 예측")은 현재 비디오 블록을 예측하기 위해 현재 비디오 블록과 동일한 비디오 프레임에서 이미 코딩된 이웃 블록(참조 샘플이라고 함)의 샘플로부터의 픽셀을 사용한다.

시간적 예측("인터 예측"이라고도 함)은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 픽처로부터 재구성된 픽셀을 사용한다. 시간적 예측은 비디오 신호에 내재된 시간적 중복성을 줄인다. 주어진 코딩 단위(CU) 또는 코딩 블록에 대한 시간적 예측 신호는 일반적으로 현재 CU와 그의 시간적 참조 사이의 모션의 양 및 방향을 나타내는 하나 이상의 MV에 의해 시그널링된다. 또한, 복수의 참조 픽처가 지원되는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 참조 픽처 저장소의 어느 참조 픽처로부터 시간적 예측 신호가 왔는지 식별하는 데 사용된다.

모션 추정(114)은 비디오 입력(110) 및 픽처 버퍼(120)로부터의 신호를 받아 모션 보상(112)으로 모션 추정 신호를 출력한다. 모션 보상(112)은 비디오 입력(110), 픽처 버퍼(120)로부터의 신호, 및 모션 추정(114)으로부터의 모션 추정 신호를 받아 인트라/인터 모드 결정(116)으로 모션 보상 신호를 출력한다.

공간적 및/또는 시간적 예측이 수행된 후, 인코더(100)의 인트라/인터 모드 결정(116)은 예를 들어 레이트-왜곡 최적화 방법(rate-distortion optimization method)에 기초하여 최상의 예측 모드를 선택한다. 그런 다음, 블록 예측기(140)는 현재 비디오 블록으로부터 감산되고, 결과적인 예측 잔여는 변환(130) 및 양자화(132)를 사용하여 역상관된다. 결과적인 양자화된 잔여 계수는 역양자화(134)에 의해 역양자화되고 역변환(136)에 의해 역변환되어 재구성된 잔여를 형성하고, 재구성된 잔여는 예측 블록에 다시 추가되어 CU의 재구성된 신호를 형성한다. 디블록킹 필터, 샘플 적응 오프셋(SAO), 및/또는 적응 인-루프 필터(ALF)와 같은 추가 인-루프 필터링(122)은 픽처 버퍼(120)의 참조 픽처 스토리지에 넣기 전에 재구성된 CU에 적용되고 미래의 비디오 블록을 코딩하는 데 사용될 수 있다. 출력 비디오 비트스트림(144)을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보 및 양자화된 잔여 계수가 모두 엔트로피 코딩 유닛(138)으로 전송되어 추가로 압축 및 패킹되어 비트스트림을 형성한다.

도 1은 일반적인 블록 기반 하이브리드 비디오 인코딩 시스템의 블록도를 제공한다. 입력 비디오 신호는 블록 단위로 처리된다(코딩 단위(CU)라고 함). VTM-1.0에서 CU는 최대 128x128 픽셀일 수 있다. 그러나 쿼드 트리로만 블록을 분할하는 HEVC와 달리 VVC에서는 하나의 CTU(Coding Tree Unit)를 CU로 분할하여 쿼드/바이너리/터너리 트리(quad/binary/ternary-tree)를 기반으로 하는 다양한 로컬 특성에 적응한다. 또한, HE VC에서 다중 파티션 단위 유형의 개념이 제거되며, 즉 CU, 예측 단위(PU) 및 변환 단위(TU)의 분리가 VVC에 더 이상 존재하지 않으며; 대신, 각 CU는 항상 추가 파티션 없이 예측 및 변환 모두에 대한 기본 단위로 사용된다. 다중 유형 트리 구조에서 하나의 CTU는 먼저 쿼드 트리 구조로 분할된다. 그런 다음 각 쿼드 트리 리프 노드는 이진 및 삼진 트리 구조로 더 분할될 수 있다.

도 3a, 3b, 3c, 3d 및 3e에 도시된 바와 같이, 4차 분할, 수평 2진 분할, 수직 2진 분할, 수평 3진 분할 및 수직 3진 분할의 5가지 분할 유형이 있다.

도 3a는 본 개시에 따른, 다중 유형 트리 구조에서 블록 4차 파티션을 예시하는 도면을 도시한다.

도 3b는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수직 이진 분할을 예시하는 도면을 도시한다.

도 3c는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수평 이진 분할을 예시하는 도면을 도시한다.

도 3d는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수직 3진 분할을 예시하는 도면을 도시한다.

도 3e는 본 개시에 따른, 다중 유형 트리 구조에서 블록 수평 3진 분할을 예시하는 도면을 도시한다.

도 1에서, 공간적 예측 및/또는 시간적 예측이 수행될 수 있다. 공간 예측(또는 "인트라 예측")은 현재 비디오 블록을 예측하기 위해 동일한 비디오 픽처/슬라이스에서 이미 코딩된 이웃 블록(참조 샘플이라고 함)의 샘플에서 픽셀을 사용한다. 공간 예측은 비디오 신호에 내재된 공간 중복성을 줄인다. 시간 예측("인터 예측" 또는 "모션 보상 예측"이라고도 함)은 이미 코딩된 비디오 화상으로부터 재구성된 픽셀을 사용하여 현재 비디오 블록을 예측한다. 시간적 예측은 비디오 신호에 내재된 시간적 중복성을 줄인다. 주어진 CU에 대한 시간 예측 신호는 일반적으로 현재 CU와 시간 참조 사이의 모션의 양과 방향을 나타내는 하나 이상의 모션 벡터(MV)에 의해 시그널링된다. 또한, 여러 참조 픽처가 지원되는 경우 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 참조 픽처 저장소의 참조 픽처에서 시간적 예측 신호가 오는지를 식별하는 데 사용된다. 공간적 및/또는 시간적 예측 후에, 인코더의 모드 결정 블록은 예를 들어 레이트-왜곡 최적화 방법에 기초하여 최상의 예측 모드를 선택한다. 그런 다음 예측 블록은 현재 비디오 블록에서 감산된다. 예측 잔여는 변환을 사용하여 상관관계가 해제되고 양자화된다. 양자화된 잔여 계수는 역양자화되고 역변환되어 재구성된 잔여를 형성하고 그런 다음 예측 블록에 다시 추가되어 CU의 재구성된 신호를 형성한다. 또한, 디블로킹 필터, 샘플 적응 오프셋(SAO) 및 적응 인-루프 필터(ALF)와 같은 인-루프 필터링은 참조 픽처 저장소에 저장되고 미래의 비디오 블록을 코딩하는 데 사용되기 전에 재구성된 CU에 적용될 수 있다. 출력 비디오 비트스트림을 형성하기 위해, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 모션 정보 및 양자화된 잔여 계수가 모두 엔트로피 코딩 단위로 전송되어 추가로 압축 및 패킹되어 비트스트림을 형성한다.

도 2는 VVC에 대한 비디오 디코더의 일반적인 블록도를 도시한다. 구체적으로, 도 2는 전형적인 디코더(200) 블록도를 도시한다. 디코더(200)는 비트스트림(210), 엔트로피 디코딩(212), 역양자화(214), 역변환(216), 가산기(218), 인트라/인터 모드 선택(220), 인트라 예측(222), 메모리(230), 인-루프 필터(228), 모션 보상(224), 픽처 버퍼(226), 예측 관련 정보(234) 및 비디오 출력(232)을 갖는다.

디코더(200)는 도 1의 인코더(100)에 상주하는 재구성 관련 섹션과 유사하다. 디코더(200)에서, 인커밍 비디오 비트스트림(210)은 엔트로피 디코딩(212)을 통해 먼저 디코딩되어 양자화된 계수 레벨 및 예측 관련 정보를 유도한다. 양자화된 계수 레벨은 그런 다음 재구성된 예측 잔여를 획득하기 위해 역 양자화(214) 및 역 변환(216)을 통해 처리된다. 인트라/인터 모드 선택기(220)에서 구현되는 블록 예측기 메커니즘은 디코딩된 예측 정보에 기초하여 인트라 예측(222) 또는 모션 보상(224)을 수행하도록 구성된다. 역변환(216)으로부터의 재구성된 예측 잔여와 합산기(218)를 사용하여 블록 예측기 메커니즘에 의해 생성된 예측 출력을 합산함으로써 필터링되지 않은 재구성된 픽셀 세트가 획득된다.

재구성된 블록은 참조 픽처 저장소로 기능하는 픽처 버퍼(226)에 저장되기 전에 인-루프 필터(228)를 더 거칠 수 있다. 픽처 버퍼(226)의 재구성된 비디오는 디스플레이 디바이스를 구동하기 위해 전송될 수 있을 뿐만 아니라 미래의 비디오 블록을 예측하기 위해 사용될 수 있다. 인-루프 필터(228)가 켜진 상황에서, 최종 재구성된 비디오 출력(232)을 유도하기 위해 이러한 재구성된 픽셀에 필터링 작업이 수행된다.

도 2는 블록 기반 비디오 디코더의 일반적인 블록도를 제공한다. 비디오 비트스트림은 엔트로피 디코딩 유닛에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보는 예측 블록을 형성하기 위해 공간 예측 유닛(인트라 코딩된 경우) 또는 시간적 예측 유닛(인터 코딩된 경우)으로 전송된다. 잔여 변환 계수는 역양자화 유닛 및 역변환 유닛으로 보내져 잔여 블록을 재구성한다. 그런 다음 예측 블록과 잔여 블록이 함께 추가된다. 재구성된 블록은 참조 픽처 저장소에 저장되기 전에 인-루프 필터링을 더 거칠 수 있다. 참조 픽처 저장소의 재구성된 비디오는 디스플레이 장치를 구동하기 위해 전송될 뿐만 아니라 미래의 비디오 블록을 예측하는 데 사용된다.

일반적으로 VVC에 적용되는 기본 인터 예측 기술은 여러 모듈이 더 확장 및/또는 향상된다는 점을 제외하고는 HEVC와 동일하게 유지된다. 특히, 모든 선행 비디오 표준에 대해, 코딩 블록이 단일 예측일 때 하나의 코딩 블록이 하나의 단일 MV와 연관되거나 코딩 블록이 양방향 예측일 때 2개의 MV와만 연관될 수 있다. 이러한 기존의 블록 기반 모션 보상의 한계로 인해 모션 보상 후에도 예측 샘플 내에 작은 모션이 남아 있을 수 있으므로 전반적인 모션 보상 효율에 부정적인 영향을 미친다. MV의 세분성과 정밀도를 모두 개선하기 위해 광 흐름을 기반으로 하는 두 가지 샘플별 리파인먼트 방법, 즉 아핀 모드에 대한 양방향 광 흐름(bi-directional optical flow, BDOF) 및 광 흐름 예측 리파인먼트(prediction refinement with optical flow, PROF))가 현재 VVC 표준에 대해 조사되고 있다. 다음에서는 두 인터코딩 도구의 주요 기술적 측면을 간략하게 검토한다.

양방향 광 흐름(Bi-directional optical flow)

VVC에서 BDOF는 양방향 예측 코딩 블록의 예측 샘플을 리파인먼트하기 위해 적용된다. 구체적으로, 도 4에 도시된 바와 같이, BDOF는 양방향 예측이 사용될 때 블록 기반 모션 보상 예측 위에 수행되는 샘플별 모션 리파인먼트이다.

도 4는 본 개시에 따른 BDOF 모델의 예시를 도시한다.

각 4×4 서브블록의 모션 리파인먼트(

)는 BDOF가 서브블록 주변의 하나의 6×6 윈도우 Ω 내에서 적용된 후 L0 및 L1 예측 샘플 간의 차이를 최소화함으로써 계산된다. 구체적으로, (

)의 값은 다음과 같이 유도된다:

(1)

여기서

는 플로어 함수(floor function)이고; clip3(min, max, x)는 [min, max] 범위 내에서 주어진 값 x를 클리핑하는 함수이고; >> 기호는 비트와이즈 우측 시프트 연산을 나타내며; << 기호는 비트와이즈 좌측 시프트 연산을 나타내고;

는 불규칙한 로컬 모션으로 인한 전파 오류를 방지하기 위한 모션 리파인먼트 임계값으로 1<<max(5, bit-depth-7)이며, 여기서 bit-depth는 내부 비트 깊이이다. (1)에서,

,

이다.

,

및

의 값은 다음과 같이 계산된다:

,

(2)

여기서

(3)

여기서

는 중간 고정밀(즉, 16-비트)에서 생성되는 목록

,

에서, 예측 신호의 좌표

에서의 샘플 값이고;

및

은 2개의 인접 샘플 간의 차이를 직접 계산함으로써 획득되는 샘플의 수평 및 수직 그라디언트이고, 즉,

(4)

(1)에서 유도된 모션 리파인먼트에 기초하여, CU의 최종 양방향 예측 샘플은 하기로 표시된 바와 같이 광 흐름 모델에 기초한 모션 궤적을 따라 L0/L1 예측 샘플을 보간함으로써 계산된다:

(5)

여기서

및

은 양방향 예측을 위한 L0 예측 신호 및 L1 예측 신호를 결합하기 위해 적용되는 우측 시프트 값 및 오프셋 값으로,

및

과 각각 같다. 위의 비트 심도 제어 방식을 기반으로 전체 BDOF 프로세스의 중간 파라미터의 최대 비트 심도가 32비트를 넘지 않고 곱셈에 대한 최대 입력이 15비트 이내인 것을 보장하며, 즉 15비트 승수는 BDOF 구현에 충분한다.

아핀 모드(Affine mode)

HEVC에서는 모션 보상 예측을 위해 병진 모션 모델만 적용된다. 현실 세계에는 줌, 회전, 원근감 모션 및 기타 불규칙한 모션과 같은 많은 종류의 모션이 있다. VVC에서, 변환 모션 또는 아핀 모션 모델이 인터 예측에 적용되는지 여부를 나타내기 위해 각 인터 코딩 블록에 대해 하나의 플래그를 시그널링함으로써 아핀 모션 보상 예측이 적용된다. 현재 VVC 설계에서는 하나의 아핀 코딩 블록에 대해 4-파라미터 아핀 모드와 6-파라미터 아핀 모드를 포함한 두 가지 아핀 모드가 지원된다.

4-파라미터 아핀 모델에는 수평 및 수직 방향에서의 병진 이동에 대한 2개의 파라미터, 줌 모션에 대한 파라미터 및 양방향 회전 모션에 대한 파라미터가 있다. 수평 줌 파라미터는 수직 줌 파라미터와 같다. 수평 회전 파라미터는 수직 회전 파라미터와 같다. 모션 벡터와 아핀 파라미터의 더 나은 조정을 달성하기 위해 VVC에서 이러한 아핀 파라미터는 현재 블록의 좌측 상단 모서리와 우측 상단 모서리에 위치한 2개의 MV(제어점 모션 벡터(control point motion vector, CPMV)라고도 함)로 변환된다. 도 5a 및 5b에 도시된 바와 같이, 블록의 아핀 모션 필드는 2개의 제어 포인트 MV(V₀, V₁)에 의해 기술된다.

도 5a는 본 개시에 따른 4-파라미터 아핀 모델의 예시를 도시한다.

도 5b는 본 개시에 따른 4-파라미터 아핀 모델의 예시를 도시한다.

제어점 모션에 기초하여, 하나의 아핀 코딩된 블록의 모션 필드(v_x, v_y)는 다음과 같이 설명된다.

(6)

6-파라미터 아핀 모드에는 다음과 같은 파라미터가 있다: 각각 수평 및 수직 방향에서의 병진 이동을 위한 두 개의 파라미터, 줌 모션을 위한 하나의 파라미터와 수평 방향에서 회전 모션을 위한 하나의 파라미터, 줌 모션을 위한 하나의 파라미터 및 수직 방향에서 회전 모션을 위한 하나의 파라미터. 6-파라미터 아핀 모션 모델은 3개의 CPMV에서 3개의 MV로 코딩된다.

도 6은 본 개시내용에 따른, 6-파라미터 아핀 모델의 예시를 도시한다.

도 6에 도시된 바와 같이, 하나의 6-파라미터 아핀 블록의 3개의 제어점은 블록의 좌측 상단, 우측 상단 및 좌측 하단 코너에 위치한다. 좌측 상단 제어점의 모션은 평행 모션에 관련되고, 우측 상단 제어점의 모션은 수평 방향의 회전 및 줌 모션에 관련되고, 좌측 하단 제어점의 모션은 수직 방향의 회전 및 줌 모션에 관련된다. 4-파라미터 아핀 모션 모델과 비교하여 6-파라미터의 수평 방향 회전 및 줌 모션은 수직 방향 모션과 동일하지 않을 수 있다. (V₀, V₁, V₂)가 도 6에서 현재 블록의 좌상단, 우상단, 좌하단 모서리의 MV라고 가정한다. 각 서브블록(v_x, v_y)의 모션 벡터는 다음과 같이 제어점에서 3개의 MV를 사용하여 유도된다:

(7)

아핀 모드에 대한 광 흐름으로 예측 개선(Prediction refinement with optical flow for affine mode)

아핀 모션 보상 정밀도를 개선하기 위해 현재 VVC에서 PROF가 조사되고 있으며, 이는 광 흐름 모델을 기반으로 하는 하위 블록 기반 아핀 모션 보상을 개선한다. 구체적으로, 서브블록 기반 아핀 모션 보상을 수행한 후, 하나의 아핀 블록의 루마 예측 샘플은 광 흐름 방정식에 기초하여 도출된 하나의 샘플 리파인먼트 값으로 수정된다. 구체적으로 PROF의 동작은 다음의 4 단계로 요약할 수 있다:

단계 1: 4-파라미터 아핀 모델에 대한 (6) 및 6-파라미터 아핀 모델에 대한 (7)에서 유도된 서브-블록 MV를 사용하여 서브-블록 기반 아핀 모션 보상이 수행되어 서브-블록 예측

를 생성한다

단계 2: 각 예측 샘플의 공간 그라디언트 g_x(i,j) 및 g_y(i,j)는 다음과 같이 계산된다.

(8)

그라디언트를 계산하기 위해, 예측 샘플의 하나의 추가 행/열이 하나의 서브블록의 각 측면에 생성될 필요가 있다. 메모리 대역폭과 복잡성을 줄이기 위해 확장된 경계의 샘플은 추가 보간 프로세스를 피하기 위해 참조 픽처의 가장 가까운 정수 픽셀 위치에서 복사된다.

단계 3: 루마 예측 리파인먼트 값은 다음과 같이 계산된다.

(9)

여기서

는

로 표시되는 샘플 위치

에 대해 계산된 픽셀 MV와 픽셀

가 위치하는 서브-블록의 서브-블록 MV 사이의 차이이다. 또한, 현재 PROF 설계에서는 원래 예측 샘플에 예측 리파인먼트를 추가한 후 리파인먼트된 예측 샘플의 값을 15비트 이내로 자르기 위해 한 번의 클리핑 작업이 수행되며, 즉,

여기서

및

는 각각 위치

의 원본 및 리파인먼트된 예측 샘플이다.

도 7은 본 개시에 따른, 아핀 모드에 대한 PROF 프로세스를 예시한다.

아핀 모델 파라미터와 서브블록 중심에 대한 픽셀 위치는 서브블록에서 서브블록으로 변경되지 않기 때문에

는 첫 번째 서브블록에 대해 계산되고 같은 CU에 있는 다른 서브블록에 재사용될 수 있다. 블록 Δx 및 Δy를 샘플 위치

에서 샘플이 속한 하위 블록의 중심까지의 수평 및 수직 오프셋이라고 하면

는 다음과 같이 유도될 수 있다:

(10)

아핀 서브블록 MV 유도 방정식 (6) 및 (7)에 기초하여 MV 차이

가 유도될 수 있다. 구체적으로, 4-파라미터 아핀 모델의 경우,

6-파라미터 아핀 모델의 경우,

여기서

,

는 현재 코딩 블록의 좌측 상단, 우측 상단 및 좌측 하단 제어 포인트 MV이고, w 및 h는 블록의 너비와 높이이다. 기존 PROF 설계에서 MV 차이

및

는 항상 1/32-pel의 정밀도에서 도출된다.

국부 조도 보정(Local illumination compensation)

*국부 조도 보정(Local Illumination Compensation, LIC)은 시간적으로 이웃하는 픽처 사이에 존재하는 국부 조도 변화 문제를 해결하는 데 사용되는 코딩 도구이다. 한 쌍의 가중치 및 오프셋 파라미터는 참조 샘플에 적용되어 하나의 현재 블록의 예측 샘플을 얻는다. 일반 수학적 모델은 다음과 같이 주어진다.

(11)

여기서 Pr[x + v]는 모션 벡터 v가 나타내는 참조 블록이고, [α, β]는 참조 블록에 대한 가중치 및 오프셋 파라미터의 해당 쌍이고, P[x]는 최종 예측 블록이다. 가중치 및 오프셋 파라미터 쌍은 현재 블록의 템플릿(즉, 이웃하는 재구성된 샘플)과 템플릿의 참조 블록(모션 벡터를 사용하여 파생됨)을 기반으로 최소 선형 평균 제곱 오차(least linear mean square error, LLMSE) 알고리즘을 사용하여 추정된다. 현재 블록). 템플릿 샘플과 템플릿의 참조 샘플 간의 평균 제곱 차이를 최소화함으로써 α 및 β의 수학적 표현은 다음과 같이 유도될 수 있다.

(12)

여기서 I는 템플릿의 샘플 수를 나타낸다. P_c[xi]는 현재 블록 템플릿의 i번째 샘플이고 P_r[xi]는 모션 벡터 v를 기반으로 하는 i번째 템플릿 샘플의 참조 샘플이다.

각 예측 방향(L0 또는 L1)에 대해 최대 하나의 모션 벡터를 포함하는 레귤러 인터 블록에 적용되는 것 외에도, LIC는 하나의 코딩 블록이 여러 개의 더 작은 서브블록으로 더 분할되는 아핀 모드 코딩된 블록에도 적용된다. 각각의 서브블록은 상이한 모션 정보와 연관될 수 있다. 도 16a 및 도 16b에 도시된 바와 같이, 아핀 모드 코딩된 블록의 LIC에 대한 참조 샘플을 유도하기 위해, 하나의 아핀 코딩 블록의 상단 템플릿의 참조 샘플은 상단 서브블록 행의 각 서브블록의 모션 벡터를 사용하여 페치되고 좌측 템플릿의 참조 샘플은 좌측 서브블록 열의 서브블록의 모션 벡터를 사용하여 페치된다. 이후 (12)에 도시된 바와 같은 LLMSE 유도 방법을 적용하여 복합 템플릿을 기반으로 LIC 파라미터를 유도한다.

도 16a는 본 개시에 따른, 아핀 모드에 대한 템플릿 샘플을 유도하기 위한 예시를 도시한다. 도면에는 Cur Frame 1620 및 Cur CU 1622가 포함되어 있다. Cur Frame 1620은 현재 프레임이다. Cur CU 1622는 현재 코딩 단위이다.

도 16b는 아핀 모드에 대한 템플릿 샘플을 유도하기 위한 예시를 도시한다. 도면에는 Ref Frame 1640, Col CU 1642, A Ref 1643, B Ref 1644, C Ref 1645, D Ref 164,6 E Ref 1647, F Ref 1648 및 G Ref 1649가 포함되어 있다. Ref Frame 1640은 참조 프레임이다. Col CU 1642는 배치된 코딩 단위이다. A Ref 1643, B Ref 1644, C Ref 1645, D Ref 164,6 E Ref 1647, F Ref 1648 및 G Ref 1649는 참조 샘플이다.

본 발명에서 사용된 용어는 단지 예시를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 개시 및 첨부된 특허청구범위에서 사용된 바와 같이, 단수형 "a", "an" 및 "the"는 문맥상 명백하게 달리 지시하지 않는 한 복수형도 포함하는 것으로 의도된다. 본 명세서에 사용된 "또는" 및 "및/또는"은 문맥이 달리 명백하게 나타내지 않는 한 연관된 나열된 항목 중 하나 이상의 임의의 또는 모든 가능한 조합을 의미하고 포함하도록 의도된다.

"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 본 명세서에서 사용되는 것을 포함할 수 있지만, 정보는 이러한 용어에 의해 제한되어서는 안 된다는 것을 이해해야 한다. 이 용어는 정보의 한 범주를 다른 범주와 구별하는 데만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 지칭될 수 있고; 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "만약"이라는 용어는 문맥에 따라 "때" 또는 "시에" 또는 "에 응답하여"를 의미하는 것으로 이해될 수 있다.

본 명세서 전반에 걸쳐 단수 또는 복수로 "일 예", "예", "예시적 예" 등에 대한 언급은 예와 관련하여 설명된 하나 이상의 특정 특징, 구조 또는 특성이 다음과 같다는 것을 의미한다. 본 개시의 적어도 하나의 예에 포함된다. 따라서, 본 명세서 전체에 걸쳐 여러 곳에서 "일 예에서" 또는 "예에서", "예시에서" 등의 단수 또는 복수의 표현이 반드시 모두 동일한 예를 지칭하는 것은 아니다. 또한, 하나 이상의 예에서 특정 특징, 구조 또는 특성은 임의의 적합한 방식으로 조합되는 것을 포함할 수 있다.

현재의 BDOF, PROF 및 LIC 설계(Current BDOF, PROF, and LIC Design)

PROF가 아핀 모드의 코딩 효율을 향상시킬 수 있지만, 그 설계는 여전히 더 향상될 수 있다. 특히, PROF와 BDOF가 모두 광 흐름 개념에 기반을 두고 있다는 점을 감안할 때, 하드웨어 구현을 용이하게 하기 위해 PROF가 BDOF의 기존 로직을 최대한 활용할 수 있도록 최대한 PROF와 BDOF의 설계를 조화시키는 것이 매우 바람직하다. 이러한 고려 사항을 기반으로 현재 PROF 및 BDOF 설계 간의 상호 작용에 대한 다음과 같은 비효율성이 본 개시에서 식별된다.

수학식 8에서 "아핀 모드에 대한 광 흐름을 사용한 예측 개선" 섹션에서 설명한 것처럼 그라디언트의 정밀도는 내부 비트 깊이를 기반으로 결정된다. 한편, MV 차이, 즉

및

는 항상 1/32-pel의 정밀도로 도출된다. 이에 따라 식 (9)를 기반으로 파생된 PROF 리파인먼트의 정밀도는 내부 비트 깊이에 따라 달라진다. 그렇지만, BDOF와 유사하게, PROF는 더 높은 PROF 유도 정밀도를 유지하기 위해 중간 높은 비트 깊이(즉, 16비트)에서 예측 샘플 값 위에 적용된다. 따라서 내부 코딩 비트 심도에 관계없이 PROF에 의해 파생된 예측 세분화의 정밀도는 중간 예측 샘플의 정밀도, 즉 16비트와 일치해야 한다. 다시 말해, 기존 PROF 설계의 MV 차이의 표현 비트 깊이와 그라디언트가 완벽하게 일치하지 않아 예측 샘플 정밀도(즉, 16비트)에 대한 정확한 예측 리파인먼트를 도출할 수 없다. 한편, 기존의 PROF와 BDOF는 식 (1), (4), (8)의 비교를 기반으로 서로 다른 정밀도를 사용하여 샘플 그라디언트와 MV 차이를 표현한다. 앞서 지적한 바와 같이 이러한 비통합 설계는 기존의 BDOF 로직을 재사용할 수 없기 때문에 하드웨어에 바람직하지 않다.

"아핀 모드에 대한 광 흐름을 사용한 예측 개선" 섹션에서 논의된 바와 같이, 하나의 현재 아핀 블록이 양방향 예측될 때 PROF는 목록 L0 및 L1의 예측 샘플에 개별적으로 적용된다. 그런 다음, 강화된 L0 및 L1 예측 신호가 평균화되어 최종 양방향 예측 신호를 생성한다. 반대로, BDOF는 각 예측 방향에 대한 PROF 리파인먼트를 별도로 유도하는 대신 예측 리파인먼트를 한 번 유도한 다음 결합된 L0 및 L1 예측 신호를 향상시키기 위해 적용된다. 도 8 및 9(아래에 설명됨)는 양방향 예측을 위해 현재 BDOF와 PROF의 작업 흐름을 비교한다. 실제 코덱 하드웨어 파이프라인 설계에서는 일반적으로 더 많은 코딩 블록을 병렬로 처리할 수 있도록 각 파이프라인 단계에 서로 다른 주요 인코딩/디코딩 모듈을 할당한다. 그러나 BDOF와 PROF 워크플로의 차이로 인해 BDOF와 PROF가 공유할 수 있는 동일한 파이프라인 설계를 갖는 것이 어려울 수 있으며, 이는 실용적인 코덱 구현에 비우호적이다.

도 8은 본 개시에 따른 BDOF의 워크플로우를 도시한다. 워크플로우(800)는 L0 모션 보상(810), L1 모션 보상(820), 및 BDOF(830)를 포함한다. 예를 들어, L0 모션 보상(810)은 이전 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전 참조 픽처이다. 예를 들어, L1 모션 보상(820)은 다음 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. BDOF(830)는 도 4와 관련하여 위에서 설명된 바와 같이 L1 모션 보상(810) 및 L1 모션 보상(820)으로부터 모션 보상 샘플을 취하고 예측 샘플을 출력한다.

도 9는 본 개시에 따른 기존 PROF의 워크플로우를 도시한다. 워크플로(900)는 L0 모션 보상(910), L1 모션 보상(920), L0 PROF(930), L1 PROF(940), 및 평균(960)을 포함한다. 예를 들어, L0 모션 보상(910)은 이전 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전 참조 픽처이다. 예를 들어, L1 모션 보상(920)은 다음 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. L0 PROF(930)는 도 7과 관련하여 위에서 설명된 바와 같이 L0 모션 보상(910)으로부터 L0 모션 보상 샘플을 취하고 모션 리파인먼트 값을 출력한다. L1 PROF(940)는 L1 모션 보상(Motion Compensation)(920)으로부터 L1 모션 보상 샘플을 취하여 도 9와 관련하여 설명된 바와 같이 모션 리파인먼트 값을 출력한다. 평균(Average)(960)은 L0 PROF(930) 및 L1 PROF(940)의 모션 리파인먼트 값 출력을 평균화한다.

1) BDOF 및 PROF 모두에 대해, 현재 코딩 블록 내부의 각 샘플에 대해 그라디언트를 계산할 필요가 있으며, 이는 블록의 각 측면에서 예측 샘플의 하나의 추가 행/열을 생성하는 것을 필요로 한다. 샘플 보간의 추가적인 계산 복잡성을 피하기 위해 블록 주변의 확장된 영역에 있는 예측 샘플은 정수 위치에 있는 참조 샘플에서 직접 (즉, 보간 없이) 복사된다. 그러나 기존 설계에 따르면 서로 다른 위치의 정수 샘플을 선택하여 BDOF와 PROF의 그라디언트 값을 생성한다. 구체적으로, BDOF의 경우, 예측 샘플의 좌측(수평 그라디언트의 경우) 및 예측 샘플의 위쪽(수직 그라디언트의 경우)에 위치한 정수 참조 샘플이 사용된다. PROF의 경우 예측 샘플에 가장 가까운 정수 참조 샘플이 그라디언트 계산에 사용된다. 비트 심도 표현 문제와 유사하게 이러한 비통합 그라디언트 계산 방법도 하드웨어 코덱 구현에 바람직하지 않다.

2) 앞서 지적한 바와 같이, PROF의 동기는 각 샘플의 MV와 샘플이 속한 서브블록의 중앙에서 유도된 서브블록 MV 사이의 작은 MV 차이를 보상하는 것이다. 현재 PROF 설계에 따르면 PROF는 하나의 코딩 블록이 아핀 모드에 의해 예측될 때 항상 호출된다. 그렇지만, 수학식 (6) 및 (7)에서와 같이, 하나의 아핀 블록의 서브블록 MV는 제어점 MV로부터 유도된다. 따라서 제어점 MV 간의 차이가 상대적으로 작을 때 각 샘플 위치의 MV는 일정해야 한다. 이러한 경우 PROF 적용의 이점이 매우 제한적일 수 있으므로 성능/복잡성 트레이드오프를 고려할 때 PROF를 수행할 가치가 없을 수 있다.

BDOF, PROF 및 LIC에 대한 개선(Improvements to BDOF, PROF, and LIC)

본 개시에서, 하드웨어 코덱 구현을 용이하게 하기 위해 기존 PROF 설계를 개선하고 단순화하기 위한 방법이 제공된다. 특히, 기존의 BDOF 로직을 PROF와 최대한 공유하기 위해 BDOF와 PROF의 설계를 조화시키는 데 각별한 주의를 기울였다. 일반적으로 본 개시에서 제안하는 기술의 주요 측면은 다음과 같이 요약된다.

1) 하나 이상의 통합 설계를 달성하면서 PROF의 코딩 효율을 개선하기 위해, BDOF 및 PROF에 의해 사용되는 샘플 그라디언트 및 MV 차이의 표현 비트 심도를 통합하기 위한 하나의 방법이 제안된다.

2) 하드웨어 파이프라인 설계를 용이하게 하기 위해, 양방향 예측을 위해 PROF의 작업 흐름을 BDOF의 작업 흐름과 조화시키는 것이 제안된다. 구체적으로, L0과 L1에 대해 개별적으로 예측 리파인먼트를 유도하는 기존 PROF와 달리 제안된 방법은 결합된 L0 및 L1 예측 신호에 적용되는 예측 리파인먼트를 한 번 유도한다.

3) BDOF 및 PROF에 의해 사용되는 그라디언트 값을 계산하기 위해 정수 기준 샘플의 유도를 조화시키기 위해 두 가지 방법이 제안된다.

4) 계산 복잡성을 줄이기 위해, 특정 조건이 충족될 때 아핀 코딩 블록에 대한 PROF 프로세스를 적응적으로 디스에이블하는 조기 종료 방법이 제안된다.

PROF 그라디언트 및 MV 차이의 개선된 비트 심도 표현 설계(Improved bit-depth representation design of PROF gradients and MV difference)

섹션 "문제 설명(problem statement)"에서 분석된 바와 같이, MV 차이의 표현 비트 깊이 및 현재 PROF의 샘플 그라디언트는 정확한 예측 개선을 유도하도록 정렬되지 않는다. 또한 BDOF와 PROF 간에 샘플 그라디언트의 표현 비트 깊이와 MV 차이가 일치하지 않아 하드웨어에 비우호적이다. 본 절에서는 BDOF의 비트 깊이 표현 방식을 PROF로 확장하여 개선된 비트 깊이 표현 방법을 제안한다. 구체적으로 제안하는 방법에서 각 샘플 위치에서의 수평 및 수직 그라디언트는 다음과 같이 계산된다.

(13)

또한,

및

가 하나의 샘플 위치에서 샘플이 속한 하위 블록의 중심까지 ¼-pel 정확도로 표현되는 수평 및 수직 오프셋이라고 가정하면 해당 샘플에서의 PROF MV 차이

위치는 다음과 같이 파생된다.

(14)

여기서 dMvBits는 BDOF 프로세스에서 사용되는 그라디언트 값의 비트 깊이이고, 즉

이다. 식 (13) 및 (14)에서, c, d, e 및 f는 아핀 제어점 MV를 기반으로 파생된 아핀 파라미터이다. 구체적으로, 4-파라미터 아핀 모델의 경우,

6-파라미터 아핀 모델의 경우,

여기서

,

는 현재 코딩 블록의 좌상단, 우상단, 좌하단 제어점 MV이며, 1/16-pel 정밀도를 나타내고, w 및 h는 블록의 너비와 높이이다.

위의 논의에서 식 (13)과 (14)에서 볼 수 있듯이 한 쌍의 고정된 우측 시프트가 그라디언트와 MV 차이의 값을 계산하기 위해 적용된다. 실제로, 다른 비트 단위 우측 시프트가 (13) 및 (14)에 적용될 수 있으며, 중간 계산 정밀도와 내부 PROF 도출 프로세스의 비트 폭 사이의 서로 다른 절충에 대한 MV 차이와 그라디언트의 다양한 표현 정밀도를 달성할 수 있다. 예를 들어, 입력 비디오에 많은 노이즈가 포함된 경우 파생된 그라디언트는 각 샘플에서 실제 로컬 수평/수직 그라디언트 값을 나타내는 데 신뢰할 수 없을 수 있다. 이러한 경우 MV 차이를 나타내기 위해 그라디언트보다 더 많은 비트를 사용하는 것이 더 합리적이다. 반면에 입력 영상이 안정된 모션을 보일 때 아핀 모델에 의해 유도된 MV 차이는 매우 작아야 한다. 그렇다면 고정밀 MV 차이를 사용하여 파생된 PROF 리파인먼트의 정밀도를 높이는 추가 이점을 제공할 수 없다. 다시 말해, 이러한 경우에는 더 많은 비트를 사용하여 그라디언트 값을 표현하는 것이 더 유리한다. 위의 고려 사항에 기초하여, 본 개시의 일 실시예에서, PROF에 대한 MV 차이 및 그라디언트를 계산하기 위해 다음에 제안되는 하나의 일반적인 방법. 구체적으로, 각 샘플 위치에서의 수평 및 수직 그라디언트가 인접 예측 샘플의 차이에

우측 쉬프트를 적용하여 계산된다고 가정한다. 즉,

(15)

샘플 위치에서 해당 PROF MV 차이 Δv(x,y)는 다음과 같이 계산되어야 한다.

(16)

여기서

는 하나의 샘플 위치에서 샘플이 속한 하위 블록의 중심까지 ¼-pel 정확도로 표현되는 수평 및 수직 오프셋이고 c, d, e 및 f는 1/16-pel 아핀 제어점 MV를 기반으로 파생된 아핀 파라미터이다. 마지막으로 샘플의 최종 PROF 리파인먼트는 다음과 같이 계산된다.

(17)

본 개시의 다른 실시예에서, 다른 PROF 비트 심도 제어 방법은 다음과 같이 제안된다. 이 방법에서 각 샘플 위치의 수평 및 수직 그라디언트는 여전히 이웃 예측 샘플의 차이 값에

비트의 우측 쉬프트를 적용하여 (18)과 같이 계산된다. 샘플 위치에서 해당 PROF MV 차이

는 다음과 같이 계산해야 한다.

추가로, 전체 PROF 유도를 적절한 내부 비트 깊이로 유지하기 위해, 다음과 같이 유도된 MV 차이에 클리핑이 적용된다.

여기서 limit은

와 동일한 임계값이고 clip3(min, max, x)는 [min, max] 범위 내에서 주어진 값 x를 클리핑하는 함수이다. 일 예에서,

의 값은

로 설정된다. 마지막으로 샘플의 PROF 리파인먼트는 다음과 같이 계산된다.

양방향 예측을 위한 BDOF 및 PROF의 조화된 워크플로(Harmonized workflows of the BDOF and the PROF for bi-prediction)

앞서 논의된 바와 같이, 하나의 아핀 코딩 블록이 양방향 예측될 때, 현재 PROF는 일방적인 방식으로 적용된다. 보다 구체적으로, PROF 샘플 리파인먼트는 별도로 유도되어 목록 L0 및 L1의 예측 샘플에 적용된다. 그 후, 목록 L0 및 L1에서 각각의 리파인먼트된 예측 신호를 평균화하여 블록의 최종 양방향 예측 신호를 생성한다. 이것은 샘플 미세화가 유도되고 양방향 예측 신호에 적용되는 BDOF 설계와 대조된다. BDOF와 PROF의 양방향 예측 워크플로의 이러한 차이는 실용적인 코덱 파이프라인 설계에 비우호적일 수 있다.

하드웨어 파이프라인 설계를 용이하게 하기 위해, 본 개시에 따른 하나의 단순화 방법은 2개의 예측 리파인먼트 방법의 워크플로가 조화되도록 PROF의 양방향 예측 프로세스를 수정하는 것이다. 구체적으로, 제안된 PROF 방법은 각 예측 방향에 대해 세분화를 개별적으로 적용하는 대신 목록 L0 및 L1의 제어점 MV를 기반으로 한 번 예측 세분화를 유도한다. 파생된 예측 개선 사항은 품질을 향상시키기 위해 결합된 L0 및 L1 예측 신호에 적용된다. 구체적으로, 수학식 14에서 도출된 MV 차이에 기초하여, 하나의 아핀 코딩 블록의 최종 양방향 예측 샘플은 제안된 방법에 의해 다음과 같이 계산된다.

(18)

여기서

및

은 양방향 예측을 위한 L0 및 L1 예측 신호를 결합하기 위해 적용되는 우측 시프트 값 및 오프셋 값으로, 각각 (

) 및

이다. 또한, 제안하는 방법에서는 (18)과 같이 기존 PROF 설계((9))의 클리핑 연산을 제거하였다.

도 12는 본 개시에 따라 제안된 양방향 예측 PROF 방법이 적용될 때의 PROF 프로세스의 예시를 도시한다. PROF 프로세스(1200)는 L0 모션 보상(1210), L1 모션 보상(1220), 및 양방향 예측 PROF(1230)를 포함한다. 예를 들어, L0 모션 보상(1210)은 이전 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전 참조 픽처이다. 예를 들어, L1 모션 보상(1220)은 다음 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. 양방향 예측 PROF(1230)는 L1 모션 보상(1210) 및 L1 모션 보상(1220)으로부터 모션 보상 샘플을 취하여 전술한 바와 같이 양방향 예측 샘플을 출력한다.

도 12는 제안된 양방향 예측 PROF 방법을 적용한 경우 해당 PROF 과정을 나타낸다. PROF 프로세스(1200)는 L0 모션 보상(1210), L1 모션 보상(1220), 및 양방향 예측 PROF(1230)를 포함한다. 예를 들어, L0 모션 보상(1210)은 이전 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 이전 참조 픽처는 비디오 블록의 현재 픽처보다 이전 참조 픽처이다. 예를 들어, L1 모션 보상(1220)은 다음 참조 픽처로부터의 모션 보상 샘플의 목록일 수 있다. 다음 참조 픽처는 비디오 블록에서 현재 픽처 다음의 참조 픽처이다. 양방향 예측 PROF(1230)는 L1 모션 보상(1210) 및 L1 모션(1220)으로부터 모션 보상 샘플을 취하여 전술한 바와 같이 양방향 예측 샘플을 출력한다.

하드웨어 파이프라인 설계를 위해 제안된 방법의 잠재적인 이점을 입증하기 위해, 도 13은 BDOF와 제안된 PROF가 모두 적용된 경우의 파이프라인 단계를 설명하기 위한 일 예를 보여준다. 도 13에서, 하나의 인터 블록의 디코딩 프로세스는 주로 3단계를 포함한다:

1) 코딩 블록의 MV를 구문 분석/디코딩하고 참조 샘플을 페치한다.

2) 코딩 블록의 L0 및/또는 L1 예측 신호를 생성한다.

3) 코딩 블록이 하나의 비-아핀 모드에 의해 예측되는 경우 BDOF 또는 코딩 블록이 아핀 모드에 의해 예측되는 경우 PROF에 기반하여 생성된 양방향 예측 샘플의 샘플별 리파인먼트를 수행한다.

도 13은 본 개시에 따른 BDOF 및 제안된 PROF 모두가 적용될 때 예시적인 파이프라인 단계의 예시를 도시한다. 도 13은 하드웨어 파이프라인 설계를 위해 제안된 방법의 잠재적인 이점을 보여준다. 파이프라인 스테이지(1300)는 MV 파싱/디코딩 및 참조 샘플 페치(1310), 모션 보상(1320), BDOF/PROF(1330)를 포함한다. 파이프라인 스테이지(1300)는 비디오 블록 BLK0, BKL1, BKL2, BKL3 및 BLK4를 인코딩할 것이다. 각 비디오 블록은 MV를 파싱/디코딩하고 참조 샘플(1310)을 페치하고 모션 보상(1320)으로 이동한 다음 모션 보상(1320), BDOF/PROF(1330)로 차례로 이동한다. 이것은 BLK0이 모션 보상(1320)으로 이동할 때까지 BLK0이 파이프라인 단계(1300) 프로세스에서 시작되지 않음을 의미한다. 시간이 T0에서 T1, T2, T3 및 T4로 이동함에 따라 모든 단계 및 비디오 블록에 대해 동일하다.

도 13에서, 하나의 인터 블록의 디코딩 프로세스는 주로 3단계를 포함한다:

첫째, 코딩 블록의 MV를 파싱/디코딩하고 참조 샘플을 페치한다.

둘째, 코딩 블록의 L0 및/또는 L1 예측 신호를 생성한다.

셋째, 코딩 블록이 하나의 비-아핀 모드에 의해 예측되는 경우 BDOF 또는 코딩 블록이 아핀 모드에 의해 예측되는 경우 PROF를 기반으로 생성된 양방향 예측 샘플의 샘플별 리파인먼트를 수행한다.

도 13에 도시된 바와 같이, 제안된 조화 방법을 적용한 후, BDOF와 PROF를 모두 양방향 예측 샘플에 직접 적용하였다. BDOF와 PROF가 서로 다른 유형의 코딩 블록에 적용되는 경우(즉, BDOF는 비-아핀 블록에 적용되고 PROF는 아핀 블록에 적용됨) 두 코딩 도구를 동시에 호출할 수 없다. 따라서 동일한 파이프라인 단계를 공유하여 해당 디코딩 프로세스를 수행할 수 있다. 이는 양방향 예측의 서로 다른 워크플로로 인해 BDOF와 PROF 모두에 동일한 파이프라인 단계를 할당하기 어려운 기존 PROF 설계보다 효율적이다.

위의 논의에서, 제안된 방법은 BDOF와 PROF의 작업 흐름의 조화만을 고려한다. 그러나 기존 설계에 따르면 두 코딩 도구의 기본 연산 단위는 서로 다른 크기로 수행된다. 구체적으로, BDOF의 경우, 하나의 코딩 블록은 W_s×H_s의 크기의 여러 서브블록으로 분할되고, 여기서 W_s = min(W, 16) 및 H_s = min(H, 16)이고, 여기서 W 및 H는 코딩 블록의 너비 및 높이이다. 그라디언트 계산 및 샘플 리파인먼트 유도와 같은 BODF 연산은 각 하위 블록에 대해 독립적으로 수행된다. 다른 한편으로, 앞서 설명된 바와 같이, 아핀 코딩 블록은 4x4 서브블록으로 분할되며, 각 서브블록에는 4-파라미터 또는 6-파라미터 아핀 모델을 기반으로 파생된 하나의 개별 MV가 할당된다. PROF는 아핀 블록에만 적용되기 때문에 기본 연산 단위는 4×4 서브블록이다. 양방향 예측 워크플로 문제와 유사하게 BDOF와 PROF에 다른 기본 연산 단위 크기를 사용하는 것도 하드웨어 구현에 비우호적이며 BDOF와 PROF가 전체 디코딩 프로세스의 동일한 파이프라인 단계를 공유하기 어렵게 만든다. 이러한 문제를 해결하기 위해 일 실시예에서는 아핀 모드의 서브블록 크기를 BDOF와 동일하게 정렬하는 것을 제안한다. 구체적으로, 제안된 방법에 따르면 하나의 코딩 블록이 아핀 모드에서 코딩될 때 W_s×H_s의 크기의 서브블록으로 분할되며, 여기서 W_s = min(W, 16) 및 H_s = min(H, 16)이고, 여기서 W와 H는 코딩 블록의 너비와 높이이다. 각 하위 블록에는 하나의 개별 MV가 할당되고 하나의 독립적인 PROF 작동 단위로 간주된다. 독립적인 PROF 작동 장치가 인접 PROF 작동 장치의 정보를 참조하지 않고 상위 PROF 작동이 수행되도록 보장한다는 점은 언급할 가치가 있다. 구체적으로, 하나의 샘플 위치에서의 PROF MV 차이는 샘플 위치에서의 MV와 샘플이 위치한 PROF 조작 유닛의 중앙에서의 MV 사이의 차이로서 계산되고; PROF 파생에 사용되는 그라디언트는 각 PROF 작동 단위를 따라 샘플을 추가하여 계산된다. 제안된 방법의 주장된 이점은 주로 다음과 같은 측면을 포함한다. 1) 모션 보상 및 BDOF/PROF 개선 모두를 위한 통합 기본 운영 단위 크기를 가진 단순화된 파이프라인 아키텍처; 2) 아핀 모션 보상을 위한 확장된 서브블록 크기로 인한 메모리 대역폭 사용량 감소; 3) 분할 샘플 보간의 샘플당 계산 복잡성 감소.

제안된 방법으로 감소된 계산 복잡성(즉, 항목 3)으로 인해 아핀 코딩 블록에 대한 기존의 6-탭 보간 필터 제약이 제거될 수 있다는 점도 언급되어야 한다. 대신, 비-아핀 코딩 블록에 대한 기본 8-탭 보간은 아핀 코딩 블록에도 사용된다. 이 경우 전체 계산 복잡성은 여전히 기존 PROF 설계(6-탭 보간 필터가 있는 4x4 서브블록 기반)와 비교할 수 있다.

BDOF 및 PROF에 대한 그라디언트 유도의 조화(Harmonization of gradient derivation for the BDOF and the PROF)

앞서 설명된 바와 같이, BDOF 및 PROF 모두는 현재 코딩 블록 내부의 각 샘플의 그라디언트를 계산하며, 이는 블록의 각 측면에서 예측 샘플의 하나의 추가 행/열에 액세스한다. 추가적인 보간 복잡성을 피하기 위해 블록 경계 주변의 확장된 영역에서 필요한 예측 샘플은 정수 참조 샘플에서 직접 복사된다. 그러나 "문제 설명" 섹션에서 지적한 것처럼 서로 다른 위치의 정수 샘플을 사용하여 BDOF 및 PROF의 그라디언트 값을 계산한다.

하나 이상의 균일한 설계를 달성하기 위해, BDOF 및 PROF에 의해 사용되는 그라디언트 유도 방법을 통합하기 위해 다음에서 두 가지 방법이 제안된다. 첫 번째 방법에서는 PROF의 그라디언트 유도 방법을 BDOF와 동일하게 정렬하는 것을 제안한다. 구체적으로, 첫 번째 방법에 의해, 확장된 영역에서 예측 샘플을 생성하는 데 사용되는 정수 위치는 분할 샘플 위치 아래로 내려감으로써 결정되며, 즉, 선택된 정수 샘플 위치는 분할 샘플 위치의 좌측(수평 그라디언트의 경우) 및 분할 샘플 위치 위(수직 그라디언트의 경우)에 위치한다.

두 번째 방법에서, BDOF의 그라디언트 유도 방법을 PROF의 그라디언트 유도 방법과 동일하게 정렬하는 것이 제안된다. 구체적으로 두 번째 방법을 적용할 때 예측 샘플에 가장 가까운 정수 참조 샘플을 그라디언트 계산에 사용한다.

도 14는 본 개시에 따른, BDOF의 그라디언트 유도 방법을 사용하는 예를 도시한다. 도 14에서 공백 원은 정수 위치의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내며, 회색 원은 현재 블록의 확장된 영역을 채우는 데 사용된 정수 참조 샘플을 나타낸다.

도 15는 본 개시에 따른, PROF의 그라디언트 유도 방법을 사용하는 예를 도시한다. 도 15에서 공백 원은 정수 위치의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내며, 회색 원은 현재 블록의 확장된 영역을 채우는 데 사용된 정수 참조 샘플을 나타낸다.

도 14 및 도 15는 첫 번째 방법(도 12)과 두 번째 방법(도 13)이 각각 적용될 때 BDOF 및 PROF에 대한 그라디언트 유도에 사용되는 해당 정수 샘플 위치를 보여줍니다. 도 14 및 도 15에서, 공백 원은 정수 위치에서의 참조 샘플을 나타내고, 삼각형은 현재 블록의 분수 예측 샘플을 나타내고, 패턴화된 원은 그라디언트 유도를 위해 현재 블록의 확장된 영역을 채우는 데 사용되는 정수 참조 샘플을 나타낸다.

추가적으로, 기존의 BDOF 및 PROF 설계에 따르면, 예측 샘플 추가는 상이한 코딩 레벨에서 수행된다. 구체적으로, BDOF의 경우 추가는 각 sbWidth x sbHeight 하위 블록의 경계를 따라 적용되며 여기서 sbWidth = min(CUWidth, 16) 및 sbHeight = min(CUHeight, 16)이다. CUWidth 및 CUHeight는 하나의 CU의 너비와 높이이다. 반면에 PROF의 추가는 항상 4x4 서브블록 레벨에 적용된다. 위의 논의에서는 BDOF와 PROF 사이에 추가 방법만 통일되어 있고 추가 서브블록 크기는 여전히 다르다. 이것은 또한 BDOF 및 PROF의 추가 프로세스에 대해 서로 다른 모듈을 구현해야 한다는 점을 감안할 때 실제 하드웨어 구현에 적합하지 않는다. 하나 이상의 통일된 설계를 달성하기 위해 BDOF와 PROF의 서브블록 추가 크기를 통일하는 것을 제안한다. 본 개시의 일 실시예에서, 4x4 레벨에서 BDOF의 예측 샘플 추가를 적용하는 것이 제안된다. 특히, 이 방법에 의해 CU는 먼저 여러 4x4 서브블록으로 분할된다. 각 4x4 서브블록의 모션 보상 후, 상/하 및 좌/우 경계를 따라 확장된 샘플은 해당 정수 샘플 위치를 복사하여 추가된다.

도 18a, 18b, 18c, 18d는 하나의 16x16 BDOF CU에 제안된 추가 방법을 적용한 일례로서, 점선은 4x4 서브블록 경계를 나타내고, 회색 띠는 각 4x4 서브블록의 추가된 샘플을 나타낸다.

도 18a는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 추가 방법을 도시하며, 여기서 대시 라인은 상부 좌측 4X4 서브블록 경계(1820)를 나타낸다.

도 18b는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 추가 방법을 도시하며, 여기서 대시 라인은 상부 우측 4X4 서브블록 경계(1840)를 나타낸다.

도 18c는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 추가 방법을 도시하며, 여기서 대시 라인은 좌측 하단 4X4 서브블록 경계(1860)를 나타낸다.

도 18d는 본 개시에 따른 16X16 BDOF CU에 적용된 제안된 추가 방법을 도시하며, 여기서 대시 라인은 우측 하단 4X4 서브블록 경계(1880)를 나타낸다.

도 10은 본 개시에 따라 비디오 신호를 디코딩하기 위한 BDOF 및 PROF의 통합된 방법을 도시한다. 방법은 예를 들어 디코더에 적용될 수 있다.

단계 1010에서, 디코더는 비디오 블록을 복수의 비중첩 비디오 서브블록으로 분할할 수 있다. 복수의 비중첩 비디오 서브블록 중 적어도 하나는 2개의 모션 벡터와 연관될 수 있다.

단계 1012에서, 디코더는 복수의 비중첩 비디오 서브블록 중 적어도 하나의 2개의 모션 벡터와 연관된 제1 참조 픽처

및 제2 참조 픽처

을 획득할 수 있다. 디스플레이 순서에서 제1 참조 픽처

는 현재 픽처 이전이고 제2 참조 픽처

는 현재 픽처 이후이다.

단계 1014에서, 디코더는 제1 참조 픽처

의 참조 블록으로부터 비디오 서브블록의 제1 예측 샘플

를 획득할 수 있다. i와 j는 현재 픽처와 하나의 샘플의 좌표를 나타낼 수 있다.

단계 1016에서, 디코더는 제2 참조 픽처

의 참조 블록으로부터 비디오 서브블록의 제2 예측 샘플

를 획득할 수 있다.

단계 1018에서, 디코더는 제1 예측 샘플

및 제2 예측 샘플

의 수평 그라디언트 값 및 수직 그라디언트 값을 획득할 수 있다.

단계 1020에서, 디코더는 비디오 블록이 아핀 모드에서 코딩되지 않으면 BDOF에 기초하여 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득할 수 있다.

단계 1022에서, 디코더는 비디오 블록이 아핀 모드에서 코딩될 때 PROF에 기초하여 비디오 서브블록의 샘플에 대한 모션 리파인먼트를 획득할 수 있다.

단계 1024에서, 디코더는 모션 리파인먼트에 기초하여 비디오 블록의 예측 샘플을 획득할 수 있다.

BDOF, PROF 및 DMVR을 인에이블/디스에이블하는 하이레벨 신호 신택스(High-level signaling syntax to enable/disable the BDOF, PROF and DMVR)

기존 BDOF 및 PROF 설계에서는 두 가지 코딩 도구의 인에이블/디스에이블을 개별적으로 제어하기 위해 2개의 다른 플래그가 SPS에서 시그널링된다. 그렇지만, BDOF와 PROF 사이의 유사성으로 인해, 하나의 동일한 제어 플래그에 의해 BDOF 및 PROF를 하이 레벨에서 인에이블 및/또는 디스에이블하는 것이 더 바람직하다. 이러한 고려를 바탕으로 표 1에서 볼 수 있듯이 sps_bdof_prof_enabled_flag라고 하는 하나의 새로운 플래그가 SPS에 도입되었다. 표 1에서 볼 수 있듯이, BDOF의 인에이블 및 디스에이블은 sps_bdof_prof_enabled_flag에만 의존한다. 플래그가 1과 같을 때, BDOF는 시퀀스의 비디오 콘텐츠를 코딩하기 위해 인에이블된다. 그렇지 않고 sps_bdof_prof_enabled_flag가 0이면 BDOF가 적용되지 않는다. 한편, sps_bdof_prof_enabled_flag 외에 SPS 레벨 아핀 제어 플래그, 즉 sps_affine_enabled_flag도 조건부로 PROF를 인에이블 및 디스에이블하는 데 사용된다. sps_bdof_prof_enabled_flag 및 sps_affine_enabled_flag 플래그가 모두 1이면 PROF는 아핀 모드에서 코딩된 모든 코딩 블록에 대해 인에이블된다. 플래그 sps_bdof_prof_enabled_flag가 1이고 sps_affine_enabled_flag가 0이면 PROF가 디스에이블된다.

도 11은 본 개시에 따라 비디오 신호를 디코딩하기 위한 BDOF 및 PROF의 방법을 도시한다. 방법은 예를 들어 디코더에 적용될 수 있다.

단계 1110에서, 디코더는 비디오 블록과 연관된 제1 참조 픽처

및 제2 참조 픽처

를 획득할 수 있다. 디스플레이 순서에서 제1 참조 픽처

는 현재 픽처 이전이고 제2 참조 픽처

는 현재 픽처 이후이다.

단계 1112에서, 디코더는 제1 참조 픽처

내의 참조 블록으로부터 비디오 블록의 제1 예측 샘플

단계 1114에서, 디코더는 제2 참조 픽처

내의 참조 블록으로부터 비디오 블록의 제2 예측 샘플

를 획득할 수 있다.

단계 1116에서 디코더는 적어도 하나의 플래그를 수신할 수 있다. 적어도 하나의 플래그는 SPS의 인코더에 의해 시그널링되고 BDOF 및 PROF가 현재 비디오 블록에 대해 인에이블되는지를 시그널링한다.

단계 1118에서, 디코더는, 적어도 하나의 플래그가 인에이블될 때, PROF를 적용하여 비디오 블록이 아핀 모드에서 코딩될 때 제1 예측 샘플

및 제2 예측 샘플

에 기초하여 비디오 블록의 모션 리파인먼트를 유도할 수 있다.

단계 1120에서, 디코더는 비디오 블록에 적용되는 BDOF에 기초하여 비디오 블록의 샘플에 대한 모션 리파인먼트를 획득할 수 있다.

단계 1122에서, 디코더는 모션 리파인먼트에 기초하여 비디오 블록의 예측 샘플을 획득할 수 있다.

seq_parameter_set_rbsp(　) {	설명자
......
if( sps_temporal_mvp_enabled_flag )
sps_sbtmvp_enabled_flag	u(1)
sps_amvr_enabled_flag	u(1)
sps_bdof_prof_enabled_flag	u(1)
sps_smvd_enabled_flag	u(1)
sps_affine_amvr_enabled_flag	u(1)
sps_dmvr_enabled_flag	u(1)
if(sps_bdof_prof_enabled_flag \|\| sps_dmvr_enabled_flag)
sps_bdof_prof_dmvr_slice_present_flag	u(1)
sps_mmvd_enabled_flag	u(1)
sps_isp_enabled_flag	u(1)
sps_mrl_enabled_flag	u(1)
sps_mip_enabled_flag	u(1)
sps_cclm_enabled_flag	u(1)
......
}

제안된 BDOF/PROF 인에이블/디스에이블 플래그가 있는 수정된 SPS 신택스 테이블sps_bdof_prof_enabled_flag는 양방향 광 흐름 및 광 흐름을 사용한 예측 리파인먼트가 인에이블되는지 여부를 지정한다. sps_bdof_prof_enabled_flag가 0과 같으면 양방향 광 흐름과 광 흐름을 사용한 예측 리파인먼트가 모두 디스에이블된다. sps_bdof_prof_enabled_flag가 1과 같고 sps_affine_enabled_flag가 1과 같을 때, 양방향 광 흐름과 광 흐름을 사용한 예측 리파인먼트가 모두 인에이블된다. 그렇지 않으면(sps_bdof_prof_enabled_flag는 1이고 sps_affine_enabled_flag는 0이다) 양방향 광 흐름이 인에이블되고 광 흐름을 사용한 예측 세분화가 디스에이블된다.

sps_bdof_prof_dmvr_slice_preset_flag는 slice_disable_bdof_prof_dmvr_flag 플래그가 슬라이스 레벨에서 시그널링되는 때를 지정한다. 플래그가 1일 때, 현재 시퀀스 파라미터 세트를 참조하는 각 슬라이스에 대해 slice_disable_bdof_prof_dmvr_flag 신택스가 시그널링된다. 그렇지 않으면(sps_bdof_prof_dmvr_slice_present_flag가 0과 같을 때) 슬라이스 수준에서 slice_disabled_bdof_prof_dmvr_flag 구문이 신호를 받지 않는다. 플래그가 신호를 받지 않으면 0으로 유추된다.

위의 SPS BDOF/PROF 신택스에 더하여, 슬라이스 레벨에서 다른 제어 플래그를 도입하는 것이 제안되며, 즉 BDOF, PROF 및 DMVR을 디스에이블하기 위해 slice_disable_bdof_prof_dmvr_flag가 도입된다. DMVR 또는 BDOF/PROF sps 레벨 제어 플래그 중 하나가 참일 때 SPS에서 시그널링되는 SPS 플래그 sps_bdof_prof_dmvr_slice_present_flag는 slice_disable_bdof_prof_dmvr_flag의 존재를 나타내기 위해 사용된다. 존재한다면, slice_disable_bdof_dmvr_flag가 시그널링된다. 표 2는 제안된 신택스가 적용된 후 수정된 슬라이스 헤더 신택스 테이블을 나타낸다.

seq_parameter_set_rbsp(　) {

if( sps_bdof_prof_dmvr_slice_present_flag )
slice_disable_bdof_prof_dmvr_enabled_flag	u(1)
......

제안된 BDOF/PROF 인에이블/디스에이블 플래그가 있는 수정된 SPS 신택스 테이블제어점 MV 차이에 따른 PROF 조기 종료(Early termination of the PROF based on control-point MV difference)

현재 PROF 설계에 따르면, PROF는 하나의 코딩 블록이 아핀 모드에 의해 예측될 때 항상 호출된다. 그렇지만, 수학식 (6) 및 (7)에서와 같이, 하나의 아핀 블록의 서브블록 MV는 제어점 MV로부터 유도된다. 따라서 제어점 MV 간의 차이가 상대적으로 작을 때 각 샘플 위치의 MV는 일정해야 한다. 이러한 경우 PROF 적용의 이점은 매우 제한적일 수 있다. 따라서, PROF의 평균 계산 복잡도를 더 줄이기 위해 하나의 4x4 서브블록 내에서 샘플별 MV와 서브블록별 MV 간의 최대 MV 차이를 기반으로 PROF 기반 샘플 리파인먼트를 적응적으로 건너뛰는 것이 제안된다. 하나의 4x4 서브블록 내 샘플의 PROF MV 차이 값은 서브블록 중심에 대해 대칭이므로 최대 수평 및 수직 PROF MV 차이는 수학식 10에 따라 다음과 같이 계산할 수 있다.

(19)

본 개시에 따르면, MV 차이가 PROF 프로세스를 건너뛸 만큼 충분히 작은 때를 결정하는데 상이한 메트릭이 사용될 수 있다.

일 예에서, 수학식 (19)에 기초하여, 절대 최대 수평 MV 차이와 절대 최대 수직 MV 차이의 합이 하나의 미리 정의된 임계값보다 크지 않을 때 PROF 프로세스는 건너뛸 수 있으며, 즉,

(20)

다른 예에서

및

의 임계값보다 크지 않을 때 PROF 프로세스를 건너뛸 수 있다.

(21)

여기서 MAX(a, b)는 입력 값 a와 b 중 더 큰 값을 반환하는 함수이다.

위의 2개의 예에 추가하여, 본 개시의 정신은 MV 차이가 PROF 프로세스를 건너뛸 만큼 충분히 작은지를 결정하는 데 다른 메트릭이 사용되는 경우에도 적용 가능하다.

위의 방법에서, PROF는 MV 차이의 크기에 기초하여 스킵된다. 한편, MV 차이에 더하여, PROF 샘플 리파인먼트도 하나의 모션 보상된 블록에서 각 샘플 위치의 로컬 그라디언트 정보를 기반으로 계산된다. 더 적은 고주파수 세부 사항(예를 들어, 평평한 영역)을 포함하는 예측 블록의 경우 그라디언트 값이 작은 경향이 있으므로 유도된 샘플 리파인먼트의 값이 작아야 한다. 이를 고려하여, 본 발명의 다른 실시예에 따르면, 충분한 고주파수 정보를 포함하는 블록의 예측 샘플에만 PROF를 적용하는 것을 제안한다.

PROF 프로세스가 블록에 대해 호출될 가치가 있도록 블록이 충분한 고주파수 정보를 포함하는지 여부를 결정하는 데 다른 메트릭이 사용될 수 있다. 일 예에서, 예측 블록 내 샘플의 그라디언트들의 평균 크기(즉, 절댓값)에 기초하여 결정이 이루어진다. 평균 크기가 하나의 임계값보다 작은 경우 예측 블록은 평평한 영역으로 분류되며 PROF를 적용하지 않아야 한다. 그렇지 않으면 예측 블록은 PROF가 여전히 적용될 수 있는 충분한 고주파수 세부 사항을 포함하는 것으로 간주된다. 다른 예에서, 예측 블록 내 샘플의 그라디언트의 최대 크기가 사용될 수 있다. 최대 크기가 하나의 임계값보다 작으면 블록에 대해 PROF를 건너뛴다. 또 다른 예에서, 예측 블록의 최대 샘플 값과 최소 샘플 값 사이의 차이, Imax - Imin은 PROF가 블록에 적용될 것인지를 결정하기 위해 사용될 수 있다. 이러한 차이 값이 임계값보다 작으면 해당 블록에 대해 PROF를 건너뛴다. 본 개시의 취지는 주어진 블록에 충분한 고주파수 정보가 포함되어 있는지 여부를 결정하는 데 일부 다른 메트릭이 사용되는 경우에도 적용할 수 있다는 점에 주목할 가치가 있다.

아핀 모드에 대한 PROF와 LIC 간의 상호작용을 처리(Handle the interaction between the PROF and the LIC for affine mode)

현재 블록의 이웃하는 재구성된 샘플(즉, 템플릿)이 선형 모델 파라미터를 유도하기 위해 LIC에 의해 사용되기 때문에, 하나의 LIC 코딩 블록의 디코딩은 이웃하는 샘플의 전체 재구성에 의존한다. 이러한 상호 의존성으로 인해 실제 하드웨어 구현을 위해서는 인접 재구성된 샘플이 LIC 파라미터 유도에 사용할 수 있게 되는 재구성 단계에서 LIC가 수행되어야 한다. 블록 재구성은 순차적으로(즉, 하나씩) 수행되어야 하기 때문에 처리량(즉, 단위 시간당 병렬로 수행할 수 있는 작업량)은 LIC 코딩 블록에 다른 코딩 방법을 공동으로 적용할 때 고려해야 할 중요한 문제 중 하나이다. 이 섹션에서는 PROF와 LIC가 모두 아핀 모드로 인에이블된 경우 상호 작용을 처리하기 위해 두 가지 방법을 제안한다.

본 개시의 제1 실시예에서, 하나의 아핀 코딩 블록에 대해 PROF 모드 및 LIC 모드를 배타적으로 적용하는 것이 제안된다. 앞서 논의한 바와 같이 기존 설계에서 PROF는 시그널링 없이 모든 아핀 블록에 암묵적으로 적용되는 반면, 하나의 LIC 플래그는 코딩 블록 수준에서 시그널링되거나 상속되어 하나의 아핀 블록에 LIC 모드가 적용되는지 여부를 나타낸다. 본 개시의 방법에 따르면, 하나의 아핀 블록의 LIC 플래그 값을 기반으로 PROF를 조건부로 적용하는 것을 제안한다. 플래그가 1인 경우 LIC 가중치 및 오프셋을 기반으로 전체 코딩 블록의 예측 샘플을 조정하여 LIC만 적용된다. 그렇지 않은 경우(즉, LIC 플래그가 0이다), PROF는 광 흐름 모델을 기반으로 각 서브블록의 예측 샘플을 리파인먼트하기 위해 아핀 코딩 블록에 적용된다.

도 17a는 PROF와 LIC가 동시에 적용되는 것이 허용되지 않는 제안된 방법에 기반한 디코딩 프로세스의 예시적인 흐름도를 도시한다.

도 17a는 본 개시에 따라, PROF 및 LIC가 허용되지 않는 제안된 방법에 기초한 디코딩 프로세스의 예시를 도시한다. 디코딩 프로세스(1720)는 LIC 플래그가 온 되었는가? 1722 단계, LIC 1724 및 PROF 1726를 포함한다. LIC 플래그가 온 되었는가? 1722는 LIC 플래그가 설정되어 있는지 여부를 판단하는 단계로, 해당 판단에 따라 다음 단계로 넘어간다. LIC 1724는 LIC 플래그가 설정된 LIC의 응용 프로그램이다. PROF 1726은 LIC 플래그가 설정되지 않은 경우 PROF의 응용 프로그램이다.

본 개시의 제2 실시예에서, 하나의 아핀 블록의 예측 샘플을 생성하기 위해 PROF 이후에 LIC를 적용하는 것이 제안된다. 구체적으로, 서브블록 기반 아핀 모션 보상이 완료된 후, 예측 샘플은 PROF 샘플 리파인먼트를 기반으로 리파인먼트되며; 그런 다음 LIC는 다음과 같이 블록의 최종 예측 샘플을 얻기 위해 PROF 조정 예측 샘플에 가중치 및 오프셋(템플릿 및 해당 참조 샘플에서 유도됨) 쌍을 적용하여 수행된다.

(22)

여기서 P_r[x + v]는 모션 벡터 v가 나타내는 현재 블록의 참조 블록이고; α 및 β는 LIC 가중치 및 오프셋이고; P[x]는 최종 예측 블록이고; ΔI[x]는 (17)에서 파생된 PROF 리파인먼트이다.

도 17b는 본 개시에 따른 PROF 및 LIC가 적용되는 디코딩 프로세스의 예시를 도시한다. 디코딩 프로세스(1760)는 아핀 모션 보상(1762), LIC 파라미터 도출(1764), PROF(1766) 및 LIC 샘플 조정(1768)을 포함한다. 아핀 모션 보상(1762)은 아핀 모션을 적용하고 LIC 파라미터 도출(1764) 및 PROF(1766)에 대한 입력이다. LIC 파라미터를 유도하기 위해 LIC 파라미터 도출(1764)이 적용된다. PROF(1766)은 PROF를 적용하고 있다. LIC 샘플 조정(1768)은 PROF와 결합되는 LIC 가중치 및 오프셋 파라미터이다.

도 17b는 제2 방법이 적용된 경우의 예시적인 디코딩 워크플로우를 예시한다. 도 17b에 도시된 바와 같이, LIC는 템플릿(즉, 인접 복원 샘플)을 사용하여 LIC 선형 모델을 계산하기 때문에 인접 복원 샘플을 사용할 수 있게 되는 즉시 LIC 파라미터를 유도할 수 있다. 이는 PROF 개선과 LIC 파라미터 도출이 동시에 수행될 수 있음을 의미한다.

LIC 가중치 및 오프셋(즉, α 및 β) 및 PROF 개선(즉, ΔI[x])은 일반적으로 부동 숫자이다. 친숙한 하드웨어 구현의 경우 이러한 부동 숫자 연산은 일반적으로 하나의 정수 값을 곱한 다음 비트 수만큼 우측 시프트 연산을 수행하여 구현된다. 기존 LIC 및 PROF 설계에서는 2개의 도구가 별도로 설계되었으므로 NLIC 비트와 NPROF 비트에 의한 2개의 서로 다른 우측 시프트가 두 단계에서 적용된다.

본 개시의 제3 실시예에 따르면, PROF 및 LIC가 아핀 코딩 블록에 공동으로 적용되는 경우 코딩 이득을 개선하기 위해, LIC 기반 및 PROF 기반 샘플 조정을 고정밀도로 적용하는 것이 제안된다. 이것은 2개의 우측 시프트 연산을 하나로 결합하고 수행되고 마지막에 적용하여 현재 블록의 ((12)에 나타난 바와 같은) 최종 예측 샘플을 도출한다.

위의 방법은 주문형 집적 회로(application specific integrated circuits, ASIC), 디지털 신호 프로세서(digital signal processor, DSP), 디지털 신호 처리 장치(digital signal processing devices, DSPD), 프로그램 가능 논리 장치(programmable logic devices), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 기타 전자 부품을 포함하는 하나 이상의 회로를 포함하는 장치를 사용하여 구현될 수 있다. 장치는 위에서 설명된 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 구성요소와 조합하여 회로를 사용할 수 있다. 위에 개시된 각각의 모듈, 서브-모듈, 유닛, 또는 서브-유닛은 하나 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.

도 19는 사용자 인터페이스(1960)와 결합된 컴퓨팅 환경(1910)을 도시한다. 컴퓨팅 환경(1910)은 데이터 처리 서버의 일부일 수 있다. 컴퓨팅 환경(1910)은 프로세서(1920), 메모리(1940), 및 I/O 인터페이스(1950)를 포함한다.

프로세서(1920)는 일반적으로 디스플레이, 데이터 획득, 데이터 통신 및 이미지 처리와 관련된 작업과 같은 컴퓨팅 환경(1910)의 전체 작업을 제어한다. 프로세서(1920)는 전술한 방법의 단계의 전부 또는 일부를 수행하기 위한 명령을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 게다가, 프로세서(1920)는 프로세서(1920)와 다른 구성요소 사이의 상호작용을 용이하게 하는 하나 이상의 모듈을 포함할 수 있다. 프로세서는 CPU(Central Processing Unit), 마이크로프로세서, 단일 칩 머신, GPU 등일 수 있다.

메모리(1940)는 컴퓨팅 환경(1910)의 작동을 지원하기 위해 다양한 유형의 데이터를 저장하도록 구성된다. 메모리(1940)는 미리 결정된 소프트웨어(1942)를 포함할 수 있다. 이러한 데이터의 예는 컴퓨팅 환경(1910)에서 작동되는 임의의 애플리케이션 또는 방법에 대한 명령을 포함한다. 비디오 데이터 세트, 이미지 데이터 등을 포함할 수 있다. 메모리(1940)는 정적 랜덤 액세스 메모리(static random access memory, SRAM), 전기적으로 소거 가능한 프로그램 가능한 읽기 전용 메모리(electrically erasable programmable read-only memory, EEPROM), 지울 수 있는 프로그램 가능한 읽기 전용 메모리(erasable programmable read-only memory, EPROM), 프로그램 가능한 읽기 전용 메모리(programmable read-only memory, PROM), 읽기 전용 메모리(read-only memory, ROM), 자기 메모리, 플래시 메모리, 자기 또는 광 디스크와 같은 휘발성 또는 비휘발성 메모리 장치, 또는 이들의 조합을 사용하여 구현될 수 있다.

I/O 인터페이스(1950)는 키보드, 클릭 휠, 버튼 등과 같은 주변 인터페이스 모듈과 프로세서(1920) 사이의 인터페이스를 제공한다. 버튼은 홈 버튼, 스캔 시작 버튼 및 스캔 중지 버튼을 포함할 수 있지만 이에 국한되지 않는다. I/O 인터페이스(1950)는 인코더 및 디코더와 결합될 수 있다.

일부 실시예에서, 전술된 방법을 수행하기 위해 컴퓨팅 환경(1910)에서 프로세서(1920)에 의해 실행 가능한, 메모리(1940)에 포함된 것과 같은, 복수의 프로그램을 포함하는 비 일시적 컴퓨터 판독 가능형 저장 매체가 또한 제공된다. 예를 들어, 비 일시적 컴퓨터 판독 가능형 저장 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등일 수 있다.

비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의해 실행하기 위한 복수의 프로그램을 그 안에 저장하며, 여기서 복수의 프로그램은 하나 이상의 프로세서에 의해 실행될 때 컴퓨팅 장치가 모션 예측을 위해 위에서 설명한 방법을 수행한다.

여기에서, 컴퓨팅 환경(1910)은 위의 방법을 수행하기 위해, 하나 이상의 주문형 집적 회로(application-specific integrated circuits, ASIC), 디지털 신호 프로세서(digital signal processors, DSP), 디지털 신호 처리 장치(digital signal processing devices, DSPD), 프로그램 가능 논리 장치(programmable logic devices, PLD), 필드 프로그램 가능 게이트 어레이(field-programmable gate arrays, FPGA), 그래픽 처리 장치(graphical processing units, GPU), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 기타 전자 부품으로 구현될 수 있다.

본 개시의 설명은 예시의 목적으로 제시되었으며 본 개시를 완전하게 하거나 제한하도록 의도되지 않는다. 많은 수정, 변형 및 대안적인 구현이 전술한 설명 및 관련 도면에 제시된 교시의 이점을 갖는 당업자에게 명백할 것이다.

본 개시의 원리를 설명하고 당업자가 다양한 구현에 대한 개시를 이해할 수 있게 하고 특정 용도를 고려되는 것과 같이 기본 원리 및 적절한 다양한 수정을 갖는 다양한 구현을 가장 잘 활용할 수 있도록 하기 위해 예를 선택하고 설명하였다. 따라서, 본 개시의 범위는 개시된 구현의 특정 예에 제한되지 않고 수정 및 다른 구현이 본 개시의 범위 내에 포함되도록 의도되는 것으로 이해되어야 한다.

Claims

비디오 신호를 인코딩하기 위한 양방향 광 흐름(bi-directional optical flow, BDOF) 및 광 흐름을 사용한 예측 리파인먼트(prediction refinement with optical flow, PROF)의 통합 방법으로서,
비디오 블록을 복수의 비중첩 비디오 서브블록으로 분할하는 단계 - 상기 복수의 비중첩 비디오 서브블록 중 적어도 하나는 2개의 모션 벡터와 연관됨 -;
상기 복수의 비중첩 비디오 서브블록 중 적어도 하나의 2개의 모션 벡터와 연관된 제1 참조 픽처 및 제2 참조 픽처를 결정하는 단계 - 디스플레이 순서에서 상기 제1 참조 픽처는 현재 픽처 이전이고 상기 제2 참조 픽처는 상기 현재 픽처 이후임 - ;
상기 제1 참조 픽처로부터 상기 비디오 서브블록의 제1 예측 샘플을 결정하는 단계;
상기 제2 참조 픽처로부터 상기 비디오 서브블록의 제2 예측 샘플을 결정하는 단계;
BDOF 및 PROF를 위해 상기 제1 예측 샘플 및 상기 제2 예측 샘플의 수평 그라디언트 값 및 수직 그라디언트 값을 결정하는 단계 - 상기 수평 그라디언트 값 및 상기 수직 그라디언트 값은 우측 시프트 연산을 적용하여 결정됨 -;
상기 BDOF 또는 상기 PROF에 기초하여 상기 비디오 서브블록의 샘플에 대한 모션 리파인먼트(motion refinements)를 결정하는 단계;
상기 모션 리파인먼트에 기초하여 상기 비디오 블록의 예측 샘플을 결정하는 단계; 및
상기 결정된 예측 샘플에 연관된 예측 관련 정보를 비디오 비트스트림에서 전송하는 단계
를 포함하는 BDOF 및 PROF의 통합 방법.
제1항에 있어서,
상기 제1 예측 샘플 및 상기 제2 예측 샘플의 수평 그라디언트 값 및 수직 그라디언트 값을 결정하는 단계는:
대응하는 정수 샘플 위치를 복사함으로써 상기 비디오 서브블록의 제1 및 제2 예측 블록의 상측, 하측, 좌측 및 우측 경계를 따라 확장된 샘플을 유도하는 단계
를 포함하는, BDOF 및 PROF의 통합 방법.
제2항에 있어서,
확장된 샘플을 유도하는 단계는:
좌측 정수 참조 샘플을 분할 샘플(fractional sample) 위치에 복사함으로써 좌측 및 우측 경계를 따라 확장된 샘플을 추가하는 단계; 및
상부 정수 참조 샘플을 분할 샘플 위치에 복사함으로써 상측 및 하측 경계를 따라 확장된 샘플을 추가하는 단계
를 포함하는, BDOF 및 PROF의 통합 방법.
제2항에 있어서,
확장된 샘플을 유도하는 단계는:
수평 방향에서 각각의 분할 샘플 위치에 가장 가까운 정수 참조 샘플을 복사함으로써 좌측 및 우측 경계를 따라 확장 샘플을 유도하는 단계; 및
수직 방향에서 각각의 분할 샘플 위치에 가장 가까운 정수 참조 샘플을 복사함으로써 상측 및 하측 경계를 따라 확장된 샘플을 유도하는 단계
를 포함하는, BDOF 및 PROF의 통합 방법.
제1항에 있어서,
각각의 비중첩 비디오 서브블록은 너비가 4개의 샘플이고 높이가 4개의 샘플인, BDOF 및 PROF의 통합 방법.
컴퓨팅 디바이스로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서에 의해 실행 가능한 명령을 저장하는 비 일시적 컴퓨터 판독 가능형 저장 매체
를 포함하며,
상기 하나 이상의 프로세서는 제1항 내지 제5항 중 어느 한 항의 방법을 수행하도록 구성되어 있는, 컴퓨팅 디바이스.
컴퓨터 판독 가능형 저장 매체로서,
제1항 내지 제5항 중 어느 한 항의 비디오 데이터 인코딩 방법에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능형 저장 매체.
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 제1항 내지 제5항 중 어느 한 항의 방법을 수행하게 하는 복수의 명령을 포함하는 컴퓨터 프로그램.