KR20200081386A

KR20200081386A - 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스

Info

Publication number: KR20200081386A
Application number: KR1020207013022A
Authority: KR
Inventors: 피에르 앙드리봉; 마리-쟝 꼴라티; 다비드 뚜즈; 조안 리악
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2017-11-09
Filing date: 2018-11-06
Publication date: 2020-07-07
Anticipated expiration: 2038-11-06
Also published as: CN111316625A; MX2020004794A; BR112020008467A2; EP3484137A1; CN111316625B; EP3707891B1; US11544824B2; KR102810833B1; US20200394775A1; WO2019094356A1; EP3707891A1

Abstract

본 원리들은 제2 이미지를 생성하기 위해 제1 이미지에 컬러 영역 매핑 프로세스를 적용하는 것 -제1 및 제2 이미지의 콘텐츠는 유사하지만 제1 및 제2 이미지의 각각의 컬러 공간은 상이함- 은, 적어도 비트스트림으로부터 획득된 컬러 영역 매핑 모드에 의해 컬러 영역 매핑 프로세스를 제어하는 단계 -컬러 영역 매핑 모드는 적어도 두 개의 프리셋 모드들 및 명시적 파라미터 모드를 포함하는 세트에 속함-; 및 획득된 컬러 영역 매핑 모드가 명시적 파라미터 모드인 경우 및 컬러 영역 매핑 프로세스가 명시적 파라미터 모드에 대해 가능하지 않은 경우, 추가적인 데이터로부터 결정된 대체 컬러 영역 매핑 모드에 의해 컬러 영역 매핑 프로세스를 제어하는 단계를 수반한다.

Description

제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스

본 원리들은 일반적으로 높은 동적 범위(High Dynamic Range)(HDR) 이미지의 분배를 위한 이미지/비디오 프로세싱에 관한 것이다. 특히, 그러나 배타적이지는 않게, 본 원리들의 기술 분야는 컬러 공간(color space)에서 차이가 나는 제2 이미지를 생성하기 위해 제1 이미지에 컬러 영역 매핑 프로세스(color gamut mapping process)를 적용함으로써 제1 이미지로부터 제2 이미지를 생성하는 것에 관련되고, 컬러 영역 매핑 프로세스는 적어도 비트스트림(bitstream)으로부터 획득된 컬러 영역 매핑 모드(color gamut mapping mode)에 의해 제어된다.

본 섹션은 이하에서 설명 및/또는 청구되는 본 원리들의 다양한 양태들과 관련될 수 있는 기술의 다양한 양태들을 독자에게 소개하도록 의도된다. 이 논의는 본 원리들의 다양한 양태들의 더 나은 이해를 용이하게 하기 위한 배경 정보를 독자에게 제공하는 데 도움이 될 것으로 여겨진다. 따라서, 이 문장들은 선행기술의 인정으로서가 아닌, 이러한 견지에서 읽혀야 한다는 것이 이해되어야 한다.

이하에서, 이미지는 이미지(또는 비디오)의 픽셀 값들에 관한 모든 정보, 및 예를 들어 이미지(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 임의의 다른 디바이스에 의해 사용될 수 있는 모든 정보를 명시하는 특정 이미지/비디오 포맷에서의 샘플들(픽셀 값들)의 하나의 또는 몇몇 어레이들을 포함한다. 이미지는 샘플들의 제1 어레이의 형태로 된 적어도 하나의 컴포넌트, 통상적으로 루마(luma)(또는 휘도) 컴포넌트, 및 아마도, 샘플들의 적어도 하나의 다른 어레이의 형태로 된 적어도 하나의 다른 컴포넌트, 통상적으로 컬러 컴포넌트를 포함한다. 또는, 등가적으로, 동일한 정보는 또한, 전통적인 3-색성(tri-chromatic) RGB 표현과 같은 컬러 샘플들의 어레이들의 세트에 의해 표현될 수 있다.

픽셀 값은 C개의 값들의 벡터에 의해 표현되고, 여기서 C는 컴포넌트들의 개수이다. 벡터의 각각의 값은 픽셀 값들의 최대 동적 범위를 정의하는 비트들의 수로 표현된다.

낮은 동적 범위 이미지들(Low-Dynamic-Range images)(LDR 이미지들)은 그 휘도 값들이 제한된 비트 수(가장 빈번하게는 8 또는 10)로 표현되는 이미지들이다. 이 제한된 표현은, 특히 어두운 휘도 범위와 밝은 휘도 범위에서, 작은 신호 변동들의 정확한 렌더링을 허용하지 않는다. 높은 동적 범위 이미지들(HDR 이미지들)에서, 그 전체 범위에 걸쳐 신호의 높은 정확도를 유지하기 위해 신호 표현이 확장된다. HDR 이미지들에서, 휘도 레벨들을 나타내는 픽셀 값들은 통상적으로 부동 소수점 포맷(각각의 컴포넌트에 대해 32-비트 또는 16-비트, 즉 부동 또는 절반-부동)으로 표현되며, 가장 대중적인 포맷은 openEXR 절반-부동 포맷(RGB 성분 당 16-비트, 즉 픽셀 당 48 비트) 또는 통상적으로 적어도 16 비트인 긴 표현(long representation)을 갖는 정수들이다.

고 효율 비디오 코딩(High Efficiency Video Coding)(HEVC) 표준(ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265)의 도입은 울트라 HD 방송 서비스들과 같은 향상된 뷰잉 경험(viewing experience)을 갖는 새로운 비디오 서비스들의 배치를 가능하게 한다. 증가된 공간 해상도에 더하여, 울트라 HD는 (표준 컬러 영역(standard color gamut)(SCG)을 갖는) 현재 배치된 표준 동적 범위(standard dynamic range)(SDR) HD-TV보다 더 넓은 컬러 영역(wider color gamut)(WCG) 및 더 높은 동적 범위(HDR)를 가져올 수 있다. HDR/WCG 비디오의 표현 및 코딩에 대한 상이한 솔루션들이 제안되었다(SMPTE 2014, "High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays", 또는 SMPTE ST 2084, 2014, 또는 Diaz, R., Blinstein, S. 및 Qu, S. "Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline", SMPTE Motion Imaging Journal, Vol. 125, Issue 1. 2016년 2월, pp 14-21).

디코딩 및 렌더링 디바이스들과의 SDR 역호환성은 방송(broadcasting) 또는 멀티캐스팅 시스템들과 같은 일부 비디오 분배 시스템들에서 중요한 특징이다.

이중-계층 코딩이 이러한 특징을 지원하는 하나의 솔루션이다. 그러나, 이것의 다중-계층 설계로 인해, 이 솔루션이 모든 분배 워크플로우들에 적응되는 것은 아니다.

대안은 ETSI 권고 ETSI TS 103 433-1 (2017-08)에 의해 정의되는 바와 같은 단일 계층 HDR 분배 솔루션이다. 독자는 또한 추가의 세부사항들을 위해 IBC 2016 논문("A single-Layer HDR video coding framework with SDR compatibility", E. Francois 및 L. Van de Kerkhof, IBC 2016)을 참조할 수 있다. 이 단일 계층 분배 솔루션은 SDR 호환 가능하고, 이미 배치된 SDR 분배 네트워크들 및 서비스들을 활용한다. 이는 HDR-가능 CE 디바이스들 상에서 고품질 HDR 렌더링을 가능하게 하면서도, 또한 SDR CE 디바이스들 상에서 고품질 SDR 렌더링을 제공한다. 이 단일 계층 분배 솔루션은 단일 계층 코딩/디코딩 프로세스에 기초하고 코덱 독립적이다(10 비트 코덱이 추천된다). 이 단일 계층 분배 솔루션은 디코딩된 SDR 신호로부터 HDR 신호를 재구성하고 신호를 HDR-가능 CE 디바이스들에 적응시키기 위해 후처리 스테이지(post-processing stage)에서 사용될 수 있는 (비디오 프레임 또는 장면 당 몇 바이트의) 사이드 메타데이터(side metadata)를 사용한다. 이 단일 계층 분배 솔루션은 HDR 콘텐츠의 품질(예술적 의도)을 보존하고, 즉 4:2:0 크로마 샘플링(소위 HEVC 메인 10 프로필)을 갖는 샘플 당 8-비트 내지 10-비트의 비트 깊이를 갖는 HEVC 코딩과 비교하여 SDR 호환성 특징으로 인한 가시적인 손상이 없다.

이러한 품질의 이점을 위해, 다양한 HDR 비트스트림들에 대해 전처리/후처리 및 메타데이터를 포함하는 대응하는 방법들이 제안되었다. 따라서, ETSI 권고 ETSI TS 103 433은 3개의 파트의 SL-HDRx로 분할되고, 각각의 파트는 상이한 분배 워크플로우들을 다룬다. SL-HDR1로 지칭되는 ETSI 권고 ETSI TS 103 433-1 (2017-08)은 SDR 비디오에 기초하여 HDR 비디오 콘텐츠를 송신하기 위한 역호환성 시스템을 개시한다. SL-HDR2로 지칭되는 장래의 ETSI 권고 ETSI TS 103 433-2는 PQ(지각 양자화 전달 함수(Perceptual Quantization transfer function)) 비디오에 대한 디스플레이 적응을 위해 초안이 작성되어야 한다. SL-HDR3로 지칭되는 장래의 ETSI 권고 ETSI TS 103 433-3은 HLG(하이브리드 로그-감마 전달 함수(Hybrid Log-Gamma transfer function)) 비디오에 대한 디스플레이 적응을 위한 시스템을 위해 초안이 작성된다.

특히, ETSI TS 103 433-1 (SL-HDR1)의 부록 D는 SDR-대-HDR 재구성 프로세스의 입력 SDR 픽처(picture)가 (변수 sdrPicColourSpace에 의해 명시된 바와 같은) BT.709 컬러 영역에서 제공되고, (변수 hdrPicColourSpace에 의해 명시된 바와 같은) HDR 픽처의 타겟 BT.2020 컬러 영역과 상이할 때 적용할 수 있는 가역 색역 매핑 프로세스(invertible gamut mapping process)의 설명을 제공한다. 이 부록에서, 컬러 역호환성은 CE 리시버가 BT.709 컬러 공간만을 지원하는 한편, SL-HDR1을 사용하여 분배될 비디오가 BT.2020 컬러 공간을 지원할 수 있도록 정의된다. ETSI TS 103 433-2 (SL-HDR2)의 제2 안정된 초안(stable draft)의 부록 D 또한 SL-HDR1의 부록 D에 기초한 색역 매핑의 설명을 제공한다. 본 기술분야의 통상의 기술자는 부록 D에서 정의된 가역 색역 매핑이 SDR-대-HDR 재구성에 제한되는 것이 아니라, 컬러 공간들의 임의의 변경과 호환되는 것을 알 것이다. 특히, SL-HDR1의 부록 D는 프리셋 방법들(preset methods) 또는 구현자 종속 방법(implementer dependent method)의 명시적 파라미터들의 표시를 통해 CE 디바이스들에 시그널링되는 가역 색역 매핑을 위한 모드들의 세트를 개시한다. 일부 저가(low-cost) CE 디바이스들의 로우-엔드 회로는 명시적 파라미터 모드를 프로세싱하지 못할 수 있다. 이 경우, 이러한 디바이스들은 다음의 트레이드오프를 중재할 것이다: 색역 매핑을 폐기하거나 그들 자신의 "블라인드" 색역 매핑 연산자를 사용한다. 양쪽의 경우들에서, 사용자의 경험이 저하된다. 이것은 HDR-가능 CE 디바이스들 상의 고품질 HDR 렌더링을 위한 프리미엄 서비스 전달로서 SL-HDR 기술들을 지정할 때의 쟁점이다.

다음은 본 원리들의 일부 양태들의 기본적인 이해를 제공하기 위해 본 원리들의 간략화된 요약을 제시한다. 이러한 요약은 본 원리들의 광범위한 개요는 아니다. 이는 본 원리들의 핵심 또는 중요 요소들을 식별하도록 의도되지 않는다. 후속하는 요약은 단지 하기에 제공된 보다 상세한 설명에 대한 서문으로서 간략화된 형태로 본 원리들의 일부 양태들을 제시한다.

본 원리들은 제1 이미지로부터 제2 이미지를 생성하기 위한 방법으로 종래 기술의 약점들 중 적어도 하나의 개선에 착수하고, 방법은 제2 이미지를 생성하기 위해 제1 이미지에 컬러 영역 매핑 프로세스를 적용하는 단계를 포함하고, 제2 이미지의 콘텐츠는 제1 이미지의 콘텐츠와 유사하지만 제2 이미지의 컬러 공간은 제1 이미지의 컬러 공간과 상이하고, 컬러 영역 매핑 프로세스는 적어도, 비트스트림으로부터 획득된 컬러 영역 매핑 모드에 의해 제어되고, 컬러 영역 매핑 모드는 적어도 두 개의 프리셋 모드들 및 명시적 파라미터 모드를 포함하는 세트에 속한다. 방법은, 획득된 컬러 영역 매핑 모드가 명시적 파라미터 모드인 경우(gamutMappingMode가 1과 같음) 및 생성 방법의 컬러 영역 매핑 프로세스가 제1 이미지로부터 제2 이미지를 생성하기 위한 명시적 파라미터 모드에 대해 가능하지 않은 경우, 추가적인 데이터로부터 대체(substitute) 컬러 영역 매핑 모드를 결정하는 단계를 더 포함하고, 컬러 영역 매핑 프로세스는 다음으로 명시적 파라미터 모드 대신에 대체 컬러 영역 매핑 모드에 의해 제어된다.

실시예에 따르면, 컬러 영역 매핑 모드를 결정하는 단계는 적어도 두 개의 프리셋 모드들 중에서 컬러 영역 매핑 모드를 선택하는 단계를 더 포함한다.

실시예에 따르면, 추가적인 데이터는 제1 이미지의 컬러 공간, 제2 이미지의 컬러 공간, 제1 이미지를 생성하는 데 사용되는 마스터링 디스플레이(mastering display)의 컬러 공간, 제2 이미지를 생성하는 데 사용되는 마스터링 디스플레이의 컬러 공간 중 적어도 하나를 포함한다.

실시예에 따르면, 추가적인 데이터는 비트스트림에서 시그널링되는 메타데이터이다. 대안적인 실시예에 따르면, 추가적인 데이터는 응용 환경(applicative environment)에 의해 결정되며, 예를 들어 (이하 설명되는 hdrDisplayColourSpace와 같은) 추가적인 데이터는 애플리케이션의 구성 파일에 저장되거나 시그널링된다.

실시예에 따르면, 비트스트림은 SL-HDR1 비트스트림이다. 그 경우, 대체 컬러 영역 매핑 모드를 결정하는 단계는 hdrDisplayColourSpace가 "2"와 같을 때 BT.709에서 P3D65 색역으로의 프리셋 모드(preset mode BT.709 to P3D65 gamut)를 선택하는 단계(대체 gamutMappingMode는 "2"로 설정됨), 및 hdrDisplayColourSpace가 "1"과 같을 때 BT.709에서 BT.2020 색역으로의 프리셋 모드(preset mode BT.709 to BT.2020 gamut)를 선택하는 단계(대체 gamutMappingMode는 "3"으로 설정됨)를 포함한다.

일 실시예에서, 비트스트림은 SL-HDR2 비트스트림이다. 그 경우, 대체 컬러 영역 매핑 모드를 결정하는 단계는 hdrDisplayColourSpace가 "2"와 같을 때 P3D65에서 BT.709 색역으로의 프리셋 모드(preset mode P3D65 to BT.709 gamut)를 선택하는 단계(대체 gamutMappingMode는 "4"로 설정됨) 및 hdrDisplayColourSpace가 "1"과 같을 때 BT.2020에서 BT.709 색역으로의 프리셋 모드(preset mode BT.2020 to BT.709 gamut)를 선택하는 단계(대체 gamutMappingMode는 "5"로 설정됨)를 포함한다.

실시예에 따르면, 컬러 영역 매핑 프로세스는 지시자(indicator)에 따라 명시적 파라미터 모드를 사용할 수 없는 것으로 결정된다. 변형에서, 이 지시자는 방법을 구현하는 디바이스에 저장된다.

그들의 양태들의 다른 것들에 따르면, 본 원리들은 제1 이미지로부터 제2 이미지를 생성하기 위한 디바이스, 프로그램이 컴퓨터에서 실행될 때 개시된 방법의 단계들을 실행하는 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품, 이 프로그램이 컴퓨터에서 실행될 때 프로세서가 적어도 개시된 방법의 단계들을 수행하도록 야기하기 위한 명령어들이 그 안에 저장되어 있는 프로세서 판독 가능 매체에 관련된다. 방법에 대해 설명된 임의의 실시예들은 디바이스와 호환가능하다.

도면들에서, 본 원리들의 예시들이 도시된다.
도 1은 콘텐츠 생산과 HDR 및 SDR 디스플레이들로의 전달을 지원하는 엔드-투-엔드 워크플로우를 보여준다.
도 2는 도 1의 엔드-투-엔드 워크플로우의 단일-계층 분배 비트스트림 SL-HDRx에 따른 비제한적 예시들을 보여준다.
도 3a는 SL-HDRx 비트스트림을 갖는 전처리 스테이지를 더 상세히 묘사한다.
도 3b는 SL-HDR1 비트스트림을 갖는 후처리 스테이지를 더 상세히 묘사한다.
도 3c는 SL-HDR2 또는 SL-HDR3 비트스트림을 갖는 후처리 스테이지를 더 상세히 묘사한다.
도 4는 본 원리들의 예시들에 따른 제1 이미지로부터 제2 이미지를 생성하기 위한 방법의 단계들의 블록도를 보여준다.
도 5a는 제1 이미지로부터 제2 이미지를 생성하기 위한 방법의 단계들의 블록도의 SL-HDR 비트스트림에 따른 비제한적인 예시를 도시한다.
도 5b는 대체 색역 매핑 모드를 결정하는 단계의 블록도의 SL-HDR1 비트스트림에 따른 비제한적인 예시를 도시한다.
도 5c는 대체 색역 매핑 모드를 결정하는 단계의 블록도의 SL-HDR2 비트스트림에 따른 비제한적인 예시를 도시한다.
도 6은 본 원리들의 예시에 따른 디바이스의 아키텍처의 예시를 보여준다.
도 7은 본 원리들의 예시에 따른 통신 네트워크를 통해 통신하는 두 개의 원격 디바이스들을 보여준다.
유사하거나 동일한 요소들은 동일한 참조 번호로 참조된다.

본 원리들은 본 원리들의 예들이 도시된 첨부 도면들을 참조하여 하기에 더 완전하게 설명될 것이다. 그러나, 본 원리들은 많은 대안적인 형태들로 구현될 수 있으며, 본 명세서에서 제시되는 예들에 제한되는 것으로서 해석되지 않아야 한다. 따라서, 본 원리들은 다양한 수정들 및 대안적인 형태들이 가능하지만, 이들의 특정 예들은 도면들의 예시들로서 도시되며 본 명세서에 상세히 설명될 것이다. 그러나, 본 원리들을 개시된 특정 형태들로 제한하려는 의도는 존재하지 않지만, 반면 본 개시내용이 청구범위에 의해 정의된 바와 같은 본 원리들의 사상 및 범위 내에 드는 모든 수정들, 등가물들, 및 대안들을 커버할 것임이 이해되어야 한다.

본 명세서에서 이용되는 용어는 오직 특정 예들을 설명할 목적이며, 본 원리들의 제한인 것으로 의도되지 않는다. 여기에서 이용될 때, 단수 형태("a", "an" 및 "the")는 맥락상 명백하게 달리 나타나지 않는 한, 복수 형태도 물론 포함하도록 의도된다. 용어들 "포함한다(comprises)", "포함하는(comprising)", "포함한다(includes)" 및/또는 "포함하는(including)"은, 본 명세서에서 이용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 불가능하게 하지 않는다는 것이 추가로 이해될 것이다. 더욱이, 한 요소가 다른 요소에 "응답"하거나 "접속"되어 있다고 말해질 때, 한 요소가 다른 요소에 직접 응답하거나 접속되어 있을 수 있거나 개재 요소(intervening element)들이 존재할 수 있다. 반면, 요소가 다른 요소에 "직접 응답하는" 또는 "직접 접속되는" 것으로서 지칭될 때, 개재 요소들이 존재하지 않는다. 여기에서 사용될 때, "및/또는" 이라는 용어는 나열된 관련 항목들 중 하나 이상의 임의의 또는 모든 조합을 포함하며, "/"로서 축약될 수 있다.

제1, 제2 등의 용어가 본 명세서에서 다양한 요소를 설명하기 위해 사용될 수 있지만, 이들 요소는 이들 용어에 의해 제한되어서는 안 된다는 것을 이해할 것이다. 이 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 본 원리들의 교시로부터 벗어남이 없이, 제1 요소는 제2 요소로 지칭될 수 있으며, 마찬가지로, 제2 요소는 제1 요소로 지칭될 수도 있다.

일부 도면들이 통신의 주요 방향을 보여주기 위해 통신 경로들에서 화살표들을 포함하지만, 통신은 도시된 화살표들과 반대 방향으로 발생할 수도 있음을 이해할 것이다.

일부 예시들은 블록도들 및 동작 흐름도들과 관련하여 설명되며, 각각의 블록은 회로 요소, 모듈, 또는 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 코드의 일부를 나타낸다. 다른 구현들에서, 블록들에서 언급된 기능(들)은 언급된 순서에서 벗어나서 발생할 수 있음에 또한 유의해야 한다. 예를 들면, 연속해서 도시된 2개의 블록은, 실제로는 실질적으로 동시에 실행될 수 있거나 또는 그 블록들은 때때로 수반된 기능에 따라 역순으로 실행될 수 있다.

본 명세서에서 "예에 따라" 또는 "예시에서"라는 언급은 이 예와 관련하여 설명된 특정한 특징, 구조 또는 특성이 본 원리들의 적어도 하나의 구현에 포함될 수 있음을 의미한다. 본 명세서의 여러 곳들에서의 문구 "예에 따라" 또는 "예시에서"의 출현들은 반드시 모두 동일한 예를 언급하고 있는 것도 아니며, 별개의 또는 대안적인 예들이 다른 예들과 반드시 상호 배타적이지도 않다.

청구항들에서 나타나는 참조 번호들은 단지 예시에 의한 것이며, 청구항들의 범위를 제한하는 효과는 갖지 않는다.

명시적으로 설명되지 않을지라도, 본 예들 및 변형들은 임의의 조합 또는 하위 조합으로 이용될 수 있다.

본 원리들은 이미지를 코딩/디코딩/재구성하기 위해 설명되지만, 이미지들의 시퀀스(비디오)의 코딩/디코딩/재구성으로 확장되는데, 그 이유는 시퀀스의 각각의 이미지가 아래에서 설명되는 바와 같이 순차적으로 인코딩/디코딩/재구성되기 때문이다.

도 1은 콘텐츠 생산과 HDR 및 SDR 디스플레이들로의 전달을 지원하는 엔드-투-엔드 워크플로우를 보여준다. 이것은 예를 들어 ETSI TS 103 433에서 정의된 바와 같은 사이드 메타데이터를 갖는 단일 계층 SDR/HDR 인코딩-디코딩을 포함한다.

전처리 스테이지에서, 착신 HDR 비디오는 SDR 비디오 및 메타데이터로 분해된다. SDR 비디오는 다음으로 임의의 SDR 비디오 코덱으로 인코딩되고, SDR 비트스트림은 특정 채널 상에서 전달되거나 SDR 비트스트림에 임베딩되는 수반하는 메타데이터와 함께 기존의 레거시(legacy) SDR 분배 네트워크 전체에 걸쳐 운반된다. 바람직하게는, 코딩된 비디오는 H.265/HEVC 코덱 또는 H.264/AVC와 같은 HEVC 코덱이다. 메타데이터는 H.265/HEVC 코덱 또는 H.264/AVC 코덱과 함께 사용되는 경우 통상적으로 SEI 메시지들에 의해 운반된다.

SDR 비트스트림이 디코딩되고 디코딩된 SDR 비디오는 다음으로 SDR 고객 전자장치(Consumer Electronics)(CE) 디스플레이에 대해 이용 가능하다.

다음으로, 기능적으로 전처리 스테이지의 역인 후처리 스테이지에서, HDR 비디오는 디코딩된 SDR 비디오 및 특정 채널 또는 SDR 비트스트림으로부터 획득된 메타데이터로부터 재구성된다.

도 2는 도 1의 엔드-투-엔드 워크플로우의 단일 계층 분배 비트스트림 SL-HDRx에 따른 비제한적인 예시들을 보여준다.

SL-HDR1(ETSI TS 103 433-1) 사양은 신호 재구성을 위한 동적 메타데이터(CC1+TM 메타데이터)(메타데이터는 HEVC에 대한 사용자-정의 SEI 메시지에 임베딩될 수 있고, 후처리에서 사용될 마스터링 디스플레이 컬러 볼륨/공간 메타데이터 및 색역 매핑 메타데이터를 포함할 수 있음); 디코딩된 SDR 신호 및 SL-HDR1 메타데이터로부터 HDR 신호를 재구성하기 위한 후처리를 명시하는 SDR-대-HDR 재구성 프로세스를 포함한다. SL-HDR1은 또한 HDR 콘텐츠로부터 SDR 신호를 생성하기 위한 전처리; 가역 색역 매핑 프로세스; HDR-대-HDR 디스플레이 적응 프로세스; 메타데이터가 손실되거나 손상된 경우의 에러-은닉 전략; (특히 HDMI2.1에서의 사용을 위해) CTA-861-G에서의 시그널링을 설명한다.

확장 SL-HDR2(작성 당시의 제2 안정된 초안 스테이지에서의 ETSI TS 103 433-2)는 PQ 10에 대한 디스플레이 적응을 다루고, 확장 SL-HDR3(작성 당시의 초기 초안 스테이지에서의 ETSI TS 103 433-3)는 HLG10에 대한 디스플레이 적응 및 색조 시프트 보정을 다룬다. 이 확장들은 SL-HDR1 사양 위에 구축되고 후처리에서 동일한 메타데이터 및 동일한 픽셀-루프 하드웨어를 재사용한다. 그러나, 후처리는 상이한 소프트웨어 계층 구현을 사용하여 구동된다.

따라서, SL-HDRx 비트스트림은 (TS 103 433-X의 부록 A 또는 B에 명시된 바와 같은) 코딩된 비디오 및 연관된 SL-HDRx 메타데이터를 포함하는 비트스트림이다.

도 3a는 명료성을 위해 SL-HDR1의 비제한적 예시에 따른 전처리 스테이지를 더 상세히 묘사한다. 그러나, 본 원리들은 SL-HDR2 또는 SL-HDR3와 호환가능하다. 용어 "컬러 영역 매핑"은 "역 컬러 영역 매핑"을 커버한다는 점이 또한 유의되어야 한다. 실제로, 후처리기 측에서, SL-HDR1에서 역 색역 매핑 프로세스(색역의 확장)가 적용되는 반면 SL-HDR2에서 색역 매핑 프로세스(색역의 압축)가 적용된다. 전처리에서, SL-HDR1 및 SL-HDR2/3은 HDR-대-SDR로부터 신호를 분해한다. SL-HDR1은 획득된 SDR 비디오 및 메타데이터를 분배하는 반면 SL-HDR2는 HDR 비디오의 HDR10 버전(마스터들이 종종 HDR10이므로 그들은 동일할 수 있음) 및 메타데이터를 분배한다.

전처리 스테이지의 핵심 컴포넌트는 HDR 비디오로부터 SDR 비디오 및 동적 메타데이터를 생성하는 HDR-대-SDR 분해이다. 더 자세하게는, HDR-대-SDR 분해는 특정 입력 포맷(여기서 RGB)으로 표현된 HDR 비디오를 특정 출력 포맷(여기서

)으로 표현되는 SDR 비디오로 전환하는 것을 목표로 하지만, 본 원리들은 특정 입력/출력 포맷(컬러 공간 또는 영역)에 제한되지 않는다.

임의적으로, HDR 비디오의 포맷, SDR 비디오의 각각의 포맷은 상기 특정 입력 포맷, 각각의 특정 출력 포맷에 적응될 수 있다. 따라서, HDR 비디오의 콘텐츠는 SDR 비디오의 콘텐츠와 유사하지만, SDR 비디오의 컬러 공간은 HDR 비디오의 컬러 공간과 상이하다. 상기 입력/출력 포맷 적응은 컬러 공간 전환 및/또는 컬러 영역 매핑을 포함할 수 있다. RGB-대-YUV 또는 YUV-대-RGB 전환, BT.709-대-BT.2020 또는 BT.2020-대-BT.709, 다운-샘플링 또는 업-샘플링 크로마 컴포넌트들 등과 같은 통상의 포맷 적응 프로세스들이 사용될 수 있다. 공지된 YUV 컬러 공간은 또한 종래 기술에서 공지된 YCbCr 또는 Y'CbCr 또는 Y'C'bC'r을 참조한다는 점에 유의해야 한다.

특히, SL-HDR1 사양의 부록 D는 재구성된 확장된 HDR WCG 신호 품질이 (분배 전에) 파라미터들의 생성 페이즈 동안 가능한 품질 체크 스테이지(Quality Check stage) 덕분에 운영자들(operators) 또는 콘텐츠 생성자들에 의해 제어되고 승인되도록 비트스트림에서 운반되는 파라미터들/메타데이터에 의해 구동되는 가역 색역 매핑을 설명한다. 이 제어된 색역 매핑 방법은 유리하게도 송신 전에 SDR SCG 신호로 분해된 원본 콘텐츠의 특성들을 무시하는 "블라인드(blind)"(즉, 품질 체크 스테이지 동안 승인되는 파라미터들 또는 메타데이터에 의해 안내되지 않음) 색역 매핑 방법들 전반의 콘텐츠 충실도를 향상시킨다. ETSI SL-HDR1 사양의 부록 D에 명시된 가역 색역 매핑은 상이한 색역 매핑 모드들을 커버한다: 명시적 파라미터 캐리지(explicit parameters carriage)(여기서 색역 매핑 프로세스에서 사용되는 파라미터 값들의 전체 세트는 CE 디바이스들에 전송됨), 프리셋들(presets)(여기서 미리 결정된 파라미터 값들의 세트는 인덱스에 의해 참조됨) 또는 구현자 의존 방법(implementer dependent method)(블라인드 방법들에 대응함).

표 1: SL-HDR1에 있는 색역 매핑 모드

도 3b는 명료성을 위해 SL-HDR1의 비제한적인 예시에 따른 후처리 스테이지를 더 상세히 묘사한다. 그러나, 본 원리들은, 도 3c에서 보여지는 바와 같이, SDR 비디오 및 HDR 비디오 대신 제1 비디오 및 제2 비디오라는 단어를 각각 사용하는 SL-HDR2 또는 SL-HDR3와 호환가능하고, 여기서 제1 비디오는 비트스트림의 인코딩된/디코딩된 비디오(SDR, HDR10 또는 HLG)에 대응하고, 제2 비디오(HDR/SDR)는 후처리 후에 CE 디바이스들(디스플레이) 상에 렌더링된 비디오에 대응한다.

후처리 스테이지의 핵심 컴포넌트는 디코딩된 SDR 비디오 및 메타데이터로부터 재구성된 HDR 비디오를 생성하는 HDR 재구성이다. 더 자세하게는, HDR 재구성은 특정 입력 포맷(여기서

)으로 표현되는 SDR 비디오를 특정 출력 포맷(여기서 RGB)으로 표현된 출력 HDR 비디오로 전환하는 것을 목표로 하지만, 본 원리들은 특정한 입력/출력 특정 포맷들(컬러 공간 또는 컬러 영역 또는 컬러 원색들)에 제한되지 않는다.

임의적으로, 재구성된 HDR 비디오의 포맷은 타겟 시스템 특성들(예를 들어, 셋톱 박스, 연결된 TV 표시 디스플레이)에 적응될 수 있고/있거나, 디코딩된 SDR 비디오(HDR 재구성 스테이지의 입력) 및 재구성된 HDR 비디오(HDR 재구성 스테이지의 출력)가 상이한 컬러 공간들 및/또는 영역에서 표현될 때 역 색역 매핑이 사용될 수 있다. 입력 또는 출력 포맷 적응은 컬러 공간 전환 및/또는 컬러 영역 매핑을 포함할 수 있다. RGB-대-YUV(또는 YUV-대-RGB) 전환, BT.709-대-BT.2020 또는 BT.2020-대-BT.709, 다운-샘플링 또는 업-샘플링 크로마 컴포넌트들 등과 같은 통상의 포맷 적응 프로세스들이 사용될 수 있다. ETSI 사양 SL-HDR1의 부록 E는 포맷 적응 프로세스들의 예시를 제공하고, ETSI 사양 SL-HDR1의 부록 D는 역 색역 매핑 프로세스들을 제공한다. HDR 재구성은 HDR-대-SDR 분해의 기능적 역이다.

따라서, 전처리에 대해 앞에서 드러난 바와 같이, 특정 예에서, 색역 매핑 (gamut mapping; GM)(또는 입력/출력 이미지의 컬러 공간들에 의존하는 역 색역 매핑(inverse gamut mapping; IGM))은 유리하게도 비트스트림으로부터 획득되고 명시적 파라미터 모드, (표준화된 컬러 공간 전환에 대응하는) 적어도 두 개의 프리셋들을 포함하는 색역 매핑 모드에 의해 제어된다. 그러나, 일부 저가 CE 디바이스들은 명시적 파라미터 모드를 프로세싱하지 못할 수 있다. 이 경우, 이러한 디바이스들은 색역 매핑을 폐기하거나(표준 컬러 팔레트를 갖는 재구성된 콘텐츠를 제시함), 그들 자신의 "블라인드" 색역 매핑 운영자를 사용한다(원본 콘텐츠의 원래의 확장된/넓은 컬러 영역을 무시함). 따라서, 원본 콘텐츠의 입력 확장된/넓은 컬러 영역을 설명하는 비-블라인드 색역 매핑(GM)을 포함하는 것으로부터 비디오를 후처리하기 위한 방법이 바람직하다.

도 3c는 SL-HDR2 또는 SL-HDR3에 따른 후처리 스테이지를 더 상세히 묘사한다. SL-HDR2에 대해, 후처리에서, 색역 매핑은 분배 네트워크들 상에서 운반되는 HDR 신호보다 낮은 피크 휘도를 갖는 재구성된 SDR 또는 HDR에 적용되고, 색역 매핑은 메타데이터에 의해 제어된다.

후처리 스테이지의 핵심 컴포넌트는 디코딩된 HDR 비디오 및 메타데이터로부터 재구성된 HDR 비디오 또는 재구성된 SDR 비디오를 생성하는 HDR/SDR 재구성이다. 더 정확하게는, HDR 재구성은 특정 입력 포맷으로 표현되는 HDR 비디오를 특정 출력 포맷으로 표현되는 출력 HDR/SDR 비디오로 전환하는 것을 목표로 하지만, 본 원리들은 특정한 입력/출력 특정 포맷들(컬러 공간 또는 컬러 영역 또는 컬러 원색들)에 제한되지 않는다.

임의적으로, 재구성된 HDR/SDR 비디오의 포맷은 디스플레이 특성들(예를 들어, 셋톱 박스, 연결된 TV)에 적응될 수 있고/있거나, 디코딩된 HDR 비디오(HDR/SDR 재구성 스테이지의 입력) 및 재구성된 HDR/SDR 비디오(HDR 재구성 스테이지의 출력)가 상이한 컬러 공간들 및/또는 영역에서 표현될 때 역 색역 매핑이 사용될 수 있다. 입력 또는 출력 포맷 적응은 컬러 공간 전환 및/또는 컬러 영역 매핑을 포함할 수 있다. RGB-대-YUV(또는 YUV-대-RGB) 전환, BT.709-대-BT.2020 또는 BT.2020-대-BT.709, 다운-샘플링 또는 업-샘플링 크로마 컴포넌트들 등과 같은 통상의 포맷 적응 프로세스들이 사용될 수 있다.

따라서, 전처리에 대해 앞에서 드러난 바와 같이, 특정 예에서, 색역 매핑(GM)(또는 입력/출력 이미지의 컬러 공간들에 의존하는 역 색역 매핑(IGM))은 유리하게도 비트스트림으로부터 획득되고 명시적 파라미터 모드, (표준화된 컬러 공간 전환에 대응하는) 적어도 두 개의 프리셋들을 포함하는 색역 매핑 모드에 의해 제어된다. 그러나, 일부 저가 CE 디바이스들은 명시적 파라미터 모드를 프로세싱하지 못할 수 있다. 이 경우, 이러한 디바이스들은 색역 매핑을 폐기하거나(표준 컬러 팔레트를 갖는 재구성된 콘텐츠를 제시함), 그들 자신의 "블라인드" 색역 매핑 운영자를 사용한다(원본 콘텐츠의 원래의 확장된/넓은 컬러 영역을 무시함). 따라서, 원본 콘텐츠의 입력 확장된/넓은 컬러 영역을 설명하는 비-블라인드 색역 매핑(GM)을 포함하는 것으로부터 비디오를 후처리하기 위한 방법이 역시 바람직하다.

도 4는 본 원리들의 예시들에 따른 제1 이미지로부터 제2 이미지를 생성하기 위한 방법의 단계들의 블록도를 보여준다.

방법은, 단계(47)에서, 제2 이미지를 생성하기 위해 제1 이미지 상에 컬러 영역 매핑 프로세스(또는 역 색역 매핑 프로세스)를 적용하는 단계를 포함한다. 위에서 설명된 예시들에 따르면, 제2 이미지의 콘텐츠는 제1 이미지의 콘텐츠와 유사하지만, 제2 이미지의 컬러 공간은 제1 이미지의 컬러 공간과 상이하다. 예시적인 목적을 위해, 제2 이미지는 BT 2020 컬러 공간에서 재구성된 WCG 이미지일 수 있고, 제1 이미지는 BT 709 컬러 공간의 SCG 이미지일 수 있거나(SL-HDR1의 경우); 제1 이미지는 BT 709 컬러 공간의 SCG 이미지일 수 있고, 제2 이미지는 BT 2020 컬러 공간에서의 WCG 이미지일 수 있다(SL-HDR2 또는 SL-HDR3의 경우). 특정 특징에 따르면, 컬러 영역 매핑 프로세스는 적어도 비트스트림으로부터 획득되는 컬러 영역 매핑 모드인 gamutMappingMode에 의해 제어된다. 이러한 컬러 영역 매핑 모드는 마스터 비디오 콘텐츠와 CE 디바이스에 의해 디스플레이되는 비디오 콘텐츠 사이의 후처리 스테이지 후의 컬러 렌더링에서 높은 충실도를 보장하는 전처리 스테이지에서 사용된 컬러 영역 매핑을 CE 디바이스에게 알린다. 다른 특정 특징에 따르면, 컬러 영역 매핑 모드는 SL-HDRx 사양들에 대해 드러난 바와 같은 적어도 두 개의 프리셋 모드들 및 명시적 파라미터 모드를 포함하는 세트에 속하고, 여기서 명시적 파라미터 모드는 색역 매핑 프로세스(GM/IGM)의 전체 파라미터 제어를 제공한다.

그 목적을 위해, 단계(41)에서, gamutMappingMode는 비트스트림으로부터 획득된다. gamutMappingMode는 메타데이터에 의해 운반될 수 있고, 예를 들어, 위에서 설명된 바와 같이 SEI 메시지들을 파싱함으로써 획득될 수 있다. 단계(42)에서, gamutMappingMode는 이것이 명시적 파라미터 모드로 설정되는지를 검사하기 위해 테스트된다. gamutMappingMode가 명시적 파라미터 모드가 아닌 경우, 예를 들어 만약 gamutMappingMode가 프리셋 모드로 설정되면, gamutMappingMode는 색역 매핑(GM/IGM) 제어를 위해 단계(47)로 이동된다. 예를 들어, 프리셋들은 상이한 콘텐츠/이미지 포맷 컬러 원색들(의 아마도 범위들)에 대해 정의된다.

gamutMappingMode가 명시적 파라미터 모드인 경우, 단계(43)에서, 색역 매핑 프로세스는 이것이 명시적 파라미터 모드에 대해 가능한지, 즉 색역 매핑 프로세스가 명시적 파라미터 모드에서 시그널링되는 색역 매핑 파라미터들을 함께 고려하는 프로그래밍 가능한 색역 매핑을 적용할 수 있는지를 검사하기 위해 테스트된다. 방법의 실시예에 따르면, 지시자(44)는 명시적 GM/IGM 능력을 나타내고, 색역 매핑 프로세스가 명시적 파라미터 모드에 대해 가능한지 결정하는 데 사용된다. 이러한 지시자는 레지스터에 저장된다. 색역 매핑 프로세스가 명시적 파라미터 모드에 대해 가능한 경우, gamutMappingMode는, 색역 매핑 파라미터들과 함께, 색역 매핑 프로세스(GM/IGM)를 제어하기 위해 단계(47)로 이동된다. gamutMappingMode가 명시적 파라미터 모드인 경우 및 방법의 컬러 영역 매핑 프로세스가 gamutMappingMode에 대해 가능하지 않은 경우, 단계(45)에서 대체 컬러 영역 매핑 모드인 대체 gamutMappingMode가 추가적인 데이터(46)로부터 결정되고, 다음으로 대체 gamutMappingMode는 색역 매핑 프로세스(GM/IGM)를 제어하기 위해 단계(47)로 이동된다.

실시예에 따르면, 테스트들(42 및 43)의 출력들에 의해 제어되는 스위치(48)는 gamutMappingMode 또는 대체 gamutMappingMode를 색역 매핑 프로세스(47)에 연결한다.

단계(45)의 실시예에 따르면, 컬러 영역 매핑 모드를 결정하는 단계는 적어도 두 개의 프리셋 모드들 중에서 컬러 영역 매핑 모드를 선택하는 단계를 더 포함한다. 유리하게도, 이러한 실시예는 프리셋-전용-가능 리시버/디바이스들 내에서의 색역 매핑을 프로세싱하기 위해 명시적 색역 모드의 대부분의 이점을 보존하는데, 왜냐하면 프리셋 선택이 블라인드가 아니고 추가적인 데이터에 의해 제어되기 때문이다.

단계(45)의 추가 실시예에 따르면, 추가적인 데이터는 제1 이미지의 컬러 공간, 제2 이미지의 컬러 공간, 제1 이미지를 생성하는 데 사용되는 마스터링 디스플레이의 컬러 공간, 제2 이미지를 생성하는 데 사용되는 마스터링 디스플레이의 컬러 공간, 타겟 디스플레이의 컬러 공간, SL-HDR 전처리의 입력 픽처의 컬러 공간 중 적어도 하나를 포함한다. 다르게 말하면, 프리셋 또는 다른 것(들)을 향한 매핑은 예를 들어 원본 WCG 콘텐츠 컬러 공간 또는 원본 WCG 콘텐츠를 등급화하는 데 사용되는 마스터링 디스플레이의 컬러 공간 또는 타겟 디스플레이에 의해 지원되는 컬러 공간의 지식에 의해 결정된다.

도 5a는 제1 이미지로부터 제2 이미지를 생성하기 위한 방법의 단계들의 블록도의 SL-HDR 비트스트림에 따른 비제한적인 예시를 도시한다.

이 방법은 입력으로서 SDR/HDR10/HLG 이미지 및 메타데이터를 요구하는 임의의 HDR 또는 SDR 재구성 프로세스에 기초한다.

SL-HDR의 제1 배치 동안, 모든 SL-HDR-가능 리시버(즉 임베딩된 SL-HDR 후처리 모듈에서 SL-HDR 메타데이터를 처리할 수 있는 리시버)가 부록 D에 정의된 바와 같은 분석적인 프로세스에 대해 가능하지 않게 되는 반면 색역 매핑 프로세스의 단순화된 버전을, 예를 들어 3D LUT의 제한된 세트에 기초하여, 지원한다는 것으로 예상된다. 따라서, 이 명시적 파라미터들을 프로세스하거나 해석할 수 없는 리시버 디바이스는 디바이스 내부 레지스터 덕분에, 또는 색역 매핑을 처리하는 리시버에서의 VSVDB 또는 HDMI HDR 동적 메타데이터 데이터 블록(Dynamic Metadata Data Block) 또는 EDID 내의 비트 덕분에 이 능력을 표시할 수 있다.

도 4에 대해 설명된 바와 같이, 리시버는 적어도 gamutMappingMode, 및 hdrDisplayColourSpace 또는 hdrMasterDisplayColourSpace 중 하나(SL-HDR1의 부록 A 참조)를 획득하기 위해 SL-HDR 비트스트림으로부터 SEI 메타데이터를 파싱한다. 만약 gamutMappingMode가 '1'로 설정되는 경우 - 이는 표 1에서 보여지는 바와 같이 색역 매핑 모드는 명시적 파라미터 모드임을 의미함 -, SL-HDR-가능 리시버가 오직 프리셋 모드들에 대해서만 가능한 경우, 다음으로 매핑 모듈은 hdrDisplayColourSpace 또는 hdrMasterDisplayColourSpace 중 하나에 기초하여 대체 gamutMappingMode를 결정한다.

도 5b 및 도 5c는 각각 매핑 모듈의 SL-HDR1 비트스트림 및 SL-HDR2 비트스트림에 따른 비제한적인 예시를 각각 도시한다.

SL-HDR1의 경우, 제1 이미지는 (BT.709와 같은) 표준 컬러 영역의 이미지이고, 제2 이미지는 (P3D65, BT.2020과 같은) WCG의 이미지이고, 매핑 모듈은 hdrDisplayColourSpace(또는 hdrMasterDisplayColourSpace)가 "2"와 같을 때 BT.709에서 P3D65 색역으로의 프리셋 모드를 선택하고(gamutMappingMode는 "2"로 설정됨), hdrDisplayColourSpace(또는 hdrMasterDisplayColourSpace)가 "1"과 같을 때 BT.709에서 BT.2020 색역으로의 프리셋 모드를 선택한다(gamutMappingMode는 "3"으로 설정됨).

SL-HDR2의 경우, 제1 이미지는 (P3D65, BT.2020과 같은) WCG의 이미지이고, 제2 이미지는 (BT.709와 같은) 표준 컬러 영역의 이미지이고, 매핑 모듈은 hdrDisplayColourSpace(또는 hdrMasterDisplayColourSpace)가 "2"와 같을 때 P3D65에서 BT.709 색역으로의 프리셋 모드를 선택하고(gamutMappingMode는 "4"로 설정됨), hdrDisplayColourSpace(또는 hdrMasterDisplayColourSpace)가 "1"과 같을 때 BT.2020에서 BT.709 색역으로의 프리셋 모드를 선택한다(gamutMappingMode는 "5"로 설정됨).

이 매핑 모듈은 SL-HDR1, 2 또는 3 사양들을 구현하는 모든 리시버/디바이스에 적용할 수 있음이 유의된다.

또 다른 실시예들에 따르면, hdrDisplayColourSpace를 사용하는 대신에, SL-HDR1 사양의 부록 A.2.2.2에서 명시된 src_mdcv_primaries_* 신택스 요소들, 또는 HEVC 사양에서 명시된 display_primaries_* 신택스 요소들, 또는 전송 계층에서의 ATSC3.0 또는 CN-HDR로부터의 서비스 시그널링 정보를 사용할 수 있다. 전형적으로, 프리셋들로의 매핑은 display_primaries_* 신택스 요소들에 대한 표 A.5 또는 src_mdcv_primaries_* 요소들에 대한 표 A.4로부터 시사될 수 있고, 손실되거나 손상된 파라미터들은 이전에 저장된 미리 결정된 파라미터 값들의 적어도 하나의 세트로부터 복원된다.

도 1 내지 도 5c에서, 모듈들은 구별 가능한 물리적 유닛들과 관련될 수 있거나 그렇지 않을 수 있는 기능적인 유닛들이다. 예를 들어, 이러한 모듈들 또는 이들 중 일부는 고유 컴포넌트 또는 회로에 통합되거나 소프트웨어의 기능들에 기여할 수 있다. 대조적으로, 일부 모듈들은 잠재적으로 별개의 물리적 엔티티들로 구성될 수 있다. 본 원리들과 호환 가능한 장치는 순수한 하드웨어를 사용하여, 예를 들어 각각 ≪주문형 집적 회로(Application Specific Integrated Circuit)≫, ≪필드-프로그래밍 가능한 게이트 어레이(Field-Programmable Gate Array)≫, ≪초 대규모 집적(Very Large Scale Integration)≫인 ASIC 또는 FPGA 또는 VLSI와 같은 전용 하드웨어를 사용하여, 또는 디바이스에 임베딩된 몇몇 통합 전자 컴포넌트들로부터 또는 하드웨어와 소프트웨어 컴포넌트들의 혼합으로부터 구현된다.

도 6은 도 1 내지 도 5c와 관련하여 설명된 방법을 구현하도록 구성될 수 있는 디바이스(60)의 예시적인 아키텍처를 나타낸다.

디바이스(60)는 데이터 및 어드레스 버스(61)에 의해 서로 연결된 다음의 요소들을 포함한다:

- 예를 들어 DSP(또는 Digital Signal Processor)인 마이크로프로세서(62)(또는 CPU);

- ROM(또는 Read Only Memory)(63);

- RAM(또는 Random Access Memory)(64);

- 애플리케이션으로부터, 전송할 데이터를 수신하기 위한 I/O 인터페이스(65); 및

- 배터리(66)

일례에 따르면, 배터리(66)는 디바이스 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 이용되는 단어 ≪레지스터(register)≫는 작은 용량(몇 비트들)의 영역 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 대량의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(63)은 적어도 프로그램 및 파라미터들을 포함한다. ROM(63)은 본 원리들에 따라 기술들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 전원이 켜지면, CPU(62)는 RAM에 프로그램을 업로드하고, 대응하는 명령어들을 실행한다.

RAM(64)은, 레지스터 내에, 디바이스(60)의 스위치 온 이후 CPU(62)에 의해 실행되고 업로딩되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내에서 방법의 실행에 사용되는 다른 변수들을 포함한다.

여기에 설명된 구현들은 예컨대 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법 또는 디바이스로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로(integrated circuit), 또는 프로그래밍가능 로직 디바이스를 포함하는 프로세싱 디바이스들을 일반적으로 지칭하는, 예를 들어 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 휴대폰들, PDA(portable/personal digital assistant)들, 및 최종 사용자들 간의 정보의 전달을 용이하게 하는 다른 디바이스들과 같은, 통신 디바이스들을 포함한다.

전처리 및/또는 인코딩 디바이스의 일례에 따르면, 비디오 또는 비디오의 이미지는 소스(source)로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:

- 로컬 메모리(63 또는 64), 예를 들어 비디오 메모리 또는 RAM(또는 Random Access Memory), 플래시 메모리, ROM(또는 Read Only Memory), 하드디스크;

- 저장 인터페이스(65), 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광학 디스크 또는 마그네틱 서포트(magnetic support)와의 인터페이스;

- 통신 인터페이스(65), 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 (IEEE 802.11 인터페이스 또는 블루투스® 인터페이스와 같은) 무선 인터페이스; 및

- 이미지 캡쳐 회로(예를 들어, CCD(또는 전하 결합 소자(Charge-Coupled Device)) 또는 CMOS(또는 상보성 금속-산화물 반도체(Complementary Metal-Oxide-Semiconductor))와 같은 센서).

후처리 및/또는 디코딩 디바이스의 일례에 따르면, 디코딩된 비디오 또는 재구성된 비디오는 목적지에 전송되고; 구체적으로, 목적지는 다음을 포함하는 세트에 속한다:

- 로컬 메모리(63 또는 64), 예를 들어 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;

- 저장 인터페이스(65), 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광학 디스크 또는 마그네틱 서포트와의 인터페이스;

- 통신 인터페이스(65), 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스(예를 들어 USB(또는 Universal Serial Bus)), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI(High Definition Multimedia Interface) 인터페이스) 또는 (IEEE 802.11 인터페이스, 와이파이® 또는 블루투스® 인터페이스와 같은) 무선 인터페이스; 및

- 디스플레이.

전처리 및/또는 인코딩의 예시들에 따르면, 비트스트림 및/또는 메타데이터를 운반하는 다른 비트스트림은 목적지로 전송된다. 예를 들어, 이러한 비트스트림들 중 하나 또는 둘 모두는 로컬 또는 원격 메모리, 예를 들어 비디오 메모리(64) 또는 RAM(64), 하드디스크(63)에 저장된다. 변형에서, 이러한 비트스트림들 중 하나 또는 둘 모두는 저장 인터페이스(65), 예를 들어, 대용량 저장소, 플래시 메모리, ROM, 광학 디스크 또는 마그네틱 서포트와의 인터페이스에 전송되고 그리고/또는 통신 인터페이스(65), 예를 들어, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 방송 네트워크로의 인터페이스를 통해 송신된다.

후처리 및/또는 디코딩의 예시들에 따르면, 비트스트림 및/또는 메타데이터를 운반하는 다른 비트스트림은 소스로부터 획득된다. 예를 들어, 비트스트림은 로컬 메모리, 예를 들어 비디오 메모리(64), RAM(64), ROM(63), 플래시 메모리(63) 또는 하드 디스크(63)로부터 판독된다. 일 변형에서, 비트스트림은 저장 인터페이스(65), 예를 들어 대용량 저장소, RAM, ROM, 플래시 메모리, 광 디스크 또는 마그네틱 서포트와의 인터페이스로부터 수신되고/되거나, 통신 인터페이스(65), 예로서 포인트 투 포인트 링크, 버스, 포인트 대 멀티포인트 링크 또는 방송 네트워크에 대한 인터페이스로부터 수신된다.

예시들에 따르면, 위에서 설명된 바와 같은 전처리 방법 및/또는 인코딩 방법을 구현하도록 구성된 디바이스(60)는 다음을 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 정지 이미지 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 정지 이미지 서버; 및

- 비디오 서버(예를 들어 방송 서버, 주문형 비디오 서버 또는 웹 서버).

예시들에 따르면, 위에서 설명된 바와 같은 후처리 방법 및/또는 디코딩 방법을 구현하도록 구성된 디바이스(60)는 다음을 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 셋톱 박스;

- TV 세트;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 디스플레이 및

- 디코딩 칩.

도 7에 예시된 본 원리들의 예시에 따르면, 통신 네트워크 NET를 통한 2개의 원격 디바이스들 A 및 B 사이의 송신 상황에서, 디바이스 A는 앞서 설명된 바와 같이 이미지를 인코딩하기 위한 방법을 구현하도록 구성되는 메모리 RAM 및 ROM과 관련된 프로세서를 포함하고, 디바이스 B는 앞서 설명된 바와 같은 디코딩하기 위한 방법을 구현하도록 구성되는 메모리 RAM 및 ROM과 관련된 프로세서를 포함한다.

예시에 따르면, 네트워크는, 디바이스 A로부터의 정지 이미지들 또는 비디오 이미지들을 디바이스 B를 포함하는 디코딩 디바이스들에 방송하도록 적응되는 방송 네트워크이다.

디바이스 A에 의해 송신되도록 의도된 신호는 비트스트림 및/또는 메타데이터를 운반하는 다른 비트스트림을 운반한다. 비트스트림은 이전에 설명된 바와 같은 인코딩된 비디오를 포함한다. 이 신호는 상기 디코딩된 비디오로부터 비디오를 재구성하기 위해 사용되는 파라미터 값들에 관한 메타데이터를 더 포함한다.

신호는 손실된 또는 손상된 파라미터들을 복구하기 위해 사용되는 미리 결정된 파라미터들의 세트를 식별하는 지시자를 더 포함한다.

일 실시예에 따르면, 상기 지시자는 신호에 의해 운반되는 메타데이터에 숨겨진다.

본 명세서에서 설명되는 다양한 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예시들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 후처리기, 인코더에 입력을 제공하는 전처리기, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 휴대폰, PDA, 및 이미지 또는 비디오 또는 다른 통신 디바이스들을 처리하기 위한 임의의 다른 디바이스를 포함한다. 명백한 것처럼, 장비는 이동식일 수 있고 심지어 이동식 차량에 설치될 수 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 컴퓨터 판독 가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체는 하나 이상의 컴퓨터 판독 가능한 매체(들) 내에 구현되고 컴퓨터에 의해 실행 가능한 컴퓨터 판독 가능한 프로그램 코드가 그에 구현되는 컴퓨터 판독 가능한 프로그램 제품의 형태를 취할 수 있다. 본원에서 이용된 바와 같은 컴퓨터 판독 가능 저장 매체는, 정보를 그 안에 저장하기 위한 고유의 능력뿐만 아니라, 그로부터 정보의 검색을 제공하기 위한 고유의 능력이 주어지면, 비-일시적 저장 매체로 고려된다. 컴퓨터 판독 가능한 저장 매체는, 예를 들어 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 디바이스, 또는 이들의 임의의 적합한 조합일 수 있지만, 이들로 제한되지 않는다. 하기는, 본 기술분야의 통상의 기술자가 쉽게 알 수 있는 바와 같이, 본 원리들이 적용될 수 있는 컴퓨터 판독 가능 저장 매체들의 더 특정한 예들을 제공하기는 하지만, 단지 예시에 불과하고 모든 것을 망라하는 리스트는 아니라는 것이 이해될 것이다: 휴대용 컴퓨터 디스켓; 하드 디스크; ROM(read-only memory); 소거 가능하고 프로그래밍 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 CD-ROM(compact disc read-only memory); 광학적 저장 장치; 자기 저장 장치; 또는 전술한 것들의 임의의 적절한 조합.

명령어들은 프로세서-판독 가능 매체 상에 유형으로(tangibly) 구현된 애플리케이션 프로그램을 형성할 수 있다.

명령어들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령어들은 예를 들어 운영 체제, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 예를 들어 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령어들을 갖는 (저장 디바이스와 같은) 프로세서 판독 가능한 매체를 포함하는 디바이스 모두로서 특징지어질 수 있다. 또한, 프로세서 판독 가능한 매체는 명령어들에 추가하여 또는 명령어들을 대신하여, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.

본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현들은 예컨대 저장되거나 또는 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 이 정보는 예를 들어 방법을 수행하기 위한 명령어들 또는 설명된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 본 원리들의 설명된 예의 신택스를 기입 또는 판독하기 위한 규칙들을 데이터로서 운반하거나 또는 본 원리들의 설명된 예에 의해 기입된 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는 예를 들어 (예컨대, 스펙트럼의 무선 주파수 부분을 사용하는) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 반송파를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는 예를 들어 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 연결들을 통해 전송될 수 있다. 신호는 프로세서 판독 가능한 매체 상에 저장될 수 있다.

다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있음이 이해될 것이다. 예를 들어, 상이한 구현들의 요소들은 결합, 보충, 수정, 또는 제거되어 다른 구현들을 생산할 수 있다. 게다가, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들에 대체될 수 있고 그 결과의 구현들이 적어도 실질적으로 개시된 구현들과 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행할 것이라는 점을 이해할 것이다. 따라서, 이들 및 다른 구현들이 본 출원에 의해 고려된다.

Claims

제1 이미지로부터 제2 이미지를 생성하기 위한 방법으로서,
상기 제2 이미지를 생성하기 위해 상기 제1 이미지에 대해 컬러 영역 매핑 프로세스(color gamut mapping process)를 적용하는 단계를 포함하고, 상기 제2 이미지의 콘텐츠는 상기 제1 이미지의 콘텐츠에 대응하지만 상기 제2 이미지의 컬러 공간(color space)은 상기 제1 이미지의 컬러 공간과 상이하고, 상기 컬러 영역 매핑 프로세스는 적어도 비트스트림(bitstream)으로부터 획득된 컬러 영역 매핑 모드(color gamut mapping mode)에 의해 제어되고, 상기 컬러 영역 매핑 모드는 적어도 두 개의 프리셋 모드들(preset modes) 및 명시적 파라미터 모드(explicit parameters mode)를 포함하는 세트에 속하며,
상기 방법은, 상기 획득된 컬러 영역 매핑 모드가 상기 명시적 파라미터 모드인 경우 및 상기 방법의 상기 컬러 영역 매핑 프로세스가 상기 제1 이미지로부터 상기 제2 이미지를 생성하기 위한 명시적 파라미터 모드에 대해 가능하지 않은 경우, 추가적인 데이터로부터 대체(substitute) 컬러 영역 매핑 모드를 결정하는 단계를 더 포함하고, 상기 컬러 영역 매핑 프로세스는 상기 대체 컬러 영역 매핑 모드에 의해 제어되는, 방법.
제1항에 있어서, 상기 컬러 영역 매핑 모드를 결정하는 단계는 상기 적어도 두 개의 프리셋 모드들 중에서 컬러 영역 매핑 모드를 선택하는 단계를 더 포함하는, 방법.
제1항 또는 제2항에 있어서, 상기 추가적인 데이터는 상기 제1 이미지의 컬러 공간, 상기 제2 이미지의 컬러 공간, 상기 제1 이미지를 생성하는 데 사용되는 마스터링 디스플레이(mastering display)의 컬러 공간, 상기 제2 이미지를 생성하는 데 사용되는 마스터링 디스플레이의 컬러 공간, 타겟 디스플레이의 컬러 공간, SL-HDR 전처리의 입력 픽처의 컬러 공간 중 적어도 하나를 포함하는, 방법.
제3항에 있어서, 상기 추가적인 데이터는 비트스트림에서 시그널링되는 메타데이터인, 방법.
제4항에 있어서, 상기 비트스트림은 SL-HDR1 비트스트림인, 방법.
제5항에 있어서, 상기 대체 컬러 영역 매핑 모드를 결정하는 단계는, hdrDisplayColourSpace가 "2"와 같을 때, 대체 gamutMappingMode를 "2"로 설정함으로써 BT.709에서 P3D65 색역으로의 프리셋 모드(preset mode BT.709 to P3D65 gamut)를 선택하는 단계, 및 hdrDisplayColourSpace가 "1"과 같을 때, 대체 gamutMappingMode를 "3"으로 설정함으로써 BT.709에서 BT.2020 색역으로의 프리셋 모드(preset mode BT.709 to BT.2020 gamut)를 선택하는 단계를 포함하는, 방법.
제4항에 있어서, 상기 비트스트림은 SL-HDR2 비트스트림인, 방법.
제7항에 있어서, 상기 대체 컬러 영역 매핑 모드를 결정하는 단계는, hdrDisplayColourSpace가 "2"와 같을 때, 대체 gamutMappingMode를 "4"로 설정함으로써 P3D65에서 BT.709 색역으로의 프리셋 모드(preset mode P3D65 to BT.709 gamut)를 선택하는 단계 및 hdrDisplayColourSpace가 "1"과 같을 때, 대체 gamutMappingMode를 "5"로 설정함으로써 BT.2020에서 BT.709 색역으로의 프리셋 모드(preset mode BT.2020 to BT.709 gamut)를 선택하는 단계를 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 컬러 영역 매핑 프로세스가 지시자(indicator)에 따라 상기 명시적 파라미터 모드를 사용할 수 없는지를 결정하는 단계를 더 포함하는, 방법.
제1 이미지로부터 제2 이미지를 생성하기 위한 디바이스로서,
하나 이상의 프로세서들, 및 적어도 하나의 메모리를 포함하고,
상기 하나 이상의 프로세서들은 상기 제2 이미지를 생성하기 위해 상기 제1 이미지를 컬러 영역 매핑하도록 구성되고, 상기 제2 이미지의 콘텐츠는 상기 제1 이미지의 콘텐츠에 대응하지만 상기 제2 이미지의 컬러 공간은 상기 제1 이미지의 컬러 공간과 상이하고, 상기 컬러 영역 매핑은 비트스트림으로부터 획득된 컬러 영역 매핑 모드에 의해 제어되고, 상기 컬러 영역 매핑 모드는 적어도 두 개의 프리셋 모드들 및 명시적 파라미터 모드를 포함하는 세트에 속하고;
상기 하나 이상의 프로세서들은 상기 획득된 컬러 영역 매핑 모드가 명시적 파라미터 모드인 경우 및 상기 프로세서가 상기 명시적 파라미터 모드에서의 색역 매핑에 대해 가능하지 않은 경우에 추가적인 데이터로부터 대체 컬러 영역 매핑 모드를 결정하도록 구성되고, 상기 컬러 영역 매핑은 상기 대체 컬러 영역 매핑 모드에 의해 제어되는, 디바이스.
제8항에 있어서, 상기 하나 이상의 프로세서들은 상기 색역 매핑이 상기 디바이스에 저장된 지시자에 따라 상기 명시적 파라미터 모드에 대해 가능하지 않은지를 결정하도록 구성되는, 디바이스.
제10항 또는 제11항에 있어서,
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋톱 박스;
- TV 세트;
- 블루레이 디스크 플레이어;
- 플레이어;
- 태블릿(또는 태블릿 컴퓨터);
- 랩톱;
- 디스플레이;
- 카메라; 및
- 디코딩 칩
을 포함하는 세트에 속하는, 디바이스.
컴퓨터 프로그램 제품으로서, 이 프로그램이 컴퓨터 상에서 실행될 때 제1항 내지 제8항 중 어느 한 항에 따른 방법의 단계들을 실행하는 프로그램 코드 명령어들을 포함하는, 컴퓨터 프로그램 제품.
비일시적 프로세서 판독 가능 매체로서, 프로세서로 하여금 이 프로그램이 컴퓨터 상에서 실행될 때 적어도 제1항 내지 제8항 중 어느 한 항에 따른 방법의 단계들을 수행하게 하기 위한 명령어들을 그 안에 저장하고 있는, 비일시적 프로세서 판독 가능 매체.