KR20170120108A

KR20170120108A - 컬러 매핑 정보를 인코딩하고 컬러 매핑 정보에 기초하여 픽처들을 프로세싱하기 위한 방법 및 장치

Info

Publication number: KR20170120108A
Application number: KR1020177022815A
Authority: KR
Inventors: 야닉 올리비에; 세바스띠앙 라쎄르; 삐에르 앙드리봉; 필립 보르드
Original assignee: 톰슨 라이센싱
Priority date: 2015-02-20
Filing date: 2016-02-19
Publication date: 2017-10-30
Anticipated expiration: 2036-02-19
Also published as: EP3259902B1; CN107258082B; EP3059937A1; CN107258082A; KR102617121B1; WO2016131970A1; US20180035015A1; EP3259902A1; JP6694439B2; TW201631970A; TWI692971B; US10805506B2; JP2018512749A

Abstract

하나의 컬러로부터 다른 컬러로 변환하기 위해 컬러 매핑 정보가 사용될 수 있다. 본 실시예들은 다수의 컬러 매핑 함수들의 연속적인 적용을 사용하여 컬러 매핑 정보를 표현하기 위한 솔루션을 제공한다. 다수의 컬러 매핑 함수들의 파라미터들은 비트스트림으로 인코딩될 수 있다. 일 실시예에서, 컬러 매핑 함수들은 오직 그들 자신의 정의 도메인 상에만 연속적으로 적용된다. 다른 실시예에서, 제1 컬러 매핑(CRI1)은 오직 자신의 정의 도메인 상에만 적용되지만, 제2 컬러 매핑은 오직, CRI1에 의해 이전에 컬러 매핑되었고 또한 제2 컬러 매핑 함수의 정의의 도메인 내부에 있는 샘플들에만 적용된다. 디코딩 측에서, 다수의 컬러 매핑 함수들이 재구성될 수 있고, 디코딩된 픽처에 연속적으로 적용되어, 다른 픽처를 생성할 수 있다.

Description

컬러 매핑 정보를 인코딩하고 컬러 매핑 정보에 기초하여 픽처들을 프로세싱하기 위한 방법 및 장치

본 발명은 컬러 매핑 정보를 인코딩하고 컬러 매핑 정보에 기초하여 픽처를 프로세싱하기 위한 방법 및 장치에 관한 것이고, 더 상세하게는, 연속적인 컬러 매핑 함수들을 사용하여 컬러 매핑 정보를 인코딩하고, 컬러 매핑 함수들을 연속적으로 적용함으로써 픽처를 프로세싱하기 위한 방법 및 장치에 관한 것이다.

본 섹션은, 아래에서 설명되며 그리고/또는 청구되는 본 발명의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 본 발명의 다양한 양태들의 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 선행 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.

픽처의 샘플은 한 컬러 공간에서 다른 컬러 공간으로, 또는 보다 일반적으로는 한 컬러에서 다른 컬러로 변환될 수 있다. 예를 들어, 스케일러블 비디오 코딩에서, 향상 계층(EL) 픽처들은 통상적으로 (가능하게는 업샘플링된) 디코딩된 베이스 계층(BL) 픽처들로부터 예측된다. EL 픽처들 및 BL 픽처들이 상이한 컬러 공간들로 표현되며 그리고/또는 상이하게 컬러 등급화된 경우, 디코딩된 BL 픽처들을 예를 들어, EL의 컬러 공간으로 변환하는 것은 예측을 개선할 수 있다.

이러한 컬러 변환은 또한 컬러 매핑 함수(Color Mapping Function, CMF)로 표현될 수 있는 컬러 매핑으로 공지되어 있다. CMF는 예를 들어 3x3 이득 매트릭스 및 오프셋(이득-오프셋 모델)에 의해 근사화될 수 있고, 이들은 12 개의 파라미터들로 정의된다. 그러나, CMF의 이러한 근사화는 선형 변환 모델을 가정하기 때문에 매우 정확하지는 않을 수 있다. 다른 예에서, 룩업 테이블에서 컬러(일반적으로 3 개의 성분들을 가짐)가 다른 컬러에 매핑되는 방법을 표시하는 3D 룩업 테이블(또한 3D LUT로 공지됨)이 CMF를 설명하기 위해 사용될 수 있다. 3D LUT는 요구되는 정확도에 따라 그 크기가 증가될 수 있기 때문에 훨씬 더 정밀할 수 있다. 그러나, 그에 따라 3D LUT는 큰 데이터 세트를 나타낼 수 있다.

다른 예에서, 컬러 변환은 픽처 또는 픽처의 영역의 각각의 컬러 성분과는 독립적으로 1 차원 컬러 LUT를 적용함으로써 수행될 수 있다. 각각의 컬러 성분과 독립적으로 1D LUT를 적용하는 것은 성분 상관을 파괴하고, 이는 계층간 예측의 효율 및 그에 따른 코딩 효율을 감소시킬 수 있기 때문에, 3x3 매트릭스(3 개의 컬러 성분들의 경우) 및 임의적으로 오프셋들의 벡터와 같은 선형 모델이 성분들 사이의 상관해제를 보상하기 위해 매핑된 성분들에 적용될 수 있다. 임의적으로, 추가적인 변환은 픽처 또는 픽처의 영역의 각각의 컬러 성분과는 독립적으로 다른 1 차원 컬러 LUT를 적용함으로써 수행될 수 있다.

본 원리들의 양태에 따르면, 픽처를 포함하는 비트스트림을 프로세싱하기 위한 방법이 제시되며, 이 방법은, 제1 컬러 매핑 함수를 표시하는 제1 세트의 파라미터들에 액세스하는 단계 - 제1 컬러 매핑 함수는 제1 도메인 상에 정의됨 -; 제2 컬러 매핑 함수를 표시하는 제2 세트의 파라미터들에 액세스하는 단계 - 제2 컬러 매핑 함수는 제2 도메인 상에 정의됨 -; 및 제1 컬러 매핑 함수, 제2 컬러 매핑 함수 및 픽처에 응답하여 출력 픽처를 생성하는 단계를 포함하고, 제1 컬러 매핑 함수 및 제2 컬러 매핑 함수는 픽처에 연속적으로 적용된다. 본 실시예는 또한 이러한 단계들을 수행하기 위한 장치를 제공한다.

또한, 본 실시예는 전술된 방법들에 따라 픽처를 포함하는 비트스트림을 프로세싱하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.

본 원리들의 다른 양태에 따르면, 컬러 매핑 정보를 인코딩하기 위한 방법이 제시되며, 이 방법은, 제1 컬러 매핑 함수 및 제2 컬러 매핑 함수에 액세스하는 단계 - 제1 컬러 매핑 함수 및 제2 컬러 매핑 함수의 연속적인 적용은 컬러 매핑 정보를 표현하기 위해 사용됨 -; 제1 컬러 매핑 함수를 표시하는 제1 세트의 파라미터들을 인코딩하는 단계 - 제1 컬러 매핑 함수는 제1 도메인 상에 정의됨 -; 제2 컬러 매핑 함수를 표시하는 제2 세트의 파라미터들을 인코딩하는 단계 - 제2 컬러 매핑 함수는 제2 도메인 상에 정의됨 -; 및 제1 및 제2 세트들의 파라미터들을 포함하는 비트스트림을 출력으로서 제공하는 단계를 포함한다. 본 실시예는 또한 이러한 단계들을 수행하기 위한 장치를 제공한다.

또한, 본 실시예는 전술된 방법들에 따라 컬러 매핑 정보를 인코딩하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.

도 1은 2 개의 1D LUT들 및 매트릭스를 사용한 CMF 표현의 도식적 예를 예시한다.
도 2는 컬러 성분을 값 X로부터 값 Y로 매핑하는 구분적 선형 곡선의 도식적 예를 예시한다.
도 3은 입력 컬러들이 컬러 공간의 서브세트에 있는 경우의 도식적 예를 예시한다.
도 4a는 작은 구간들을 사용하여 컬러 매핑 함수를 표현하는 도식적 예를 예시하고, 도 4b는 일부 컬러들에 대해 큰 구간을 사용하여 컬러 매핑 함수를 표현하는 다른 도시적 예를 예시한다.
도 5는 본 원리들의 실시예에 따라 2 개의 컬러 매핑 함수들을 생성 및 적용하는 예시적인 시스템을 도시하는 블록도를 예시한다.
도 6은 본 원리들의 실시예에 따라 컬러 매핑 정보를 인코딩하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 7a는 제1 컬러 매핑 함수 f_CRI1에 대한 예시적인 정의 도메인(D_CRI1)을 예시하고; 도 7b는 제1 컬러 매핑 f_CRI1(D_CRI1)을 적용한 후의 범위를 파선 내에 예시하고, 제2 컬러 매핑 함수 f_CRI2에 대한 예시적인 정의 도메인(D_CRI2)을 실선 내에 예시하고; 도 7c는 제1 규칙에 따른 D_CRI2에 대한 제2 컬러 매핑의 결과를 예시하고; 도 7d는 제2 규칙에 따른 D_CRI2에 대한 제2 컬러 매핑의 결과를 예시한다.
도 8은 본 원리들의 실시예에 따라 디코딩된 컬러 매핑 함수들에 기초하여 픽처를 프로세싱하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 9는 본 원리들의 실시예에 따라 제1 및 제2 컬러 매핑들을 수행하는 예시적인 시스템을 예시하는 흐름도이다.
도 10은 본 원리들의 예시적인 실시예들의 다양한 양태들이 구현될 수 있는 예시적인 시스템을 도시하는 블록도를 예시한다.
도 11은 하나 이상의 구현들과 함께 사용될 수 있는 비디오 프로세싱 시스템의 예를 도시하는 블록도를 예시한다.
도 12는 하나 이상의 구현들과 함께 사용될 수 있는 비디오 프로세싱 시스템의 다른 예를 도시하는 블록도를 예시한다.

본 출원에서 "컬러 매핑" 및 "컬러 리매핑"으로 또한 지칭되는 컬러 변환은 다양한 애플리케이션들에서 사용될 수 있다. 예를 들어, 광범위한 컬러 포맷들, 캡처 능력 및 디스플레이 특성들로 인해, 컬러 매핑은 디코딩된 이미지들을 디스플레이 디바이스 상에 렌더링하기 위해 사용될 수 있다. 다른 예에서, 비디오는 상이한 목적들을 위해 여러 번 컬러 등급화될 수 있으며, 여기서 컬러 등급화는 비디오의 컬러들을 변경/강화하는 프로세스이다. 예를 들어, 컬러리스트(colorist)는 영화가 넓은 컬러 영역(WCG)에서 표현되고 극장에 어울리도록 영화를 컬러 등급화할 수 있고, 다른 컬러리스트는 영화가 더 작은 영역에서 표현되고 홈 엔터테인먼트에 어울리도록 영화를 컬러 등급화할 수 있다. 영화의 각각의 컬러 등급화된 버전은 예술적 의도에 대응하고, 타겟팅된 디스플레이 또는 애플리케이션의 기능들에 의존할 수 있다.

송신기는 오직 홈 엔터테인먼트 버전 및 컬러 매핑 정보 세트만을 송신할 수 있고, 컬러 매핑 정보 세트는 홈 엔터테인먼트 버전의 컬러들이 극장 버전으로 어떻게 매핑될 수 있는지를 표시한다. 컬러 매핑 정보 세트를 표현하기 위해, 컬러 매핑 함수는, 예를 들어, 심리-시각적 메트릭을 사용하여, 매핑된 픽처들(예를 들어, CMF(홈 엔터테인먼트 버전))과 타겟 픽처들(예를 들어, 극장 버전) 사이의 차이를 최소화하도록 결정될 수 있다. 수신기 측에서, 홈 엔터테인먼트 버전은 컬러 매핑 정보를 사용하여 극장 버전에 매핑될 수 있다.

또한, 송신기는 오직 극장 버전 및 컬러 매핑 정보 세트만을 송신할 수 있고, 컬러 매핑 정보 세트는 극장 버전의 컬러들이 홈 엔터테인먼트 버전으로 어떻게 매핑될 수 있는지를 표시한다. 수신기 측에서, 극장 버전은 컬러 매핑 정보를 사용하여 홈 엔터테인먼트 버전에 매핑될 수 있다. 따라서, 버전들 둘 모두를 송신하기 보다는, 오직 하나의 버전이 송신될 수 있고, 다른 버전은 컬러 매핑 정보를 사용하여 복원된다. 이러한 접근법은 통상적으로 디스플레이 디바이스에서 어느 버전이든 디스플레이할 가능성을 여전히 보존하면서, 두 버전들 모두를 송신하는 것보다 훨씬 적은 대역폭을 요구한다.

더 일반적으로, 디스플레이 디바이스가 어느 버전이든 디스플레이하게 하기 위해, 컬러 매핑 정보를 표현하는 메타데이터는 비트스트림으로 시그널링될 수 있다. 이러한 컬러 매핑 메타데이터를 인코딩하는 것은, 컨텐츠의 다양한 버전들을 디스플레이하는 것을 가능하게 하고, 디스플레이가 컬러 매핑 정보에 의해 향상된 데이터를 디스플레이할 수 있다면, 송신된 코딩된 비디오를 향상시킬 수 있다. 컬러 매핑 정보를 송신하는 것은 또한 예술적 의도를 보존하면서 넓은 컬러 영역 등급화된 컨텐츠를 정상적으로 저하시키는 것을 가능하게 한다.

HEVC의 드래프트 에디션(고효율 비디오 코딩(HEVC)의 에디션 2 드래프트 텍스트, JCTVC-R1013, 이하 "JCTVC-R1013")에서, 컬러 변환 정보는 표 1에 제시된 바와 같이 CRI(Color Remapping Information)에서 정의되고, 참조의 용이함을 위해 표에 라인 번호가 추가된다. CRI는 HEVC, HEVC 범위 확장, 확장성(SHVC) 및 멀티-뷰(MV-HEVC) 확장들에 적용될 수 있다. 특히, 컬러 리매핑 정보 SEI 메시지에 사용되는 컬러 리매핑 모델은, 각각의 컬러 성분에 적용되는 제1 구분적 선형 함수를 구성하기 위해 사용될 수 있는 신택스 엘리먼트들의 "프리(pre)" 세트, 3 개의 컬러 성분들에 적용될 수 있는 3x3 매트릭스, 및 각각의 컬러 성분에 적용된 제2 구분적 선형 함수를 재구성하기 위해 사용될 수 있는 신택스 엘리먼트들의 "포스트" 세트로 구성된다.

[표 1] HEVC의 드래프트 버전에서 정의되는 CRI 신택스

시맨틱스

colour_remap_id는 컬러 리매핑 정보의 목적을 식별하기 위해 사용될 수 있는 식별 번호를 포함한다. colour_remap_id의 값은 0 내지 2³² - 2(양단 포함)의 범위일 것이다.

0 내지 255 및 512 내지 2³¹-1의 colour_remap_id의 값은 애플리케이션에 의해 정의되는 것으로 사용될 수 있다. 256 내지 511(양단 포함) 및 2³¹ 내지 2³² - 2(양단 포함)의 colour_remap_id의 값들은 ITU-T

ISO/IEC에 의한 장래의 사용을 위해 예비된다. 디코더들은 256 내지 511(양단 포함)의 범위 또는 2³¹ 내지 2³² - 2(양단 포함)의 범위의 colour_remap_id 값을 포함하는 모든 컬러 리매핑 정보 SEI 메시지들을 무시할 것이고, 비트스트림들은 이러한 값들을 포함하지 않을 것이다.

1과 동일한 colour_remap_cancel_flag는, 컬러 리매핑 정보 SEI 메시지가 현재 계층에 적용되는 출력 순서에서 임의의 이전 컬러 리매핑 정보 SEI 메시지의 지속성을 취소한다는 것을 표시한다. 0과 동일한 colour_remap_cancel_flag는 컬러 리매핑 정보가 후속된다는 것을 표시한다.

colour_remap_persistence_flag는 현재 계층에 대한 컬러 리매핑 정보 SEI 메시지의 지속성을 특정한다.

0과 동일한 colour_remap_persistence_flag는 컬러 리매핑 정보가 오직 현재 픽처에만 적용됨을 특정한다.

1과 동일한 colour_remap_video_signal_info_present_flag는 신택스 엘리먼트들 colour_remap_full_range_flag, colour_remap_primaries, colour_remap_transfer_function 및 colour_remap_matrix_coefficients가 존재함을 특정하고, 0과 동일한 colour_remap_video_signal_info_present_flag는 신택스 엘리먼트들 colour_remap_full_range_flag, colour_remap_primaries, colour_remap_transfer_function 및 colour_remap_matrix_coefficients가 존재하지 않음을 특정한다.

colour_remap_full_range_flag는, colour_remap_full_range_flag가 CLVS(Coded Layer-wise Video Sequence)에 대해 사용된 컬러 공간보다는 리매핑된 재구성된 픽처의 컬러 공간을 특정하는 것을 제외하고는 video_full_range_flag 신택스 엘리먼트에 대한 JCTVC-R1013의 조항 E.3.1에 특정된 것과 동일한 시맨틱스를 갖는다. 존재하지 않는 경우, colour_remap_full_range_flag의 값은 video_full_range_flag의 값과 동일한 것으로 추론된다.

colour_remap_primaries는, colour_remap_primaries가 CLVS에 대해 사용된 컬러 공간보다는 리매핑된 재구성된 픽처의 컬러 공간을 특정하는 것을 제외하고는 colour_primaries 신택스 엘리먼트에 대한 JCTVC-R1013의 조항 E.3.1에 특정된 것과 동일한 시맨틱스를 갖는다. 존재하지 않는 경우, colour_remap_primaries의 값은 colour_primaries의 값과 동일한 것으로 추론된다.

colour_remap_transfer_function은, colour_remap_transfer_function이 CLVS에 대해 사용된 컬러 공간보다는 리매핑된 재구성된 픽처의 컬러 공간을 특정하는 것을 제외하고는 transfer_characteristics 신택스 엘리먼트에 대한 JCTVC-R1013의 조항 E.3.1에 특정된 것과 동일한 시맨틱스를 갖는다. 존재하지 않는 경우, colour_remap_transfer_function의 값은 transfer_characteristics의 값과 동일한 것으로 추론된다.

colour_remap_matrix_coefficients는, colour_remap_matrix_coefficients가 CLVS에 대해 사용된 컬러 공간보다는 리매핑된 재구성된 픽처의 컬러 공간을 특정하는 것을 제외하고는 matrix_coeffs 신택스 엘리먼트에 대한 JCTVC-R1013의 조항 E.3.1에 특정된 것과 동일한 시맨틱스를 갖는다. 존재하지 않는 경우, colour_remap_matrix_coefficients의 값은 matrix_coeffs의 값과 동일한 것으로 추론된다.

colour_remap_input_bit_depth는 컬러 리매핑 정보 SEI 메시지의 해석의 목적으로 연관된 픽처들의 루마(luma) 및 크로마(chroma) 성분들 또는 RGB 성분들의 비트 깊이를 특정한다. 코딩된 루마 및 크로마 성분들의 비트 깊이 또는 코딩된 RGB 성분들의 비트 깊이와 동일하지 않은 colour_remap_input_bit_depth의 값을 갖는 임의의 컬러 리매핑 정보 SEI 메시지들이 존재하는 경우, SEI 메시지는 코딩된 비디오를 colour_remap_input_bit_depth와 동일한 비트 깊이를 갖는 변환된 비디오로 변환하기 위해 수행되는 트랜스코딩 동작의 가설적 결과를 참조한다.

colour_remap_input_bit_depth의 값은 8 내지 16(양단 포함)의 범위일 것이다. 0 내지 7(양단 포함) 및 17 내지 255(양단 포함)의 colour_remap_input_bit_depth의 값들은 ITU-T

ISO/IEC에 의한 장래의 사용을 위해 예비된다. 디코더들은 0 내지 7(양단 포함)의 범위 또는 17 내지 255(양단 포함)의 범위의 colour_remap_input_bit_depth를 포함하는 모든 컬러 리매핑 정보 SEI 메시지들을 무시할 것이고, 비트스트림들은 이러한 값들을 포함하지 않을 것이다.

colour_remap_bit_depth는 컬러 리매핑 정보 SEI 메시지에 의해 설명되는 컬러 리매핑 함수의 출력의 비트 깊이를 특정한다.

colour_remap_bit_depth의 값은 8 내지 16(양단 포함)의 범위일 것이다. 0 내지 7(양단 포함) 및 17 내지 255(양단 포함)의 범위의 colour_remap_bit_depth의 값들은 ITU-T│ISO/IEC에 의한 장래의 사용을 위해 예비된다. 디코더들은 0 내지 7(양단 포함) 또는 17 내지 255(양단 포함)의 범위의 colour_remap_bit_depth의 값을 포함하는 모든 컬러 리매핑 정보 SEI 메시지들을 무시할 것이다.

pre_lut_num_val_minus1[c] 플러스 1은 c번째 성분에 대한 구분적 선형 리매핑 함수에서 피봇 포인트들의 수를 특정하고, 여기서 0과 동일한 c는 루마 또는 G 성분을 나타내고, 1과 동일한 c는 Cb 또는 B 성분을 나타내고, 2와 동일한 c는 Cr 또는 R 성분을 나타낸다. pre_lut_num_val_minus1[c]가 0과 동일한 경우, 입력 값들의 디폴트 엔드 포인트들은 0 및 2^{colour_remap_input_bit_depth} - 1이고, 출력 값들의 대응하는 디폴트 엔드 포인트들은 c번째 성분에 대해 0 및 2^{colour_remap_bit_depth} - 1이다. 본 명세서의 이러한 버전에 따른 비트스트림들에서, pre_lut_num_val_minus1[c]의 값은 0 내지 32(양단 포함)의 범위일 것이다.

pre_lut_coded_value[c][i]는 c번째 성분에 대한 i번째 피봇 포인트의 값을 특정한다. pre_lut_coded_value[c][i]를 표현하기 위해 사용되는 비트들의 수는 ((colour_remap_input_bit_depth + 7 ) ≫ 3 ) ≪ 3이다.

pre_lut_target_value[c][i]는 c번째 성분에 대한 i번째 피봇 포인트의 값을 특정한다. pre_lut_target_value[c][i]를 표현하기 위해 사용되는 비트들의 수는 ((colour_remap_bit_depth + 7 ) ≫ 3 ) ≪ 3이다.

1과 동일한 colour_remap_matrix_present_flag는 0 내지 2(양단 포함) 범위의 c 및 i에 대해, 신택스 엘리먼트들 log2_matrix_denom 및 colour_remap_coeffs[c][i]가 존재함을 표시한다. 0과 동일한 colour_remap_matrix_present_flag는 0 내지 2(양단 포함) 범위의 c 및 i에 대해, 신택스 엘리먼트들 log2_matrix_denom 및 colour_remap_coeffs[c][i]가 존재하지 않음을 표시한다.

log2_matrix_denom은 모든 매트릭스 계수들에 대한 분모의 베이스 2 로그를 특정한다. log2_matrix_denom의 값은 0 내지 15(양단 포함)의 범위일 것이다. 존재하지 않는 경우, log2_matrix_denom의 값은 0과 동일한 것으로 추론된다.

colour_remap_coeffs[c][i]는 3x3 컬러 리매핑 매트릭스 계수들의 값을 특정한다. colour_remap_coeffs[c][i]의 값은 -2¹⁵ 내지 2¹⁵ - 1(양단 포함)의 범위일 것이다. colour_remap_coeffs[c][i]가 존재하지 않는 경우, 이는 c가 i와 동일하면 1과 동일한 것으로 추론되고, 그렇지 않으면 0과 동일한 것으로 추론된다.

c = 0, 1, 및 2에 대해 변수 matrixOutput[c]는 다음과 같이 유도된다:

여기서 matrixInput[c]는 c번째 컬러 성분의 입력 샘플 값이고, matrixOutput[c]는 c번째 컬러 성분의 출력 샘플 값이다.

post_lut_num_val_minus1[c]는, c번째 컬러 성분에 대해 입력 값들의 디폴트 엔드 포인트들이 0 및 2^colour ^_ ^remap ^_bit_depth - 1인 것을 제외하고는, 프리가 포스트로 대체된 pre_lut_num_val_minus1[c]와 동일한 시맨틱스를 갖는다. post_lut_num_val_minus1[c]의 값은 0 내지 32(양단 포함)의 범위일 것이다.

post_lut_coded_value[c][i]는 post_lut_coded_value[c][i]를 표현하기 위해 사용된 비트들의 수가 ((colour_remap_bit_depth + 7 ) ≫ 3 ) ≪ 3인 것을 제외하고는, 프리가 포스트로 대체된 pre_lut_coded_value[c][i]와 동일한 시맨틱스를 갖는다.

post_lut_target_value[c][i]는 프리가 포스트로 대체된 pre_lut_target_value[c][i]와 동일한 시맨틱스를 갖는다.

도 1은 2 개의 1D LUT들 및 매트릭스를 사용한 예시적인 CMF 표현을 예시하고, 여기서 입력 컬러 성분들 E1_j(j ∈ {1, ..., C})은 출력 컬러 성분들 E2_j(j ∈ {1, ..., C})로 변환될 수 있고, 여기서 C는 픽처의 컬러 성분들의 수이고, 통상적으로 C=3이다. 컬러 매핑 함수 CMF는, C 개의 1차원 구분적 선형 함수들 f_1j(j ∈ {1, ..., C})로 근사화되는 변환 F1, C 개의 1차원 구분적 선형 함수들 f_2j(j ∈ {1, ..., C})로 근사화되는 제2 변환 F21 및 다른 컬러 변환 F22로 고려될 수 있는 선형 매트릭스 M을 포함한다.

표 1을 다시 참조하면, 신택스 엘리먼트들 pre_lut_num_val_minus1, pre_lut_coded_value 및 pre_lut_target_value(표 1의 라인들 14 내지 21)은 제1 1D LUT F1을 표현하기 위해 사용될 수 있고, 신택스 엘리먼트들 log2_matrix_denom 및 colour_remap_coeffs(표 1의 라인들 22 내지 28)는 매트릭스 M을 표현하기 위해 사용될 수 있고, 신택스 엘리먼트들 post_lut_num_val_minus1, post_lut_coded_value 및 post_lut_target_value(표 1의 라인들 29 내지 36)은 제2 1D LUT F21을 표현하기 위해 사용될 수 있다.

HEVC 표준은 CMF에 대한 파라미터들을 정의하지만, CMF를 재구성하는 방법을 강제하지 않는다. 도 2는 컬러 성분을 값 X로부터 제1 1D LUT(신택스 엘리먼트들의 "프리" 세트)에 기초하여 피봇 포인트들로 구성될 수 있는 값 Y 로 매핑하는 구분적 선형 곡선을 예시한다. 각각의 피봇 포인트(예를 들어, 포인트(201, 202 또는 203))는 신택스 엘리먼트들의 쌍(pre_lut_coded_value[c][i], pre_lut_target_value[c][i])에 대응하고, 2 개의 피봇 포인트들 사이의 값들을 매핑하기 위해 선형 보간이 사용된다. 도 2에서, "th_c1_min"은 최소 입력 값이고, "th_c1_max"는 컬러 성분 C1에 대한 최소 입력 값이다. "th_c1_min" 및 "th_c1_max"의 값들은 비디오의 컬러 공간에서 컬러 성분의 범위, 예를 들어, 8-비트 RGB 비디오에 대한 R 성분에 대해 th_c1_min = 0 및 th_c1_max = 255에 대응할 수 있거나, 또는 "th_c1_min" 및 "th_c1_max"는 또한 컬러 공간의 서브세트, 예를 들어, th_c1_min = 17 및 fh_c1_max = 220에 대응할 수 있다.

도 2에 도시된 바와 같이, 최좌측 피봇 포인트는 th_c1_min에 있지 않을 수 있고 최우측 피봇 포인트는 th_c1_max에 있지 않을 수 있는데, 즉, 구분적 선형 곡선은 입력 값들의 서브세트 상에 정의될 수 있다. 구분적 선형 곡선이 정의되는 값들은 구분적 선형 함수의 정의 도메인 또는 도메인으로 지칭된다.

더 일반적으로, 컬러 매핑은 전체 컬러 공간 또는 컬러 공간의 서브세트에 정의될 수 있다. 도 3은 입력 컬러들이 컬러 공간의 서브세트에 있는 경우를 도시하고, 여기서 각각의 축은 비디오 신호가 표현되는 컬러 공간의 컬러 성분을 표현한다. 컬러 공간은 3 개의 컬러 성분들 C1, C2 및 C3, 예를 들어 각각 R, G 및 B를 갖는다. 입력 컬러들은 최대 큐브(외측 큐브) [0, th_c1_max] x [0,th_c2_max] x [0, th_c3_max]에 정의된다. 도 3의 예에서, CMF는 (shaded area [th_c1_min, th_c1_max] x [th_c2_min, th_c2_max] x [th_c3_min, th_c3_max])의 서브세트에서 정의되는데, 즉, 컬러 매핑 함수의 도메인은 컬러 공간([0, th_c1_max] x [0, th_c2_max] x [0, th_c3_max])의 서브세트이다.

컬러 매핑 함수가 상이한 방법들을 사용하여, 예를 들어, 1D LUT들 및 3x3 매트릭스를 사용하여 표현되는 경우, 컬러 매핑의 정확도가 감소될 수 있다. 예를 들어, 도 4a는 동일한 구간들을 사용하는 컬러 매핑 함수를 표현하기 위해 구분적 선형 곡선을 사용하는 1D의 단순화된 예를 예시하고, 도 4b는 상이한 구간들을 사용하는 다른 예를 예시하고, 여기서 파선은 표현될 컬러 매핑 함수("원래의 CMF"로 표시됨)에 대응하고, 실선은 원래의 CMF를 표현/근사화하기 위해 사용된 구분적 선형 곡선에 대응한다. 도 4a로부터, 구분적 선형 곡선은 원래의 CMF와 약간 상이함이 관측된다. 그러나, 도 4b에 도시된 바와 같이 일부 입력 컬러들에서 구간이 더 커짐에 따라, 구분적 선형 곡선과 원래의 CMF 사이의 차이는 커지고, 이는 근사화된 CMF의 적용으로 인한 컬러 부정확도, 예를 들어, 원래의 CMF가 사용되었다면 발생하지 않을 수 있는 색조 시프트들 또는 포화들을 초래할 수 있다.

예로서 HEVC CRI 시그널링을 사용하면, 신택스 엘리먼트들의 "프리" 세트 또는 신택스 엘리먼트들의 "포스트" 세트 각각은 1D LUT에서 최대 33 개의 피봇 포인트들을 지원할 수 있다 (pre_lut_num_val_minus1[c] 및 post_lut_num_val_minus1[c]는 0 내지 32의 범위에 있다). 매핑된 픽처가 양호한 품질을 갖도록(예를 들어, 매핑된 픽처가 타겟 픽처에 근접하도록) 컬러 매핑 함수를 표현하기 위해, 피봇 포인트들의 선택은 통상적으로 이용가능한 피봇 포인트들의 수에서의 제약들 및 매핑된 픽처의 품질을 고려해야 한다. 예를 들어, 인간의 눈이 보다 민감하거나 통계적으로 중요한 컬러들과 같은 중요한 컬러들은 통상적으로 보다 미세한 표현을 얻어야 한다. 일반적으로, 중요한 컬러들의 경우, 더 정확한 표현을 제공하기 위해 피봇 포인트들 사이의 구간들은 더 작아야 한다.

그러나, 통계를 고려하고, 인간의 시력을 고려하여 피봇 포인트들을 선택하는 것은 서로 충돌할 수 있다. 예를 들어, B 성분의 95 %에 대응하는 청색 하늘(B 성분의 값들이 10 내지 63 범위임) 및 B 성분의 1 %에 대응하는 청색 자전거(B 성분의 값들이 약 56임)를 포함하는 이미지를 고려한다. 통계에 기초한 구분적 선형 곡선은 값들 10 내지 41에서 32 개의 피봇 포인트들(10 내지 41의 각각의 값에서 하나의 피봇 포인트), 및 값 63에서 다른 피봇 포인트를 갖도록 선택하여, 대부분의 샘플들은 양호한 표현을 얻을 수 있다. 청색 자전거를 매핑하기 위해, 56 주변의 컬러들에 대한 매핑은 보간될 수 있고, 이는 의도된 매핑에서 상당히 벗어날 수 있다. 청색 자전거는 전경에 있기 때문에, 자전거의 왜곡된 청색 컬러는 상당히 뚜렷하게 보일 수 있고, 인지된 시각적 품질에 영향을 미칠 수 있다.

다른 예에서, 많은 적색 의류, 적색 입술 및 적색 손톱이 존재하고, 적색 의류가 R 성분에서의 대부분의 샘플들에 대응하고, 적색 입술 및 적색 손톱은 일부의 샘플들에 대응하는 이미지를 고려한다. 이전의 예와 유사하게, 통계에 기초하여 선택된 피봇 포인트들은 적색 입술/손톱의 컬러들이 갈색처럼 보이게 하고 이는 인간의 눈에 거슬리게 된다.

컬러 매핑 함수를 표현하기 위해 이용가능한 파라미터들의 수에 추가로, 하드웨어 구현 비용이 다른 제약을 부과할 수 있다. 도메인의 균일한 피봇 포인트 구간들(즉, 2 개의 인접한 피봇 포인트들 사이의 모든 구간들이 동일한 거리를 갖는 것)이 선호되는 하드웨어 구현인 것이 관측된다. 따라서, 컬러 매핑 함수를 표현하기 위한 파라미터들을 설계하는 경우 균일한 구간들을 고려하는 것이 또한 바람직하다. 예를 들어, 10-비트 비디오에 대해 도메인이 [0, 1023]인 경우, 피봇 포인트들은 0, 31, 62, ...31*i, 1023에 있다. 그러나, 이러한 균일한 표현은 더 중요한 컬러들에 대해 더 미세한 표현을 제공하지 않는데, 예를 들어, 픽처의 피부 톤에 대응하는 컬러들(예를 들어, B 성분의 31 내지 62)은 매우 양호하게 매핑되지 않을 수 있다.

본 원리들을 컬러 매핑 정보의 표현을 개선하기 위해 다중 컬러 매핑 함수들을 사용하기 위한 방법 및 장치에 관한 것이다. 특히, 하드웨어 구현 고려사항을 또한 존중하면서 중요한 컬러들에 대해 더 미세한 표현들을 제공할 수 있는 상이한 솔루션들을 제안한다. 컬러 매핑 함수의 이러한 표현은 기존의 신택스 엘리먼트들을 재사용함으로써 구현될 수 있다. 디코더 측에서, 컬러 매핑 함수들이 디코딩될 수 있고, 그 다음, 디코딩된 픽처를 프로세싱하기 위해 적용될 수 있다. 다음으로, 상이한 실시예들을 논의하기 위해 2 개의 연속적인 컬러 매핑 함수들을 사용한다. 본 원리들은 또한, 컬러 매핑들의 더 많은 라운드들이 사용되는 경우에 적용될 수 있다.

일 실시예에서, 제1 컬러 매핑 함수는 예를 들어 2 개의 상이한 컬러 등급화들로부터 획득된 컬러 매핑 정보에 기초하여 생성될 수 있다. 그 다음, 입력 픽처는 제1 컬러 매핑 함수를 사용하여 매핑되어, 예를 들어, R 성분의 정의 도메인 [0, 1023]에서 균일한 구간들에서 피봇 포인트들을 갖는 것과 같은 Remap1을 형성한다. 일부 중요한 컬러들이 정확하게 매핑되지 않기 때문에, 매핑된 픽처(Remap1)는 컬러 아티팩트들을 가질 수 있다. 따라서, 한 세트의 샘플들은, 예를 들어 사용자 인터페이스를 통해 수동으로 조작자에 의해 추가 조정들을 위해 선택될 수 있다. CMF 생성기는 선택된 샘플들에 대한 제2 컬러 매핑 함수를 (다른 정의 도메인, 예를 들어 R 성분의 경우 31 내지 62에서) 생성한다. 그 다음, 선택된 샘플들에 대응하는 입력 픽처의 샘플들은 품질을 개선하기 위해 제2 컬러 매핑을 거친다. 후속적으로, 선택된 샘플들에 대응하는 제2 CMF로부터의 매핑 결과 Remap2 및 나머지 샘플들에 대응하는 매핑 결과 Remap1로부터의 샘플들이 결합되어 출력 픽처를 형성한다.

다른 실시예에서, 도 5에 도시된 바와 같이, 제1 컬러 매핑 함수가 적용(520)된 후, 매핑된 픽처(Remap1)가 형성되고, 조작자는 아티팩트들 및 추가적인 조절을 갖는 샘플들을 선택(530)할 수 있다. 그 다음, CMF 생성기는 선택된 샘플들에 대한 제2 컬러 매핑 함수를 생성(510)한다. 제2 컬러 매핑은 입력 픽처로부터의 샘플들보다는 리매핑된 픽처로부터의 샘플들(Remap1)에 적용(540)된다. 그 다음, 출력 픽처는 컬러 매핑들 둘 모두에 기초하여 생성(550)될 수 있다.

도 6은 본 원리들에 따라 컬러 매핑 정보를 인코딩하기 위한 예시적인 방법(600)을 예시한다. 방법(600)은 단계(605)에서 시작한다. 단계(610)에서, 입력 픽처, 예를 들어 WCG HDR(High Dynamic Range) 픽처에 액세스한다. 여기서, 입력 픽처는 또한 하나의 컬러 공간으로부터 또 다른 컬러 공간으로 예를 들어, YUV로부터 RGB로 변환될 수 있다. 단계(620)에서, 예를 들어 2 개의 컬러 등급화들로부터의 컬러 매핑 정보에 기초하여 제1 컬러 매핑 함수를 결정한다. 일반적으로, 컬러 매핑 함수가 디코더 측에서 재구성되기 위해, 컬러 매핑 함수는 비트스트림에 의해 요구되는 포맷, 예를 들어 HEVC CRI 신택스 엘리먼트에 의해 특정된 포맷을 따라야 한다. 단계(630)에서, 제1 컬러 매핑을 적용하는데, 예를 들어, 입력 픽처를 매핑된 픽처(Remap1)로 변환한다.

단계(640)에서, 예를 들어 추가적인 조절을 위해 선택된 샘플들에 기초하여 제2 컬러 매핑 함수를 결정한다. 단계(650)에서 매핑된 픽처(Remap1) 상에 제2 컬러 매핑을 적용하는데, 예를 들어, Remap1을 SDR(Standard Dynamic Range) 픽처로 변환한다. 단계(660)에서, 제1 및 제2 컬러 매핑 함수들 및 입력 픽처를 비트스트림으로 인코딩한다. 단계(670)에서, 비트스트림을 출력한다. 방법(600)은 단계(699)에서 종료된다.

따라서, 본 실시예에 따르면, 컬러 매핑 함수들이 연속적으로 적용될 수 있고, 다수의 컬러 매핑 함수들을 인코딩할 수 있다. 대응적으로, 컬러 매핑 함수는 디코더 측에서 픽처를 프로세싱하기 위해 연속적으로 적용될 수 있다. 연속적인 컬러 매핑들을 적용하는 경우, 예를 들어, 제2 컬러 매핑 함수가 어떻게 적용되는지에 관한 상이한 규칙들이 정의될 수 있다. 어느 규칙이 사용될지는 비트스트림에서 시그널링될 수 있거나 또는 인코더 및 디코더 측 둘 모두에서 선험적으로 공지될 수 있다. 다음으로, 연속적인 컬러 매핑들을 위한 2 개의 상이한 규칙들을 더 상세히 논의한다.

표기의 용이성을 위해, 제1 컬러 매핑을 CRI1로 표기하고, 제1 컬러 매핑 함수들을 제1 도메인 D_CRI1 상에 정의된 f_CRI1로 표기하고, 제2 컬러 매핑을 CRI2로 표기하고, 제2 컬러 매핑 함수를 제2 도메인 D_CRI2 상에 정의된 f_CRI2로 표기한다. D_CRI1 및 D_CRI2 둘 모두는 가능한 모든 입력 컬러들 또는 그 서브세트에 대응할 수 있다. 통상적으로 D_CRI1와 D_CRI2는 상이한데, 예를 들어, D_CRI2가 D_CRI1의 서브세트일 수 있거나, D_CRI1와 D_CRI2가 중첩할 수 있거나, 또는 D_CRI1와 D_CRI2가 중첩하지 않을 수 있다. 함수 f_CRI1 또는 f_CRI2는 예를 들어, 앞서 논의된 것들과 같은 임의의 컬러 매핑 함수일 수 있다. 컬러 매핑 함수들의 정의 도메인들 외에도, 아이덴티티 함수가 컬러 매핑을 위해 사용될 수 있다(즉, 입력 컬러는 매핑 후에 변경되지 않는다).

규칙 1

일 실시예에서, 2 개의 컬러 매핑 함수들은 오직 그들 자신의 정의 도메인 상에만 연속적으로 적용된다. 도 7a는 제1 컬러 매핑 함수 f_CRI1에 대한 예시적인 정의 도메인을 도시한다. 입력 이미지의 가능한 컬러 값들은 이제 D_CRI1 및

로 분할된다. 제1 컬러 매핑 f_CRI1(D_CRI1)을 적용한 후의 범위는 도 7b에서 파선 내에 도시되어 있다.

에 대응하는 샘플들은 변경되지 않는다. 수학적으로, CRI1 이후의 출력은 D_CRI1와

둘 모두로부터의 매핑 결과들의 조합으로 기록될 수 있다:

(1)

제2 컬러 매핑 함수의 도메인은 도 7b에서 실선 내에 도시된 D_CRI2이다. Remap1은 D_CRI2와

로 분할된다. 도 7b에서, 단순화를 위해,

가 D_CRI2를 커버하고, 결과적으로 Remap1이 D_CRI2를 커버하여, 즉

라고 가정한다. 도 7c는 D_CRI2에 대한 제2 컬러 매핑의 결과, 즉 f_CRI2(D_CRI2)를 도시한다.

의 컬러들에 대응하는 샘플들은 변경되지 않는다. 수학적으로, 출력은 D_CRI2 및

로부터의 매핑 결과들의 조합으로 기록될 수 있다:

(2)

Remap1이 전체 D_CRI2를 포함하지 않는 경우 제2 컬러 매핑 f_CRI2가 엄격하게

상에 적용되고, 따라서 제2 컬러 매핑은 또한

(3)

로 기록될 수 있다.

규칙 2

다른 실시예에서, 제1 컬러 매핑 CRI1은 자신의 정의 도메인 상에 적용되지만, 제2 컬러 매핑 CRI2는 오직, CRI1에 의해 이전에 컬러 매핑되었고 또한 함수 f_CRI2의 정의의 도메인 내부에 있는 샘플들에만 적용된다.

이전 규칙과 동일하게, CRI1 이후의 출력은 D_CRI1 및

둘 모두의 매핑 결과들의 조합으로 기록될 수 있다:

(4)

제2 컬러 매핑 함수의 도메인은 도 7b에서 실선 내에 도시된 D_CRI2이다. 단순화를 위해, Remap1은 D_CRI2를 커버하고, 결과적으로 Remap1은 D_CRI2를 커버하여, 즉,

로 또한 가정한다. 그러나, 이전의 규칙과 상이하게, CRI2는 오직, CRI1에 의해 이전에 컬러 매핑되고(즉, Remap1에서 f_CRI1(D_CRI1)에 대응하는 샘플들) f_CRI1(D_CRI2)의 정의 도메인 내에 또한 존재하는 샘플들 상에만 적용된다. 도 7d는 CRI1에 의해 이전에 컬러 매핑된 샘플들에 대한 D_CRI2 상의 제2 컬러 매핑의 결과들, 즉

를 도시한다. 나머지 컬러들에 대응하는 샘플들(즉,

)은 f_CRI2에 의해 변경되지 않는다. 즉,

(5)

컬러 변환들을 연속적으로 적용하기 위한 2 개의 상이한 규칙들이 앞서 논의되었다. 규칙 1은 구현하기에 더 용이할 수 있지만, 매핑되지 않은 샘플들(조작자가 이미 충족되었을 수 있음)에 영향을 미치고 새로운 문제점들을 유발할 수 있다. 규칙 2는 오직 매핑된 샘플들에만 영향을 미쳐서 조작자가 정확한 제어를 갖지만, 어떤 샘플들을 선택할지를 식별할 필요가 있어서 구현하기에 더 곤란하다. 사용자 요건들 또는 다른 입력들에 기초하여 인코더는 다른 규칙에 비해 하나의 규칙을 선택할 수 있다.

상기에서, 컬러 공간의 서브세트에서 컬러 매핑들을 적용하는 것에 대해 주로 논의하였다. 본 원리들은 또한 픽처의 공간 영역에 적용될 수 있다. 예를 들어, 컬러 매핑들은 오직 픽처 내의 공간적 윈도우에만 적용될 수 있다. 어느 공간적 영역이 컬러 매핑되는지를 표시하기 위해, 추가적인 신택스 엘리먼트들 (xmin, ymin) 및 (xmax, ymax)가 사용되어, 각각 공간적 윈도우의 상단-좌측 및 바닥-우측 픽셀 좌표를 표시할 수 있다. 또는, 추가적인 신택스 엘리먼트들 (xmin, ymin) 및 (xsize, ysize)가 사용되어, 각각 상단-좌측 픽셀 좌표 및 공간적 윈도우의 픽셀들의 수에서 윈도우 크기를 표시할 수 있다.

상이한 컬러 매핑 함수들과 관련된 파라미터들은 비트스트림으로 시그널링될 수 있다. 일 실시예에서, HEVC CRI의 몇몇 세트들은, 이들이 적용되는(CRI는 CRI SEI가 속하는 (예를 들어, 동일한 layer_id를 갖는) 동일한 계층의 재구성된 픽처들에 적용됨) 순서대로, 적용되는 비디오 코딩된 픽처(들) 전에 비트스트림에 인코딩된다. 다른 실시예에서, CRI 적용 순서는 colour_remap_id와 같은 다른 신택스 엘리먼트로부터 도출된다. 본 원리들은 또한 컬러 매핑 함수들을 위한 파라미터들을 정의하는 다른 비디오 압축 표준에 적용될 수 있다.

도 8은 본 원리들에 따라 수신기 측에서 디코딩된 컬러 매핑 정보에 기초하여 픽처를 프로세싱하기 위한 예시적인 방법(800)을 예시한다. 방법(800)은 단계(805)에서 시작한다. 단계(810)에서, 예를 들어, 비트스트림으로부터 WCG HDR 픽처를 디코딩함으로써 입력으로서 WCG HDR 픽처를 수신한다. 단계(820)에서, 예를 들어 HEVC CRI 신택스 엘리먼트들의 "프리" 및 "포스트" 세트들 및 3x3 매트릭스에 기초하여 구분적 선형 곡선들을 재구성하는 것과 같이, 비트스트림으로부터의 2 개의 컬러 매핑 함수들 및 이들의 적용 순서에 대한 파라미터들을 결정한다. 단계(830)에서, 연속적인 컬러 매핑들을 수행하는데, 예를 들어, 먼저 제1 컬러 매핑 함수를 사용하여 WCG HDR 픽처를 매핑된 픽처로 변환하고, 그 다음 제2 컬러 변환 함수를 사용하여 매핑된 픽처를 SDR 픽처로 변환한다. 입력 픽처들의 컬러 공간과 다른 컬러 공간에서 컬러 매핑이 수행되면, 매핑된 픽처는 컬러 매핑에 사용된 컬러 공간으로 변환되어야 한다. 단계(840)에서, SDR 픽처를 출력한다. 방법(800)은 단계(899)에서 종료된다.

도 9는 방법(800)에서 단계(830)를 구현하기 위해 사용될 수 있는 본 원리들에 따라 제1 및 제2 매핑들을 수행하기 위한 예시적인 방법(900)을 예시한다. 제1 컬러 매핑 함수가 모든 가능한 컬러들의 서브세트인 정의 도메인 상에 정의되는 경우, 제1 컬러 매핑 함수의 도메인 내에 속하는 샘플들을 선택한다(910). 그 다음, 제1 매핑 함수가 선택된 샘플들에 적용되고(920), 다른 샘플들은 변경되지 않는다. 제1 매핑 함수가 적용된 후, 매핑된 픽처(매핑 1)가 형성된다.

제2 컬러 매핑 함수가 모든 가능한 컬러들의 서브세트인 정의 도메인 상에 정의되는 경우, 매핑된 픽처(Remap1)로부터의 제2 컬러 매핑 함수의 도메인 내에 속하는 샘플들을 선택한다(930). 식 (5)에서 설명된 바와 같은 제2 규칙이 사용되는 경우, 샘플들은 오직, 이들이 제1 매핑에서 이전에 매핑된 경우에만 선택된다. 제2 매핑 함수가 Remap1에서 선택된 샘플들에 적용되고(940), 다른 샘플들은 변경되지 않는다.

상기에서, 컬러 매핑들을 예시하기 위해 WCG HDR 및 SRD 픽처들을 사용한다. 본 원리들은 또한 픽처들의 다른 포맷들 사이의 컬러 매핑들에 적용될 수 있다.

유리하게는, 본 실시예들은 픽처들에서의 국부적인 변화들을 캡처하기 위해 몇몇 컬러 매핑 함수들을 사용할 수 있다. 이것은 국부적인 공간적 윈도우와 결합되어, 오직 국부적인 공간적 윈도우 내의 샘플들에 대한 매핑들의 적용을 허용할 수 있다. 상이한 컬러 매핑들의 연속적인 적용들은 보다 복잡한 컬러 매핑 함수들을 개발하지 않고도 후속 컬러 매핑으로 제1 컬러 매핑을 정정/개선하는 것을 허용하여, 구현 비용들을 감소시킨다.

도 10은 본 원리들의 예시적인 실시예들의 다양한 양태들이 구현될 수 있는 예시적인 시스템의 블록도를 예시한다. 시스템(1000)은 아래에서 설명되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 앞서 설명된 프로세스들을 수행하도록 구성된다. 이러한 디바이스들의 예들은, 개인용 컴퓨터들, 랩탑 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋탑 박스들, 디지털 텔레비전 수신기들, 개인용 비디오 레코딩 시스템들, 연결된 가전 제품들 및 서버들을 포함하지만 이에 제한되는 것은 아니다. 시스템(1000)은, 도 10에 도시되고 전술된 예시적인 비디오 시스템을 구현하기 위해 본 기술분야의 통상의 기술자들에게 공지된 바와 같이 통신 채널을 통해 다른 유사한 시스템들 및 디스플레이에 통신가능하게 커플링될 수 있다.

시스템(1000)은 앞서 논의된 바와 같이 다양한 프로세스들을 구현하기 위해 로딩된 명령어들을 실행하도록 구성되는 적어도 하나의 프로세서(1010)를 포함할 수 있다. 프로세서(1010)는 본 기술분야에 공지된 바와 같이 내장 메모리, 입력 출력 인터페이스 및 다양한 다른 회로들을 포함할 수 있다. 시스템(1000)은 또한 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스, 비휘발성 메모리 디바이스)를 포함할 수 있다. 시스템(1000)은 추가적으로 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브 및/또는 광 디스크 드라이브를 포함하지만 이에 제한되는 것은 아닌 비휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함할 수 있다. 저장 디바이스(1040)는 비제한적 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다. 시스템(1000)은 또한 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 프로세싱하도록 구성된 인코더/디코더 모듈(1030)을 포함할 수 있다.

인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 표현한다. 공지된 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 추가적으로, 인코더/디코더 모듈(1030)은 시스템(1000)의 개별 엘리먼트로서 구현될 수 있거나 또는 본 기술분야의 통상의 기술자들에게 공지된 바와 같이 하드웨어 및 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.

앞서 설명된 다양한 프로세스들을 수행하기 위해 프로세서(1010) 상에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 후속적으로 프로세서(1010)에 의한 실행을 위해 메모리(1020) 상에 로딩될 수 있다. 본 원리들의 예시적인 실시예들에 따르면, 프로세서(들)(1010), 메모리(1020), 저장 디바이스(1040) 및 인코더/디코더 모듈(1030) 중 하나 이상은 변조 값, SDR 비디오, HDR 비디오, 방정식들, 공식, 매트릭스들, 변수들, 동작들 및 연산 로직을 포함하지만 이에 제한되는 것은 아닌, 앞서 본원에 논의된 프로세스들의 수행 동안 다양한 아이템들 중 하나 이상을 저장할 수 있다.

시스템(1000)은 또한 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 포함할 수 있다. 통신 인터페이스(1050)는 통신 채널(1060)로부터 데이터를 송신 및 수신하도록 구성된 트랜시버를 포함할 수 있지만, 이에 제한되는 것은 아니다. 통신 인터페이스는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이에 제한되는 것은 아니며, 통신 채널은 유선 및/또는 무선 매체 내에서 구현될 수 있다. 시스템(1000)의 다양한 컴포넌트들은, 내부 버스들, 와이어들 및 인쇄 회로 기판들을 포함하지만 이에 제한되는 것은 아닌 다양한 적절한 연결들을 사용하여 함께 연결되거나 통신가능하게 커플링될 수 있다. 본 원리들에 따른 예시적인 실시예들은 프로세서(1010)에 의해 또는 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 구현되는 컴퓨터 소프트웨어에 의해 수행될 수 있다. 비제한적인 예로서, 본 원리들의 예시적인 실시예들은 하나 이상의 집적 회로들에 의해 구현될 수 있다. 메모리(1020)는 기술적인 환경에 적합한 임의의 유형일 수 있고, 임의의 적합한 데이터 저장 기술, 예를 들어, 비제한적인 예들로서, 광 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정 메모리 및 착탈식 메모리를 사용하여 구현될 수 있다. 프로세서(1010)는 기술적인 환경에 적합한 임의의 유형일 수 있고, 비제한적 예들로서 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들 및 멀티-코어 아키텍처에 기초한 프로세서들 중 하나 이상을 포함할 수 있다.

도 11을 참조하면, 전술된 특징들 및 원리들이 적용될 수 있는 데이터 송신 시스템(1100)이 도시되어 있다. 데이터 송신 시스템(1100)은 예를 들어, 위성, 케이블, 전화선, 또는 지상파 방송과 같은 다양한 매체 중 임의의 것을 사용하여 신호를 송신하기 위한 전신(head-end) 또는 송신 시스템일 수 있다. 데이터 송신 시스템(1100)은 또한 저장을 위한 신호를 제공하기 위해 사용될 수 있다. 송신은 인터넷 또는 일부 다른 네트워크를 통해 제공될 수 있다. 데이터 송신 시스템(1100)은 예를 들어, 비디오 컨텐츠 및 다른 컨텐츠를 생성 및 전달할 수 있다.

데이터 송신 시스템(1100)은 프로세싱된 데이터 및 다른 정보를 프로세서(1101)로부터 수신한다. 일 구현에서, 프로세서(1101)는 동일한 비디오의 2 개의 컬러 등급화들에 기초하여 컬러 매핑 정보를 생성하고, 예를 들어 방법(500)을 사용하여 2 개의 컬러 매핑 함수들을 사용하여 컬러 정보를 표현한다. 프로세서(1101)는 또한 예를 들어 제2 컬러 매핑 함수가 어떻게 적용되는지에 관한 규칙을 표시하는 메타데이터를 1100에 제공할 수 있다.

데이터 송신 시스템 또는 장치(1100)는 인코딩된 신호를 송신할 수 있는 인코더(1102) 및 송신기(1104)를 포함한다. 인코더(1102)는 프로세서(1101)로부터 데이터 정보를 수신한다. 인코더(1102)는 인코딩된 신호(들)를 생성한다.

인코더(1102)는 예를 들어 저장 또는 송신을 위해 구조화된 포맷으로 다양한 정보 조각들을 수신 및 어셈블링하기 위한 어셈블리 유닛을 포함하는 서브-모듈들을 포함할 수 있다. 다양한 정보 조각들은 예를 들어, 코딩된 또는 코딩되지 않은 비디오, 코딩된 또는 코딩되지 않은 엘리먼트들을 포함할 수 있다. 일부 구현들에서, 인코더(1102)는 프로세서(1101)를 포함하고, 따라서 프로세서(1101)의 동작들을 수행한다.

송신기(1104)는 인코더(1102)로부터 인코딩된 신호(들)를 수신하고, 인코딩된 신호(들)를 하나 이상의 출력 신호들에서 송신한다. 송신기(1104)는 예를 들어, 인코딩된 픽처들 및/또는 그에 관련된 정보를 표현하는 하나 이상의 비트스트림들을 갖는 프로그램 신호를 송신하도록 적응될 수 있다. 통상적인 송신기들은, 예를 들어, 에러 정정 코딩을 제공하는 것, 데이터를 신호에서 인터리빙하는 것, 신호의 에너지를 랜덤화하는 것, 변조기(1106)를 사용하여 하나 이상의 캐리어들 상에 신호를 변조하는 것 중 하나 이상과 같은 기능들을 수행한다. 송신기(1104)는 안테나(미도시)를 포함하거나 그와 인터페이스할 수 있다. 추가적으로, 송신기(1104)의 구현들은 변조기(1106)로 제한될 수 있다.

데이터 송신 시스템(1100)은 또한 저장 유닛(1108)에 통신가능하게 커플링된다. 일 구현에서, 저장 유닛(1108)은 인코더(1102)에 커플링되고 인코더(1102)로부터 인코딩된 비트스트림을 저장한다. 다른 구현에서, 저장 유닛(1108)은 송신기(1104)에 커플링되고, 송신기(1104)로부터의 비트스트림을 저장한다. 송신기(1104)로부터의 비트스트림은 예를 들어, 송신기(1104)에 의해 추가적으로 프로세싱된 하나 이상의 인코딩된 비트스트림들을 포함할 수 있다. 저장 유닛(1108)은 상이한 구현들에서, 표준 DVD, 블루 레이 디스크, 하드 드라이브 또는 일부 다른 저장 디바이스 중 하나 이상이다.

도 12을 참조하면, 전술된 특징들 및 원리들이 적용될 수 있는 데이터 수신 시스템(1200)이 도시되어 있다. 데이터 수신 시스템(1200)은 저장 디바이스, 위성, 케이블, 전화선 또는 지상파 방송과 같은 다양한 매체를 통해 신호들을 수신하도록 구성될 수 있다. 신호들은 인터넷 또는 일부 다른 네트워크를 통해 수신될 수 있다.

데이터 수신 시스템(1200)은 예를 들어, 셀 폰, 컴퓨터, 셋탑 박스, 텔레비전, 또는 인코딩된 비디오를 수신하고, 예를 들어 디스플레이(예를 들어, 사용자에게 디스플레이)를 위해, 프로세싱을 위해 또는 저장을 위해 디코딩된 비디오 신호를 제공하는 다른 디바이스일 수 있다. 따라서, 데이터 수신 시스템(1200)은 예를 들어 텔레비전의 스크린, 컴퓨터 모니터, 컴퓨터(저장, 프로세싱 또는 디스플레이를 위해), 또는 일부 다른 저장, 프로세싱 또는 디스플레이 디바이스에 자신의 출력을 제공할 수 있다.

데이터 수신 시스템(1200)은 데이터 정보를 수신하고 프로세싱할 수 있다. 데이터 수신 시스템 또는 장치(1200)는, 예를 들어 본 출원의 구현들에서 설명된 신호들과 같은 인코딩된 신호를 수신하기 위한 수신기(1202)를 포함한다. 수신기(1202)는 예를 들어, WCG HDR 비디오 및 컬러 매핑 함수들 중 하나 이상을 제공하는 신호 또는 도 11의 데이터 송신 시스템(1100)으로부터 출력된 신호를 수신할 수 있다.

수신기(1202)는 예를 들어, 인코딩된 픽처들을 표현하는 복수의 비트스트림들을 갖는 프로그램 신호를 수신하도록 적응될 수 있다. 통상적인 수신기들은 예를 들어, 변조 및 인코딩된 데이터 신호를 수신하는 것, 복조기(1204)를 사용하여 하나 이상의 캐리어들로부터 데이터 신호를 복조하는 것, 신호의 에너지를 역-랜덤화하는 것, 신호에서 데이터를 디-인터리빙하는 것 및 신호를 오류-정정 디코딩하는 것 중 하나 이상과 같은 기능들을 수행한다. 수신기(1202)는 안테나(미도시)를 포함하거나 그와 인터페이스할 수 있다. 수신기(1202)의 구현들은 복조기(1204)로 제한될 수 있다.

데이터 수신 시스템(1200)은 디코더(1206)를 포함한다. 수신기(1202)는 수신된 신호를 디코더(1206)에 제공한다. 수신기(1202)에 의해 디코더(1206)에 제공된 신호는 하나 이상의 인코딩된 비트스트림들을 포함할 수 있다. 디코더(1206)는 예를 들어 비디오 정보를 포함하는 디코딩된 비디오 신호들과 같은 디코딩된 신호를 출력한다.

데이터 수신 시스템 또는 장치(1200)는 또한 저장 유닛(1207)에 통신가능하게 커플링된다. 일 구현에서, 저장 유닛(1207)은 수신기(1202)에 커플링되고, 수신기(1202)는 저장 유닛(1207)으로부터의 비트스트림에 액세스한다. 다른 구현에서, 저장 유닛(1207)은 디코더(1206)에 커플링되고, 디코더(1206)는 저장 유닛(1207)으로부터의 비트스트림에 액세스한다. 저장 유닛(1207)으로부터 액세스되는 비트스트림은, 상이한 구현들에서, 하나 이상의 인코딩된 비트스트림들을 포함한다. 저장 유닛(1207)은 상이한 구현들에서, 표준 DVD, 블루 레이 디스크, 하드 드라이브 또는 일부 다른 저장 디바이스 중 하나 이상이다.

일 구현에서, 디코더(1206)로부터의 출력 데이터는 프로세서(1208)에 제공된다. 일 구현에서, 프로세서(1208)는 컬러 매핑 정보에 기초하여 HDR 대 SDR 매핑을 수행하기 위해 구성된 프로세서이다. 일부 구현들에서, 디코더(1206)는 프로세서(1208)를 포함하고, 따라서 프로세서(1208)의 동작들을 수행한다. 다른 구현들에서, 프로세서(1208)는 예를 들어 셋탑 박스 또는 텔레비전과 같은 다운스트림 디바이스의 일부이다.

본원에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법으로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 장치 또는 프로그램)로 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능 로직 디바이스를 포함하는 일반적인 프로세싱 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 휴대 정보 단말("PDA들"), 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 원리들의 "일 실시예" 또는 "실시예" 또는 "일 구현" 또는 "구현" 뿐만 아니라 이들의 다른 변화예들에 대한 참조는, 실시예와 관련하여 설명되는 특정한 특징, 구조, 특성 등이 본 원리들의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 위치들에서 등장하는 구 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서" 뿐만 아니라 다른 변화예들은, 반드시 동일한 실시예 전부를 참조할 필요는 없다.

추가적으로, 본 출원 또는 본 출원의 청구항들은, 정보의 다양한 조각들을 "결정"하는 것을 참조할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것 또는 메모리로부터 정보를 조회하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원 또는 본 출원의 청구항들은, 정보의 다양한 조각들에 "액세스"하는 것을 참조할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 조회하는 것, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원 또는 본 출원의 청구항들은, 정보의 다양한 조각들을 "수신"하는 것을 참조할 수 있다. 수신하는 것은, "액세스하는 것"에서와 같이 광의의 용어로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것 또는 (예를 들어, 메모리로부터) 정보를 조회하는 것 중 하나 이상을 포함할 수 있다. 추가적으로, "수신하는 것"은 통상적으로, 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것 또는 정보를 추정하는 것과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.

본 기술분야의 통상의 기술자에게 자명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 반송하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는, 설명된 실시예의 비트스트림을 반송하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하는) 전자기 파로서 또는 기저대역 신호로서 포맷될 수 있다. 포맷은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림과 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.

Claims

픽처를 포함하는 비트스트림을 프로세싱하기 위한 방법으로서,
제1 컬러 매핑 함수를 표시하는 제1 세트의 파라미터들에 액세스하는 단계(820) - 상기 제1 컬러 매핑 함수는 제1 도메인 상에 정의됨 -;
제2 컬러 매핑 함수를 표시하는 제2 세트의 파라미터들에 액세스하는 단계(820) - 상기 제2 컬러 매핑 함수는 제2 도메인 상에 정의됨 -; 및
상기 제1 컬러 매핑 함수, 상기 제2 컬러 매핑 함수 및 상기 픽처에 응답하여 출력 픽처를 생성하는 단계(840)
를 포함하고, 상기 제1 컬러 매핑 함수 및 상기 제2 컬러 매핑 함수는 상기 픽처에 연속적으로 적용되는(830), 방법.
제1항에 있어서,
상기 제2 컬러 매핑 함수의 제2 도메인은 상기 제1 컬러 매핑 함수의 제1 도메인의 서브세트인, 방법.
제1항에 있어서,
상기 제2 컬러 매핑 함수는 상기 제2 컬러 매핑 함수의 제2 도메인 내에 있는 샘플들에 적용되는, 방법.
제3항에 있어서,
상기 제2 컬러 매핑 함수는 상기 제1 컬러 매핑 함수에 의해 변경되는 샘플들에 적용되는, 방법.
제1항에 있어서,
상기 제1 컬러 매핑 함수의 제1 도메인 외부의 샘플들은 상기 제1 컬러 매핑 함수의 적용에 의해 변경되지 않는, 방법.
제1항에 있어서,
상기 제1 세트의 파라미터들 및 상기 제2 세트의 파라미터들은 고효율 비디오 코딩(HEVC) 컬러 리매핑 정보(CRI)에 따르는, 방법.
컬러 매핑 정보를 인코딩하기 위한 방법으로서,
제1 컬러 매핑 함수 및 제2 컬러 매핑 함수에 액세스하는 단계(620, 640) - 상기 제1 컬러 매핑 함수 및 상기 제2 컬러 매핑 함수의 연속적인 적용은 컬러 매핑 정보를 표현하기 위해 사용됨 -;
상기 제1 컬러 매핑 함수를 표시하는 제1 세트의 파라미터들을 인코딩하는 단계(660) - 상기 제1 컬러 매핑 함수는 제1 도메인 상에 정의됨 -;
상기 제2 컬러 매핑 함수를 표시하는 제2 세트의 파라미터들을 인코딩하는 단계(660) - 상기 제2 컬러 매핑 함수는 제2 도메인 상에 정의됨 -; 및
상기 제1 및 제2 세트들의 파라미터들을 포함하는 비트스트림을 출력으로서 제공하는 단계(670)
를 포함하는, 방법.
제7항에 있어서,
상기 제2 컬러 매핑 함수의 제2 도메인은 상기 제1 컬러 매핑 함수의 제1 도메인의 서브세트인, 방법.
제7항에 있어서,
상기 제2 컬러 매핑 함수는 상기 제2 컬러 매핑 함수의 제2 도메인 내에 있는 샘플들에 적용되는, 방법.
제9항에 있어서,
상기 제2 컬러 매핑 함수는 상기 제1 컬러 매핑 함수에 의해 변경되는 샘플들에 적용되는, 방법.
제7항에 있어서,
상기 제1 컬러 매핑 함수의 제1 도메인 외부의 샘플들은 상기 제1 컬러 매핑 함수의 적용에 의해 변경되지 않는, 방법.
제7항에 있어서,
상기 제1 세트의 파라미터들 및 상기 제2 세트의 파라미터들은 고효율 비디오 코딩(HEVC) 컬러 리매핑 정보(CRI)에 따르는, 방법.
제7항에 있어서,
상기 컬러 매핑 정보는 제1 픽처와 제2 픽처 사이의 매핑에 대응하고,
제3 픽처를 형성하기 위해 상기 제1 픽처에 상기 제1 컬러 매핑 함수를 적용하는 단계; 상기 제3 픽처로부터 샘플들을 선택하는 단계를 더 포함하고, 선택된 샘플들은 상기 제2 컬러 매핑 함수를 결정하기 위해 사용되는, 방법.
제13항에 있어서,
상기 선택은 사용자 인터페이스를 통해 수행되는, 방법.
제1항 내지 제14항 중 어느 한 항에 따른, 픽처를 포함하는 비트스트림을 프로세싱하거나 컬러 매핑 정보를 인코딩하기 위한 장치.