KR20200096308A

KR20200096308A - 하이 다이내믹 레인지 신호들에 대한 신호 리섀이핑

Info

Publication number: KR20200096308A
Application number: KR1020207022148A
Authority: KR
Inventors: 로빈 애킨스; 펑 인; 타오란 루; 자클린 안느 파이트라즈
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2015-08-04
Filing date: 2016-08-03
Publication date: 2020-08-11
Anticipated expiration: 2036-08-03
Also published as: US11924477B2; US12200271B1; CA2994282C; US20240155161A1; WO2017024042A3; US11570480B2; EP4210041A1; US20240283983A1; CN110267046B; CA2994282A1; US11979615B1; CN110267046A; JP2018530189A; US20240244271A1; TW202139137A; US12041275B1; EP3332550B1; CA3086441A1; US20210243478A1; US11785263B2

Abstract

레거시 컬러 공간들과 호환되지 않을 수도 있는 넓은 컬러 영역(WCG) 공간에서 코딩된 하이 다이내믹 레인지 이미지들을 디코딩할 때 이전 버전과의 호환성을 개선하는 방법에서, 레거시 컬러 공간(예를 들어, YCbCr-감마)과 선호 WCG 컬러 공간(예를 들어, IPT-PQ) 둘 다에 대해 이미지 데이터베이스 내의 이미지들의 색조 및/또는 채도 값들이 계산된다. 비용 함수에 기초하여, 레거시 컬러 공간에서의 색조 값들과 선호 컬러 공간에서의 회전된 색조 값들 사이의 거리가 최소화되도록 리섀이핑된 컬러 공간이 계산된다. 리섀이핑된 컬러 공간에 HDR 이미지들이 코딩된다. 레거시 디바이스들은 표준 다이내믹 레인지 이미지들이 레거시 컬러 공간에 코딩되었다고 가정하여 표준 다이내믹 레인지 이미지들을 여전히 디코딩할 수 있는 한편, 업데이트된 디바이스들은 컬러 리섀이핑 정보를 사용하여 선호 컬러 공간 내의 HDR 이미지들을 전체 다이내믹 레인지에서 디코딩할 수 있다.

Description

하이 다이내믹 레인지 신호들에 대한 신호 리섀이핑{SIGNAL RESHAPING FOR HIGH DYNAMIC RANGE SIGNALS}

관련 출원에 대한 상호 참조

본 출원은 2016년 3월 1일자로 출원된 제62/302,073호, 2016년 2월 25일자로 출원된 제62/300,012호, 2016년 1월 13일자로 출원된 제62/278,362호, 2015년 8월 10일자로 출원된 제62/202,980호, 및 2015년 8월 4일자로 출원된 제62/200,797호의 미국 가출원들의 우선권을 주장하며, 그 각각은 그 전문이 인용에 의해 본 명세서에 포함된다.

본 발명은 일반적으로 이미지들에 관한 것이다. 더 상세하게는, 본 발명의 실시예는 이전 버전과의 호환성(backwards compatibility)을 개선하기 위한 하이 다이내믹 레인지를 갖는 이미지들의 신호 리섀이핑(reshaping)에 관한 것이다.

본 명세서에서 사용되는, 용어 '다이내믹 레인지'(DR)는 예를 들어, 가장 어두운 어둠들(블랙들)로부터 가장 밝은 화이트들(즉, 하이라이트들)까지의 이미지에서의 강도(예를 들어, 휘도, 루마)의 범위를 인지하는 인간 시각계(HVS: human visual system)의 능력에 관한 것일 수 있다. 이러한 의미에서, DR은 '장면 참조(scene-referred)' 강도에 관련한다. DR은 또한 특정 폭의 강도 범위를 적절히 또는 근사하게 렌더링하는 디스플레이 디바이스의 능력에도 관련한다. 이러한 의미에서, DR은 '디스플레이 참조(display-referred)' 강도에 관련한다. 특정 의미가 본 명세서의 설명의 임의의 지점에서 특정 의의를 갖는 것으로 명시적으로 특정되지 않는 한, 상기 용어는 어느 의미에서든, 예를 들어 교환가능하게 사용될 수 있는 것으로 추론되어야 한다.

본 명세서에서 사용되는, 하이 다이내믹 레인지(HDR: high dynamic range)라는 용어는 인간 시각계(HVS)의 일부 14-15 자릿수에 걸치는 DR 폭에 관련된다. 실제로, 인간이 강도 범위에서 광범위한 폭을 동시에 인지할 수 있는 DR은, HDR와 비교하여, 다소 잘릴 수 있다. 본 명세서에서 사용되는, 향상된 다이내믹 레인지(EDR: enhanced dynamic range) 또는 시각적 다이내믹 레인지(VDR: visual dynamic range)라는 용어들은 안구의 움직임들을 포함하는 인간 시각계(HVS)에 의해 장면 또는 이미지 내에서 인지 가능하여, 장면 또는 이미지에 걸쳐 일부 광 적응 변경들을 허용하는 DR에 개별적으로 또는 교환가능하게 관련될 수 있다. 본 명세서에서 사용되는, EDR은 5 내지 6 자릿수에 걸치는 DR에 관련될 수 있다. 따라서 실제 장면 참조 HDR과 비교하여 아마도 다소 더 좁지만, EDR은 그럼에도 불구하고 넓은 DR 폭을 나타내고 HDR이라고도 지칭될 수 있다.

실제로, 이미지들은 하나 이상의 컬러 성분(예를 들어, 루마 Y 및 크로마 Cb 및 Cr)을 포함하며, 여기서, 각 컬러 성분은 픽셀 당 n-비트의 정밀도로 표현된다(예를 들어, n=8). 선형 휘도 코딩을 사용하여, n ≤ 8인 이미지들(예를 들어, 컬러 24-비트 JPEG 이미지들)은 표준 다이내믹 레인지의 이미지들로 간주되는 한편, n > 8인 이미지들은 향상된 다이내믹 레인지의 이미지들로 간주될 수 있다. EDR 및 HDR 이미지들은 고-정밀도(예를 들어, 16-비트) 부동소수점 포맷들, 이를테면 인더스트리얼 라이트 앤드 로직(Industrial Light and Magic)에 의해 개발된 OpenEXR 파일 포맷을 사용하여 또한 저장 및 배포될 수 있다.

비디오 스트림이 주어지면, 그것의 코딩 파라미터들에 관한 정보는 전형적으로 비트 스트림에 메타데이터로서 삽입된다. 본 명세서에서 사용되는, "메타데이터"라는 용어는, 코딩된 비트스트림의 일부로서 송신되고 디코딩된 이미지를 렌더링하는 디코더를 지원하는 임의의 보조 정보에 관련된다. 이러한 메타데이터는, 본 명세서에서 설명되는 것들과 같이, 컬러 공간 또는 영역(gamut) 정보, 참조 디스플레이 파라미터들, 및 보조 신호 파라미터들을 포함할 수 있지만, 이들로 제한되지는 않는다.

대부분의 소비자 데스크톱 디스플레이들은 200 내지 300 cd/m2 또는 니트(nit)의 휘도를 현재 지원한다. 대부분의 소비자 HDTV들은 300 니트 내지 500 니트의 범위에 이르며 새로운 모델들은 1000 니트(cd/m2)에 다다르고 있다. 이러한 종래의 디스플레이들은 따라서 HDR 또는 EDR과 비교하여 표준 다이내믹 레인지(SDR: standard dynamic range)라고도 지칭되는 더 낮은 다이내믹 레인지(LDR: lower dynamic range)를 대표한다. 캡처 장비(예를 들어, 카메라들) 및 HDR 디스플레이들(예를 들어, 돌비 래버러토리스(Dolby Laboratories)로부터의 PRM-4200 전문가 참조 모니터) 둘 다에서의 진전들로 인해 HDR 콘텐츠의 가용성이 늘어남에 따라, HDR 콘텐츠는 더 높은 다이내믹 레인지들(예를 들어, 1,000 니트 내지 5,000 니트 이상)을 지원하는 HDR 디스플레이들 상에 컬러 그레이딩되고 디스플레이될 수 있다. 대체로, 제한 없이, 본 개시내용의 방법들은 SDR보다 더 높은 임의의 다이내믹 레인지에 관련된다. 여기서 본 발명자들에 의해 이해되는 바와 같이, 하이 다이내믹 레인지 이미지들의 코딩을 위한 개선된 기법들이 요구된다.

본 섹션에 설명된 접근법들은 추구될 수 있는 접근법들이지만, 반드시 이전에 구상 또는 추구되었던 접근법들은 아니다. 따라서, 달리 명시되지 않는 한, 본 섹션에 설명된 접근법들 중 어느 것이든 본 섹션에 그것이 포함되어있다는 것만으로 종래기술로서의 자격을 얻는 것으로 추정되지 않아야 한다. 유사하게, 하나 이상의 접근법에 관하여 식별된 문제들은 달리 명시되지 않는 한, 본 섹션에 근거하여 임의의 종래 기술에서 인지되어 있었던 것으로 추정되지 않아야 한다.

본 발명의 일 실시예가 첨부 도면들의 도들에, 제한으로서가 아니라 예로서 예시되어 있으며, 첨부 도면들에서 유사 참조 번호들은 유사 요소들을 나타낸다.
도 1은 비디오 전달 파이프라인에 대한 예시적인 프로세스를 도시한다.
도 2는 IPT-PQ 컬러 공간으로의 컬러 변환을 위한 예시적인 프로세스를 도시한다.
도 3은 신호 리섀이핑 및 코딩을 위한 예시적인 프로세스를 도시한다.
도 4는 본 발명의 일 실시예에 따른 ST 2084 IPT와 BT 1866 IPT 사이의 휘도 리섀이핑을 위한 예시적인 톤 매핑 곡선을 도시한다.
도 5는 본 발명의 일 실시예에 따른 컬러 공간 리섀이핑을 사용하는 이전 버전과 호환되는 코딩 및 디코딩을 위한 예시적인 시스템을 도시한다.
도 6은 본 발명의 일 실시예에 따른 컬러 회전 및 스케일링 행렬을 생성하기 위한 예시적인 프로세스 흐름을 도시한다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 색조 및 채도 리섀이핑 함수들을 도시한다.
도 8은 본 발명의 일 실시예에 따른 IPT-PQ 컬러 공간과 YCbCr-감마 컬러 공간 사이의 색조 및 채도 리섀이핑의 예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 EETF 함수의 예를 도시한다.

하이 다이내믹 레인지(HDR) 이미지들의 신호 리섀이핑 및 코딩이 본 명세서에서 설명된다. 이하의 설명에서, 설명의 목적을 위해, 본 발명에 대한 철저한 이해를 제공하기 위해 다수의 특정 세부 사항이 기술된다. 그러나, 본 발명은 이들 특정 세부 사항 없이도 실시될 수 있음은 명백할 것이다. 다른 경우들에서, 잘 알려진 구조들 및 디바이스들은 본 발명을 불필요하게 가리거나, 모호하게 하거나 애매하게 하는 것을 방지하기 위해 철저히 상세하게 기술되지 않는다.

개요

본 명세서에 설명된 예시적인 실시예들은 하이 다이내믹 레인지 이미지들의 리섀이핑 및 코딩에 관한 것이다. 이전 버전과 호환되는 디코딩을 개선하는 방법에서, 인코더에서, 프로세서는 이미지 데이터베이스에 액세스하고,

제1 컬러 공간에서 상기 데이터베이스 내의 이미지들의 제1 색조 값들을 계산하고;

제2 컬러 공간에서 상기 데이터베이스 내의 이미지들의 제2 색조 값을 계산하고;

색조 비용 함수를 최소화하는 것에 기초하여 색조 회전 각도를 계산하고 - 상기 색조 비용 함수는 상기 제1 색조 값들과 회전된 제2 색조 값들의 차이 측정치(difference measure)에 기초함 -; 상기 색조 회전 각도에 기초하여 컬러 회전 행렬을 생성한다.

일 실시예에서, 상기 제1 컬러 공간은 감마-기반 YCbCr 컬러 공간이고 상기 제2 컬러 공간은 PQ-기반 IPT 컬러 공간이다.

일 실시예에서, 상기 컬러 회전 행렬은 선호 컬러 공간에 기초하여 리섀이핑된 컬러 공간을 생성하는 데 사용된다. 이미지들은 상기 리섀이핑된 컬러 공간을 사용하여 코딩되고, 상기 컬러 회전 행렬에 대한 정보가 상기 인코더로부터 디코더로 시그널링된다.

일 실시예에서, 디코더에서, 리섀이핑된 컬러 공간에서 코딩된 입력 이미지를 재구성하는 방법에서, 상기 디코더는:

리섀이핑된 컬러 공간에서 코딩된 입력 이미지를 수신하고 - 상기 리섀이핑된 컬러 공간은 레거시 컬러 공간의 하나 이상의 파라미터를 근사하기 위해 선호 컬러 공간의 크로마 성분들을 회전시킴으로써 생성됨 -;

인코더로부터 상기 디코더로 전송된 메타데이터에 액세스하고 - 상기 메타데이터는 상기 코딩된 입력 이미지와 연관되고, 상기 메타데이터는:

컬러 회전 및 스케일링 행렬의 존재 여부를 지시하는 플래그; 및

상기 플래그가 상기 컬러 회전 및 스케일링 행렬의 존재를 지시할 때 상기 컬러 회전 및 스케일링 행렬에 대한 복수의 계수를 포함함 -;

상기 코딩된 입력 이미지를 디코딩하여 상기 리섀이핑된 컬러 공간에서 디코딩된 이미지를 생성하고;

상기 컬러 회전 및 스케일링 행렬 및 상기 리섀이핑된 컬러 공간 내의 상기 디코딩된 이미지에 기초하여 상기 선호 컬러 공간에서 디코딩된 이미지를 생성한다.

또 다른 실시예에서, 인코더에서, 프로세서는:

선호 컬러 공간에서 입력 이미지를 수신하고;

색조 회전 함수에 액세스하고 - 상기 선호 컬러 공간 내의 상기 입력 이미지 내의 픽셀의 색조 값에 대해, 상기 색조 회전 함수는 색조 비용 기준에 따라 레거시 컬러 공간 내의 색조 값과 일치하는 회전된 색조 출력 값을 생성함 -;

상기 입력 이미지 및 상기 색조 회전 함수에 기초하여 리섀이핑된 이미지를 생성하고;

상기 리섀이핑된 이미지를 인코딩하여 코딩된 리섀이핑된 이미지를 생성한다.

또 다른 실시예에서, 디코더에서, 프로세서는:

리섀이핑된 컬러 공간에서 인코딩된 입력 이미지에 액세스하고;

상기 입력 이미지와 연관된 메타데이터에 액세스하고 - 상기 메타데이터는 상기 입력 이미지를 선호 컬러 공간으로부터 상기 리섀이핑된 컬러 공간으로 변환하는 데 사용되는 색조 회전 함수와 연관된 데이터를 포함하고, 상기 선호 컬러 공간 내의 상기 입력 이미지 내의 픽셀의 색조 값에 대해, 상기 색조 회전 함수는 색조 비용 기준에 따라 레거시 컬러 공간 내의 색조 값과 일치하는 회전된 색조 출력 값을 생성함 -;

상기 입력 이미지 및 상기 색조 회전 함수와 연관된 데이터에 기초하여 상기 선호 컬러 공간에서 출력 이미지를 생성한다.

예시적인 비디오 전달 프로세싱 파이프라인

도 1은 비디오 캡처로부터 비디오 콘텐츠 디스플레이까지의 다양한 스테이지들을 보여주는 종래의 비디오 전달 파이프라인(100)의 예시적인 프로세스를 도시한다. 이미지 생성 블록(105)을 사용하여 비디오 프레임들(102)의 시퀀스가 캡처되거나 또는 생성된다. 비디오 프레임들(102)은 비디오 데이터(107)를 제공하기 위해 (예를 들어, 디지털 카메라에 의해) 디지털적으로 캡처될 수 있거나 또는 컴퓨터에 의해 (예를 들어, 컴퓨터 애니메이션을 사용하여) 생성될 수 있다. 대안적으로, 비디오 프레임들(102)은 필름 카메라에 의해 필름 상에 캡처될 수 있다. 그 필름은 비디오 데이터(107)를 제공하기 위해 디지털 포맷으로 변환된다. 프로덕션 단계(110)에서, 비디오 데이터(107)는 비디오 프로덕션 스트림(112)을 제공하기 위해 편집된다.

프로덕션 스트림(112)의 비디오 데이터는 그 후 포스트-프로덕션 편집을 위해 블록(115)에서의 프로세서에 제공된다. 포스트-프로덕션 편집(115)은 비디오 제작자의 제작 의도에 따라 이미지 품질을 향상시키거나 또는 이미지에 대한 특정 외양을 성취하기 위해 이미지의 특정 영역들에서의 컬러들 또는 밝기를 조정하는 것 또는 수정하는 것을 포함할 수 있다. 이것은 있다 때때로 "컬러 타이밍" 또는 "컬러 그레이딩"이라고 불린다. 다른 편집(예를 들어, 장면 선택 및 시퀀싱, 이미지 크로핑, 컴퓨터로 생성된 시각적 특수 효과의 추가 등)이 배포를 위한 프로덕션의 최종 버전(117)을 산출하기 위해 블록(115)에서 수행될 수 있다. 포스트-프로덕션 편집(115) 동안, 비디오 이미지들이 참조 디스플레이(125) 상에 보여진다.

포스트-프로덕션(115)에 이어서, 최종 프로덕션(117)의 비디오 데이터가 텔레비전 세트들, 셋톱 박스들, 영화관들 등과 같은 디코딩 및 재생 디바이스들까지 하류로 전달하기 위해 인코딩 블록(120)에 전달될 수 있다. 일부 실시예들에서, 코딩 블록(120)은 코딩된 비트 스트림(122)을 생성하기 위해 ATSC, DVB, DVD, 블루레이, 및 다른 전달 포맷들에 의해 정의된 것들과 같은 오디오 및 비디오 인코더들을 포함할 수 있다. 수신기에서, 코딩된 비트 스트림(122)은 신호(117)의 동일하거나 또는 가까운 근사물을 나타내는 디코딩된 신호(132)를 생성하기 위해 디코딩 유닛(130)에 의해 디코딩된다. 수신기는 참조 디스플레이(125)와는 완전히 상이한 특성들을 가질 수 있는 타겟 디스플레이(140)에 부속될 수 있다. 그 경우에, 디스플레이 관리 블록(135)이 디스플레이-매핑된 신호(137)를 생성함으로써 디코딩된 신호(132)의 다이내믹 레인지를 타겟 디스플레이(140)의 특성들에 매핑하는 데 사용될 수 있다.

IPT-PQ 컬러 공간

바람직한 실시예에서, 제한 없이, IPT-PQ 컬러 공간이라고 언급될 것에서 프로세싱 파이프라인의 일부, 예를 들어, 코딩(120), 디코딩(130), 및 디스플레이 관리(135)가 수행될 수 있다. 디스플레이 관리 애플리케이션을 위한 IPT-PQ 컬러 공간의 예시적인 사용은 R. Atkins 등에 의한, WIPO 공보 WO 2014/130343, "Display Management for High Dynamic Range Video"에서 찾을 수 있으며, 그 전문이 인용에 의해 포함된다. 그 전문이 인용에 의해 본 명세서에 포함되는, F. Ebner 및 M.D. Fairchild에 의한, "Development and testing of a color space (ipt) with improved hue uniformity"(Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp. 8-13)(이하 Ebner 논문이라고 언급됨)에 기술된, IPT 컬러 공간은 인간 시각계에서 원뿔들 사이의 컬러 차이 모델이다. 이러한 의미에서 그것은 YCbCr 또는 CIE-Lab 컬러 공간과 같다; 그러나, 그것은 일부 과학 연구들에서는 이들 공간보다 인간의 시각적 처리를 더 잘 모방하는 것으로 밝혀졌다. CIE-Lab와 같이, IPT는 소정 기준 휘도에 대해 정규화된 공간이다. 일 실시예에서, 정규화는 타겟 디스플레이의 최대 휘도(예를 들어, 5,000 니트)에 기초한다.

본 명세서에서 사용된 용어 "PQ"는 지각적 양자화(perceptual quantization)를 지칭한다. 인간 시각계는 매우 비선형적인 방식으로 증가하는 광 레벨들에 응답한다. 자극을 보는 인간의 능력은 그 자극의 휘도, 자극의 크기, 자극을 구성하는 공간 주파수(들), 및 자극을 보고 있는 특정한 순간에 눈이 적응한 휘도 레벨에 의해 영향을 받는다. 바람직한 실시예에서, 지각적 양자화기 함수는 선형 입력 그레이 레벨들을 출력 그레이 레벨들에 매핑하고, 출력 그레이 레벨들은 인간 시각계에서의 콘트라스트 감도 임계치에 더 양호하게 일치한다. PQ 매핑 함수들의 예들은 그 전문이 인용에 의해 본 명세서에 포함되는, J. S. Miller 등에 의한, 미국 특허 제9,077,994호(이하 '994 특허라고 언급됨)에 기술되어 있고, 그 일부는 그 전문이 인용에 의해 본 명세서에 포함되는, 2014년 8월 16일자, "High Dynamic Range Electro-optical Transfer Function of Mastering Reference Displays"라는 제목의, SMPTE ST 2084:2014 명세서에 의해 채택되었는데, 여기서 고정된 자극 크기가 주어지면, 모든 휘도 레벨(즉, 자극 레벨)에 대해, 해당 휘도 레벨에서의 최소 가시적 콘트라스트 스텝이 가장 민감한 적응 레벨 및 가장 민감한 공간 주파수에 따라(HVS 모델들에 따라) 선택된다. 물리적 음극선관(CRT) 디바이스의 응답 곡선을 나타내고 동시에 인간 시각계가 응답하는 방식과 매우 대략적인 유사도를 가질 수 있는 전통적인 감마 곡선에 비해, '994 특허에 의해 결정된 바와 같은, PQ 곡선은 비교적 간단한 기능적 모델을 사용하여 인간 시각계의 실제 시각적 응답을 모방한다.

도 2는 일 실시예에 따른 IPT-PQ 컬러 공간으로의 컬러 변환을 위한 예시적인 프로세스(200)를 더 상세하게 도시한다. 도 2에 도시된 바와 같이, 제1 컬러 공간(예를 들어, RGB)에 있는 입력 신호(202)가 주어지면, 지각적으로 보정된 IPT 컬러 공간(IPT-PQ)에서의 컬러 공간 변환은 다음의 단계들을 포함할 수 있다:

a) 임의적인 단계(210)는 입력 신호(202)의 픽셀 값들(예를 들어, 0 내지 4095)을 0과 1 사이의 다이내믹 레인지를 갖는 픽셀 값들로 정규화할 수 있다.

b) 입력 신호(202)가 감마 코딩되거나 PQ 코딩되는 경우(예를 들어, BT. 1866 또는 SMPTE ST 2084에 따라), 임의적인 단계(215)는 (신호 메타데이터에 의해 제공된) 신호의 전기-광학 전달 함수(EOTF: electro-optical transfer function)를 사용하여 코드 값들로부터 휘도로의 소스 디스플레이의 변환을 파기(reverse)하거나 취소(undo)할 수 있다. 예를 들어, 입력 신호가 감마 코딩되는 경우, 이 단계는 역 감마 함수를 적용한다. 입력 신호가 SMPTE ST 2084에 따라 PQ 인코딩되는 경우, 이 단계는 역 PQ 함수를 적용한다. 실제로, 정규화 단계(210) 및 역 비선형 인코딩(215)은 미리 계산된 1-D 룩업 테이블들(LUT들)을 사용하여 수행되어 선형 신호(217)를 생성할 수 있다.

c) 단계(220)에서, 선형 신호(217)는 원래의 컬러 공간(예를 들어, RGB, XYZ 등)으로부터 LMS 컬러 공간으로 변환된다. 예를 들어, 원래의 신호가 RGB에 있는 경우, 이 단계는 두 단계: RGB 대 XYZ 컬러 변환 및 XYZ 대 LMS 컬러 변환을 포함할 수 있다. 일 실시예에서, 제한 없이, XYZ 대 LMS 변환은 다음 수학식에 의해 주어질 수 있다.

[수학식 1a]

또 다른 실시예에서, 그 전문이 인용에 의해 본 명세서에 포함되는, 2014년 9월 26일자로 출원된 "Encoding and decoding perceptually-quantized video content"라는 제목의 미국 가출원 제62/056,093호(2015년 9월 24일자로 PCT/US2015/051964로도 출원됨)에 기술된 바와 같이, IPT-PQ 컬러 공간에서의 전반적인 코딩 효율은 다음과 같은 크로스-토크 행렬

을 XYZ 대 LMS 변환의 일부로서 통합하는 경우에 더 증가될 수 있다. 예를 들어, c = 0.02에 대해, 크로스-토크 행렬과 수학식 1a의 3 × 3 행렬을 곱하는 것은 다음을 산출한다:

[수학식 1b]

유사하게, c = 0.04에 대해, 또 다른 실시예에서, 크로스-토크 행렬과 원래의 XYZ 대 LMS 행렬(예를 들어, 수학식 1a)을 곱하는 것은 다음을 산출한다:

[수학식 1c]

d) Ebner 논문에 따르면, 전통적인 LMS 대 IPT 컬러 공간 변환은 먼저 LMS 데이터에 비선형 전력 함수를 적용한 다음 선형 변환 행렬을 적용하는 것을 포함한다. LMS로부터 IPT로 데이터를 변환한 다음 IPT-PQ 영역에 있도록 PQ 함수를 적용할 수 있지만, 바람직한 실시예에서, 단계(225)에서, LMS 대 IPT의 비선형 인코딩을 위한 전통적인 전력 함수는 L, M, 및 S 성분들 각각의 PQ 비선형 인코딩으로 대체된다.

e) (예를 들어, Ebner 논문에서 정의된 바와 같이) LMS 대 IPT 선형 변환을 사용하여, 단계(230)는 신호(222)의 IPT-PQ 컬러 공간으로의 변환을 완료한다. 예를 들어, 일 실시예에서, L'M'S' 대 IPT-PQ 변환은 다음 수학식에 의해 주어질 수 있다.

[수학식 2a]

또 다른 실시예에서, 실험들에 따르면 I' 성분이 S' 성분에 의존하지 않고 유도될 수 있는 것이 바람직할 수 있고, 따라서 수학식 2a는 다음과 같이 될 수 있다:

[수학식 2b]

IPT-PQ 대 YCbCr-감마

MPEG-1, MPEG-2, AVC, HEVC 등과 같은 대부분의 기존 비디오 압축 표준들은 YCbCr 컬러 공간에서 감마 코딩된 이미지들에 대해 테스트, 평가, 및 최적화되었다; 그러나, 실험 결과들에 따르면 IPT-PQ 컬러 공간은 컬러 성분마다 픽셀 당 10개 이상의 비트로 하이 다이내믹 레인지 이미지들에 대한 더 나은 표현 포맷을 제공할 수 있다. HDR 및 넓은 컬러 영역 신호들(예를 들어, IPT-PQ)에 더 적합한 컬러 공간들에서의 신호 인코딩은 더 나은 전반적인 화질을 산출할 수 있다; 그러나, 레거시 디코더들(예를 들어, 셋톱 박스 등)은 적절한 디코딩 및 컬러 변환을 수행하지 못할 수 있다. 이전 버전과의 호환성을 개선하기 위해, 본 발명자들에 의해 인지되는 바와 같이, 새로운 컬러 공간들을 인식하지 못하는 디바이스들조차도 합리적인 픽처를 생성할 수 있도록, 새로운 신호 리섀이핑 기법들이 요구된다.

도 3은 일 실시예에 따른 신호 리섀이핑 및 코딩을 위한 예시적인 프로세스를 도시한다. 도 3에 도시된 바와 같이, 입력(302)이 주어지면, 순방향 컬러 리섀이핑 블록(305)은 선호 컬러 공간(예를 들어, IPT-PQ-r)에서 신호(307)를 생성하기 위해 컬러 변환 및/또는 리섀이핑 함수들을 필요에 따라 적용한다. 리섀이핑 관련 메타데이터(309)가 또한 생성되어 인코더(310), 디코더(315) 및 역방향 컬러 리섀이핑(320)과 같은 코딩 파이프라인의 후속 블록들에 전달될 수 있다.

코딩된 신호(315)를 수신한 후에, 디코더는 디코딩(315)(예를 들어, HEVC 디코딩)을 적용하여 디코딩된 신호(317)를 생성할 것이다. 선호 HDR-WCG 코딩 컬러 공간(예를 들어, IPT-PQ-r)을 인식하는 디코더는 적절한 역방향 또는 리버스 리섀이핑(320)을 적용하여 적절한 컬러 공간(예를 들어, IPT-PQ)에서 신호(322)를 생성할 것이다. 그 후, 신호(322)는 추가적인 후처리, 저장, 또는 디스플레이를 위해 YCbCr 또는 RGB로 변환될 수 있다.

선호 HDR-WCG 코딩 공간을 인식하지 못하는 레거시 디코더는 HDR-WCG 공간을 레거시 컬러 공간(예를 들어, 감마 코딩된 YCbCr)으로 취급할 수 있다; 그러나, 순방향 컬러 리섀이핑(305)으로 인해, 역방향 리섀이핑 또는 다른 컬러 변환이 디코더의 출력(317)에 적용되지 않는다는 사실에도 불구하고, 출력(317)은 여전히 합리적인 화질을 가질 수 있다.

컬러 리섀이핑

일반성을 잃지 않고, IPT-PQ 컬러 공간을 고려해보자. 일 실시예에서, IPT-PQ 신호에서의 스킨 톤들을 YCbCr-감마 신호에서의 스킨 톤들과 지각적으로 일치시키기 위해 선형 리섀이핑 행렬(예를 들어, 3 × 3 행렬)이 생성된다. 이러한 컬러 변환은 IPT 컬러 공간에서 대부분의 이미지 처리 애플리케이션의 성능에는 영향을 주지 않지만, 레거시 디바이스에 의한 컬러 재현을 크게 개선한다. 스킨 톤들 대신 또는 추가적으로, 나뭇잎, 하늘 등과 같은 다른 중요한 컬러들과 일치하도록 유사한 변환 행렬들이 또한 생성될 수 있다. 일 실시예에서, 리섀이핑 행렬은 다음과 같이 계산될 수 있다:

a) 예를 들어 반사 스펙트럼과 같은 스킨 톤 컬러들의 데이터베이스를 로딩하고, 이들을 XYZ와 같은 디바이스 독립적인 컬러 공간으로 변환한다;

b) 스킨 톤들의 데이터베이스를 XYZ로부터 레거시 컬러 공간 포맷(예를 들어, YCbCr, Rec. 709)으로 변환한다. 이 단계는, 예를 들어, 다음의 하위 단계들을 포함할 수 있다:

b.1) 데이터베이스를 RGB로 변환한다(Rec. 709);

b.2) RGB 값들(예를 들어, BT. 1886)에 감마를 적용하여 감마 코딩된 R'G'B' 신호를 생성한다;

b.3) R'G'B' 신호들을 YCbCr-감마 값들로 변환한다(예를 들어, Rec. 709에 따라);

b.4) YCbCr-감마 신호들의 색조(예를 들어,

) 값들을 계산한다;

b.5) YCbCr-감마 신호들의 채도 값들(예를 들어,

)을 계산한다.

c) 데이터베이스 내의 스킨 톤 값들을 선호 컬러 포맷(예를 들어, IPT-PQ)으로 계산한다. 이 단계는 다음의 하위 단계들을 포함할 수 있다:

c.1) XYZ를 LMS로 변환한다;

c.2) PQ를 적용하여 LMS를 L'M'S'로 그리고 I'P'T'로 변환한다(예를 들어, ST 2084에 따라);

c.3) 색조 값들을 계산한다(예를 들어,

;

c.4) 채도 값들을 계산한다(

);

d) 회전되거나 리섀이핑된 IPT-PQ(예를 들어, IPT-PQ-r)에서의 스킨 톤들이 YCbCr-감마에서의 스킨 톤들과 정렬되도록 IPT 값들을 회전시키는 회전 행렬을 계산한다. 일 실시예에서, 이 단계는 2개의 컬러 공간에서 샘플들의 색조 및 채도 값들에 관련된 비용 함수를 최적화함으로써 계산된다. 예를 들어, 일 실시예에서, 비용 함수는 레거시 컬러 공간(예를 들어, YCbCr)과 회전된 선호 HDR 컬러 공간(예를 들어, IPT-PQ) 사이의 평균 제곱 오차(MSE)를 나타낼 수 있다. 예를 들어,

[수학식 3]

가 색조 관련 비용 함수를 나타낸다고 하고, 여기서 Hue_IPT-PQ-r은 리섀이핑된 컬러(즉, IPT-PQ-r)의 색조를 나타내고 다음과 같이 정의될 수 있고

[수학식 4]

여기서 모든 역 tan 함수들은 (-π, π)에서 계산된다.

일 실시예에서, 주어진 기준에 따라 비용 함수를 최소화하기 위해, a'로 나타내어질, 각도 "a"의 값을 구하기 위해 이 기술 분야에 공지된 임의의 최적화 기법들을 적용할 수 있다. 예를 들어, fun = Cost_H와 x0 = 0.1인, MATLAB 함수 fminunc(fun, x0)를 적용할 수 있다. a'가 주어지면, 회전 행렬 R은 다음 수학식으로 정의될 수 있다.

[수학식 5]

예로서, 샘플 데이터베이스에 기초하여, 일 실시예에서, a' = 71.74도에 대해

[수학식 6]

R과 원래의 L'M'S' 대 I'P'T' 행렬 LMS2IPTmat(예를 들어, 수학식 2 참조)가 주어지면, 리섀이핑된 IPT-PQ-r 컬러 공간으로의 변환은 다음과 같이 정의된 새로운 LMS2IPTmat-r 행렬을 사용할 수 있다:

[수학식 7]

여기서

는 행렬

의 전치를 나타낸다.

일 실시예에서, 스킨 톤들에 대한 색조들을 정렬하는 것에 더하여, 채도를 정렬할 수도 있다. 이는 다음의 단계들을 포함할 수 있다:

a) 원래의 IPT-PQ 데이터에 R을 적용하여 컬러 회전된 크로마 값들 P_R 및 T_R 데이터를 생성한다

b) 채도 비용 함수, 예를 들어, 원래의 컬러 공간과 타겟 컬러 공간에서의 채도 값들 사이의 MSE를 정의한다:

[수학식 8]

여기서

[수학식 9]

c) b'는 Cost_S를 최적화하는 b 값을 나타낸다고 하자. 그 후, 스케일링 벡터

[수학식 10]

를 크로마 회전 행렬에 적용하여 다음 수학식과 같은 단일 컬러 회전 및 스케일링 3 × 3 행렬을 형성할 수 있다.

[수학식 11]

일부 실시예에서, 색조 비용 및 채도 비용 함수들(예를 들어, 수학식 3 및 수학식 8)이 단일 색조/채도 비용 함수로 결합될 수 있고, a' 및 b' 둘 다에 대해 동시에 해가 구해질 수 있다. 예를 들어, 수학식 11로부터, 일 실시예에서,

[수학식 12]

에 대해, 수학식 4는 다음 수학식으로서 수정될 수 있고

[수학식 13]

최적의 a'와 최적의 bi'(i = 1 내지 4) 스케일링 팩터 둘 다에 대해 수학식 3의 해를 구할 수 있다.

예를 들어, 일 실시예에서, a'=65도 및 b1' = 1.4, b2' = 1.0, b3' = 1.4, 및 b4' = 1.0에 대해, 다음과 같은 수학식 12가 산출된다:

[수학식 12b]

톤 리섀이핑

제안된 회전 행렬 R은 컬러 재현을 개선할 수 있다; 그러나, 디코딩된 이미지(317)는 여전히 비선형 EOTF 인코딩 함수들(예를 들어, ST 2084 대 BT 1866)의 차이로 인해 낮은 콘트라스트를 갖는 것으로 인지될 수 있다. 일 실시예에서, 콘트라스트는 휘도 채널(예를 들어, I')에 1-D 톤 매핑 곡선을 적용함으로써 개선될 수 있다. 이 단계는 다음의 하위 단계들을 포함할 수 있다:

a) 원래의 HDR 최대 밝기(예를 들어, 4,000 니트)의 원래의 콘텐츠를 SDR 타겟 밝기(예를 들어, 100 니트)에 매핑하기 위해 톤 매핑 곡선(예를 들어, 시그모이드)을 적용한다. 이러한 시그모이드 함수의 예는 그 전문이 인용에 의해 본 명세서에 포함되는, A. Ballestad 및 A. Kostin에 의한, 미국 특허 제8,593,480호 "Method and Apparatus for Image Data Transformation"에서 찾을 수 있다. 대안적인 리섀이핑 함수들의 예들은 그 전문이 인용에 의해 본 명세서에 포함되는, WIPO 공개 WO 2014/160705, "Encoding perceptually-quantized video content in multi-layer VDR coding"에도 개시되어 있다.

가 톤 매핑 함수 f()의 출력을 나타낸다고 하면,

b)

를 선형화(예를 들어, 역 PQ 또는 감마 함수를 적용)하여 선형

데이터를 생성한다;

c) 선형화된

신호에 레거시 EOTF 인코딩(예를 들어, BT. 1866) 인코딩을 적용하여 인코더에 의해 압축 및 전송될 감마 코딩된 휘도 신호를 생성한다.

ST 2084 (PQ)와 BT 1866 사이의 그러한 매핑의 예가 도 4에 도시되어 있다. 이 곡선은 더 높은 중간 톤 콘트라스트, 더 낮은 블랙, 및 더 밝은(콘트라스트가 더 작은) 하이라이트들을 갖는다. 이는 톤 스케일을 표준 SDR과 더 가깝게 정렬시키며, 따라서 입력이 레거시 디바이스에 의해 디코딩될 때 이미지가 여전히 보인다. 도 4에 도시된 바와 같이, 일반성을 잃지 않고, 입력 및 출력 값들은 (0, 1)으로 정규화된다.

리섀이핑 정보는 인코더로부터 파이프라인의 나머지로 메타데이터로서 시그널링될 수 있다. 리섀이핑 파라미터들은 주어진 비디오 시퀀스에 대해 가능한 최상의 성능을 산출하기 위해, 프레임 단위로(on a per frame basis), 장면 단위로(on a per scene basis), 또는 시퀀스 단위로(on a per sequence basis) 등의 다양한 시간 인스턴스들에서 결정될 수 있다.

이 설명은 IPT-PQ 컬러 공간에 초점을 맞추지만 이들 기법은 다른 컬러 공간들 및 컬러 포맷들에도 동등하게 적용된다. 예를 들어, YCbCr의 상이한 버전들, 예를 들어, Rec. 709 YCbCr 및 Rec. 2020 YCbCr에 걸쳐 이전 버전과의 호환성을 개선하기 위해 유사한 기법들이 적용될 수 있다. 따라서, 일 실시예에서, Rec. 2020 비트스트림은 레거시 Rec. 709 디코더를 사용하여 디코딩될 때 더 나은 색조 및 채도 출력을 제공하기 위해 본 명세서에 설명된 신호 리섀이핑 기법들을 사용하여 조정될 수 있다.

도 6은 일 실시예에 따른 컬러 회전 및 스케일링 행렬을 생성하기 위한 예시적인 프로세스 흐름을 도시한다. 이미지 데이터베이스(605)가 주어지면, 단계(610)는 제1(레거시) 컬러 공간(예를 들어, YCbCr-감마)에서 데이터베이스 내의 이미지들에 대한 색조 및 채도 값들을 계산한다. 단계(615)는 제2(선호) 컬러 공간(예를 들어, IPT-PQ)에서 데이터베이스 내의 이미지들에 대한 색조를 계산한다.

색조 관련 비용 함수(예를 들어, 수학식 3)이 주어지면, 단계(620)는 레거시 컬러 공간에서 계산된 색조들과 회전된 선호 컬러 공간에서 계산된 색조 사이의 거리를 최소화하는 최소화 비용 기준(평균 제곱 오차(MSE))에 따라 최적의 회전 각도 a'에 대한 해를 구한다. 단계(625)에서 a'의 값은 컬러 회전 행렬을 생성하는 데 사용된다.

임의적인 채도 스케일러가 또한 계산될 수 있다. 채도 비용 함수(예를 들어, 수학식 8)가 주어지면, 단계(630)는, 임의적으로, 제1 컬러 공간에서의 신호들의 채도와 컬러 회전된 선호 컬러 공간에서의 스케일링된 신호들의 채도(640, 645) 사이의 MSE와 같은 최소화 비용 기준에 따라 최적의 스케일러 b'에 대한 해를 구한다.

마지막으로, 단계(635)에서, 회전 각도 및 스케일러는 결합되어 컬러 회전 및 스케일링 행렬(예를 들어, 수학식 11)을 생성한다.

인코더에서, 인코더는 선호 컬러 공간에서의 입력 데이터에 컬러 회전 및 스케일링 행렬을 적용하여 리섀이핑된 컬러 공간에서의 데이터를 생성할 것이다. 데이터는 인코딩(압축)되고 컬러 회전 및 스케일링 행렬과 관련된 정보와 함께 디코더로 전송될 것이다.

디코더에서, 레거시 디코더는 데이터가 레거시 컬러 공간에서 코딩된 것으로 가정하여 데이터를 디코딩할 것이다. 잘못된 컬러 공간 정보를 사용함에도 불구하고, 이미지들은 비록 더 낮은 다이내믹 레인지에서이기는 하지만, 여전히 적당한 품질로 보일 것이다. 더 새롭고, 완전하게 인에이블된 디코더는 컬러 회전 및 스케일링 행렬에 대한 수신된 메타데이터 정보를 이용하여 선호 컬러 공간에서 이미지 데이터를 디코딩할 수 있고, 따라서 뷰어에게 전체 하이 다이내믹 레인지의 데이터를 제공할 수 있다.

리섀이핑 정보를 위한 SEI 메시지 구문

전술한 바와 같이, 일 실시예에서, 회전(R) 행렬 및 스케일링 벡터(S)는 (230)에서 L'M'S' 대 I'P'T' 변환 행렬에 의해 흡수될 수 있다. 톤 리섀이핑 곡선은 순방향 컬러 리섀이핑(305)의 일부일 수 있다. 둘 다의 경우에, 적응적 리섀이핑 정보(즉, 행렬 및 톤 매핑 곡선)은, 그 전문이 인용에 의해 본 명세서에 포함되는, 2016년 4월 19일자로 PCT 출원(PCT/US2016/02861)으로도 출원된, 2015년 7월 16일에 출원된 미국 가출원 제62/193,390호에서 제안된 구문을 사용하여 인코더에 의해 디코더로 전송될 수 있다.

또 다른 실시예에서, 도 5에 도시된 바와 같이, 새로운 컬러 회전 및 스케일 블록(510)이 인코더(500A)에 추가될 수 있다. 이 블록은 컬러 변환(200)(예를 들어, RGB에서 IPT-PQ) 후에, 그러나 바람직하게는 순방향 리섀이핑(305) 전에 추가될 수 있다. 디코더(500B)에서, 대응하는 역 컬러 회전 및 스케일링 블록(515)이 역방향 리섀이핑 박스(320) 후에 추가될 수 있다. 도 5에 도시된 바와 같이, 임의적인 컬러 포맷 변환 박스들(예를 들어, 4:4:4 대 4:2:0(505) 또는 4:2:0 대 4:4:4(520))가 필요에 따라 인코딩 및/또는 디코딩 파이프라인에 추가될 수 있다.

구문에 관하여, 3 × 3 회전 행렬 또는 단지 2 × 2 행렬을 특정할 수 있는데, 그 이유는 전형적으로 휘도 채널(예를 들어, Y 또는 I)은 변경되지 않기 때문이다. 표 1은 컬러 회전 및 스케일링 행렬을 전달하기 위한 SEI 메시징의 예를 제공한다; 그러나, 시그널링은 SEI 메시지에서 제한되지 않는다; 그것은 SPS, PPS 등과 같은 임의의 하이 레벨 구문에 삽입될 수 있다.

colour_rotation_scale_matrix_present_flag가 1인 것은, 0에서 1까지(모두 포함하여)의 범위에 있는 c 및 i에 대해, colour_rotation_scale_coeffs [c][i] 구문 요소들이 존재함을 나타낸다. colour_rotation_scale_matrix_present_flag가 0인 것은, 0에서 1까지(모두 포함하여)의 범위에 있는 c 및 i에 대해, colour_rotation_scale_coeffs [c][i] 구문 요소들이 존재하지 않음을 나타낸다.

colour_rotation_scale_coeffs [c][i]는 2 × 2 컬러 회전 및 스케일 행렬 계수들의 값을 특정한다. colour_rotation_scale_coeffs [c][i]의 값은 -2^15에서 2^15-1까지(모두 포함하여)의 범위에 있어야 한다. colour_rotation_scale_coeffs [c][i]가 존재하지 않는 경우, 디폴트 컬러 회전 및 스케일 행렬 행렬이 사용된다.

일 실시예에서, 인코더 및 디코더 둘 다는 (예를 들어, 새로운 컬러 공간의 상호 정의를 통해) 컬러 회전 및 스케일링 행렬을 인식할 수 있으므로, 인코더로부터 디코더로 컬러 회전 행렬을 시그널링하는 것이 요구되지 않을 수 있다. 또 다른 실시예에서, 컬러 회전 및 스케일링 행렬은 IPT-PQ와 함께 VUI(Video Usability Information)에서 참조될 수 있다.

다중 색조 및 채도 리섀이핑

일부 실시예들에서, 다수의 색조에 대해 리섀이핑을 적용하는 것이 유익할 수 있다. 이는 레거시 컬러들과 일치하도록 리섀이핑된 컬러 공간의 정확도를 증가시킬 것이지만, 그 대가로 디코더에서 추가적인 계산들이 수반된다. 예를 들어, N개의 색조(예를 들어, 스킨 톤, 하늘색, 녹색 등)에 대한 리섀이핑을 최적화하는 문제를 고려해보자. 일 실시예에서, 색조의 함수로서 최적의 각도들 및 채도들의 세트를 식별하기 위해 앞서 논의된 프로세스들을 반복할 수 있다. 예를 들어, 다양한 색조들에 대한 데이터베이스 이미지들을 사용하여 최적의(회전 각도, 채도 스케일) 값들의 세트, 예를 들어, {(a₁, b₁), (a₂, b₂), …, (a_N, b_N)}을 생성할 수 있다. 또는 더 일반적으로, 픽셀 p에 대해

[수학식 14]

가 최적의 크로마(색조) 회전 및 채도 스케일링 값들을 나타낸다고 하자(여기서 h(p)는 픽셀 p에 대한 색조의 측정치를 나타낸다). 예를 들어, IPT-PQ 컬러 공간의 경우, f_H 및 f_S 함수들은 다음의 색조 h(p) 및 채도 s(p) 함수들에 관하여 계산될 수 있다:

[수학식 15]

함수들 f_H(h(p)) 및 f_S(h(p))는 예를 들어, 룩업 테이블들 또는 구분적(piece-wise) 선형 또는 비선형 다항식들로서 이 기술 분야에 공지된 다양한 방식들로 표현되고 저장될 수 있으며, 인코더로부터 디코더로 메타데이터로서 시그널링될 수 있다.

f_H(h(p)) 및 f_S(h(p))가 주어지면, 인코더는 각각의 픽셀에 다음과 같은 리섀이핑 함수들:

[수학식 16]

을 적용하여 적절한 리섀이핑된 신호를 생성한다. 예를 들어, IPT-PQ 컬러 공간에 대해, 픽셀 p에 대한 리섀이핑된 P' 및 T' 컬러 성분들은 다음 수학식을 이용하여 유도될 수 있다.

[수학식 17]

디코더에서는, 프로세스가 반대로 된다. 예를 들어, f_H(h(p)) 및 f_S(h(p))가 주어지면, 수학식 14 및 수학식 16으로부터, 디코더는 다음을 생성한다.

[수학식 18]

디코더에서의 나눗셈을 피하기 위해, 일부 실시예들에서, 인코더는 f_S(h(p))의 역수(예를 들어, 1/b(p) 값들)를 디코더에 시그널링할 수 있다. IPT-PQ 공간에서의 입력 데이터의 경우, 원래의 데이터는 다음으로서 생성될 수 있다.

[수학식 19]

수학식 17로부터, 선호 컬러 공간에서 데이터를 복구하기 위해 역 리섀이핑을 적용하는 것은 삼각법 연산들(trigonometric operations)을 필요로 한다. 일부 실시예들에서, 삼각법 연산들은 룩업 테이블들을 사용하여 수행될 수 있다. 예로서, 수학식 18로부터, 수학식 19는 다음과 같이 재작성될 수 있다.

[수학식 20]

이들 연산은 코사인 및 사인 함수들을 계산하기 위해 적합한 룩업 테이블들을 사용하여 더 단순화될 수 있다.

도 7a는 레거시 컬러 공간이 YCbCr-감마일 때 (레거시 디바이스에게는 YCbCr로서 보이는) 리섀이핑된 IPT-PQ-r로부터 다시 IPT-PQ로 색조를 변환하는 예시적인 역방향 리섀이핑 함수를 도시한다. 도 7b는 채도를 조정하기 위한 대응하는 역방향 리섀이핑 함수를 도시한다. 도 8은 선호 컬러 공간 IPT-PQ(820)가 레거시 YCbCr 컬러 공간(810)의 특성들과 일치하도록 조정될 수 있는 방법을 도시한다. 광선들(830)은 회전 및 스케일링을 도시한다.

또 다른 실시예에서, 색조의 코사인 또는 사인 함수들에 관하여 P 및 T 값들을 계산하는 대신에, 색조의 어떤 다른 함수(예를 들어, f(tan^-1(h(p))))에 기초하여 생성된 룩업 테이블들로 더 단순한 디코더를 구성할 수 있다. 예를 들어, 리섀이핑된 픽셀 값 성분들 P'_r(p) 및 T'_r(p)가 주어지면, 일 실시예에서, 디코더는 원래의 픽셀 값들을 다음과 같이 복구할 수 있다:

[수학식 21]

여기서 v() 및 w()는 리섀이핑된 컬러 공간에서의 이미지들이 레거시 컬러 공간에서의 색조 및 채도들의 세트와 일치하도록 생성된 색조 관련 함수들을 나타낸다. v() 및 w() 함수들은, 앞에서와 같이, 메타데이터를 사용하여 인코더로부터 디코더로 전달될 수 있거나 또는 그것들은 인코더와 디코더 둘 다에 알려진 확립된 코딩 프로토콜 또는 표준의 일부일 수 있다.

IC_TC_P 컬러 공간

ICtCp(또는 IPT)라고도 지칭되는, IC_TC_P는 하이 다이내믹 레인지 및 넓은 컬러 영역(WCG: wide color gamut) 신호들을 처리하기 위해 특별히 설계된 새로운 컬러 공간이다. ITP-PQ와 마찬가지로, I(Intensity)는 PQ-인코딩된 신호의 밝기를 나타내고, C_T, Tritan Axis는 청색-황색 인식에 대응하고, C_P, Protan Axis는 적색-녹색 컬러 인식에 대응한다. 논의된 IPT-PQ의 특징들에 더하여, IC_TC_P에서는:

전술한 바와 같이, 크로마를 회전시켜 스킨 톤들을 YCbCr에 더 가깝게 정렬시킨다

XYZ 대 LMS 행렬은 WCG 이미지들에 대해 더 나은 균일성과 선형성을 위해 최적화되어 있다

L'M'S' 대 ICtCp 행렬은 HDR 및 WCG 이미지들에 관련하여 등휘도 및 안정성을 개선하도록 최적화되어 있다.

본 명세서에 사용된, "등휘도(isoluminance)"라는 용어는 휘도(예를 들어, ICtCp의 I 또는 Y'Cb'Cr'의 Y')가 휘도 Y에 얼마나 잘 대응하는지에 대한 측정치를 지칭한다. 간접적으로, 그것은 컬러 공간이 루마와 크로마를 얼마나 잘 구분하는지를 측정한다. 발명자들에 의해 수행된 실험들은 ICtCp의 I가 Y'Cb'Cr의 Y'보다 루마에 훨씬 더 가깝게 대응한다는 것을 나타낸다.

구현 관점에서, ICTCP 컬러 공간을 사용하려면 전통적인 감마 코딩된 YCbCr을 사용하는 것과 동일한 하드웨어 및 신호 흐름이 필요하다. 예를 들어, 카메라 파이프라인에서 감마 보정된 YCbCr(Y'Cb'Cr')을 사용하는 것을 고려해보자. XYZ로부터 시작하여, 프로세스는 다음의 단계들을 필요로 한다:

a) 3 × 3 행렬을 사용하여 XYZ로부터 RGB BT.2020으로 변환하는 단계;

b) 단계 a)의 출력에 역 EOTF(또는 OETF)를 적용하는 단계; 및

c) 단계 b)의 출력에 3 × 3 행렬을 적용하는 단계

도 2에 도시된 바와 같이, ICTCP 컬러를 사용하는 것은 다음의 단계들을 필요로 한다:

a) 단계(220)에서, 바람직한 실시예에서, 다음의 3 × 3 행렬을 사용하여 XYZ로부터 LMS로 변환하는 단계:

[수학식 22]

이 행렬은 수학식 1a의 XYZ 대 LMS 3 × 3 행렬을 c=0.04의 크로스-토크 행렬(수학식 1c를 또한 참조)과 결합하는 것에 대응한다.

b) 단계(225)에서 PQ 비선형성을 적용하여, 전술한 바와 같이, 신호(222)를 L'M'S'로 변환하는 단계

c) 단계(230)에서, 바람직한 실시예에서 다음과 같이 정의될 수 있는 3 × 3 행렬을 사용하여 L'M'S'로부터 IC_TC_P로 변환하는 단계:

[수학식 23]

수학식 23은 수학식 12b)의 회전 행렬을 수학식 2b의 원래의 L'M'S' 대 I'P'T' 행렬과 곱하는 것에 대응한다.

또 다른 실시예에서, 단계 a) 내지 단계 c)는 또한 다음과 같이 표현될 수 있다:

[수학식 24]

여기서, RGB_BT.2020은 BT.2020에서의 RGB 값들의 트리플렛(triplet)을 나타내며,

는 SMPTE ST 2084에 따른 EOTF의 역을 나타낸다. 일부 실시예들에서,

함수는 하이브리드 로그-감마(HLG: Hybrid Log-Gamma) 함수와 같은 또 다른 비선형 양자화 함수로 대체될 수 있다. 완전한 참조를 위해, 적절한 수학식들도 표 2에 요약되어 있으며, 여기서 아래 첨자들 D는 디스플레이 광을 지칭한다.

IC_TC_P로부터 다시 원래의 컬러 공간으로의 변환은 유사한 접근법을 따르며, 일 실시예에서 그것은 다음의 단계들을 포함할 수 있다:

a) 수학식 23의 역 또는

[수학식 25]

을 사용하여 IC_TC_P로부터 L'M'S'로 변환하거나

b) 신호의 EOTF 함수를 사용하여 L'M'S' 신호들을 LMS로 변환한다(예를 들어, ST 2084에서 정의된 바와 같이;

c) 수학식 22의 역, 예를 들어:

[수학식 26]

을 사용하여 LMS로부터 XYZ로 변환한다.

일 실시예에서, 대응하는 L'M'S' 대 RGB 및 IC_TC_P 대 L'M'S' 행렬들은 다음과 같이 주어진다:

[수학식 27]

[수학식 28]

참조 디스플레이 관리

하이 다이내믹 레인지 콘텐츠는 콘텐츠를 마스터하는 데 사용되는 참조 디스플레이보다 더 작은 다이내믹 레인지를 갖는 디스플레이들에서 보일 수 있다. 더 낮은 다이내믹 레인지를 갖는 디스플레이들에서 HDR 콘텐츠를 보기 위해서는, 디스플레이 매핑이 수행되어야 한다. 이것은 디스플레이에서 EETF(electrical-electrical transfer function)의 형태를 취할 수 있는데, 그것은 전형적으로 디스플레이를 위해 EOTF를 적용하기 전에 적용된다. 이 함수는 하이라이트들과 그림자들을 부드럽게 롤 오프하는 토우(toe)와 쇼울더(shoulder)를 제공하여 예술적 의도를 보존하는 것과 디테일들을 유지하는 것 사이의 균형을 제공한다. 도 9는 전체 0-10,000 니트 다이내믹 레인지로부터 0.1-1,000 니트가 가능한 타겟 디스플레이로의 예시적인 EETF 매핑이다. EETF는 PQ 신호에 도입될 수 있다; 플롯들은 매핑의 효과를 나타내는데, 즉, 플롯들은 의도된 광이 실제 디스플레이된 광으로 어떻게 변화되는지를 도시한다.

아래는 다양한 흑백 휘도 레벨들의 디스플레이들을 위해 이 톤 매핑 함수를 구현하는 수학적 단계들이다. EETF는 비선형 영역들에서 ICTCP 또는 Y'C'BC'R에서의 루마 채널에 또는 RGB 채널들에 개별적으로 적용될 수 있다.

EETF의 계산:

톤 매핑 곡선의 중앙 영역은 소스에서 타겟으로의 일대일 매핑으로 정의된다. 타겟 디스플레이의 능력들에 대한 다이내믹 레인지를 감소시키기 위해 에르미트 스플라인(Hermite spline)을 사용하여 추가적인 토우와 쇼울더 롤 오프가 계산된다.

스플라인에 대한 터닝 포인트들(토우 시작(TS: Toe Start) 및 쇼울더 시작(SS: Shoulder Start))이 먼저 정의된다. 이들은 롤 오프가 시작되는 포인트들이다. minLum 및 maxLum이 타겟 디스플레이의 최소 및 최대 휘도 값들을 나타낸다고 하면:

정규화된 PQ 코드 워드들에서의 소스 입력 신호인 E₁가 주어지면, 출력 E₂는 다음과 같이 계산된다.

인 경우

인 경우

에르미트 스플라인 수학식들:

또 다른 실시예에서:

단계 1:

인 경우

단계 2:

인 경우

에르미트 스플라인 수학식들

여기서

결과적인 EETF 곡선은 IC_TC_P의 강도 I 채널 또는 Y'C'_BC'_R의 루마 Y 채널에 적용될 수 있다. 여기에 일부 주목할 만한 옵션들이 있다:

1) IC_TC_P의 I - EETF를 통해 IC_TC_P의 강도(I) 채널을 처리한다

그레이 스케일들을 더 정확하게 조정한다

컬러 시프트 없음

채도의 변화가 요구될 것이고 다음 수학식을 사용하여 C_T 및 C_P 채널들에 적용되어야 한다:

2) Y'C'_BC'_R의 Y' - EETF를 통해 Y'C'_BC'_R의 루마 Y' 채널을 처리한다

그레이 스케일들을 더 정확하게 조정한다

제한된 컬러 시프트

채도의 변화가 요구될 것이고 다음 수학식을 사용하여 C'_B 및 C'_R 채널에 적용되어야 한다:

예시적인 컴퓨터 시스템 구현

본 발명의 실시예들은 컴퓨터 시스템, 전자 회로 및 컴포넌트들에 구성된 시스템, 집적 회로(IC) 디바이스, 예를 들어, 마이크로컨트롤러, 필드 프래그래머블 게이트 어레이(FPGA) 또는 또 다른 구성 가능한 또는 프로그램 가능한 로직 디바이스(PLD), 이산 시간 또는 디지털 신호 프로세서(DSP), 용도 특정 IC(ASIC) 및/또는 이러한 시스템들, 디바이스들 또는 컴포넌트들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 본 명세서에 설명된 것들과 같이, 향상된 다이내믹 레인지를 갖는 이미지들의 신호 리섀이핑 및 코딩에 관한 명령어들을 수행, 제어, 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에 설명된 신호 리섀이핑 및 코딩 프로세스와 관련되는 다양한 파라미터들 또는 값들 중 임의의 것을 계산할 수 있다. 이미지 및 비디오 실시예들은 하드웨어, 소프트웨어, 펌웨어 및 다양한 그 조합으로 구현될 수 있다.

본 발명의 특정 구현들은 소프트웨어 명령어들을 실행하는 컴퓨터 프로세서들을 포함하고 그 명령어들은 프로세서들로 하여금 본 발명의 방법을 수행하게 한다. 예를 들어, 디스플레이에서의 하나 이상의 프로세서, 인코더, 셋톱 박스, 트랜스코더 등은 프로세서들에 의해 액세스 가능한 프로그램 메모리에서 소프트웨어 명령어들을 실행함으로써 전술한 바와 같은 HDR 이미지들의 신호 리섀이핑 및 코딩에 관련된 방법들을 구현할 수 있다. 본 발명은 또한 프로그램 제품의 형태로도 제공될 수 있다. 프로그램 제품은 데이터 프로세서에 의해 실행될 때 데이터 프로세서로 하여금 본 발명의 방법을 실행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 신호들의 세트를 담고 있는 임의의 비일시적 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 매우 다양한 형태들 중 임의의 것으로 존재할 수 있다. 프로그램 제품은, 예를 들어, 물리적 매체, 예를 들어, 플로피 디스켓, 하드 디스크 드라이브를 포함하는 자기 데이터 저장 매체, CD ROM, DVD를 포함하는 광학 데이터 저장 매체, ROM, 플래시 RAM을 포함하는 전자 데이터 저장 매체 등을 포함할 수 있다. 프로그램 제품 상의 컴퓨터 판독가능 신호들은 임의적으로 압축되거나 암호화될 수 있다.

컴포넌트(예를 들어, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로 등)이 위에서 언급되는 경우, 달리 명시되지 않은 한, 해당 컴포넌트에 대한 언급("수단"에 대한 언급을 포함)은 해당 컴포넌트의 균등물로서 설명된 컴포넌트가 기능을 수행하는(예를 들어, 기능적으로 균등물인) 임의의 컴포넌트로서 해석되어야 하며, 본 발명의 예시된 예시적 실시예의 기능을 수행하는 개시된 구조와 구조적으로 균등물이 아닌 컴포넌트를 포함한다.

균등물, 확장물, 대체물 및 기타

HDR 이미지들의 효율적인 신호 리섀이핑 및 코딩과 관련된 예시적인 실시예들이 이와 같이 설명되었다. 전술한 명세서에서, 본 발명의 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들에 관련하여 설명되었다. 따라서, 본 발명이 무엇인지에 대한, 그리고 본 출원인들이 본 발명이라고 의도하는 것들에 대한 유일하고 배타적인 표시자는 본 출원으로부터 발행되는 청구항들의 세트로서, 임의의 후속 보정을 포함하여, 그러한 청구항들이 발행되는 특정 형태의 것이다. 그러한 청구항들에 포함되는 용어들에 대해 본 명세서에 명시적으로 제시된 임의의 정의는 청구항들에서 사용되는 그러한 용어들의 의미를 지배할 것이다. 따라서, 청구항에서 명시적으로 기재되지 않은 어떠한 제한, 요소, 특성, 특징, 장점 또는 속성도 어떤 식으로든 그러한 청구항의 범위를 제한하지 않을 것이다. 따라서, 명세서 및 도면들은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 한다.

Claims

하이-다이내믹 레인지(high-dynamic range) 이미지들의 처리를 향상시키기 위한 방법으로서,
프로세서에 의해 선형 RGB 컬러 공간에서 입력 이미지에 액세스하는 단계;
상기 입력 이미지에 대해 RGB 대 중간-LMS 컬러 변환(RGB to intermediate-LMS color transformation)을 적용함으로써 중간-LMS 컬러 공간에서 제1 이미지를 생성하는 단계;
비선형 LMS 컬러 공간에서 제2 이미지의 컬러 성분들을 생성하기 위해 상기 제1 이미지의 각각의 컬러 성분에 대하여 비선형 함수를 적용하는 단계; 및
상기 제2 이미지의 상기 컬러 성분들에 대하여 3 × 3 컬러 변환 행렬을 적용함으로써 IPT-PQ 컬러 공간에서 출력 이미지를 생성하는 단계
를 포함하고,
상기 3 × 3 컬러 변환 행렬은

을 포함하는, 방법.
제1항에 있어서,
상기 비선형 함수는 전기-광학 전달 함수(electro-optical transfer function)의 역(inverse)을 포함하는, 방법.
제2항에 있어서,
상기 전기-광학 전달 함수는 SMPTE ST 2084 규격에 따라 결정되는, 방법.
제1항에 있어서,
상기 비선형 함수는 하이브리드 로그-감마(HLG: Hybrid Log-Gamma) 함수에 기초하는, 방법.
제1항에 있어서,
상기 RGB를 중간-LMS 컬러 변환 공간에 적용시키는 것은, XYZ 대 LMS 크로스 행렬을 생성하기 위해 XYZ 대 LMS 3 × 3 행렬에 3 × 3 크로스-토크 행렬을 곱하는 것을 포함하고,
상기 3 × 3 크로스-토크 행렬은

를 포함하고,
c는 0.2인, 방법.
제5항에 있어서,
상기 XYZ 대 LMS 크로스 행렬은

을 포함하는, 방법.
제1항에 있어서,
상기 선형 RGB 컬러 공간은 RGB BT. 2020 컬러 공간을 포함하는, 방법.
장치로서,
프로세서를 포함하고 제1항 내지 제7항에 기재된 방법들 중 어느 하나의 방법을 수행하도록 구성되는, 장치.
비-일시적 컴퓨터 판독가능 저장 매체로서,
제1항 내지 제7항 중 어느 한 항에 따른 방법을 하나 이상의 프로세서에 의해 실행하기 위한 컴퓨터 실행가능 명령어가 저장되어 있는, 비-일시적 컴퓨터 판독가능 저장 매체.