KR102799246B1

KR102799246B1 - Hdr 디스플레이들을 위한 이미지 의존적 콘트라스트 및 밝기 제어

Info

Publication number: KR102799246B1
Application number: KR1020227041037A
Authority: KR
Inventors: 재클린 앤 피틀라즈
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2020-04-28
Filing date: 2021-04-27
Publication date: 2025-04-23
Anticipated expiration: 2041-04-27
Also published as: US11935492B2; EP4250279A3; JP2023524440A; EP4143817A1; JP7585347B2; WO2021222310A1; EP4143817B1; CN115552511B; ES3033132T3; EP4250279B1; KR20230003002A; EP4250279A2; TWI766666B; EP4143817C0; US20230169930A1; TW202147831A; CN115552511A

Abstract

디스플레이 상에서 어둡고 밝은 픽처들에 대해 밝기 및 콘트라스트를 상이하게 조정하는 방법들 및 시스템들이 제공된다. 최소 및 최대 디스플레이 휘도 값을 포함하는 디스플레이에 입력 동적 범위를 맵핑하는 톤-맵핑 곡선이 주어지면, 최대 디스플레이 휘도 값은 사용자 정의된 파라미터들에 따라 조정된 휘도 값으로 저하된다. 입력 동적 범위는, 조정된 휘도 값을 이용하여 디스플레이 동적 범위에 톤-맵핑된다. 밝기 제어를 위해, 톤-맵핑된 이미지는 최대 디스플레이 휘도 값까지 선형으로 다시 스트레칭된다. 콘트라스트 제어를 위해, 조정된 휘도에 따라 디스플레이의 감마 또는 전력 EOTF가 조정된다. 전역 백라이트 제어가 있는 디스플레이의 경우, 콘트라스트가 조정되는 경우에만 전역 백라이트가 조정된다.

Description

HDR 디스플레이들을 위한 이미지 의존적 콘트라스트 및 밝기 제어

관련 출원들의 상호참조

본 출원은, 참조에 의해 본 명세서에 포함되는 2020년 4월 28일 출원된 미국 가출원번호 제63/016,363호와 2020년 4월 28일 출원된 유럽 특허 출원 제20171788.1호의 우선권을 주장한다.

본 문서는 대체로 이미지들 및 디스플레이 관리에 관한 것이다. 더 구체적으로, 본 발명의 한 실시예는 컬러 디스플레이들 상에 높은 동적 범위(high dynamic range)(HDR) 이미지를 디스플레이하기 이미지 의존적 콘트라스트 및 밝기 제어에 관한 것이다.

거의 모든 텔레비전 수상기와 디스플레이 모니터는 "밝기"와 "콘트라스트"를 조정할 수 있는 사용자 인터페이스를 제공한다. 콘트라스트 조정은 사용자가 흰색 디테일들을 관리하는 것을 허용한다. 콘트라스트 설정이 높을수록, 이미지의 흰색 부분이 가장 밝을 것이다. 콘트라스트가 너무 높으면, 이미지의 흰색 부분들에서 디테일들이 실제로 손실될 수 있다.

밝기 조정은 사용자가 검정색 디테일들을 관리하는 것을 허용한다. 밝기 설정이 낮을수록, 이미지의 검정색 부분이 더 어두울 것이다. 밝기가 너무 낮으면, 실제로 이미지의 검은 부분에서 디테일들을 잃을 수 있다.

이들 설정들은 휘도 특성들에 관계없이 모든 이미지에 동등하게 적용된다. 이것은 표준 동적 범위에서의 이미지들 및 디스플레이들에 적합할 수 있다; 그러나, 본 발명자들이 인식한 바와 같이, 이러한 고정된 설정은 높은 동적 범위(HDR) 이미지들 및 디스플레이들에 적합하지 않을 수 있다. 따라서, 디스플레이들에 대한 조정가능한(예를 들어, 사용자 정의된), 이미지 의존적, 밝기 및 콘트라스트 제어들이 바람직하다.

본 섹션에서 설명된 접근법들은 추구될 수 있는 접근법이지만, 반드시 이전에 생각되거나 추구된 접근법은 아니다. 따라서 달리 나타내지 않는 한, 본 섹션에서 설명된 접근법들 중 어느 것도 단순히 본 섹션에 포함되어 있다는 이유로 선행 기술로서 여겨져서는 안 된다. 마찬가지로, 하나 이상의 접근법과 관련하여 식별된 문제들은, 달리 나타내지 않는 한, 이 섹션에 기초하여 임의의 선행 기술에서 인식된 것으로 가정되어서는 안 된다.

본 발명의 한 실시예가 첨부된 도면들 중의 도면들에서 제한이 아닌 예로서 예시되며, 도면들에서 유사한 참조 번호들은 유사한 요소들을 나타내고, 도면들에서:
도 1은 비디오 전달 파이프라인에 대한 한 예시적인 프로세스를 도시한다;
도 2a는 본 발명의 한 실시예에 따른 평균 픽처 레벨(average picture level)(APL) 부스트를 적용하는 한 예를 도시한다;
도 2b는 본 발명의 한 실시예에 따른 피크 휘도 조정을 적용하는 한 예를 도시한다;
도 2c는 APL 부스트 또는 피크 휘도 조정이 없는 예시적인 이미지들을 도시한다;
도 2d는 본 발명의 한 실시예에 따른 APL 부스트 및 피크 휘도 조정 양쪽 모두로 처리된 후의 도 2c의 예시적인 이미지들을 도시한다;
도 3은 종래 기술에 따른 디스플레이 관리를 위한 한 예시적인 톤-맵핑 곡선을 도시한다;
도 4a는 본 발명의 한 실시예에 따른 APL 부스트를 적용하기 위한 한 예시적인 프로세스를 도시한다;
도 4b는 본 발명의 한 실시예에 따른 피크 휘도 조정을 적용하기 위한 한 예시적인 프로세스를 도시한다;
도 4c는 본 발명의 한 실시예에 따른 APL 부스트 및 피크 휘도 조정 양쪽 모두를 적용하기 위한 한 예시적인 프로세스를 도시한다.

HDR 디스플레이들에 대한 이미지 의존적 밝기 및 콘트라스트 제어를 위한 예시적인 실시예들이 본 명세서에서 설명된다. 이하의 설명에서, 설명의 목적상, 본 발명의 다양한 실시예들의 철저한 이해를 제공하기 위하여 수 많은 구체적인 상세사항이 개시된다. 그러나, 본 발명의 다양한 실시예는 이들 특정한 상세사항 없이도 실시될 수 있음이 명백할 것이다. 다른 사례들에서, 널리 공지된 구조 및 디바이스들은 본 발명의 실시예들을 불필요하게 가리거나, 애매하게 하거나, 모호하게 하는 것을 피하기 위해 철저하게 상세하게 설명되지는 않는다.

[발명의 내용]

본 명세서에서 설명되는 예시적인 실시예들은 HDR 디스플레이들을 위한 이미지 의존적 밝기 및 콘트라스트 제어에 관한 것이다. 한 실시예에서, 프로세서를 갖춘 시스템은 이미지 동적 범위에서 입력 이미지를 수신하고;

타겟 디스플레이의 디스플레이 동적 범위를 정의하는 최소 디스플레이 휘도 값 및 최대 디스플레이 휘도 값을 수신하고;

평균 픽처 레벨 부스트 조정 파라미터에 기초하여 타겟 디스플레이에 대한 조정된 최대 휘도 값을 생성하고(405) ― 조정된 최대 휘도 값은 최대 디스플레이 휘도 값보다 낮음 ―;

톤-맵핑 기능 및 입력 이미지를 이용하여 톤-맵핑된 이미지를 생성하고(410) ― 톤-맵핑 기능은 이미지 동적 범위를 최소 디스플레이 휘도 값 및 조정된 최대 휘도 값에 맵핑함 ―;

톤-맵핑된 이미지에 선형 맵핑을 적용함으로써 타겟 디스플레이를 위한 출력 이미지를 생성하며(415), 여기서 선형 맵핑의 파라미터들은 최소 디스플레이 휘도 값, 최대 디스플레이 휘도 값, 및 조정된 최대 휘도 값에 기초한다.

제2 실시예에서, 프로세서를 갖춘 시스템은 이미지 동적 범위에서 입력 이미지를 수신하고;

피크 휘도 조정 파라미터에 기초하여 타겟 디스플레이를 위한 제1 조정된 휘도 값을 생성하고(420) ― 제1 조정된 휘도 값은 최대 디스플레이 휘도 값보다 낮음 ―;

톤-맵핑 기능 및 입력 이미지를 이용하여 톤-맵핑된 이미지를 생성하고(430) ― 톤-맵핑 기능은 이미지 동적 범위를 최소 디스플레이 휘도 값 및 제1 조정된 휘도 값에 맵핑함 ―;

톤-맵핑된 이미지에 기초하여 타겟 디스플레이를 위한 출력 이미지를 생성한다(435).

제3 실시예에서, 프로세서를 갖춘 시스템은 이미지 동적 범위에서 입력 이미지를 수신하고;

피크 휘도 조정 파라미터 및 최대 디스플레이 휘도 값에 기초하여 타겟 디스플레이를 위한 제1 조정된 휘도 값을 생성하고 ― 제1 조정된 휘도 값은 최대 디스플레이 휘도 값보다 낮음 ―;

평균 픽처 레벨 부스트 조정 파라미터 및 제1 조정된 휘도 값에 기초하여 타겟 디스플레이를 위한 제2 조정된 휘도 값을 생성하고;

톤-맵핑 기능 및 입력 이미지를 이용하여 톤-맵핑된 이미지를 생성하고(455) ― 톤-맵핑 기능은 이미지 동적 범위를 최소 디스플레이 휘도 값 및 제2 조정된 휘도 값에 맵핑함 ―;

톤-맵핑된 이미지에 선형 맵핑을 적용함으로써 타겟 디스플레이를 위한 출력 이미지를 생성하고(460) ― 선형 맵핑의 파라미터들은, 최소 디스플레이 휘도 값, 제1 조정된 디스플레이 휘도 값, 및 제2 조정된 휘도 값에 기초함 ―;

출력 이미지에 기초하여 타겟 디스플레이를 위한 디스플레이 출력 이미지를 생성한다(465).

예시적인 비디오 전달 처리 파이프라인

도 1은 비디오 캡처로부터 비디오 콘텐츠 디스플레이에 이르는 다양한 스테이지를 보여주는 종래의 비디오 전달 파이프라인(100)의 한 예시적인 프로세스를 도시한다. 비디오 프레임들(102)의 시퀀스는 이미지 생성 블록(105)을 이용하여 캡처되거나 생성된다. 비디오 프레임들(102)은 비디오 데이터(107)를 제공하기 위해 (예를 들어, 디지털 카메라에 의해) 디지털 방식으로 캡처되거나 컴퓨터에 의해 (예를 들어, 컴퓨터 애니메이션을 이용하여) 생성될 수 있다. 대안으로서, 비디오 프레임들(102)은 필름 카메라에 의해 필름 상에 캡처될 수 있다. 필름은 비디오 데이터를 제공하기 위해 디지털 포맷으로 변환된다(107). 제작 국면(110)에서, 비디오 데이터(107)는 비디오 제작 스트림(112)을 제공하도록 편집된다.

그 다음, 제작 스트림(112)의 비디오 데이터는 제작후 편집을 위해 블록(115)에서 프로세서에 제공된다. 블록(115) 제작후 편집은, 비디오 제작자의 창의적 의도에 따라 이미지 품질을 향상시키거나 이미지에 대한 특정한 모습을 달성하기 위해 이미지의 특정한 영역에서 컬러들 또는 밝기를 조정하거나 수정하는 것을 포함할 수 있다. 이것을 "컬러 타이밍" 또는 "컬러 그레이딩"이라고 한다. 다른 편집(예를 들어, 장면 선택 및 시퀀싱, 이미지 자르기, 컴퓨터 생성된 시각적 특수 효과의 추가, 떨림 또는 흐림 제어, 프레임 레이트 제어 등)은 블록(115)에서 수행되어 배포를 위한 제작의 최종 버전(117)을 생성할 수 있다. 제작후 편집(115) 동안, 비디오 이미지들은 기준 디스플레이(125) 상에서 시청된다.

제작후(115)에 이어, 최종 제작(117)의 비디오 데이터는 텔레비전 세트들, 셋탑 박스들, 영화관들 등의 디코딩 및 재생 디바이스들로의 다운스트림을 전달하기 위해 인코딩 블록(120)에 전달될 수 있다. 일부 실시예에서, 코딩 블록(120)은, 코딩된 비트 스트림(122)을 생성하기 위해, ATSC, DVB, DVD, Blu-Ray 및 기타의 전달 포맷들에 의해 정의된 것들 등의, 오디오 및 비디오 인코더들을 포함할 수 있다. 수신기에서, 코딩된 비트 스트림(122)은 디코딩 유닛(130)에 의해 디코딩되어 신호(117)의 동일하거나 근접한 근사치를 나타내는 디코딩된 신호(132)를 생성한다. 수신기는 기준 디스플레이(125)와는 완전히 상이한 특성들을 가질 수 있는 타겟 디스플레이(140)에 부착될 수 있다. 그 경우에, 디스플레이 관리 블록(135)은, 디스플레이-맵핑된 신호(137)를 생성함으로써 디코딩된 신호(132)의 동적 범위를 타겟 디스플레이(140)의 특성들에 맵핑하는데 이용될 수 있다.

이미지 의존적 디스플레이 제어들

텔레비전 수상기의 전통적인 밝기 및 콘트라스트 제어들은 이미지들의 휘도 성분을 고려하지 않는다. 예를 들어, 큰 하이라이트들을 가진 이미지들을 수용하기 위해 콘트라스트를 감소시키면, 어두운 이미지들은 디테일을 잃을 수 있다. 본 발명자들에 의해 인식된 바와 같이, 사용자들이 이미지 특성들에 기초하여 디스플레이 밝기 및 콘트라스트를 조정하는 것을 허용하는 것이 바람직할 것이다. 예를 들어, 밝은 이미지들을 더 밝게 만들지 않고, 어두운 이미지들을 더 어둡게 만들지 않아야 한다. 대안으로서, 선호하는 조정에 따라, 밝고 어두운 이미지가 주어지면, 그 중 하나만 사용자 선호도에 따라 변경되어야 한다. 이 문제를 해결하기 위해, 한 실시예에서, 2개의 새로운, 이미지 의존적, 디스플레이 제어들이 제안된다: 하이라이트들에 영향을 주지 않고 어두운 부분들을 향상시키는 동적 평균 픽처 레벨(APL) 부스트와, 어두운 부분들에 영향을 주지 않고 하이라이트들을 조정하는 동적 피크 휘도 감소. 2개의 제어들이 함께 결합될 수도 있다.

APL 부스트

동적 평균 픽처 레벨(dynamic average picture level)(APL) 부스트의 의도는, 중요한 디테일들을 잃지 않고 이미지의 겉보기 밝기를 증가시키는 것이다. 전통적인 밝기 조정들은 모든 콘텐츠에 밝기 부스트를 적용한다. 한 실시예는 어두운 이미지에 더 많은 부스트를 제공하고(어두운 부분들에서 디테일들을 개선함) 밝은 이미지들에 더 적은 부스트를 제공하는(하이라이트들에서 디테일들을 유지) 적응적 솔루션을 제공한다. 이 효과의 한 예는 도 2a에 도시된 이미지들에 예시되어 있다. 도 2a에서, 최좌측의 2개의 픽처는 원본이다; 상단의 밝은 픽처와 하단의 어두운 픽처. 도 2a의 우측에 도시된 바와 같이, 한 실시예에 따라 APL 부스트를 적용하는 것은, 상단 이미지에서 어두운 디테일들 또는 하이라이트들을 손상시키지 않으면서, 아래쪽의 어두운 이미지에 관한 더 많은 디테일들을 허용한다. 한 실시예에서, 동적 APL 부스트는, 디스플레이 관리 프로세스 동안 파라미터들의 적절한 관리에 의해 수행된다. 본 명세서에서 사용될 때, 용어 "디스플레이 관리" 또는 "디스플레이 맵핑"은, 제1 동적 범위(예를 들어, 0.01 내지 1,000 nit)의 입력 비디오 신호의 이미지들 또는 픽처들을 제2 동적 범위(예를 들어, 0.05 내지 800 nit)의 디스플레이에 맵핑하는데 요구되는 처리(예를 들어, 톤 및 색역(gamut) 맵핑)를 나타낸다. 제2 동적 범위는 제1 동적 범위보다 낮거나 높을 수 있다. 디스플레이 관리 프로세스들의 예들은, 그 전체 내용이 참조에 의해 본 명세서에 포함되는 R. Atkins 등에 의한, 미국 특허 제9,613,407호 "Display management for high dynamic range images"에서 찾을 수 있다.

참조에 의해 본 명세서에 포함되는 J.A. Pytlarz 및 R. Atkins에 의한 (이하, '166 특허라고 지칭됨) 미국 특허 제10,600,166호 "Tone curve mapping for high dynamic range images"에 설명된 바와 같이, 많은 디스플레이 응용에서, 제1 동적 범위 내의 소스 데이터는 톤 맵핑 곡선을 이용하여 상이한 동적 범위를 갖는 디스플레이에 맵핑될 수 있다. [Smin, Smax] 내의 휘도 값들을 갖는 이미지 데이터는 [Tmin, Tmax]를 갖는 동적 범위를 갖는 디스플레이에 톤-맵핑될 수 있고, 여기서, Tmin 및 Tmax는, (예를 들어, nit 단위에서) 디스플레이될 수 있는 가장 낮은 검정 및 최대 흰색 값들을 나타낸다. 3개의 앵커 포인트에 의해 제어되는 이러한 톤-맵핑 곡선의 한 예가 도 3에 도시되어 있다.

톤-맵핑 곡선(320)은 3개의 앵커 포인트(305, 310, 315)에 의해 제어된다: 검정 포인트(x1, y1), 중간-톤 값 포인트(x2, y2) 및 흰색 포인트(x3, y3). 또한, 각각의 스플라인 세그먼트들(S1 및 S2)은, 각각의 끝점에서, 2개의 선형 세그먼트(L1 및 L2)에 의해 추가로 제한될 수 있다; 따라서, 전체 곡선은 3개의 앵커 포인트 및 3개의 기울기에 의해 제어된다: (x1, y1)에서의 세그먼트 L1의 꼬리 기울기, (x2, y2)에서의 중간-톤들 기울기, 및 (x3, y3)에서의 세그먼트 L2의 머리 기울기.

'166 특허에 설명된 바와 같이, 전체 톤-맵핑 곡선은 다음과 같은 파라미터들에 기초하여 정의될 수 있다:

Smin = x1; 소스 콘텐츠의 최소 휘도를 나타낸다. 명시되지 않은 경우, Smin은 전형적인 검정색들을 나타내는 값으로 설정될 수 있다(예를 들어, Smin = 0.0151).

Smax = x3; 소스 콘텐츠의 최대 휘도를 나타낸다. 명시하지 않은 경우, Smax는 "하이라이트들"을 나타내는 큰 값으로 설정될 수 있다(예를 들어, Smax = 0.9026).

Smid = x2; 소스 콘텐츠의 평균(예를 들어, 산술, 중앙값, 기하학적) 휘도를 나타낸다. 일부 실시예에서, 이것은 단순히 입력 픽처에서의 "중요한" 휘도 피처를 나타낼 수 있다. 일부 다른 실시예에서, 이것은 또한, 선택된 영역(예를 들어, 얼굴)의 평균 또는 중앙값을 나타낼 수 있다. Smid는 수동 또는 자동으로 정의할 수 있으며, 그 값은 하이라이트들 또는 음영들에서 소정의 모습을 유지하기 위해 선호사항들에 기초하여 오프셋될 수 있다. 명시되지 않은 경우, Smid는 전형적인 평균 값으로 설정될 수 있다(예를 들어, Smid = 0.36, 피부 톤들을 나타냄).

이들 데이터는 이미지 또는 소스 메타데이터를 이용하여 수신되거나, 이들은 디스플레이 관리 유닛(예를 들어, 135)에 의해 계산되거나, 이들은 마스터링 또는 기준 디스플레이 환경에 관한 알려진 가정들에 기초할 수 있다. 또한, 다음과 같은 데이터가 타겟 디스플레이에 대해 알려진 것(예를 들어, 디스플레이의 EDID(Extended Display Identification Data)를 판독함으로써 수신되는 것)으로 가정된다.

Tmin = 타겟 디스플레이의 최소 휘도

Tmax = 타겟 디스플레이의 최대 휘도

맵핑 곡선을 완전히 결정하려면, 다음과 같은 포인트들 및 파라미터들이 계산될 필요가 있다:

slopeMin = (x1,y1)에서의 기울기;

slopeMid = (x2,y2)에서의 기울기; 및

slopeMax = (x3, y3)에서의 기울기.

제한없이, 이들 파라미터들을 정의하기 위한 한 예시적인 프로세스는 '166 특허에 설명되어 있다.

이제 위에서 정의된 Tmax 및 Tmin이 주어질 때, α가 평균 픽처 레벨(APL) 부스트 조정 파라미터(예를 들어, , 여기서, 0 = 조정 없음, 1 = 전체 APL 부스트)를 나타내도록 하는 한 실시예를 고려하자. 그 다음, 도 4a는, 한 실시예에 따른 동적 APL 부스트를 적용하기 위한 한 예시적인 프로세스를 도시한다. 도 4a에 도시된 바와 같이, 단계 405에서, 입력 이미지, 사용자-정의된 평균 픽처 레벨(APL) 부스트 조정 파라미터 α, 및 입력 신호와 타겟 디스플레이의 기타의 특성(예를 들어, Tmax)이 주어지면, 입력 Tmax의 값의 값은 조정된 Tmax 값을 도출하도록 조정된다.

(1)

그 다음, 단계 410에서, 디스플레이 관리 프로세스는 값을 이용하여 입력 이미지를 톤-맵핑한다.

동적 톤-맵핑 알고리즘에 이용된 Tmax 값을 조정하는 것은 다음과 같이 이미지들에 영향을 준다: 밝은 이미지들은 일반적으로 훨씬 더 어둡게 되는 반면 어두운 이미지는 거의 동일하게 유지될 것이다. 따라서, 밝은 이미지에 비해 어두운 이미지의 상대적 밝기를 효과적으로 증가시켰다.

한 실시예에서, 디스플레이(140)는 전역 또는 로컬 디밍(local dimming)을 통한 백라이트 제어를 지원할 수 있다. 백라이트 디밍 제어는, TV가 그 백라이트의 강도를 조정하여 이미지 특성 또는 시청 환경의 주변 조명에 따라 이미지 콘텐츠를 향상시키는 것을 허용한다. 백라이트 디밍을 결정하는 한 예가, 참조에 의해 본 명세서에 포함되는, J.A. Pytlarz 등에 의한, 미국 특허 출원 공개 제2019/0304379호 "Ambient light-adaptive display management"에 주어져 있다.

동적 APL 부스트하에서, 조정된 Tmax 값을 계산하는 것은 전역 디밍이 셋업되는 방식에 영향을 미치지 않는 것이 바람직하다. 예를 들어, 전역 디밍 계산 동안에 계산된 원하는 Tmax가 600 cd/m²로 선택되고 평균 픽처 레벨(APL) 부스트 조정 파라미터 α 값이 1인 경우, 백라이트는 여전히 600 cd/m²로 설정되어야 하지만, 맵핑에 이용되는 Tmax _Adj 는 Tmax/2 = 300 cd/m²로 설정되어야 한다.

톤-맵핑(410) 후, 단계 415에서, 입력 이미지가 그 타겟 컬러 공간(예를 들어, RGB)으로 변환된 후, 아래에서 설명되는 선형 맵핑이 동적 APL 부스트를 완료한다. 조정된 Tmax 값이 원래 값보다 낮기 때문에, 이 단계에서는, 선형 공간의 콘텐츠가 디스플레이의 원래 Tmax로 다시 스트레칭된다. 이것은, 더 어둡게 만들어진 밝은 이미지들은 APL 부스트가 적용되지 않은 것과 거의 동일한 휘도를 유지하는 반면, 변경되지 않은 어두운 이미지들은 더 밝게 만들어진다는 것을 의미한다. 이것은 Tmin을 동일하게 유지하면서 조정된 Tmax 값을 다시 원래의 Tmax로 상승시킬 것이다. 따라서, 기울기 m과 오프셋 b가 주어지면,

(2)

그렇다면,

(3)

여기서, RGB는 톤-맵핑된 이미지의 컬러 성분(예를 들어, R, G 또는 B 등)을 나타낸다. 이들 선형 RGB 값들은, APL 부스트로 디스플레이될 최종 이미지를 생성하기 위해, 타겟 디스플레이(예를 들어, 감마, PQ 등)의 전기 광학 전달 함수(electro-optical transfer function)(EOTF)에 의해 추가로 처리될 수 있다.

또 다른 실시예에서, 이 선형 맵핑은 또한 톤-맵핑 프로세스 동안 직접 적용될 수 있지만, 강도 컬러에만(예를 들어, ICtCp 이미지의 I 성분에만) 적용될 수 있다; 그러나, 최종 결과는 약간 상이할 수 있다.

동적 피크 휘도 조정

피크-휘도 조정의 의도는, 특히 하이라이트들을 타겟으로 하는, 이미지들의 밝기를 감소시키는 것이다. 전통적인 밝기 감소 알고리즘들은 모든 이미지를 동등하게 어둡게 하여, 밝은 이미지들을 보상하려고 시도할 때 어두운 이미지들의 디테일이 손실된다. 한 실시예에서, 톤-맵핑 프로세스를 동적으로 조정할 톤 맵핑 단계 동안 피크 휘도를 감소시키기 위한 방법이 제안된다. 도 2b에 도시된 바와 같이, 도 2a에서와 동일한 원본 이미지들(예를 들어, 최좌측의 2개의 이미지)이 주어지면, 이 방법은 밝은 이미지들(예를 들어, 좌측 상단 이미지)이 어두운 이미지들(예를 들어, 좌측 하단 이미지)보다 더 많이 조정되는 것을 허용한다. 이 방법의 한 가지 이점은 너무 밝은 이미지들을 보상할 때 어두운 이미지 디테일이 계속 보이게 유지된다는 것이다. 피크 휘도 조정(PLA) 프로세스의 한 예가 도 4b에 도시되어 있다.

도 4b에 도시된 바와 같이, 단계 420에서, 입력 이미지 및 타겟 디스플레이의 특성들(예를 들어, Tmax) 및 β, 피크 휘도 조정 파라미터(예를 들어, [0, 1])가 주어지면, 입력 Tmax 값은 조정된 Tmax 값을 도출하도록 조정된다.

(4)

APL 부스트 프로세스와는 달리, 피크 휘도 조정된 후, 톤-맵핑된 이미지가 스트레칭되지 않으므로, 백라이트를 감소시키는 것은 이미지 품질이 향상시키고 전력 소비를 낮출 수 있다. 이 경우, 백라이트는 값과 정합하도록 저하될 수 있다. 맵핑 동안 값도 전역 디밍 디스플레이의 특성들에 따라 백라이트 감소에 기초하여 조정될 필요가 있을 수 있다. 이 단계는 단계 425에서 완료된다. 그 다음, 도 4a에서와 같이, 단계 430에서, 디스플레이 관리 프로세스는 및 값들을 이용하여 입력 이미지를 톤-맵핑한다. 유의사항: 값은 전역 디밍 조정으로 인해 조정된 경우 로 대체될 수 있다.

한 실시예에서, (감마 또는 전력 EOTF를 이용하는 경우) 톤-맵핑의 출력에 관한 EOTF 변환도 조정될 필요가 있을 것이다. 디스플레이가 전역 디밍을 이용하고 있고 전력 또는 감마 출력을 갖는 경우, 정규화 단계(435)에서, EOTF 함수에 대한 입력 값들(예를 들어, 톤-맵핑된 출력의 RGB 값들)은 조정된 동적 범위(예를 들어, 또는 )에 기초하여 정규화된다. 디스플레이가 전역 디밍 디스플레이가 아닌 경우, 원래의 및 이 정규화에 이용되어야 한다. 예로서, 비-전역 디밍 디스플레이의 경우:

(5)

반면, 백라이트가 조정된 전역 디밍 디스플레이의 경우:

(6)

여기서, 는 EOTF 함수에 대한 RGB 입력 값이 주어진 경우 출력 디스플레이 이미지의 컬러 성분을 나타내고, 는 타겟 디스플레이의 감마 또는 전력 EOTF 인자를 나타내며, 는 전역 디밍에 의해 이용되는 조정된 값을 나타낸다. 다른 감마 또는 전력류의 EOTF 함수들에도 유사한 정규화가 적용될 수 있다.

디스플레이가 PQ EOTF를 이용하는 경우, EOTF 정규화 단계는 절대 컬러 표현이므로 요구되지 않는다(범위 [0, 10, 000] cd/m²가 항상 전송됨)는 점에 유의한다.

한 예로서, 은 디스플레이의 콘트라스트비(ContrastRatio)에 기초하여 조정될 수 있다. 예를 들어, 조정된 은 다음과 같이 , 및 으로부터 계산될 수 있다:

(7)

한 실시예에서, APL 부스트 및 피크 휘도 조정(PLA)을 양쪽 모두를 적용하는 것이 가능하다. 이것은, 야간 시청 등의 상황에서 눈의 편안함 개선을 위해 또는 안정적인 휘도 표시에 대한 사용자 선호도를 위해 바람직할 수 있다. 도 2c(원본들) 및 도 2d(APL 부스팅 및 피크 휘도 조정 양쪽 모두로 처리됨)에 도시된 픽처들에 한 예가 도시되어 있다. 예를 들어, 도 2d에 도시된 바와 같이, 좌측 하단 이미지는 검정색들에서 더 많은 디테일을 보여주고 좌측 상단 이미지는 전체적으로 더 어둡다. 우측 상단 이미지에서, 조정은 주로 태양의 밝기에 영향을 미치며(현재는 더 어둡게 나타남), 우측 하단 이미지에서는, 어두운 차가 더 밝게 보이지만 그 뒤에 있는 밝은 흰색 패널은 더 어둡게 나타난다.

도 4c는 디스플레이가 APL 부스트 및 피크 휘도 조정을 양쪽 모두를 구현하는 한 예시적인 프로세스 흐름을 도시한다. 이 시나리오 하에서, 단계 440에서, 조정된 Tmax 값들은 다음과 같이 계산된다

(8)

전역 디밍 조정들(450) 및 톤-맵핑 단계(455)는, 단계 455의 톤-맵핑이 전역 디밍 또는 PLA 프로세스로 인한 조정을 고려할 필요가 있다는 점을 제외하고는 이전과 동일하게 유지된다. 즉, 입력 이미지 동적 범위의 톤-맵핑은, 전역 디밍으로 인해 이 조정되지 않은 경우 에 맵핑되고 조정되는 경우 에 맵핑된다. 유사하게, APL 부스트의 경우, 단계 460에서, 선형 맵핑은 선택사항적 전역 디밍 조정 동안(예를 들어, 일부 실시예에서, ), 및 의 임의의 조정들에 기초한다.

(9)

마지막으로, 단계 465에서, 임의의 EOTF 조정들은 에만 기초한다. 따라서, 한 예로서, 전역 디밍 없이 감마 EOTF가 있는 디스플레이의 경우:

(10)

반면, 백라이트가 조정된 유사한 디스플레이의 경우:

(11)

상기의 방정식들은 이하의 예를 통해 더 잘 설명될 수 있다. 타겟 디스플레이가 = 300 nit를 갖는다고 가정한다. β = 1이라고 하면, = 150 nit이다. 전체 디스플레이는 이제 150 nit 디스플레이인 것처럼 취급되고, 임의의 톤-맵핑은 150 nit를 결코 초과하지 않도록 제한될 필요가 있다. 전역 디밍이 있는 디스플레이에서, (피크가 150 nit가 될 때까지 백라이트를 낮춤으로써) 을 로 저하시킬 기회를 갖는다, 예를 들어 방정식 (7)로부터, . APL 부스트를 적용할 때, 모든 이미지 처리는, 디스플레이의 물리적 및 를 일정하게 유지하지만, 이제 PLA 조정이 주어지면, 방정식 (2) 및 (3)의 및 은 실제로 (150 nit) 및 (조정된 경우)일 것이다.

α의 값은 전형적으로 [0, 1]의 범위이지만, 일부 실시예는 더 높은 값들(예를 들어, 최대 3)을 허용할 수 있다. β의 값들도 역시 [0, 1]에서 실행될 수 있지만, β는 매우 어두운 환경을 제외하고는 종종 더 낮은 값들에 더 가깝게 유지된다.

예시적인 컴퓨터 시스템 구현

본 발명의 실시예는, 컴퓨터 시스템, 전자 회로 및 컴포넌트들로 구성된 시스템, 마이크로제어기 등의 집적 회로(IC) 디바이스, FPGA(field programmable gate array), 또는 또 다른 구성가능하거나 프로그래밍가능한 로직 디바이스(PLD), 이산 시간 또는 디지털 신호 프로세서(DSP), 주문형 IC(ASIC), 및/또는 이러한 시스템들, 디바이스들 또는 컴포넌트들 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는, 본 명세서에서 설명된 것들 등의, 이미지 의존적 밝기 및 콘트라스트 조정들과 관련된 명령어들을 수행, 제어 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 본 명세서에서 설명된 이미지 의존적 밝기 및 콘트라스트 조정들과 관련된 다양한 파라미터 또는 값 중 임의의 것을 계산할 수 있다. 이미지 및 비디오 실시예들은, 하드웨어, 소프트웨어, 펌웨어 및 이들의 다양한 조합으로 구현될 수 있다.

본 발명의 소정의 구현들은, 프로세서들로 하여금 본 발명의 방법을 수행하게 하는 소프트웨어 명령어들을 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들어, 디스플레이, 인코더, 셋탑 박스, 트랜스코더 등 내의 하나 이상의 프로세서는, 프로세서들에 액세스가능한 프로그램 메모리 내의 소프트웨어 명령어들을 실행함으로써 위에서 설명된 이미지 의존적 밝기 및 콘트라스트 조정들과 관련된 방법들을 구현할 수 있다. 본 발명의 실시예들은 또한 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은, 데이터 프로세서에 의해 실행될 때 데이터 프로세서로 하여금 본 발명의 방법을 실행하게 하는 명령어들을 포함하는 컴퓨터 판독가능한 신호 세트를 운반하는 임의의 비일시적인 유형 매체(non-transitory and tangible medium)를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 다양한 비일시적 및 유형적 형태 중 임의의 것일 수 있다. 프로그램 제품은, 예를 들어, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체, CD ROM, DVD를 포함하는 광학 데이터 저장 매체, ROM, 플래시 RAM 등을 포함하는 전자적 데이터 저장 매체 등의 물리적 매체를 포함할 수 있다. 프로그램 제품의 컴퓨터 판독가능한 신호들은 선택사항으로서 압축되거나 암호화될 수 있다.

컴포넌트(예를 들어, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로 등)가 위에서 언급되는 경우, 달리 표시되지 않는 한, 그 컴포넌트에 대한 언급("수단"에 대한 언급 포함)은, 본 발명의 설명된 예시적 실시예들에서 기능을 수행하는 개시된 구조물과 구조적으로 균등하지 않은 컴포넌트들을 포함한, 설명된 컴포넌트의 기능을 수행하는 임의의 컴포넌트(예를 들어, 기능적으로 균등한) 임의의 컴포넌트를 그 컴포넌트의 균등물로서 포함하는 것으로 해석되어야 한다.

균등물들, 확장들, 대안들 및 기타의 것들

이와 같이, 이미지 의존적 밝기 및 콘트라스트 조정들에 관한 예시적인 실시예들이 설명되었다. 전술한 명세서에서, 본 발명의 실시예들이 구현마다 상이할 수 있는 수많은 특정한 상세사항을 참조하여 설명되었다. 따라서, 본 발명의 범위의 유일하고 배타적인 표시자, 및 출원인이 의도하는 본 발명의 범위는, 임의의 후속된 보정을 포함한, 이러한 청구항들이 허여되는 구체적인 형태로 된, 본 출원으로부터 허여되는 청구항 세트이다. 이러한 청구항들에 포함된 용어에 대해 본 명세서에서 명시적으로 개시된 임의의 정의는 청구항들에서 사용되는 이러한 용어들의 의미를 지배한다. 따라서, 청구항에서 명시적으로 기재되지 않은 어떠한 제한, 요소, 속성, 피처, 이점 또는 특성도 어떤 식으로든 이러한 청구항의 범위를 제한하지 않아야 한다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims

어두운 이미지 부분들보다 밝은 이미지 부분들에서 밝기를 비교적 더 강하게 감소시키기 위해 피크 휘도 조정 파라미터의 값에 기초하여 이미지 의존적 밝기 제어를 제공하기 위한 컴퓨터로 구현된 방법으로서,
이미지 동적 범위에서의 입력 이미지를 수신하는 단계;
타겟 디스플레이의 디스플레이 동적 범위를 정의하는 최소 디스플레이 휘도 값 및 최대 디스플레이 휘도 값을 수신하는 단계;
상기 피크 휘도 조정 파라미터 및 상기 최대 디스플레이 휘도 값에 기초하여 상기 타겟 디스플레이를 위한 제1 조정된 휘도 값을 생성하는 단계 ― 상기 제1 조정된 휘도 값은 상기 최대 디스플레이 휘도 값보다 낮음 ―;
톤-맵핑 기능(tone-mapping function) 및 상기 입력 이미지를 이용하여 톤-맵핑된 이미지를 생성하는 단계 ― 상기 톤-맵핑 기능은 상기 이미지 동적 범위를 상기 최소 디스플레이 휘도 값 및 상기 제1 조정된 휘도 값에 맵핑함 ―; 및
상기 톤-맵핑된 이미지에 기초하여 상기 타겟 디스플레이를 위한 출력 이미지를 생성하는 단계
를 포함하고,
상기 제1 조정된 휘도 값을 생성하는 단계는 를 계산하는 단계를 포함하고,
여기서, 는 상기 최대 디스플레이 휘도 값을 나타내고, β는 상기 피크 휘도 조정 파라미터를 나타내는, 방법.
제1항에 있어서, 상기 피크 휘도 조정 파라미터는 0과 1 사이인, 방법.
제1항에 있어서, 상기 제1 조정된 휘도 값에 기초하여 상기 타겟 디스플레이를 위한 전역 백라이트 디밍(global backlight dimming)을 조정하는 단계를 더 포함하고, 상기 톤-맵핑 기능은 상기 이미지 동적 범위를 조정된 최소 디스플레이 휘도 값 및 상기 제1 조정된 휘도 값에 맵핑하는, 방법.
제1항에 있어서, 감마 또는 전력(gamma or power) 전기 광학 전달 함수(electro-optical transfer function)(EOTF)를 갖는 타겟 디스플레이에 대해, 상기 EOTF를 적용하기 전에, 상기 EOTF에 대한 입력은, 백라이트 디밍 조정이 없을 때에는 상기 최대 디스플레이 휘도 값으로부터의 상기 최소 디스플레이 휘도 값의 차이 또는 백라이트 디밍 조정이 있을 때에는 상기 제1 조정된 휘도 값으로부터의 조정된 최소 휘도 값의 차이를 포함하는 델타 인자에 의해 정규화되는, 방법.
제4항에 있어서, 상기 EOTF에 대한 입력의 컬러 성분(RGB)이 주어지면, EOTF 출력의 컬러 성분(RGB')을 생성하는 단계는,
상기 타겟 디스플레이에 관한 전역 백라이트 디밍 조정이 없는 경우에는, 를 계산하는 단계, 및
상기 타겟 디스플레이에 관한 전역 백라이트 디밍 조정이 있는 경우에는, 를 계산하는 단계
를 포함하고,
는 상기 감마 또는 전력 인자를 나타내고, 는 상기 최소 디스플레이 휘도 값을 나타내고, 는 상기 최대 디스플레이 휘도 값을 나타내고, 는 상기 제1 조정된 휘도 값을 나타내고, 는 상기 전역 백라이트 디밍 조정으로 인한 상기 조정된 최소 휘도 값을 나타내는, 방법.
제1항에 있어서, 상기 방법은, 밝은 이미지 부분들보다 어두운 이미지 부분들에서 밝기를 비교적 더 강하게 증가시키기 위해 평균 픽처 레벨 부스트 조정 파라미터의 값에 추가로 기초하고,
상기 방법은,
상기 평균 픽처 레벨 부스트 조정 파라미터 및 상기 제1 조정된 휘도 값에 기초하여 상기 타겟 디스플레이를 위한 제2 조정된 휘도 값을 생성하는 단계 ― 상기 제2 조정된 휘도 값은 상기 최대 디스플레이 휘도 값보다 낮음 ―;
상기 톤-맵핑 기능 및 상기 입력 이미지를 이용하여 상기 톤-맵핑된 이미지를 생성하는 단계 ― 상기 톤-맵핑 기능은 상기 이미지 동적 범위를 상기 최소 디스플레이 휘도 값 및 상기 제2 조정된 휘도 값에 맵핑함 ―; 및
상기 톤-맵핑된 이미지에 선형 맵핑을 적용함으로써 상기 타겟 디스플레이를 위한 제1 출력 이미지를 생성하는 단계 ― 상기 선형 맵핑의 파라미터들은 상기 최소 디스플레이 휘도 값, 상기 제1 조정된 휘도 값, 및 상기 제2 조정된 휘도 값에 기초함 ―
를 더 포함하고,
상기 제2 조정된 휘도 값을 생성하는 단계는 를 계산하는 단계를 포함하고,
여기서, 는 상기 제1 조정된 휘도 값을 나타내고, α는 상기 평균 픽처 레벨 부스트 조정 파라미터를 나타내는, 방법.
제6항에 있어서, 상기 톤-맵핑된 이미지의 RGB 컬러 성분에 대해, 상기 선형 맵핑을 적용하여 상기 출력 이미지의 컬러 성분을 생성하는 단계는,
를 계산하는 단계를 포함하고,
이고,
는,
상기 선형 맵핑의 파라미터들을 나타내고, 은 상기 최소 디스플레이 휘도 값을 나타내고, 은 상기 제1 조정된 휘도 값을 나타내고, 는 상기 제2 조정된 휘도 값을 나타내는, 방법.
밝은 이미지 부분들보다 어두운 이미지 부분들에서 밝기를 비교적 더 강하게 증가시키기 위해 평균 픽처 레벨 부스트 조정 파라미터의 값에 기초하여 이미지 의존적 밝기 제어를 제공하기 위한 컴퓨터로 구현된 방법으로서,
이미지 동적 범위에서의 입력 이미지를 수신하는 단계;
타겟 디스플레이의 디스플레이 동적 범위를 정의하는 최소 디스플레이 휘도 값 및 최대 디스플레이 휘도 값을 수신하는 단계;
상기 평균 픽처 레벨 부스트 조정 파라미터에 기초하여 상기 타겟 디스플레이를 위한 조정된 최대 휘도 값을 생성하는 단계 ― 상기 조정된 최대 휘도 값은 상기 최대 디스플레이 휘도 값보다 낮음 ―;
톤-맵핑 기능 및 상기 입력 이미지를 이용하여 톤-맵핑된 이미지를 생성하는 단계 ― 상기 톤-맵핑 기능은 상기 이미지 동적 범위를 상기 최소 디스플레이 휘도 값 및 상기 조정된 최대 휘도 값에 맵핑함 ―; 및
상기 톤-맵핑된 이미지에 선형 맵핑을 적용함으로써 상기 타겟 디스플레이를 위한 출력 이미지를 생성하는 단계 ― 상기 선형 맵핑의 파라미터들은 상기 최소 디스플레이 휘도 값, 상기 최대 디스플레이 휘도 값, 및 상기 조정된 최대 휘도 값에 기초함 ―
를 포함하고,
상기 조정된 최대 휘도 값을 생성하는 단계는 를 계산하는 단계를 포함하고,
여기서, 는 상기 최대 디스플레이 휘도 값을 나타내고, α는 상기 평균 픽처 레벨 부스트 조정 파라미터를 나타내며;
상기 톤-맵핑된 이미지의 RGB 컬러 성분에 대해, 상기 선형 맵핑을 적용하여 상기 출력 이미지의 컬러 성분을 생성하는 단계는, 를 계산하는 단계를 포함하고,
여기서, 이고,
은 상기 선형 맵핑의 파라미터들을 나타내고, 은 상기 최소 디스플레이 휘도 값을 나타내고, 는 상기 최대 디스플레이 휘도 값을 나타내고, 는 상기 조정된 최대 휘도 값을 나타내는, 방법.
제8항에 있어서, 상기 평균 픽처 레벨 부스트 조정 파라미터는 0과 1 사이인, 방법.
제1항의 방법을 하나 이상의 프로세서로 실행하기 위한 컴퓨터 실행가능한 명령어들이 저장된, 비일시적인 컴퓨터 판독가능한 저장 매체.
프로세서를 포함하고, 제1항의 방법을 수행하도록 구성된, 장치.