KR20200022041A

KR20200022041A - 멀티플렉싱되는 하이 다이나믹 레인지 이미지

Info

Publication number: KR20200022041A
Application number: KR1020207004591A
Authority: KR
Inventors: 크레이그 알. 프랭클린
Original assignee: 레이던 컴퍼니
Priority date: 2017-07-27
Filing date: 2018-05-15
Publication date: 2020-03-02
Anticipated expiration: 2038-05-15
Also published as: WO2019022812A1; EP3662656A1; TW201918995A; JP2020529159A; TWI722283B; US20190035064A1; US10467733B2; IL271992B; JP7077395B2; CA3069923A1; IL271992A; KR102193896B1; WO2019022812A9; JP2022071177A

Abstract

시간 멀티플렉싱되는 하이 다이나믹 레인지 이미지를 생성하기 위한 기술이 설명된다. 상기 방법은, 이미지 센서로부터 캡처된 기본 노출 레벨을 갖는 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 제1 이미지는 누적 메모리에 저장될 수 있다. 다른 동작은 상기 기본 노출 레벨과 비교하여 수정된 노출 레벨을 갖는 제2 이미지를 획득하는 것이다. 상기 제2 이미지 내의 인커밍 픽셀이 포화 임계치를 초과하는지 여부에 대해 결정이 이루어질 수 있다. 상기 누적 메모리에 하이 다이나믹 레인지 이미지를 형성하도록, 상기 제2 이미지의 픽셀은 상기 제1 이미지의 픽셀과 결합될 수 있다.

Description

멀티플렉싱되는 하이 다이나믹 레인지 이미지

본 발명은 멀티플렉싱되는 하이 다이나믹 레인지 이미지에 관한 것이다.

하이 다이나믹 레인지 이미징(High dynamic range imaging)은 광학 이미징 및 사진에 사용되어 각 이미지 노출에 대해 더 작은 휘도(luminance) 범위를 사용하는 이미징 기술로 가능한 것보다 더 넓은 범위의 발광(luminosity)을 재현한다. 하이 다이나믹 레인지(HDR: high dynamic range)는 인간의 눈의 능력(capacity)과 더 유사한 이미지에서 다양한 휘도를 제공할 수 있다. 인간의 눈은 홍채를 사용하여 본(viewed) 장면에서 광범위한 휘도에 지속적으로 적응한다. 뇌가 이렇게 본 정보를 지속적으로 해석하므로, 시청자(viewer)는 광범위한 조명 상태에서 볼 수 있다. 반면에, 기존 이미징 기술은 일반적으로 캡처된 이미지에서 더 작은 휘도 범위를 캡처한다.

HDR 이미지는 낮은 휘도 범위를 캡처하는 디바이스를 사용하여 얻을 수 있는 것보다 더 넓은 범위의 휘도 레벨을 나타낼 수 있다. 캡처될 수 있는 더 큰 범위의 휘도를 가지는 장면의 예는, 더 큰 휘도 범위를 가지는 매우 밝은 직사광선에서 극도의 음영(extreme shade)까지의 어두운 이미지, 또는 희미한 공간(space) 이미지를 포함하는 실제 장면(real-world scenes)을 많이 포함할 수 있다. HDR 이미지는 종종 동일한 장면이나 대상의 복수의 좁은 범위 노출들을 결합하여 생성된다. 대부분의 이미지 센서 또는 카메라는 제한된 노출 범위로 사진을 찍으므로, 하이라이트(highlights) 또는 그림자의 세부 묘사가 손실된다.

HDR 이미지는 복수의 로우 다이나믹 레인지(LDR: low-dynamic-range) 사진 또는 스탠다드 다이나믹 레인지(SDR: standard-dynamic-range) 사진을 병합하여(merging) 생성될 수 있다. 또한, HDR 이미지에 사용되는 복수의 노출 레벨을 가지는 이미지를 캡처하는 데 사용할 수 있는 복수의 카메라 헤드(multiple camera heads)의 사용과 같이 비용이 많이 드는 특수 이미지 센서 구성을 사용하여, HDR 이미지가 획득될 수 있다.

도 1A는 시간 멀티플렉싱되는(multiplexed) 하이 다이나믹 레인지 이미지(high dynamic range image)를 생성하는 시스템에 대한 예를 도시한 블록도이다.
도 1B는 프레임 버퍼(frame buffer)에 출력되는 시간 멀티플렉싱되는 하이 다이나믹 레인지 이미지를 생성하는 시스템의 예를 도시한 블록도이다.
도 1C는 유인(manned) 또는 무인 차량(unmanned vehicles)에서 캡처된 이미지를 사용하여 시간 멀티플렉싱되는 하이 다이나믹 레인지 이미지를 생성하는 시스템의 예를 도시한 블록도이다.
도 2는 시간 멀티플렉싱되는 하이 다이나믹 레인지 이미지의 생성을 위한 이미지 센서에 의해 캡처될 수 있는 베이어 컬러 공간(Bayer color space)에 저장된 이미지의 일부에 대한 도면이다.
도 3은 HDR 이미지를 생성하기 위해 결합될 수 있는 초기 노출 및 증가된 노출을 가지는 이미지의 예를 도시한 흐름도(flowchart)이다.
도 4는 시간 멀티플렉싱되는 하이 다이나믹 레인지 이미지의 생성을 위한 동작의 예를 도시한 흐름도이다.
도 5는 본 기술에서 사용될 수 있는 컴퓨팅 디바이스의 예시적인 도면을 제공하는 블록도이다.

시간 멀티플렉싱되는 하이 다이나믹 레인지(HDR) 이미지의 생성을 위한 기술이 제공될 수 있다. 이러한 이미지는 미리 결정된 프레임 레이트(예를 들어, 초당 20 내지 60+ 프레임)로 풀 모션 비디오(full motion video)에 사용될 수 있거나 또는 스틸 이미지(still images)가 생성될 수 있다. 상기 기술을 수행하기 위한 방법은 HDR 이미지를 생성하기 위한 동작을 포함할 수 있다. 예를 들어, 기본 노출 레벨을 가지는 제1 이미지는 이미지 센서로부터 획득될 수 있으며, 제1 이미지는 누적 메모리(accumulation memory)에 저장될 수 있다. 이미지 센서는 풀 모션 비디오에 대한 이미지를 캡처하도록 구성된 카메라일 수 있다. 하나의 구성에서, 이미지는 베이어 컬러 공간에 저장될 수 있고, 이미지 센서 또는 카메라는 기본적으로 베이어 컬러 공간 포맷(Bayer color space format)으로 이미지를 캡처하도록 구성될 수 있다. 또한, 이미지 센서에 의해 다른 컬러 이미지 공간이 사용될 수 있다.

기본 노출 레벨과 비교하여 수정된 노출 레벨(예를 들어, 증가된 노출 레벨)을 가진 제2 이미지는 이미지 센서를 사용하여 획득될 수 있다. 또 다른 동작은 제2 이미지에서 인커밍 픽셀의 포화 레벨이 포화 임계치를 초과하는지 여부에 관한 결정일 수 있다. 인커밍 이미지(incoming images)는 인커밍 이미지의 픽셀이 포화 임계치 미만인지 여부를 결정하기 위해 픽셀들에 대해 계산된 추정된 이미지 강도를 가질 수 있으며, 누적 메모리 내의 이미지와 결합되어야 한다.

부가적으로, 제1 이미지 내 로컬 픽셀 그룹(local pixel group)의 제1 로컬 에지 추정치(local edge estimate) 및 제2 이미지 내 제2 로컬 픽셀 그룹의 제2 로컬 에지 추정치가 결정될 수 있다. 이러한 로컬 에지 추정치는 그래디언트 계산(gradient calculation) 또는 다른 로컬 에지 추정치를 사용하여 결정될 수 있다. 제1 로컬 에지 추정치는 제2 로컬 에지 추정치와 비교되어, 제1 이미지와 제2 이미지를 캡처하는 사이의 이동으로 인해 제2 로컬 픽셀 그룹과 비교하여 상기 로컬 픽셀 그룹에서 변화가 있었는지 여부를 결정할 수 있다. 인커밍 픽셀의 포화가 포화 레벨 또는 포화 임계치를 초과하지 않는 경우, 및 이동이 이동 임계치 미만인 경우, 이러한 기준을 충족하는 제2 이미지의 개별 픽셀은 제1 이미지의 각각의 픽셀과 결합될 수 있다. 로컬 에지 추정치 및 포화 임계치에 대한 테스트(testing)는 이동이 검출되지 않은 경우와, 포화 임계치 미만인 제2 이미지로부터의 모든 픽셀이 제1 이미지로 결합될 때까지 픽셀 단위(pixel-by-pixel basis)로 수행될 수 있다.

이미지를 누적 버퍼에 누적하는 프로세스는 임의의 수의 인커밍 이미지가 출력 프레임 속도로 출력 프레임(output frames)을 생성하도록 반복될 수 있다. 예를 들어, 이미지 센서 또는 카메라는 N배의 출력 프레임 레이트 또는 원하는(desired) 프레임 레이트로 동작할 수 있다. 노출은 N 캡처된 프레임으로 구성된 데이터 세트를 형성하기 위해 각 N 프레임에 대해 N 개의 상이한 레벨들 중 어느 하나로 설정될 수 있다. 각 출력 프레임은 HDR 이미지를 형성하는 데 사용되는 데이터세트에서 N 개의 연관된 프레임을 가질 수 있다. 이러한 N 개의 프레임은 HDR 이미지를 생성하는 데 사용되며, 사용자가 일반적으로 볼 수 없다. 상기 프로세스는 HDR 이미지를 생성하기 위한 전체 메모리 요구 사항을 줄이기 위해 누적 메모리를 저장된 데이터를 가지는 데이터 세트에서 N 개의 프레임들 각각을 결합하여 재귀적으로(recursively) 누적 메모리를 사용할 수 있다. 보다 구체적으로, 누적 메모리에 저장된 이전 결과는 출력 프레임이 완료될 때까지 각각의 인커밍 이미지 프레임과 결합된다.

이러한 기술은 하드웨어 및 컴퓨팅 리소스가 제한되었을 수 있는 컴퓨팅 및 이미징 시스템에서 동작하지만, 상기 시스템은 여전히 HDR 이미지를 제공할 수 있다. 과거(past) HDR 시스템에서, 원시 카메라 데이터 포맷으로 복수의 이미지가 캡처되었다. 이미지 디모자이싱(demosaicing), 이미지 컬러 보정(color correcting), 이미지 강도 보정(intensity correcting), 및/또는 CIE 색 공간으로 이미지 변환(converting)과 같이 이미지를 볼 수 있는 이미지(viewable image)로 변환하기 위한 단계들이 수행된다. 종래 시스템의 이러한 점에서, 강도 공간의 복수의 이미지들이 함께 결합되어 최종 HDR 이미지를 생성한다. 캡처된 포맷에서 볼 수 있는 이미지로 이미지를 변형하는(transforming) 이러한 프로세스는, 복수의 이미지에 대한 복수의 메모리를 사용할(occupy) 수 있지만, 원하는 수학적 출력을 제공한다. 대조적으로, 본 기술은 인커밍 이미지를 강도 공간으로 변환하지 않지만, 단일 누적 메모리에 원시 이미지 포맷(예를 들어, 베이어 이미지 공간)으로 이미지를 누적한다.

상술한 바와 같이, 본 기술은 원하는 출력 속도보다 더 높은 속도로 N개의 프레임을 캡처하고, 증가된 수의 캡처된 프레임으로부터 HDR 이미지를 생성할 수 있다. 예를 들어, 기존의 많은 기성용(off-the-shelf) 카메라는 30 Hz에서 실행되고, 데이터 세트의 추가 이미지에 사용될 수 있는 더 높은 프레임 레이트는 60Hz(모든 출력 프레임 또는 디스플레이 프레임에 대해 2 개의 캡처된 프레임), 90Hz(모든 출력 프레임에 대해 3 개의 캡처된 프레임)일 수 있거나, 또는 더 높은 캡처 프레임 레이트가 또한 사용될 수 있다. 초기 프레임은 기본 노출(볼 수 있는 사진 노출로 간주될 수 있음)에서 설정될 수 있으며, 이미지의 하이라이트를 캡처하도록 후속 이미지 캡처를 위해 이미지 노출이 증가될 수 있다. 이미지의 어두운 부분에 대한 새로운 정보가 들어오면(comes in), 인커밍 이미지의 유용한(useful) 부분이 누적 메모리에 현재 저장된 이미지와 지능적으로(intelligently) 결합될 수 있으므로, 이미지의 밝은 부분이 변경되지 않도록 유지할 수 있다. 이는 시간 멀티플렉싱되는(time-multiplexed) 노출 출력을 도출한다.

본 설명에 사용된 픽셀(pixel)이라는 용어는 강도(intensity) 및/또는 컬러 값(color value)을 나타내는 어떤 형태의 사진 요소 또는 이미지 하위 요소(sub-element)를 포함할 수 있다. 픽셀이 이미지 센서의 물리적 캡처 요소 또는 디스플레이 상의 물리적 출력 요소(예를 들어, 디스플레이 화소(pel))에 직접 매핑할(map) 수 있는 반면에, 물리적 캡처들 또는 디스플레이 요소들 및 수학적 픽셀들 사이의 일대일 매핑(one-to-one mapping)이 항상 사용될 수는 없다.

도 1A는 시스템(102), 및 시간 멀티플렉싱(time multiplexing)을 이용하여 하이 다이나믹 레인지(HDR) 이미지를 생성하도록 제공되는 방법을 도시한다. 이 시스템 및 방법은 두 이미지들을 결합하는 예의 측면에서 설명될 것이다. 그러나, 시스템이 풀 모션 비디오(FMV) 모드에서 동작하는 경우, 센서 디바이스 또는 카메라는 N 배의 원하는 프레임 레이트에서 동작할 수 있고, 출력 프레임당 N 개의 프레임이 처리될 수 있다. 보다 구체적으로, 시스템은 기본 노출 레벨을 갖는 제1 이미지(112)를 캡처하도록 구성된 이미지 센서(110) 또는 카메라를 포함할 수 있다. 이미지 센서(110) 또는 카메라는 리드아웃 집적 회로(ROIC: readout integrated circuit), 금속 산화물 반도체(CMOS: complementary metal-oxide-semiconductor) 센서 또는 다른 이미지 캡처 센서를 사용할 수 있다. 또한, 이 시스템은 이미지 처리 방법으로 기존 기성용(OTS: off the shelf) 카메라 하드웨어를 사용할 수 있다.

이미지 센서(110)와 통신하는 누적 메모리(126)는 시스템(102)에 포함될 수 있다. 누적 메모리(accumulation memory)(126)는 제1 이미지(112)를 누적 메모리에 저장하도록 구성될 수 있다. 프로세서(130), 또는 필드 프로그래밍 가능한 게이트 어레이(FPGA: field programmable gate array), 커스텀(custom) 주문형 집적회로(ASIC: application specific integrated circuit) 또는 메모리와 연관된 다른 프로세서와 같은 프로세서들의 그룹은, 이미지 센서(110)로부터 제2 이미지(112)를 수신 또는 획득하도록 구성될 수 있다. 제2 이미지는 이전(prior) 이미지(즉, 제1 이미지)의 기본 노출 수준에 비해 증가된 노출 레벨을 가질 수 있다.

프로세서(130)는 제1 이미지 내 대응하는 로우(row) 및 컬럼(column)에서 각각의 픽셀과 비교하여 제2 이미지 내 인커밍 픽셀들 각각의 포화를 확인하는 포화 확인 모듈(saturation checking module)(120) 또는 포화 로직(saturation logic)을 사용할 수 있다. 각각의 인커밍 픽셀의 포화가 미리 정의된 포화 임계치를 초과하지 않으면, 그 개별 픽셀에 대한 처리가 진행될(proceed) 수 있다. 한편, 인커밍 픽셀의 포화 레벨이 포화 임계치를 초과하는 경우, 포화 임계치가 초과되었고 픽셀이 누적되고 있는 HDR 이미지를 개선할 것으로 예상되지 않기 때문에, 개별 픽셀에 대한 처리는 종료될 수 있다.

픽셀의 포화를 확인하기 위해, 처리되고 있는 픽셀의 근처에 있거나 인접한 픽셀들을 포함하는 로컬 영역(local area)이 검사될(examined) 수 있다. 픽셀 강도를 결정하기 위해 검사되는 근처의 이웃(neighbors)은 처리되고 있는 픽셀의 근처에 있거나 인접한 픽셀들일 수 있다. 일 실시예에서, 영역(예를 들어, 3x3 영역) 내의 픽셀의 일부 또는 전부의 최대 강도 값(maximum intensity value)은 포화를 추정하는 데 사용될 수 있다. 픽셀들의 최대 강도 값을 사용하는 것은 언더샘플링되는(undersampled) 컬러(레드, 블루 또는 그린)의 단일 구성 요소가 포화되지 않았다는 것을 의미한다. 이러한 강도의 계산(예를 들어, 최대 강도를 사용)은, HDR 이미지를 누적하는 누적 메모리(126)에 저장된 프레임에 인커밍 프레임의 픽셀이 재귀적으로 추가되는지 여부를 결정하는데 사용될 수 있다. 베이어 이미지 포맷(Bayer image format)으로 저장된 픽셀들의 강도는, 베이어 이미지 포맷 및/또는 RGB 포맷이 픽셀에 대한 단일 값 또는 저장 위치로 픽셀 강도 정보를 제공하지 않기 때문에, 식별되어야 하거나 또는 추정되어야 하는 것이 바람직하다. 관련된 예로서, RGB는 하나의 이미지 요소 또는 픽셀에 대한 강도를 저장하지 않지만, 표현되고 있는 세 가지 컬러들 각각에 대한 강도를 저장한다.

이전 HDR 방법에서, HDR 이미지를 생성하기 전에 CIE 기반 강도 변환(CIE based intensity conversion)이 사용되었다. 강도 기반 컬러 공간(intensity based color space) 또는 CIE 컬러 공간(CIE color space)이 이전 HDR 이미지를 생성하기 위해 사용되었을 수 있는 반면에, 전체 이미지에 대한 강도를 찾기 위한 이러한 변환은 느리고 상당한 양의 시간 및 컴퓨팅 리소스(예를 들어, 처리(processing) 및 메모리)를 소모한다.

대조적으로, 본원에 기술된 기술은 픽셀 강도 또는 이미지 요소 강도의 프로세스 내(in-process) 추정을 사용한다. 본 기술의 강도를 추정하는 데 사용될 수 있는 예시적인 높은 레벨 계산은, 베이어 이미지 포맷으로 저장된 인근(nearby) 픽셀에 대한 레드, 그린, 및 블루 픽셀의 로컬 최대 강도 값을 찾는 것이다. 이러한 계산은 3x3 그리드(grid), 4x4 그리드, 5x5 그리드의 픽셀들, 불규칙적인 형상, 또는 인커밍 픽셀의 근처에 있거나 또는 인접한 패턴의 스크린 도어 유형의 패턴을 포함할 수 있다. 강도 추정의 이러한 예는 저장된 이미지의 대응하는 픽셀과 선택한 위치의 인커밍 이미지로부터의 픽셀을 결합할지 여부에 관해 결정이 이루어질 수 있도록 강도에 대한 일반적인 추정을 제공할 수 있다. 이러한 유형의 픽셀 강도 추정치는 제한된 양의 처리 및 메모리 리소스를 사용하며, 비교적 빠르다. 예를 들어, 한번 두번으로 나누면 산술 로직 유닛(ALU: Arithmetic Logic Unit) 하드웨어에서 몇 개의 레지스터 시프트(register shifts)만 이루어질 수 있다. 이러한 강도 추정치는 제1 이미지와 제2 이미지 모두에서 픽셀에 대해 수행될(take place) 수 있으므로, 어떤 픽셀이 결합될 수 있는지에 대해 결정이 이루어질 수 있다.

이러한 방법은 2개, 3개 또는 4개의 이미지들을 결합하는 측면에서 설명되었지만, 임의의 수의 복수의 이미지들 또는 N 이미지들이 함께 결합되어 HDR 출력 프레임을 형성할 수 있다. 예를 들어, N은 2 내지 60으로 설정될 수 있다. 현재 이미지 센서 또는 카메라는 초당 1,000 프레임 또는 초당 더 많은 프레임을 캡처할 수 있다. 각 HDR 출력 프레임에 대해, 캡처되고 함께 결합되어 HDR 출력 프레임을 생성하는 N 개의 다른 이미지들(예를 들어, 5, 10, 20 또는 30개의 이미지)이 있을 수 있다.

N 이미지가 캡처되는 경우, 노출은 N 개의 다른 레벨들(예를 들어, 각 이미지에 대해 다른 레벨)로 설정될 수 있다. 이러한 N 개의 카메라 프레임은, HDR 출력 프레임을 생성하도록 결합되는 데이터 세트를 구성할 수 있다. N 이미지의 제1 이미지 또는 제1 프레임은 이미지 하이라이트의 1% 포화를 대상으로 할 수 있는 초기 노출 프레임일 수 있다. 이러한 이미지는 일반적인 노출 또는 기본 노출로 간주될 수 있다. 제1 프레임은 처리되지 않고 메모리에 저장될 수 있다. 다음 N-1 프레임은 점진적으로 증가하는 노출(즉, 증가하는 노출 시간)을 제공하도록 동작할 수 있으며, 여기서 노출 비율이 이미징되고 있는 장면에 최적화된다. 이러한 N 프레임들 각각은 점진적으로 더 "과노출(over exposed)"될 수 있다. 예를 들어, 하루에, 카메라는 원하는 출력 프레임으로 30 Hz에서 출력 이미지를 생성할 수 있다. 또한, 이미지 센서는 실제로 N 배의 원하는 프레임 레이트 또는 150 Hz(N=5)로 동작하여(run), HDR 이미지에 사용될 추가 프레임을 제공할 수 있다. 야간에는 카메라가 원하는 프레임 레이트로 7.5Hz에서 HDR 이미지를 출력할 수 있으며, HDR 이미지에 대해 추가 노출을 캡처하도록 카메라는 15Hz(N=2)에서 동작할 수 있다.

데이터세트의 각 프레임이 수신됨에 따라, 인커밍 프레임은 누적 메모리(126) 또는 디지털 프레임 메모리 내에 이미 누적된 기존 프레임과 조건부로 결합될 수 있다. 조건부 누적은 각 개별 픽셀 또는 이미지 요소에 대한 추정되는 로컬 강도를 기초로 할 수 있다. 최종 이미지가 생성되지 않았기 때문에, 앞서 설명한 대로 원시 이미지 센서 출력으로부터 픽셀 강도가 추정될 수 있다. 인커밍 픽셀이 과포화되면(over saturated), 인커밍 픽셀이 사용되지 않고, 인커밍 픽셀은 누적 메모리에 저장된 이미지로 결합되지 않는다.

이미지를 결합하기 위해 추가 상태가 확인되는 경우의 기술의 또 다른 구성에서, 로컬 에지 추정 모듈(122) 또는 로직은, 제1 이미지에서 개별 픽셀에 대한 로컬 픽셀 그룹의 제1 로컬 에지 추정치를 계산하고 결정할 수 있다. 제2 이미지에서 대응하는 픽셀에 대한 제2 로컬 픽셀 그룹의 제2 로컬 에지 추정치(즉, 두 이미지 모두에서 대응하는 x 및 y 위치)은 로컬 에지 추정 모듈(local edge estimate module)(122)에 의해 또한 계산될 수 있다. 이미지 그라데이션 계산 또는 그라데이션 추정을 사용하여 로컬 에지 추정치(local edge estimate)가 계산될 수 있다. 다른 예로서, 캐니 에지 검출기(Canny edge detector), 검색 기반 방법(search based methods), 제로 교차 방법(zero crossing methods) 또는 기타 에지 검출 방법(edge detection methods)이 로컬 에지 추정치에 대해 또한 사용될 수 있다. 제1 이미지 및 제2 이미지의 캡처 사이의 제2 로컬 픽셀 그룹과 비교되는 개별 픽셀에 대한 로컬 픽셀 그룹에서 이동이 있는지 여부를 결정하기 위해, 제1 로컬 에지 추정치가 제2 로컬 에지 추정치와 비교될 수 있다. 예를 들어, 제1 로컬 에지 추정치 및 제2 로컬 에지 추정치가 동일할 경우, 이동이 발생하지 않는다. 반대로, 제1 로컬 에지 추정치 및 제2 로컬 에지 추정치가 상당히 다른 경우(예를 들어, 차가 제약을 벗어남), 이동이 발생했을 수 있다.

첫 번째 경우, 제1 이미지와 제2 이미지의 특정 픽셀들 사이에서 이동이 거의 없거나 전혀 없는지 결정이 이루어질 수 있다. 제2 이미지의 제2 로컬 픽셀 그룹이 제1 이미지에서 대응하는 로컬 픽셀 그룹에 대하여 상당하게 이동하지 않은 경우, 제2 이미지로부터의 픽셀들은 제1 이미지의 픽셀들과 결합되어, 누적 메모리(126)에서 HDR 이미지를 형성할 수 있다.

인커밍 프레임(예를 들어, 새로 캡처된 프레임 또는 입력 프레임)이 누적 메모리(126)에 저장된 프레임과 결합되는 경우, 이러한 결합 동작은 각 인커밍 프레임이 저장된 이미지와 결합된 후 업데이트된 이미지로 저장되기 때문에, 재귀적으로 간주될 수 있다. 업데이트된 이미지는 누적 메모리(126)에 저장될 수 있다. 따라서, 누적 메모리(126)에 저장된 저장된 이미지의 픽셀 값은, 인커밍 이미지의 픽셀 값과 결합되어 누적 메모리(126)에 저장될 업데이트된 HDR 출력 프레임(128)을 생성한다. 증가된 노출(예를 들어, 잠재적으로 증가된 강도)로 새로 캡처된 각 이미지를 누적 메모리에 추가하면, HDR 출력 프레임(128)의 생성 동안 사용되는 전체 메모리 리소스를 줄일 수 있다. 그 결과로, 단일 이미지 프레임을 저장하도록 구성된 메모리는 각 HDR 출력 프레임(128)을 구성하는 데 사용된다.

누적된 저장된 프레임과 인커밍 프레임의 픽셀들에 대한 로컬 에지 추정치를 계산하기 위해 의사 코드 예가 제공될 수 있다.

그린 위치에서:

레드/블루 위치에서:

"inB", "inG" 및 "inR"은 어레이의 특정 상대 위치에서 각각 입력 블루, 입력 그린 및 입력 레드를 지칭한다는 것을 주의해야 한다. 누적 메모리(126)의 저장된 이미지 또는 저장된 프레임에 대한 픽셀 위치들 및 인커밍 프레임에 대한 픽셀 위치들 중 하나의 픽셀 위치 각각에 대해 로컬 에지 추정치 추정이 이루어질 수 있다. 로컬 모서리 추정치 계산은 로컬 모서리 추정치를 사용하여 수평 및/또는 수직 위치에서 로컬 에지를 추정할 수 있다. 이러한 로컬 에지 추정치의 예는, 언더샘플링된 데이터(undersampled data)(예를 들어, 베이어 패턴 데이터)를 사용하여 계산될 수 있다. 본원에 설명된 예시적인 이미지의 포맷은 언더샘플링된 포맷이기 때문에, 그린 픽셀 대 레드/블루 픽셀에 대해 다른 계산이 사용된다. 알려진 모든 유형의 로컬 에지 추정치는 사용될 수 있지만, 이러한 로컬 에지 추정치의 예는 HDR 출력 프레임을 생성하기 위해 이동에 대한 테스트를 하는 데 사용되고 있으며, 로컬 에지 추정치는 디모자이킹(demosaicing)에 사용되지 않는다.

인커밍 픽셀이 로컬 픽셀 영역에서 이동하는지 결정하도록, 로컬 에지 추정치가 사용될 수 있다. 픽셀에서 또는 픽셀의 근처에 로컬 이동이 있는 경우, 인커밍 픽셀을 통합하는 것은 이미지를 흐리게(blur) 할 수 있으므로, 인커밍 픽셀이 사용되지 않는다. 예를 들어, 이동하는 대상(object)(예를 들어, 움직이는 사람, 차량, 동물 등)이 있는 경우, 그 대상을 흐리게 하는 것을 방지하는 것은, 이미지의 전체 품질을 향상시킨다.

고스팅(Ghosting)은 흐림(blurriness)보다 문제가 적을 수 있지만, 픽셀에서 또는 픽셀의 근처에서 로컬 이동이 있을 때 인커밍 이미지로부터 픽셀들을 통합하지 않도록 하면, 대상이 시야를 통과할 때 대상 뒤에 고스트(ghost)를 생성하는 것을 피할 수 있다. 이 설명에 설명된 시간 멀티플렉싱된 이미지는 아티팩트(artifacts)를 생성할 수 있지만, 로컬 에지 추정치를 사용하여 이동을 확인하면 가능한 이러한 시각적인 아티팩트를 최소화하는 데 도움을 준다.

두 이미지들을 결합하는 예에서, 제1 이미지로부터의 픽셀들은 제1 이미지와 함께 제2 이미지로부터의 픽셀들을 평균화함으로써 제2 이미지로부터의 픽셀들과 결합될 수 있다. 2 개의 픽셀들의 결합은 결합기 모듈(combiner module)(124)을 사용하여 이루어질 수 있다. 대안적으로, 제2 이미지로부터의 픽셀들은 픽셀 값의 비선형 조합을 사용하여 제1 이미지와 함께 결합될 수 있다. 이러한 비선형 동작은 제1 이미지에 결합된 픽셀로부터의 컬러 및/또는 강도의 양이 인커밍 픽셀의 컬러 및/또는 강도에 기초하여 크기 조정될 수 있는 경우일 수 있다. 예를 들어, 인커밍 프레임에서 인커밍 픽셀의 컬러 포화 및/또는 강도가 증가함에 따라, 저장된 이미지와 결합된 인커밍 픽셀의 양이 반비례하여 감소할 수 있다. 다른 구성에서, 제2 이미지로부터의 인커밍 픽셀의 고정 비율이 제1 이미지에 추가될 수 있다. 예를 들어, 제2 이미지로부터의 각 픽셀의 컬러와 강도의 10% 내지 90%까지가 제1 이미지에 추가될 수 있다.

누적 메모리에 픽셀을 인커밍 픽셀 값과 결합하면 최종 HDR 이미지에 대한 노이즈 억제를 제공할 수도 있다. 예를 들어, 인커밍 픽셀로 저장된 픽셀을 평균화하면 이미지의 노이즈를 억제할 수 있다.

하나의 구성에서, 인커밍 이미지와 저장된 이미지로부터의 픽셀들의 결합은, 저장된 출력 강도로부터 입력 픽셀 강도가 얼마나 상이한지에 기초하여 발생할 수 있다. (누적 메모리의) 저장된 이미지의 픽셀이 블랙이지만, 인커밍 픽셀은 그레이인 경우에, 그레이 픽셀은 블랙 픽셀을 위해 사용할 수 있으며, 블랙 픽셀은 그레이 픽셀과 함께 평균화되지 않을 수 있다. 이는 블랙 픽셀이 그렇지 않으면 지나치게 인커밍 픽셀을 차지하기(dominate) 때문이다. 픽셀들은 다양한 조합으로 함께 결합될 수도 있으며, 특히 픽셀의 컬러 및/또는 강도가 강도 스펙트럼(예를 들어, 베리 화이트(very white) 또는 베리 블랙(very black))의 어떤 에지(edge)에 위치된다.

다른 측면에서, 인커밍 이미지의 강도 히스토그램이 생성되고 분석될 수 있다. 강도 히스토그램의 분석을 기초로, 시스템은 캡처될 후속 이미지에 사용될 노출 레벨을 결정할 수 있다. 예를 들어, 인커밍 이미지가 블랙으로 크게 차지하게 되는 히스토그램을 가지는 경우, 다음 이미지는 노출 단계가 한 단계만이 아니라 3 내지 4 개의 노출 단계로 증가되는 노출을 가질 수 있다. 이러한 다이나믹 노출 결정은 더 높은 하나의 노출 단계만 캡처하면 최종 HDR 이미지에 실질적으로 사용 가능한 이미지 콘텐츠를 제공하지 못하는 상황을 방지할 수 있다. 보다 구체적인 예에서, 바이-모달 이미지(bi-modal image)는 히스토그램의 어두운 부분에서 많은 수의 도미넌트 값(dominant values)과 히스토그램의 밝은 부분에서 많은 수의 도미넌트 값을 가지는 강도 히스토그램(intensity histogram)을 가질 수 있다. 이러한 경우에, 노출이 2배(2x) 증가하면 최종 HDR 출력 프레임에 유용한 어떤 것을 제공하지 않을 수 있다. 따라서, 기본 노출 레벨에 비해 8배(8x) 노출까지 점프하면, 더 좋은 결과를 제공할 수 있다. 이러한 노출 제어 기술은 장면에서 반사 대상을 가지는 어두운 장면(예를 들어, 반사 차량을 가지는 어두운 주차장)의 경우에도 도움이 될 수 있다. 유사한 예에서, 시스템은 인커밍 이미지에 대한 다음 노출 레벨을 선택하기(pick) 위해 히스토그램 또는 누적 분포 함수(CDF: Cumulative Distribution Function)의 50% 포인트 및 25%를 분석할 수 있다. 다음 인커밍 이미지에 대한 전체 노출은 카메라가 프레임을 노출하는 시간의 길이를 제어하여 설정될 수 있다(즉, 이미지 센서가 빛을 캡처할 수 있음).

인커밍 픽셀 값을 저장된 픽셀 값과 결합하고, 데이터 세트의 HDR 출력 프레임에 대해 메모리에 픽셀을 저장하는 의사 코드의 예는 다음과 같다.

전체 데이터 세트가 처리되었으면(예를 들어, 출력 프레임에 대한 N 개의 이미지), 출력 프레임(예를 들어, 베이어 이미지)은 기존의 컬러 공간 변환 기술을 사용하여 디스플레이 가능한(displayable) 이미지로 변환될 수 있다. N 이미지의 전체 데이터세트가 누적되고 출력 프레임이 출력된 후, 누적 메모리는 지워져(cleared) 다음 데이터세트를 준비할 수 있다.

포화, 로컬 에지 추정치를 확인하고, 픽셀을 결합하기 위해 설명된 동작은 픽셀 단위로 수행될 수 있다. 따라서 두 이미지들에 대해 결합할 수 있는 어떤 픽셀들이 결합될 때까지 이미지에서 로우 단위 또는 컬럼 단위로 픽셀들이 동작될 수 있다. 과포화, 이동 또는 기타 요인으로 인해 제1 이미지로 결합될 수 없는 인커밍 이미지 또는 제2 이미지로부터의 일부 픽셀이 있을 수 있다. 이러한 픽셀들은 식별될 때 스킵될(skipped) 수 있다. 생성된 HDR 출력 프레임(128)은 저장, 패턴 인식, 머신 비전, 최종 사용자(end user)에 의한 시청(viewing) 등을 위한 컴퓨터 네트워크 또는 컴퓨팅 버스(computing bus)를 통해 누적 메모리(126)로부터 전송될 수 있다. 이미지를 볼 수 있는 명령 스테이션 또는 원격 모바일 디바이스로 이미지가 전송될 수도 있다.

도 1B는 연결된 출력 디스플레이로 시간 멀티플렉싱된 HDR 이미지를 생성하기 위한 시스템을 도시한다. 도 1B의 카메라(110), 프로세서(130), 누적 메모리(126) 및 다른 요소들은, 도 1A의 요소와 유사한 방식으로 동작할 수 있다. HDR 출력 프레임(128)을 생성하는 것 외에도, 프레임 버퍼(130)는 누적 메모리(126)로부터 HDR 출력 프레임(128)을 수신하도록 구성될 수 있다. 프레임 버퍼(130)는 최종 사용자 또는 다른 시청자가 볼 수 있도록 HDR 이미지를 출력하기 위해 프레임 버퍼(130)와 통신하여 디스플레이 디바이스(132)를 리프레쉬하기(refresh) 위해 이미지 정보(예를 들어, 완성된 HDR 이미지 비트맵)를 제공할 수 있다. 디스플레이 디바이스는 액정 디스플레이(LCD: Liquid Crystal Display), 플라즈마 디스플레이(plasma display), 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 또는 임의의 다른 디스플레이 유형일 수 있다.

이러한 기술은 매우 어둡고 밝은 영역을 가지는 이미징 장면에 유용한 하이 다이나믹 레인지(HDR: High Dynamic Range) 비디오를 생성하는 데 사용될 수 있다. 여러 대의 카메라 헤드를 가지는 고가의 하드웨어를 사용하는 대신에, 소프트웨어 및 펌웨어 변경이 있는 단일 카메라를 사용하여 HDR 비디오를 생성하는 기능(capability)이 바람직하다. 이러한 기술은 임의의 기존 이미징 기능을 잃지 않고 오퍼레이터(operator)가 원하는(desired) 대로 활성화하거나(activated) 또는 비활성화될(deactivated) 수 있다. 이는 최종 사용자 또는 오퍼레이터가 소프트웨어 인터페이스를 사용하여 언제든지 HDR 비디오 기능을 켜거나 끌 수 있다.

과거에는 풀 모션 비디오(FMV: Full Motion Video) HDR 시스템이 구축되었을 때, 이러한 시스템은 사용되는 카메라 헤드의 수 또는 사용될 수 있는 특수 하드웨어(specialized hardware)에 비해 전체 카메라 비용을 증가시킬 수 있는 고가의 사용자 정의 ROIC 또는 복수의 카메라 헤드를 활용하였다. 일부 FMV 구성은 수백만 달러의 개발 비용이 들 수 있는 사용자 지정 ROIC(custom ROICs) 또는 사용자 지정 카메라를 가진다. 복수의 카메라를 사용하는 것은 HDR 이미지를 제공할 수 있는 반면에, 이러한 구성은 상당한 양의 메모리, 추가 하드웨어 및 처리 능력(processing power)을 사용한다.

또한, 복수의 카메라를 사용하면 전술적인 환경(tactical environment)에서 이동하는 복잡한 기계적 정렬을 포함할 수 있다. 복잡한 기계적 메커니즘이 사용될 때, 특히 이미징 디바이스가 수요가 많은 군사 또는 상업용 응용 분야에서 사용되는 경우, 이러한 메커니즘은 이미징 디바이스에 대한 추가 실패 지점(failure points)을 생성할 수 있다. 복수의 카메라 헤드 구성에 사용되는 특수 하드웨어는 (예를 들어, 황혼이나 일출, 저조명 상태에서 등) 주기적으로 HDR 이미지를 사용할 수 있는 애플리케이션에 대한 값비싼 하드웨어 투자일 수 있다.

HDR 이미지를 형성하기 위해 복수의 노출을 구현하는 스틸 카메라가 사용될 수 있지만, 스틸 카메라는 단일 스틸(still)을 생성하고, 이미지를 형성하는 데 상당한 시간이 소요된다. 스틸 HDR 이미징(Still HDR imaging)은 군사 환경이나 다른 요구가 많은 환경에는 적합하지 않는다. 하드웨어 멀티플렉싱되는 노출 시스템은 복수의 카메라와 특수 하드웨어를 사용하여 생산되었지만, 이러한 시스템은 고가의 처리 리소스를 사용하며, 비교적 높은 지연 속도 및 낮은 프레임 레이트를 가지고 있다. 본 개시에 설명된 HDR 기술은 지나치게 복잡하거나 고가의 하드웨어를 사용하지 않고 HDR 비디오 또는 이미지를 제공함으로써 이러한 한계를 극복하며, 이에 따라 군사 및 가능한 기타 용도로 사용할 수 있다.

현재 기술은 하나의 카메라를 포함하는 리소스 제한 시스템에 HDR 비디오 또는 스틸 이미지를 제공할 수 있다. 보다 구체적으로, 이러한 기술은 도 1C에 도시된 바와 같이 유인 또는 무인 차량 상의 카메라로부터 비디오를 캡처하는 데 사용될 수 있다. 예를 들어, HDR 이미지는 비행 드론, 도로 차량 드론, 선박 또는 다른 유형의 차량(104)에 장착된 카메라로부터 생성될 수 있다. 다른 예에서, 보안 카메라, 어셈블리 라인 카메라(assembly line cameras), 패키징 설비 카메라(packaging facility cameras), 농장 장비 카메라(farm equipment cameras) 또는 카메라가 있는 기타 사물 인터넷(IoT: Internet of Things) 디바이스에 의해 캡처된 이미지로부터 HDR 비디오가 생성될 수 있다.

도 2는 카메라로부터 캡처된 이미지가 베이어 이미지 패턴(200)에 있을 수 있다는 것을 도시한다. 베이어 이미지 패턴 구성 카메라(Bayer image pattern configured cameras)에서, 컬러 필터는 도 2에 도시된 바와 같이 그리드에서 강도 센싱 하드웨어(intensity sensing hardware) 또는 반도체 위에 배치된다. 이미지에 대한 원시, 언더샘플링된(undersampled) 컬러는 결국 알려진 이미지 기술을 사용하여 RGB 이미지를 생성하기 위해 처리될 수 있다.

이 기술은 베이어 도메인(Bayer domain)에서 동작할 수 있으므로, 이 기술을 구현하면 강도 공간(CIE, YUV)에서 이미지를 계산하는 것보다 훨씬 적은 컴퓨팅 리소스를 가진다. 강도 공간으로 변환하면 메모리 및 처리량 요구 사항을 증가시킬 수 있기 때문에 이러한 결과가 제공된다. 단일 카메라로 HDR 비디오를 제공하는 리소스 및 비용 제약으로 인해, 이 카메라는 언더샘플링된 베이어 컬러 공간을 사용할 수 있다. 이 기술의 이미지는 카메라에 의해 캡처된 네이티브(native) 컬러 공간 또는 원시 포맷으로 유지되어 메모리를 절약하고 처리에 사용되는 다른 리소스를 감소시킬 수 있다. 베이어 공간에서 이미지를 유지하면 메모리 및 처리 리소스를 보존할 수 있기 때문에, 이미지의 누적 동안 이미지가 완전히 비모자이크된(de-mosaiced) CIE 컬러 공간 이미지로 변환되지 않을 수 있다. 그러나 시간 멀티플렉싱된 HDR 출력 프레임이 생성될 때 풀 변환(full conversion)이 이루어질 수 있다. 보다 구체적으로, 누적 메모리에 저장된 이미지는 또한 베이어 이미지 포맷 또는 다른 네이티브 카메라 포맷으로 또한 저장될 것이다. HDR 이미지가 축적되면, 일반 이미지 처리가 수행되어 베이어 이미지 포맷에서 시청을 위한 RGB 또는 다른 강도 기반 이미지 포맷으로 이미지를 변환할 수 있다.

기존 이미지 처리 방법은 최종 볼 수 있는 이미지를 생성하도록 사용될 수 있다. 복수의(multiple) 카메라 헤드로부터 복수의 이미지를 처리하여 HDR 이미지를 생성하는 종래의 이미징 방법은 스트림당 4개의 이미지 스트림(image streams)과 3개의 이미지로 끝날 수 있으며, 이는 12개의 완성된 이미지가 결합되어 많은 양의 메모리와 처리를 소모하게 한다. 이와 대조적으로, 이 기술은 하나의 출력 프레임만 가지고 있으며, 그 하나의 이미지는 알려진 비모자이크한(de-mosaicing), 컬러 보정, 강도 보정 및/또는 CIE 컬러 공간으로 이미지를 변환을 사용하여 볼 수 있는 이미지로 변환될 수 있다. 대안적으로, 강도 공간, RGB(레드, 그린, 블루), CMYK(시안(Cyan), 마젠타(Magenta), 옐로우, 키(Key)) 또는 다른 이미지 컬러 공간과 같은 컬러 공간에 이미지가 저장될 수 있다. 카메라로부터 캡처된 이미지를 저장하기 위해 이 기술과 함께 사용될 수 있는 베이어 패턴 어레이가 아닌 다른 컬러 필터 어레이 패턴이 있다. 예를 들어, 제조업체는 캡처된 이미지를 저장하기 위해 독점적인 컬러 필터 패턴(proprietary color filter patterns) 및 어레이(arrays)(예를 들어, 소니 포맷 또는 다른 원시 이미지 포맷)을 사용할 수 있다. 이 기술에 사용되는 동작은 멀티플렉싱된 HDR 이미지를 재귀적으로 생성하도록 이렇게 다양한 이미지 포맷을 처리하도록 수정될 수 있다.

도 3은 카메라에 의해 캡처된 기본 노출 레벨을 가지는 초기 노출 이미지(initial exposure image)(310)를 도시한다. 의도적으로 증가된 노출 이미지(320)는 후속 시점에서(예를 들어, 초기 노출 이미지 직후에) 카메라에 의해 또한 캡처될 수 있다. 이러한 두 이미지는 앞서 설명한 동작을 사용하여 함께 결합되어, 초기 노출 이미지(310) 또는 증가된 노출 이미지(330)보다 더 높은 다이나믹 레인지(higher dynamic range)를 가지는 HDR 이미지(330)를 각각 획득할 수 있다.

도 3에서 이 기술에 대한 예시적인 설명이 주로 두 개의 이미지들 또는 카메라 노출을 사용하여 설명된 반면에, 임의의 수의 이미지들이 사용되어, 최종 HDR 출력 프레임(128)을 획득할 수 있다. 예를 들어, 시스템은 원하는 출력 프레임 레이트로 각 출력 프레임에 대한 N 개의 이미지를 획득할 수 있다. 따라서, 이미지 센서로부터 출력 프레임에 대한 출력 프레임 레이트(output frame rate)가 설정될 수 있고, 이미지 센서는 출력 프레임 레이트보다 N배 많은 이미지를 캡처할 수 있도록 N배 출력 프레임 레이트에서 동작될 수 있다. N 개의 이미지들의 픽셀들은 함께 결합되어 HDR 이미지를 형성할 수 있다. 원하는 이미지 출력 레이트가 초당 24 프레임이면, 카메라는 초당 72 프레임으로 동작될 수 있다. 이는 각 HDR 출력 프레임(128) 또는 출력 프레임을 생성하기 위해 함께 결합될 수 있는 3개의 이미지를 제공한다. 임의의 수의 이미지가 HDR 출력 프레임(128)을 생성하는데 사용될 수 있다. HDR 출력 프레임을 생성하도록 사용되는 이미지의 수 N은 카메라 하드웨어의 기능, 누적 메모리 및 이미지를 결합할 수 있는 처리 능력의 유일한 한계를 가진, 2개의 이미지에서 수천 개의 이미지(예를 들어, 출력 프레임당 2,000개의 이미지)까지의 이미지의 임의의 수일 수 있다. N 개의 이미지는 점점 더 큰 노출 레벨에서 캡처되거나 획득될 수 있다. 예를 들어, 제1 노출 레벨은 0일 수 있고, 제2 노출 레벨은 +2일 수 있고, 제3 노출 레벨은 +4 등이 될 수 있다.

도 4는 시간 멀티플렉싱된, 하이 다이나믹 레인지 이미지를 생성하기 위한 방법을 도시한다. 상기 방법은 블록(410)에서와 같이 이미지 센서로부터 캡처된 기본 노출 레벨을 갖는 제1 이미지를 획득하는 제1 동작을 포함할 수 있다. 제1 이미지는 블록(420)에서와 같이 누적 메모리에 저장될 수 있다. 제2 이미지는 블록(430)에서와 같이 기본 노출 레벨에 비해 수정된 노출 레벨(예를 들어, 증가된 노출 레벨)을 가지도록 획득될 수 있다.

제2 이미지에서 인커밍 픽셀의 포화 레벨이 블록(440)에서와 같이 포화 임계치를 초과하는지 여부에 대한 결정이 수행될 수 있다. 인커밍 픽셀의 포화 레벨을 테스트하기 위해, 픽셀에 대해 예상되는 강도가 계산될 수 있다. 캡처된 이미지를 저장하기 위해 베이어 이미지 패턴을 사용하는 경우, 각 픽셀의 강도가 추정되어, N 개의 이미지들을 결합할 수 있다. 이 기술은 새로운 컬러 공간(CIE, YUV)으로 풀 변환(full conversion)할 필요 없이 강도를 추정할 수 있다. 일 예에서, 포화는 픽셀 영역에서 강도에 대한 로컬 최대값을 찾아서 추정될 수 있다. 이러한 픽셀 영역은 처리되고 있는 인커밍 픽셀에 가깝거나 인접한 픽셀의 일부 또는 전부를 포함할 수 있다. 영역은 인커밍 픽셀의 부근에서 3x3 크기 또는 다른 유용한 크기(예를 들어, N x N)일 수 있다.

정의된 임계치를 초과하는 강도를 갖지 않는 제2 이미지의 픽셀은, 블록(450)과 같이 누적 메모리에서 하이 다이나믹 레인지 이미지를 형성하도록 제1 이미지의 픽셀과 결합될 수 있다. 가로등으로 야간 이미지 캡처의 경우에서, 기본 이미지는 매우 어두운 제1 이미지일 수 있다. 다음 노출에서, 가로등은 과도하게 노출될 수 있으며, 가로등과 연관된 픽셀은 폐기될 수 있고, 누적된 이미지로 결합되지 않을 수 있다. 그러나 다른 조광기(dimmer) 조명과 반사는 최종 사용자가 쉽게 볼 수 있을 것이며, 조광기 조명과 반사가 포화 레벨 임계치를 초과하지 않기 때문에, 이러한 조광기 조명과 반사가 누적된 이미지에 결합될 수 있다. 이러한 추가 세부 사항은, 최종 이미지 시청자가 그림자에 있는 것을 볼 수 있게 한다. 각 추가 프레임에 대해, 포화 레벨 임계치가 초과되지 않는 한 각각의 더 밝은 영역이 프레임에 추가된다.

기술의 추가 구성에서, 제1 이미지에서 로컬 픽셀 그룹의 제1 로컬 에지 추정치가 결정될 수 있고, 제2 이미지에서 로컬 픽셀 그룹의 제2 로컬 에지 추정치도 결정될 수 있다. 제1 로컬 에지 추정치는 제1 이미지와 제2 이미지를 캡처하는 것 사이에서 제2 로컬 픽셀 그룹과 비교하여 제1 이미지의 로컬 픽셀 그룹에서 이동이 있었는지 여부를 결정하기 위해 제2 로컬 에지 추정치와 비교될 수 있다. 이동이 각 픽셀에 대한 이동 임계치 미만이면, 제2 이미지의 적절한 픽셀은 제1 이미지의 픽셀과 결합될 수 있다.

제1 이미지는 제1 이미지와 함께 제2 이미지로부터 픽셀들을 평균화하여 제2 이미지와 결합될 수 있다. 대안적으로, 제1 이미지를 제2 이미지와 함께 결합하는 것은 비선형 조합을 사용하여 제1 이미지와 함께 제2 이미지로부터 픽셀들을 결합할 수 있다.

정의된 출력 프레임 레이트의 경우, 출력 프레임 레이트의 각 출력 프레임에 대해 점점 더 높은 노출 레벨에서 N 개의 이미지가 획득될 수 있다. 이미지 센서로부터 출력 프레임에 대해 정의된 출력 프레임 레이트를 기초로, 이미지 센서는 출력 프레임 레이트로 N 배 많은 이미지를 캡처하도록 N배의 출력 프레임 레이트로 동작할 수 있다. N 개의 이미지의 각 픽셀은 함께 결합되어, 하이 다이나믹 레인지 이미지를 형성할 수 있다. 마지막으로, 하이 다이나믹 레인지 이미지는 프레임 버퍼 메모리 및 디스플레이를 위한 디스플레이 디바이스로 전송될 수 있다.

또 다른 예시적인 방법에서, 기술에 대한 동작은, 실행시 프로세서가 시간 멀티플렉싱되는 하이 다이나믹 레인지 이미지를 생성하게 할 수 있는 명령어를 갖는 비일시적 기계 판독 가능한 저장 매체(non-transitory machine readable storage medium)에 저장될 수 있다. 상기 기술은 카메라로부터 캡처된 기본 노출 레벨을 갖는 제1 이미지를 획득할 수 있고, 제1 이미지를 누적 메모리에 저장할 수 있다. 제2 이미지는 기본 노출 레벨에 비해 증가된 노출 레벨로 획득될 수 있다. 픽셀의 강도가 포화 임계치를 초과하는지 보도록, 제2 이미지에서 인커밍 픽셀의 인커밍 포화 레벨이 확인될 수 있다.

제1 이미지에서 로컬 픽셀 그룹의 제1 로컬 에지 추정치, 및 제2 이미지에서 로컬 픽셀 그룹의 제2 로컬 에지 추정치가 계산될 수 있다. 제1 이미지와 제2 이미지를 캡처하는 것 사이에 로컬 픽셀 그룹에서 이동 임계치를 초과하는 이동이 있었는지 여부를 결정하도록, 제1 로컬 에지 추정치가 제2 로컬 에지 추정치와 비교될 수 있다. 이동이 이동 임계치 이하이고, 포화 임계치가 초과되지 않은 경우, 제2 이미지의 픽셀은 누적 메모리내의 제1 이미지의 픽셀과 결합될 수 있다.

이러한 기술은 초기 노출을 사용하여, HDR 이미지에 대해 함께 결합될 수 있는 후속 이미지에 대한 노출 시간을 증가시키는 것으로 설명되었다. 그러나 역방향 프로세스가 또한 사용될 수 있다. 초기 이미지는 하이 노출 레벨(high exposure level)을 가지는 이미지로 시작할 수 있다. 노출이 감소하는 후속 이미지가 캡처되고, 초기 이미지와 결합되어 출력 프레임에 대한 HDR 이미지를 생성할 수 있다.

도 5는 상기 기술의 모듈이 실행할 수 있는 컴퓨팅 디바이스(computing device)(510)를 도시한다. 컴퓨팅 디바이스(510)는 상기 기술의 하이 레벨의 예가 실행될 수 있는 것을 예시한다. 컴퓨팅 디바이스(510)는 메모리 디바이스(520)와 통신하는 하나 이상의 프로세서(512)를 포함할 수 있다. 컴퓨팅 디바이스는 컴퓨팅 디바이스 내의 컴포넌트(components)에 대한 로컬 통신 인터페이스(local communication interface)(518)를 포함할 수 있다. 예를 들어 로컬 통신 인터페이스는 원하는 대로 로컬 데이터 버스(local data bus) 및/또는 임의의 관련 주소 또는 제어 버스(control busses)일 수 있다.

메모리 디바이스(520)는 프로세서(512)에 의해 실행될 수 있는 모듈(524), 및 모듈(524)에 대한 데이터를 포함할 수 있다. 모듈(524)은 앞서 설명한 기능(functions)을 실행할 수 있다. 데이터 저장소(data store)(522)는 모듈에 의해 사용되는 코드 또는 데이터를 저장하는 데에도 사용할 수 있다.

다른 애플리케이션들(applications)은 또한 메모리 디바이스(memory device)(520)에 저장될 수 있고, 프로세서(512)에 의해 실행될 수 있다. 이 설명에서 설명하는 컴포넌트 또는 모듈은 상기 방법의 하이브리드(hybrid)를 사용하여 컴파일되거나, 해석되거나(interpreted), 또는 실행되는 하이 프로그래밍 레벨 언어(high programming level languages)를 사용하여 소프트웨어의 형태로 구현될 수 있다.

컴퓨팅 디바이스는 또한 컴퓨팅 디바이스들에 의해 사용할 수 있는 I/O(입력/출력) 디바이스(514)에 접근할 수 있다. I/O 디바이스의 예는 컴퓨팅 디바이스로부터의 출력을 디스플레이할 수 있는 디스플레이 스크린(530)이다. 다른 알려진 I/O 디바이스는 원하는 대로 컴퓨팅 디바이스와 함께 사용될 수 있다. 네트워킹 디바이스(Networking devices)(516) 및 유사한 통신 디바이스는 컴퓨팅 디바이스에 포함될 수 있다. 네트워킹 디바이스(516)는 인터넷, LAN, WAN, 또는 다른 컴퓨팅 네트워크에 연결하는 유선 또는 무선 네트워킹 디바이스일 수 있다.

메모리 디바이스(520)에 저장되는 것으로 도시되는 컴포넌트 또는 모듈은 프로세서(512)에 의해 실행될 수 있다. 용어 "실행 가능한(executable)"은 프로세서(512)에 의해 실행될 수 있는 형태인 프로그램 파일을 의미할 수 있다. 예를 들어, 더 높은 레벨 언어로 된 프로그램은 메모리 디바이스(520)의 랜덤 액세스 부분으로 로드되고, 프로세서(512)에 의해 실행될 수 있는 형식으로 기계 코드로 컴파일될 수 있거나, 또는 소스 코드는 다른 실행 가능한 프로그램에 의해 로드되고, 프로세서에 의해 실행될 메모리의 랜덤 액세스 부분에서 명령어를 생성하도록 해석될 수 있다. 실행 가능한 프로그램은 메모리 디바이스(520)의 임의의 부분 또는 컴포넌트에 저장될 수 있다. 예를 들어, 메모리 디바이스(520)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 플래시 메모리, 솔리드 스테이트 드라이브(solid-state drive), 메모리 카드(memory card), 하드 드라이브(hard drive), 광학 디스크, 플로피 디스크, 자기 테이프, 또는 임의의 다른 메모리 컴포넌트일 수 있다.

프로세서(512)는 복수의 프로세서를 나타낼 수 있고, 메모리(520)는 처리 회로와 병렬로 동작하는 복수의 메모리 유닛을 나타낼 수 있다. 이는 시스템에서 프로세스 및 데이터에 대한 병렬 처리 채널을 제공할 수 있다. 로컬 인터페이스(518)는 임의의 복수의 프로세서와 복수의 메모리 사이에서 통신을 용이하게 하기 위해 네트워크로 사용될 수 있다. 로컬 인터페이스(518)는 부하 밸런싱(load balancing), 벌크 데이터 전송(bulk data transfer) 및 유사한 시스템과 같은 통신을 조정하기 위해 설계된 추가 시스템을 사용할 수 있다.

이 기술에 대해 제시된 순서도가 특정 실행 순서를 의미할 수 있지만, 실행의 순서는 설명된 것과 다를 수 있다. 예를 들어, 도시된 순서에 관해 두 개 이상의 블록의 순서가 재정렬될 수 있다. 또한, 연속적으로 도시된 2개 이상의 블록은 병렬 또는 부분 병렬화(partial parallelization)로 실행될 수 있다. 일부 구성에서, 흐름도에 도시된 하나 이상의 블록은 생략되거나 스킵될 수 있다. 향상된 유틸리티, 회계, 성능, 측정, 트러블 슈팅(troubleshooting)의 목적으로 또는 유사한 이유로 카운터, 상태 변수, 경고 세마포(warning semaphores) 또는 메시지가 논리 흐름(logical flow)에 추가될 수 있다.

이 사양에 설명된 기능 유닛 중 일부는 구현 독립성을 더욱 특별히 강조하기 위해 모듈로 레이블링(labeled)되었다. 예를 들어, 모듈은 맞춤형 VLSI 회로(custom VLSI circuits) 또는 게이트 어레이, 로직 칩, 트랜지스터 또는 기타 개별 컴포넌트(discrete components)과 같은 기성용 반도체를 포함하는 하드웨어 회로로 구현될 수 있다. 모듈은 또한 필드 프로그래밍 가능한 게이트 어레이(field programmable gate arrays), 프로그래밍 가능한 어레이 로직(programmable array logic), 프로그래밍 가능한 로직 디바이스(programmable logic devices) 등과 같은 프로그래밍 가능한 하드웨어 디바이스에서 구현될 수 있다.

또한, 다양한 유형의 프로세서에 의한 실행을 위해 소프트웨어에서 모듈이 구현될 수 있다. 예를 들어 실행 가능한 코드의 식별된 모듈은 대상(object), 프로시저 또는 함수(function)로 구성될 수 있는 하나 이상의 컴퓨터 명령어 블록(blocks of computer instructions)을 포함할 수 있다. 그럼에도 불구하고, 실행 가능한(executables) 식별된 모듈은 물리적으로 함께 위치될 필요는 없지만, 모듈을 구성하는 상이한 위치에 저장된 이종 명령어(disparate instructions)를 포함할 수 있고, 논리적으로 함께 결합될(joined) 때 모듈에 대해 명시된 목적을 달성할 수 있다.

실제로 실행 가능한 코드 모듈(module of executable code)은 단일 명령어 또는 복수의 명령어가 될 수 있으며, 다른 프로그램들, 및 복수의 메모리 디바이스들 사이에서 복수의 코드 세그먼트(code segments) 상으로 분포될(distributed) 수도 있다. 유사하게, 운용 데이터(operational data)는 모듈 내에서 식별되고 본원에 도시될 수 있고, 임의의 적합한 형태로 구현되고 임의의 적합한 유형의 데이터 구조 내에서 구성될 수 있다. 운용 데이터는 단일 데이터 세트로 수집되거나, 또는 다른 저장 디바이스 상에서 포함하여 다양한 위치 상에서 분포될 수 있다. 모듈은 원하는 기능을 수행하기 위해 동작 가능한 에이전트(agents)를 포함하여 수동적(passive)이거나 또는 능동적(active)일 수 있다.

여기에 설명된 기술은 또한 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비분리형 매체를 포함하는 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다목적 디스크 (DVD: Digital Versatile Disks) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 디바이스, 또는 원하는 정보 및 기술된 기술을 저장하는데 사용될 수 있는 임의의 다른 컴퓨터 저장 매체를 포함하나 이에 제한되지는 않는다.

본원에 설명된 디바이스는 또한 상기 디바이스가 다른 디바이스와 통신할 수 있게 하는 통신 연결 또는 네트워킹 장치 및 네트워킹 연결을 포함할 수 있다. 통신 연결은 통신 미디어(media)의 예이다. 통신 미디어는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 다른 데이터를 반송파(carrier wave) 또는 다른 전송 메커니즘과 같이 변조된 데이터 신호로 구현하고, 임의의 정보 전달 미디어를 포함한다. "변조된 데이터 신호"는 신호에서 정보를 인코딩하는 방식으로 설정되거나 변경된 특성들 중 하나 이상의 특성을 갖는 신호를 의미한다. 예로서, 통신 미디어는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 미디어, 및 어쿠스틱(acoustic), 무선 주파수, 적외선 및 기타 무선 미디어와 같은 무선 미디어를 포함하지만 이에 제한되지는 않는다. 본원에서 사용되는 컴퓨터 판독 가능 매체라는 용어는 통신 미디어를 포함한다.

도면에 도시된 예를 참조하였고, 동일하게 설명하기 위해 본원에서 특정 언어가 사용되었다. 그럼에도 불구하고 이에 의해 기술의 범위의 제한이 의도되지 않는다는 것이 이해될 것이다. 관련 기술 분야의 당업자에게 일어날 수 있고 본 개시를 소유하는 본원에 예시된 특징들 및 본 명세서에 예시된 바와 같은 예들의 추가 적용들의 변경 및 추가 수정이 본 설명의 범위 내에서 고려되어야 한다.

또한, 설명된 특징, 구조 또는 특성은 하나 이상의 예에서 임의의 적절한 방식으로 결합될 수 있다. 전술한 설명에서, 기술된 기술의 예에 대해 철저한 이해를 제공하기 위해 다양한 구성의 예와 같은 복수의 특정 세부 사항이 제공된다. 그러나, 관련 기술 분야의 당업자는, 기술이 특정 세부 사항들 중 하나 이상의 특정 세부 사항 없이, 또는 다른 방법, 컴포넌트, 디바이스 등으로 실시될 수 있다는 것을 인식할 것이다. 다른 경우에, 잘 알려진 구조 또는 동작은 기술의 측면을 모호하게 하는 것을 피하기 위해 도시되지 않거나, 또는 상세히 설명되지 않는다.

주제가 구조적 특징 및/또는 동작에 특정한 언어로 설명되었지만, 첨부된 청구항에 정의된 주제가 반드시 전술한 특정 특징 및 동작에 한정되는 것은 아니라는 것을 이해해야 한다. 오히려, 전술한 특정 특징 및 동작(acts)은 청구항을 구현하는 예시적인 형태로 개시된다. 설명된 기술의 정신과 범위에서 벗어나지 않고 수많은 수정 및 대안적인 구성이 고안될 수 있다.

Claims

시간 멀티플렉싱되는(multiplexed) 하이 다이나믹 레인지 이미지(high dynamic range image)를 생성하기 위한 방법에 있어서,
이미지 센서로부터 캡처된 기본 노출 레벨(base exposure level)을 갖는 제1 이미지를 획득하는 단계;
누적 메모리(accumulation memory)에 상기 제1 이미지를 저장하는 단계;
상기 기본 노출 레벨과 비교하여 수정된 노출 레벨을 갖는 제2 이미지를 획득하는 단계;
상기 제2 이미지 내의 인커밍 픽셀(incoming pixels)의 포화 레벨(saturation level)이 포화 임계치(saturation threshold)를 초과하는지 여부를 결정하는 단계; 및
상기 누적 메모리에 저장될 상기 하이 다이나믹 레인지 이미지를 형성하도록, 상기 포화 임계치 미만인 포화를 가지는 상기 제2 이미지의 상기 인커밍 픽셀을 상기 제1 이미지의 저장된 픽셀과 결합하는 단계
를 포함하는 방법.
제1항에 있어서,
인커밍 픽셀 근처의 픽셀들의 로컬 최대 강도 값(local maximum intensity value)을 찾아서 픽셀의 포화를 추정하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 인커밍 픽셀 근처의 상기 픽셀들 이외에 상기 인커밍 픽셀을 이용하여 픽셀의 포화를 추정하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제1 이미지에서 로컬 픽셀 그룹(local pixel group)의 제1 로컬 에지 추정치(local edge estimate)를 결정하는 단계;
상기 제2 이미지에서 제2 로컬 픽셀 그룹의 제2 로컬 에지 추정치를 결정하는 단계;
상기 로컬 픽셀 그룹과 상기 제2 로컬 픽셀 그룹 사이에서 이동이 있었는지 여부를 결정하기 위해, 상기 제1 로컬 에지 추정치와 상기 제2 로컬 에지 추정치를 비교하는 단계; 및
이동이 이동 임계치(movement threshold) 미만일 때, 상기 제2 이미지의 상기 픽셀들과 상기 제1 이미지의 상기 픽셀들을 결합하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제1 이미지에 대한 인커밍 픽셀을 상기 제2 이미지에 대해 저장된 픽셀과 결합하는 단계는,
상기 제1 이미지의 상기 저장된 픽셀과 함께 상기 제2 이미지로부터의 인커밍 픽셀을 평균화하는(averaging) 단계
를 더 포함하는 방법.
제1항에 있어서,
출력 프레임 레이트(output frame rate)와 연관된 각 출력 프레임에 대해 N 이미지를 획득하는 단계; 및
하이 다이나믹 레인지 이미지를 형성하기 위해, 상기 N 이미지의 픽셀들을 함께 선택적으로 결합하는 단계
를 더 포함하는 방법.
제6항에 있어서,
점점 더 큰 노출 레벨에서 상기 N 이미지를 획득하는 단계
를 더 포함하는 방법.
제1항에 있어서,
리드아웃 집적 회로(ROIC: Readout Integrated Circuit) 또는 금속 산화물 반도체(CMOS: Complementary Metal-Oxide-Semiconductor) 센서인 상기 이미지 센서로부터 상기 제1 이미지를 획득하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제1 이미지 및 제2 이미지를 베이어 이미지 포맷(Bayer image format), 강도 포맷(intensity format), 또는 원시 이미지 센서 포맷(raw image sensor format)으로 저장하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제1 이미지와 상기 제2 이미지를 결합하는 단계는,
비선형 조합을 이용하여 상기 제1 이미지의 저장된 픽셀과 함께 상기 제2 이미지의 인커밍 픽셀을 결합하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 이미지 센서로부터의 출력 프레임에 대해 출력 프레임 레이트가 설정되고,
상기 이미지 센서는,
상기 출력 프레임 레이트보다 N배 많은 이미지를 캡처하는 N배 출력 프레임 레이트에서 동작되는,
방법.
제1항에 있어서,
디스플레이를 위한 디스플레이 디바이스(display device) 및 프레임 버퍼 메모리에 상기 하이 다이나믹 레인지 이미지를 전송하는 단계
를 더 포함하는 방법.
비일시적 머신 판독 가능 저장 매체(non-transitory machine readable storage medium)에 있어서,
상기 비일시적 머신 판독 가능 저장 매체 상에 포함된 명령어
를 포함하고,
상기 명령어는,
실행될 때, 프로세서가 시간 멀티플렉싱되는(multiplexed) 하이 다이나믹 레인지 이미지(high dynamic range images)를 생성하게 하고,
상기 하이 다이나믹 레인지 이미지는,
카메라로부터 캡처된 기본 노출 레벨(base exposure level)을 갖는 제1 이미지를 획득하는 단계;
누적 메모리(accumulation memory)에 상기 제1 이미지를 저장하는 단계;
상기 기본 노출 레벨과 비교하여 증가된 노출 레벨을 갖는 제2 이미지를 획득하는 단계;
상기 제2 이미지에서 인커밍 픽셀(incoming pixels)의 포화 레벨(saturation level)이 포화 임계치(saturation threshold)를 초과하는지 여부를 확인하는(checking) 단계;
상기 제1 이미지에서 정의된 위치에서 로컬 픽셀 그룹(local pixel group)의 제1 로컬 에지 추정치(local edge estimate)를 결정하는 단계;
상기 제2 이미지에서 상기 정의된 위치에서 제2 로컬 픽셀 그룹의 제2 로컬 에지 추정치를 결정하는 단계;
상기 제1 이미지 및 상기 제2 이미지를 캡처하는 사이에서, 상기 로컬 픽셀 그룹과 상기 제2 로컬 픽셀 그룹에서 이동 임계치(movement threshold)를 초과하는 이동을 식별하도록, 상기 제1 로컬 에지 추정치와 제2 로컬 에지 추정치를 비교하는 단계; 및
이동이 상기 이동 임계치 미만인 경우와 상기 포화 임계치가 초과되지 않았을 경우, 상기 누적 메모리에서 상기 제2 이미지의 상기 인커밍 픽셀과 상기 제1 이미지의 저장된 픽셀을 결합하는 단계
로 생성되는,
비일시적 머신 판독 가능 저장 매체.
제13항에 있어서,
상기 제1 이미지에 대한 인커밍 픽셀을 상기 제2 이미지에 대해 저장된 픽셀과 결합하는 단계는,
상기 제1 이미지와 함께 상기 제2 이미지로부터 픽셀들을 평균화하는(averaging) 단계
를 더 포함하는, 비일시적 머신 판독 가능 저장 매체.
제13항에 있어서,
상기 제1 이미지에 대한 인커밍 픽셀을 상기 제2 이미지에 대해 저장된 픽셀과 결합하는 단계는,
비선형 계산을 이용하여 상기 제1 이미지의 저장된 픽셀과 함께 상기 제2 이미지로부터의 인커밍 픽셀을 결합하는 단계
를 더 포함하는, 비일시적 머신 판독 가능 저장 매체.
제13항에 있어서,
상기 카메라로부터의 출력 프레임에 대해 출력 프레임 레이트(output frame rate)가 있고,
상기 카메라는,
하이 다이나믹 레인지 이미지를 형성하기 위해 결합된 출력 이미지의 데이터 세트를 형성하도록, 상기 출력 프레임 레이트보다 N배 많은 이미지를 캡처하는 N배 출력 프레임 레이트에서 동작되는,
비일시적 머신 판독 가능 저장 매체.
제13항에 있어서,
상기 하이 다이내믹 레인지 이미지는,
출력 프레임 레이트에서 캡처되고 있는 출력 프레임에 대해 N 이미지를 획득하는 단계
를 더 포함하여 생성되는,
비일시적 머신 판독 가능 저장 매체.
제17항에 있어서,
상기 하이 다이내믹 레인지 이미지는,
처리되고 있는 인커밍 픽셀 근처의 픽셀들 및 상기 처리되고 있는 인커밍 픽셀을 포함하는 픽셀들에 대한 로컬 최대 강도(local maximum of intensity)를 결정하여, 상기 제1 이미지 또는 제2 이미지에서 픽셀의 포화를 추정하는 단계
를 더 포함하여 생성되는,
비일시적 머신 판독 가능 저장 매체.
시간 멀티플렉싱되는(multiplexed) 하이 다이나믹 레인지 이미지(high dynamic range image)를 생성하는 시스템에 있어서,
기본 노출 레벨(base exposure level)을 갖는 제1 이미지를 캡처하는 카메라;
상기 카메라와 통신하여, 상기 제1 이미지를 저장하는 누적 메모리; 및
프로세서
를 포함하고,
상기 프로세서는,
상기 카메라로부터 제2 이미지를 획득하고 - 상기 제2 이미지는 상기 기본 노출 레벨과 비교하여 증가된 노출 레벨을 가짐 - ;
포화 임계치(saturation threshold)를 비교하여, 상기 제2 이미지에서 인커밍 픽셀(incoming pixels)의 포화를 확인하고(check);
상기 제1 이미지에서 로컬 픽셀 그룹(local pixel group)의 제1 로컬 에지 추정치(local edge estimate)를 결정하고;
상기 제2 이미지에서 제2 로컬 픽셀 그룹의 제2 로컬 에지 추정치를 결정하고;
상기 제1 이미지의 상기 로컬 픽셀 그룹과 상기 제2 이미지의 상기 제2 로컬 픽셀 그룹 사이에서 이동이 있었는지 여부를 결정하기 위해, 상기 제1 로컬 에지 추정치와 상기 제2 로컬 에지 추정치를 비교하고; 및
하이 다이나믹 레인지 이미지를 형성하도록, 상기 로컬 픽셀 그룹과 상기 제2 로컬 픽셀 그룹 사이에서 이동이 없었을 경우와 상기 인커밍 픽셀이 포화되지 않았을 경우, 상기 제2 이미지의 상기 인커밍 픽셀과 상기 제1 이미지의 각각의 픽셀을 결합하도록 구성된,
시스템.
제19항에 있어서,
상기 누적 메모리로부터 상기 하이 다이나믹 레인지 이미지를 수신하도록 구성된 프레임 버퍼(frame buffer); 및
상기 프레임 버퍼와 통신하여 상기 하이 다이나믹 레인지 이미지를 보기 위해 출력하는 디스플레이 디바이스(display device)
를 더 포함하는 시스템.