KR20150140832A - 이중 모드 영상들을 획득하기 위한 장치 - Google Patents

이중 모드 영상들을 획득하기 위한 장치 Download PDF

Info

Publication number
KR20150140832A
KR20150140832A KR1020157032475A KR20157032475A KR20150140832A KR 20150140832 A KR20150140832 A KR 20150140832A KR 1020157032475 A KR1020157032475 A KR 1020157032475A KR 20157032475 A KR20157032475 A KR 20157032475A KR 20150140832 A KR20150140832 A KR 20150140832A
Authority
KR
South Korea
Prior art keywords
zone
image
pixels
infrared
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020157032475A
Other languages
English (en)
Other versions
KR102170410B1 (ko
Inventor
카를로 카이저
프랑크 로버트
데미안 레테시에르
Original Assignee
포토니스 프랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포토니스 프랑스 filed Critical 포토니스 프랑스
Publication of KR20150140832A publication Critical patent/KR20150140832A/ko
Application granted granted Critical
Publication of KR102170410B1 publication Critical patent/KR102170410B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N5/332—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N9/045—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 발명은 감광 픽셀들의 어레이로 구성되는 센서, 및 상기 센서를 덮는 기본 필터들의 어레이를 포함하는 영상 획득 장치에 관한 것이다. 픽셀들은 3 개의 상이한 타입들을 가질 수 있다: 팬크로매틱 픽셀들, 프라이머리 컬러 픽셀들 및 적외선 픽셀들. 낮은 조명 조건들 하에서는, 이 장치가 팬크로매틱 픽셀들을 사용하여 단색 영상을 디스플레이하고, 높은 조명 조건들 하에서는, 프라이머리 컬러 영상들의 조합 및 적외선 영상의 제거에 의해, 높은 신호대 잡음비를 가진 컬러 영상을 디스플레이한다.

Description

이중 모드 영상들을 획득하기 위한 장치{DEVICE FOR ACQUIRING BIMODAL IMAGES}
본 발명은 영상 획득 장치의 분야에 관한 것이며, 특히 컬러 어레이 필터들을 사용하는 장치들에 관한 것이다.
디지털 스틸 카메라 및 비디오 카메라와 같은 대부분의 영상 획득 장치들은, 픽셀이라고도 하는 기본 감광 센서들의 어레이로 구성된 센서(CCD 또는 CMOS)를 사용한다. 이러한 픽셀 어레이 상에 배치됨으로써 그 어레이의 기본 필터에 의해 각 픽셀이 덮여서, 가시 스펙트럼의 일부만이 통과될 수 있게 하는 기본 컬러 필터 어레이(Colour Filter Array; CFA)를 통해 컬러 정보가 획득된다.
상이한 픽셀들에 의해 수신되는 신호들로부터 영상을 재구성하기 위한 컬러 어레이들 및 기술들에 대한 다수의 연구가 수행되어 왔다.
현 시점에서 가장 널리 사용되는 컬러 필터 어레이가 문헌 US-A-3971065 에 개시되어 있으며, 도 1에 도시한다.
베이어 어레이(Bayer array)로 불리는 이 어레이는, 4개의 기본 필터들로 구성된 패턴의 주기적 반복에 의해 획득되며, 즉:
Figure pct00001
(1)
여기서
Figure pct00002
는 그린만 통과될 수 있는 필터이고,
Figure pct00003
은 레드만 통과될 수 있는 필터이며, 또한
Figure pct00004
는 블루만 통과될 수 있는 필터이다. 기본
Figure pct00005
필터들 아래에 위치된 픽셀들은 각각 그린, 레드 및 블루 필터로 불린다. 베이어 어레이는 50%의 그린 픽셀들, 25%의 레드 픽셀들 및 25%의 블루 픽셀들로 구성되어 있음을 알 수 있다.
센서 내의 상이한 픽셀들에 의해 수신되는 강도(intensity)로 컬러 영상을 재구성하는 것으로 이루어지는 동작을 디모자이킹(demosaicking)이라 부른다. 이 디모자이킹 동작은 예를 들어, D. Alleyson 외 공저의 "Frequency selection demosaicking: a review and a look-ahead" 명칭의 문헌(Proc. of IS&T/SPIE VCIP, San Jose, CA, Jan. 2008에서 공개됨)에서 집중적으로 설명되어 있다.
낮은 조명 조건들 하에서 센서의 감도를 개선하기 위한 다른 컬러 필터 어레이들이 개시되어 있다. 이러한 어레이들의 대부분은 화이트 픽셀로 불리거나, 또는 투명한, 중간 또는 팬크로매틱(panchromatic) 픽셀로도 불리는 추가 픽셀들을 사용한다. 이들을 사용함으로써 색 신호(chrominance signal) 외에 조도 신호를 획득할 수가 있다. 이러한 어레이들의 예들이 출원 WO-A-2007/089416에 제공되어 있다.
낮은 조명 조건들 하에서 양호한 감도를 획득하기 위해 자주 사용되는 필터 어레이는, 다음과 같은 기본 패턴에 의해 생성되는 소위 KodakTM 어레이이다:
여기서, 요소들
Figure pct00006
은 상기한 바와 동일한 의미를 가지며,
Figure pct00007
는 화이트 픽셀을 나타내며, 즉 색 필터링의 부족을 나타낸다. 이 필터 어레이가 도 2에 도시되어 있다.
낮은 조명 조건들 아래에서 센서 감도를 더욱 개선하기 위한 첫번째 간단한 해결방법은 근적외선 센서 응답을 사용하는 것이다. 그러나, 대부분의 영상 획득 장치들은 CCD 또는 CMOS 센서로부터 출력 잡음을 감소시키기 위해서, 입력부에 적외선 컷-오프 필터를 포함하고 있다. 첫째, 현 시점에서 자주 사용되는 기본 센서들은 실리콘으로 이루어져 있으며, 따라서 근적외선에 민감하고, 둘째, 상이한 픽셀들 전방에 배치된 기본 컬러 필터들은 스펙트럼의 적외선 일부를 효율적으로 차단할 수가 없다.
문헌 JP-A-2010-062604은 컬러 픽셀들에 부가된 적외선 픽셀들의 사용을 개시하고 있으며, 여기서는 컬러 픽셀들이 주간 비전용으로 사용되고, 적외선 픽셀들은 야간 비전용으로 사용된다. 따라서, 이 경우에는 적외선 입력 필터에 의해 센서를 보호할 수가 없다. 센서가 주간 비전에서 동작하고 있는 경우에는 큰 노이즈가 발생하게 된다.
본 발명의 목적은 양호한 신호-대-잡음 비율을 가지고 주간 비전 및 야간 비전에서 기능할 수 있는 영상 획득 시스템을 제공하는 것이다.
본 발명은 픽셀들로 불리는 감광 요소들의 어레이로 구성되는 센서, 상기 센서를 덮으며 각각의 기본 필터가 대응 픽셀과 연관되는 기본 필터들의 어레이, 및 처리 수단을 포함하는 영상 획득 장치에 의해 규정된다.
이 장치는,
- 상기 기본 필터들의 어레이는 하나의 프라이머리 컬러(primary colour)만을 통과시키는 프라이머리 컬러 필터들, 팬크로매틱 필터(panchromatic filter)들로 불리며 가시 스펙트럼(visible spectrum) 전체를 통과시키는 필터들, 및 근적외선을 통과시키는 적외선 필터(infrared filter)들을 포함하되, 상기 팬크로매틱 필터들은 상기 기본 필터들의 적어도 50%에 해당하고;
상기 처리 수단은,
- 일련의 팬크로매틱 픽셀들에 대한 평균 조도를 계산하여, 적어도 하나의 센서 존(sensor zone)이 낮은 조명 조건들 아래에 있는지 또는 높은 조명 조건들 아래에 있는지를 결정하고;
- 상기 존이 낮은 조명 조건들 아래에 있는 경우, 상기 팬크로매틱 픽셀들을 사용하여 상기 존의 단색 영상(monochrome image)을 형성하고;
- 상기 존이 높은 조명 조건들 아래에 있는 경우, 프라이머리 컬러 픽셀들을 사용하여 상기 존의 컬러 영상을 형성하고, 적외선 픽셀들로부터 획득되는 상기 존으로부터의 적외선 영상을 제거하도록 설계된 것을 특징으로 한다.
유리하게는, 상기 존의 단색 영상은 이 존의 일부를 형성하는 팬크로매틱 픽셀들의 보간에 의해 획득된다.
이와 유사하게, 상기 존의 컬러 영상은, 상기 존의 프라이머리 컬러 영상들의 조합에 의해 획득되며, 프라이머리 컬러 영상은 상기 존의 프라이머리 컬러 픽셀들의 보간에 의해 획득된다.
마지막으로, 상기 존의 적외선 영상은 상기 존의 적외선 픽셀들의 보간에 의해 획득될 수 있다.
유리하게는, 팬크로매틱 필터들은 기본 필터들의 적어도 75%에 해당한다.
하나의 유리한 실시예에 따르면, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
Figure pct00008
여기서,
Figure pct00009
는 각각의 레드 투과 필터, 그린 투과 필터 및 블루 투과 필터를 나타내고,
Figure pct00010
은 적외선 필터이고, 또한
Figure pct00011
는 팬크로매틱 필터이며, 상기 패턴은 하나의 의 순열(permutation) 내에서 규정된다.
제 2 유리한 실시예에 따르면, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
Figure pct00013
여기서,
Figure pct00014
는 각각의 옐로우(yellow) 투과 필터, 마젠타(magenta) 투과 필터 및 시안(cyan) 투과 필터를 나타내고,
Figure pct00015
은 적외선 필터이고, 또한
Figure pct00016
는 팬크로매틱 필터이며, 상기 패턴은 하나의
Figure pct00017
의 순열 내에서 규정된다.
제 3 유리한 실시예에 따르면, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
Figure pct00018
여기서,
Figure pct00019
는 각각의 레드 투과 필터, 그린 투과 필터 및 블루 투과 필터를 나타내고,
Figure pct00020
은 적외선 필터이고, 또한
Figure pct00021
는 팬크로매틱 필터이며, 상기 패턴은 하나의
Figure pct00022
의 순열 내에서 규정된다.
제 4 유리한 실시예에 따르면, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
Figure pct00023
여기서,
Figure pct00024
는 각각의 옐로우 투과 필터, 마젠타 투과 필터 및 시안 투과 필터를 나타내고,
Figure pct00025
은 적외선 필터이고, 또한
Figure pct00026
는 팬크로매틱 필터이며, 상기 패턴은 하나의
Figure pct00027
의 순열 내에서 규정된다.
바람직하게는, 상기 처리 수단은, 상기 존에서의 모든 팬크로매틱 픽셀들에 대한 평균 조도가 제 1 임계값보다 작은 경우에, 상기 존이 낮은 조명을 갖는 것으로 결정하고, 또한 상기 존에서의 모든 팬크로매틱 픽셀들에 대한 평균 조도가 제 2 임계값보다 큰 경우에는, 상기 존이 높은 조명을 갖는 것으로 결정하며, 상기 제 2 임계값은 상기 제 1 임계값보다 크다.
상기 존에서의 모든 팬크로매틱 픽셀들에 대한 평균 조도가 제 1 임계값과 제 2 임계값 사이에 있는 경우에는, 상기 처리 수단이 상기 존의 상기 컬러 영상과 상기 단색 영상의 조합을 행할 수 있다.
상기 센서 존은 상기 센서 전체이며, 상기 처리 수단은, 상기 센서가 낮은 조명 조명 조건들 아래에 있는지 또는 높은 조명 조건들 아래에 있는지를 결정한다.
대안적으로는, 상기 센서의 상기 단색 영상이 동종 영역(homogeneous region)들로 세그먼트화되고, 상기 처리 수단은 상기 센서의 각 동종의(homogeneous) 존 상에서 독립적으로 동작한다.
본 발명의 다른 특징 및 장점은 첨부된 도면을 참조하여 본 발명의 바람직한 실시예의 설명을 읽은 이후에 명백해질 것이다.
도 1은 종래 기술에서 알려진 제 1 컬러 필터 어레이를 도식적으로 나타낸 것이다.
도 2는 종래 기술에서 알려진 제 2 컬러 필터 어레이를 도식적으로 나타낸 것이다.
도 3a는 본 발명의 제 1 예시적 실시예에 따른 예시적인 영상 획득 장치의 필터 어레이를 도식적으로 나타낸 것이다.
도 3b는 본 발명의 제 2 예시적 실시예에 따른 예시적인 영상 획득 장치의 필터 어레이를 도식적으로 나타낸 것이다.
도 4a는 본 발명의 제 3 예시적 실시예에 따른 영상 획득 장치의 예시적인 필터 어레이를 도식적으로 나타낸 것이다.
도 4b는 본 발명의 제 4 예시적 실시예에 따른 영상 획득 장치의 예시적인 필터 어레이를 도식적으로 나타낸 것이다.
도 5는 본 발명의 제 1 실시예에 따른 영상 획득 장치의 픽셀들에 대한 처리를 도식적으로 나타낸 것이다.
도 6은 본 발명의 제 2 실시예에 따른 영상 획득 장치의 픽셀들에 대한 처리를 도식적으로 나타낸 것이다.
픽셀들로도 불리는 기본 감광 센서들(CCD 또는 CMOS)의 어레이로 구성된 센서, 및 이 센서들을 덮으며 각 기본 필터가 일 픽셀과 연관되는 기본 필터 어레이를 포함하는 다음의 영상 획득 장치에 대해 다시 한번 고찰해 보도록 한다. 더욱 정확하게는, 각 기본 필터는 연관 픽셀에 대한 입사광을 필터링한다.
어레이 내의 기본 필터들은 다음과 같은 3개의 상이한 타입의 송신 필터들이다: 컬러 필터들, 투명 (또는 팬크로매틱) 필터들 및 적외선 필터들.
컬러 기본 필터들은 일련의 프라이머리 컬러(primary colour)들이 통과될 수 있게 함으로써, 가시 스펙트럼에 있어서의 모든 컬러들의 가산 합성 또는 감산 합성을 가능하게 한다. 따라서, 가산 합성의 경우에, 컬러 필터들은 서두에서 정의된 바와 같은
Figure pct00028
필터들일 수 있고, 또는 감산 합성의 경우에는,
Figure pct00029
필터들일 수 있으며, 여기서
Figure pct00030
는 옐로우(yellow)가 통과될 수 있게 하고,
Figure pct00031
는 마젠타(magenta)가 통과될 수 있게 하고,
Figure pct00032
는 시안(cyan)이 통과될 수 있게 한다. 본 발명의 범위로부터 일탈하지 않는 범위 내에서, 다른 프라이머리 컬러 베이스들이 당업자에 의해 예상될 수 있다.
팬크로매틱 기본 필터들은 가시 스펙트럼 전체가 통과할 수 있게 한다. 실제에 있어서, 이것들은 (눈에 보이는) 어레이 내의 단순 스텐실들 또는 투명 필터들로 이루어질 수 있다. 이 경우, 이러한 팬크로매틱 기본 필터들 아래에 위치된 픽셀들은 필터링되지 않은 광을 수신한다.
적외선의 기본 필터들은 근적외선에서의 스펙트럼 대역이, 예를 들어, [700nm-1700nm] 대역에서만, 또한 보다 구체적으로는, [700nm-1100nm] 대역에서만 통과될 수 있게 한다.
유리하게는, 기본 필터들은 센서의 평면에서 두 개의 다른 방향(일반적으로는 직교)을 따르는 주기적 반복 패턴의 형태로 배열된다.
기본 필터들은 폴리머 재료로 형성될 수 있으며, 또는 그 자체가 공지된 방식의 간섭 필터들일 수 있다.
바람직하게는, 어레이 내의 팬크로매틱 기본 필터의 비율은 50% 이상이 되며, 다른 기본 필터들(컬러 필터들 및 적외선 필터들)이 동일한 비율들로 분포된다. 유리하게는, 팬크로매틱 기본 필터들의 비율은 75%가 되며, 다른 기본 필터들 각각의 비율은 6.25%가 된다.
도 3a는 본 발명의 제 1 예시적 실시예에 따른 영상 획득 시스템의 기본 필터들의 어레이를 도시한 것이다. 각 기본 필터마다 하나의 센서 픽셀이 존재한다.
이 경우에 있어서, 컬러 기본 필터들은
Figure pct00033
필터들이다. 적외선 기본 필터들은
Figure pct00034
로 표시되고, 팬크로매틱 필터들은
Figure pct00035
로 표시된다.
기본 어레이는 기본 4X4 패턴을 갖는 2-차원의 주기적 반복에 의해 생성됨에 유의한다:
Figure pct00036
(3)
이 어레이의 변형들은 패턴 (3)에 있어서의
Figure pct00037
필터들의 순열(permutation)에 의해 획득될 수 있다.
도 3b는 본 발명의 제 2 예시적 실시예에 따른 영상 획득 시스템의 기본 필터들의 어레이를 도시한 것이다.
이 경우에 있어서는, 컬러 기본 필터들이
Figure pct00038
필터들이고, 기본 패턴은 다음과 같다:
Figure pct00039
(4)
제 1 예에서와 같이, 이 어레이의 변형들은 어레이 (4)에 있어서의
Figure pct00040
필터들의 순열에 의해 획득될 수 있다.
도 3a 및 3b의 예들에서는, 어레이 내의 팬크로매틱 필터들의 비율이 75%이고, 각 컬러 및 적외선 필터의 비율은 6.25%임에 유의한다.
도 4a는 본 발명의 제 3 예시적 실시예에 따른 영상 획득 시스템의 기본 필터 어레이를 도시한 것이다.
어레이에 사용된 기본 필터들은
Figure pct00041
필터들이며, 이 경우의 기본 패턴은 다음과 같다:
Figure pct00042
(5)
제 1 예에서와 같이, 이 어레이의 변형들은 패턴 (5)에 있어서의
Figure pct00043
필터들의 순열에 의해 획득될 수 있다.
도 4b는 본 발명의 제 4 예시적 실시예에 따른 영상 획득 시스템의 기본 필터 어레이를 도시한 것이다.
어레이를 구성하는 기본 필터들은
Figure pct00044
필터들이며, 기본 패턴은 다음과 같다:
Figure pct00045
(6)
제 2 예에서와 같이, 이 어레이의 변형들은 패턴 (6)에 있어서의
Figure pct00046
필터들의 순열에 의해 획득될 수 있다.
도 4a 및 4b의 예들에서는, 어레이 내의 팬크로매틱 필터들의 비율이 단지 50%이며, 각 컬러 및 적외선 필터의 비율은 12.5%임에 유의한다.
도 5는 본 발명의 제 1 실시예에 따른 영상 획득 시스템에 있어서의 픽셀들의 처리를 도식적으로 나타낸 것이다.
이하에서는, 픽셀들의 동작을, 이러한 픽셀들에 의해 수신되는 신호들에 대한 동작으로서 이해할 것이다.
제 1 단계(510)에서, 장치에 의해 획득되는 영상의 평균 조도
Figure pct00047
는, 팬크로매틱 픽셀들의 평균을 계산함으로써 추정된다.
단계(520)에서는, 이렇게 획득된 평균이, 미리 결정된 임계값
Figure pct00048
과 비교된다. 평균값이 상기 임계값을 초과하는 경우, 획득 장치는 주간(또는 높은 조명) 모드로 동작하며, 그렇지 않은 경우에는, 야간(낮은 조명) 모드로 동작한다.
획득 장치가 주간 모드로 동작하고 있는 경우, 단계(530)에서 컬러 픽셀들이 보간됨으로써, 각 프라이머리 컬러
Figure pct00049
또는
Figure pct00050
마다 하나의 영상을 획득하게 된다. 보다 정확하게는, 전술한 바와 같이, 주어진 컬러의 픽셀들의 비율이 상대적으로 작기 때문에, 누락된 픽셀들의 값은 어레이에 존재하는 주변 픽셀들의 보간에 의해 획득된다. 예를 들어, 도 3a를 참조하면, 블루 픽셀(310)이 (그것이 레드 기본 필터 아래에 위치되어 있기 때문에) 누락되고 있으며, 따라서 이것은 4개의 인접 블루 픽셀들(311, 312, 313, 314) 간의 보간에 의해 획득된다.
선택적으로는, 프라이머리 컬러 영상들이 영상 선명화를 위해 처리될 수도 있다. 예를 들어, 단색 영상은 팬크로매틱 픽셀들을 보간함으로써 획득될 수 있으며, 이 단색 영상은, 가능하게는 하이 패스 필터링 이후에, 각 프라이머리 컬러 영상과 조합될 수 있다. 어레이 내의 팬크로매틱 픽셀들의 비율은 컬러 픽셀들의 비율보다 높으며, 따라서 프라이머리 컬러 영상들의 해상도가 개선된다.
단계(540)에서는, 근적외선에서의 영상이, 컬러 픽셀들에 대해 전술한 바와 같은 원리를 사용하여 어레이에 내의 적외선 픽셀들 간의 보간에 의해 획득된다.
단계(550)에서는, 프라이머리 컬러 영상들이 (가산 합성을 위해) 부가되어 컬러 영상을 획득하게 되며, 또한 픽셀 바이 픽셀로 적외선 영상이 그로부터 제거된다. 보다 일반적으로는, 프라이머리 컬러 영상들이 조합되어 컬러 영상을 획득하게 된다. 적외선 영상의 제거는 신호 대 잡음비를 상당히 개선할 수 있다. 필요한 경우에는, (유사한 또는 동일한) 가중 요소들에 의해 가중처리되는 적외선 영상이 각 프라이머리 컬러 영상으로부터 제거됨으로써, 이들을 합하기(또는 보다 일반적으로는 이들을 조합) 이전에 잡음 없는 프라이머리 컬러 영상들을 획득하게 되며, 이에 따라 포화(saturation) 문제들을 방지하도록 한다. 그 후에, 이 결과 영상이 디스플레이될 수 있으며, 또는 후속 처리를 위하여 메모리에 저장될 수도 있다.
단계(560)는 야간 모드에서의(또는 낮은 조명 하의) 동작에 대응한다.
이 모드에서는, 단색 영상이 팬크로매틱 픽셀들의 보간에 의해 획득된다. 어레이 내에는 다수의 팬크로매틱 픽셀들이 존재하기 때문에, 높은 수준의 해상도가 획득된다. 이러한 영상이 디스플레이될 수 있으며, 또는 후속 처리를 위하여 메모리에 저장될 수도 있다.
모든 경우들에 있어서, 처리는 단계(570)에서 종료된다.
전술한 픽셀들의 처리는, 영상 획득 장치가 주간 모드 또는 야간 모드에서 동작하고 있는 경우에 매우 상이하며, 평균 조도를 미리 결정된 임계값과 비교하는 것에 의해서, 하나의 모두로부터 다른 모드로의 스위칭이 이루어지게 된다는 것이 이해될 수 있다.
이 실시예에 대한 하나의 제 1 변형예에 따르면, 하나의 모드로부터 다른 모드로의 스위칭이 히스테리시스(hysteresis)와 함께 발생함으로써 스위칭 잡음(채터링(chattering))을 방지하게 된다. 이를 달성하기 위해, 주간 모드로부터 야간 모드로의 전환을 위한 제 1 조도 임계값이 설정되고, 야간 모드로부터 주간 모드로의 전환을 위한 제 2 조도 임계값이 설정되며, 제 1 임계값은 제 2 임계값보다 작도록 선택된다.
제 1 실시예의 제 2 변형예에 따르면, 하나의 모드로부터 다른 모드로의 스위칭은, 전환 단계를 점진적으로 거치면서 발생하게 된다. 이에 따라, 영상 획득 장치는, 평균 조도가 제 1 임계값보다 작은 경우에 야간 모드에서 동작하고, 평균 조도가 제 2 임계값보다 큰 경우에는 야간 모드에서 동작하며, 제 2 임계값은 제 1 임계값보다 높도록 선택된다. 평균 조도가 제 1 임계값과 제 2 임계값 사이에 존재하는 경우, 영상 획득 장치는 주간 모드에서의 처리에 의해 획득되고 또한 야간 모드에서의 처리에 의해 획득되는 영상의 선형 조합을 수행하며, 제 1 및 제 2 임계값들을 각기 가진 평균 조도의 차분만큼 가중 계수들이 제공된다.
도 6은 본 발명의 제 2 실시예에 따른 영상 획득 장치에 있어서의 픽셀들의 처리를 도식적으로 나타낸 것이다.
제 1 실시예와 달리, 주간 모드(또는 높은 조명)와 야간 모드(낮은 조명) 간의 스위칭은 획득되는 영상의 동종 영역(homogeneous region)들 상에서 활성화되며, 각 동종 영역은 개별적으로 처리된다.
단계(603)에서는, 팬크로매틱 픽셀들을 보간함으로써 단색 영상이 획득된다. 보다 정확하게는, 어레이에서의 각 누락된 팬크로매틱 픽셀에 대한(예를 들어, 컬러 또는 적외선 픽셀), 강도(intensity)는 근처 팬크로매틱 픽셀들로부터 계산된다.
단계(605)에서는, 이에 따라 단색 영상이 동종 영역들로 세그먼트화된다. 이것은 예를 들어, Tripathi 외 공저의 "Image Segmentation : a review" 명칭의 문헌(International Journal of Computer Science and Management Research, vol. 1, No. 4, Nov. 2012, pp. 838-843에서 공개됨)에서 기술된 바와 같은 종래에 알려진 스위칭 기술을 사용하여 행해질 수 있다. 이에 따라, 결과적으로
Figure pct00051
동종 영역들이 획득된다.
단계(610)에서는,
Figure pct00052
로 표시되는 평균 조도가 각 영역
Figure pct00053
(
Figure pct00054
)마다 계산된다.
단계(620)에서는, 이렇게 획득된 조도의 평균들이 미리 결정된 임계값과 비교된다. 평균
Figure pct00055
이 상기 임계값을 초과하는 경우, 영역
Figure pct00056
는 높은 조명인 것으로 고려된다. 반대로, 평균
Figure pct00057
이 상기 임계값보다 작은 경우, 영역
Figure pct00058
는 낮은 조명인 것으로 고려된다.
주어진 존(zone)에 대한, 낮은 조명와 높은 조명 간의 구별은 팬크로매틱 픽셀들로부터 획득되는 조도의 평균에 따라 달라짐에 유의한다. 즉, 평균 조도는 전체 스펙트럼 상에서 획득된다.
단계(630)에서는, 높은 조명을 가진 영역들이 처리된다. 각 높은 조명 영역의 경우, 이 영역에 속해 있는 컬러 픽셀들이 보간됨으로써, 각 프라이머리 컬러
Figure pct00059
또는
Figure pct00060
마다 이 영역에 대한 영상을 획득하게 된다.
단계(640)에서는, 각 높은 조명 영역에 속해 있는 적외선 픽셀들을 보간함으로써, 이 영역의 근적외선에서의 영상이 획득된다.
단계(650)에서는, 각 높은 조명 영역마다 프라이머리 컬러 영상들이 조합되며(가산 합성의 경우 간단한 합산), 적외선 영상이 픽셀 바이 픽셀로 제외된다. 이에 따라, 결과적으로 각 높은 조명 영역마다 컬러 영상을 형성하는 컬러 픽셀들이 획득된다.
단계(660)에서는, 단계(603)에서 획득되는 단색 영상에 있어서의 높은 조명 영역들의 팬크로매틱 픽셀들이, 단계(650)에서 획득되는 컬러 픽셀들에 의해 대체된다. 대안적으로는, 팬크로매틱 픽셀(즉, 단색 영상에 있어서의 픽셀)과 단계(650)에서 획득되는 컬러 픽셀의 선형 조합이, 높은 조명 영역에 속해 있는 각각의 픽셀마다 이루어진다. 따라서, 낮은 조명 영역들의 경우, (단계(603)에서 획득되는) 단색 영상은 (단계(650)에서 획득되는) 컬러 영상과 중첩된다.
제 1 실시예에서와 같이, 제 1 변형예에서는, 두 개의 별개의 임계값, 즉 영역이 낮은 조명 레벨로부터 높은 조명 레벨로 변경되는 경우를 검출하는 제 1 임계값, 및 영역이 높은 조명 레벨로부터 낮은 조명 레벨로 변경되는 경우를 결정하는 제 2 임계값이 사용될 수 있으며, 여기서 제 1 임계값은 제 2 임계값보다 작다.
두 개의 임계값 사이에 과도 단계를 사용하는 것이 또한 제 2 변형예에서 가능하다. 즉, 제 1 임계값 미만의 영역은 팬크로매틱 픽셀들의 보간에 의해 단색 모드로 나타내지고, 제 2 임계값 초과의 영역은 컬러로 나타내지며, 두 개의 임계값 사이의 영역은 단색 영상 및 컬러 영상의 선형 조합에 의해 나타내질 수도 있다.
따라서, 매우 양호한 신호 대 잡음비를 가지면서, 조명 조건들에 관계없이 기능할 수 있는 영상 획득 장치가 있게됨을 이해할 수 있다.
제 2 실시예에 나타내지 않은 다른 변형예에 따르면, 어떤 존(zone)이 낮은 조명을 갖는 것으로 테스트(620)가 결정한 경우에는, 이 존의 일부를 형성하는 적외선 픽셀들의 강도가 미리 결정된 IR 임계값보다 큰지 여부가 결정된다. 이어서, 그 강도가 IR 임계값보다 큰 적외선 픽셀들은, 그 존의 단색 영상과 중첩되는 위색(false colour)으로 표현된다. 따라서, 낮은 조명 존의 서브-존이 적외선 영역에서 높은 강도를 갖는 경우, 그것은 해당 존의 단색 영상에서 용이하게 식별될 수 있다. 또한 대안적으로, 단색 디스플레이와 위색들에서의 디스플레이 간의 스위칭을 위한 기준은, 낮은 조명 존의 동종 서브-존들에 의해 이루어질 수 있다. 이 경우에 있어서, 낮은 조명 존은, 단계들(603 및 605)과 관련하여 설명된 것과 동일한 원리를 사용하여, 보간 이후, 적외선 픽셀들에 기초하여 먼저 세그먼트화된다. 위에서 규정된 각 동종 서브-존마다에 대하여, 이 서브-존에 있어서의 적외선 픽셀들의 평균 강도가 계산되어 전술한 IR 임계값과 비교된다. 이 평균이 IR 임계값보다 큰 경우에는, 서브-존이 그 존의 단색 영상 위에 중첩되는 위색들로 표현된다. 위색들에 있어서의 서브-존의 영상은 이 서브-존에서의 적외선 픽셀들의 보간에 의해 획득된다. 따라서, 이 경우, 기본 컬러 픽셀들(RGB 또는 Cyan, Magenta, Yellow)을 제외한 팬크로매틱 픽셀들(단색 일부)과 적외선 픽셀들(위색들의 일부)의 조합에 의해서, 낮은 조명 존이지만 높은 적외선 강도를 가진 서브-존들의 영상이 획득됨이 이해될 것이다.

Claims (18)

  1. 픽셀들로 불리는 감광 요소들의 어레이로 구성되는 센서, 상기 센서를 덮으며 각각의 기본 필터가 대응 픽셀과 연관되는 기본 필터들의 어레이, 및 처리 수단을 포함하는 영상 획득 장치로서,
    - 상기 기본 필터들의 어레이는 하나의 프라이머리 컬러(primary colour)만을 통과시키는 프라이머리 컬러 필터들, 팬크로매틱 필터(panchromatic filter)들로 불리며 가시 스펙트럼(visible spectrum) 전체를 통과시키는 필터들, 및 근적외선을 통과시키는 적외선 필터(infrared filter)들을 포함하되, 상기 팬크로매틱 필터들은 상기 기본 필터들의 적어도 50%에 해당하고;
    상기 처리 수단은,
    - 일련의 팬크로매틱 픽셀들에 대한 평균 조도를 계산하여, 적어도 하나의 센서 존(sensor zone)이 낮은 조명 조건들 아래에 있는지 또는 높은 조명 조건들 아래에 있는지를 결정하고;
    - 상기 존이 낮은 조명 조건들 아래에 있는 경우, 상기 팬크로매틱 픽셀들을 사용하여 상기 존의 단색 영상(monochrome image)을 형성하고;
    - 상기 존이 높은 조명 조건들 아래에 있는 경우, 프라이머리 컬러 픽셀들을 사용하여 상기 존의 컬러 영상을 형성하고, 적외선 픽셀들로부터 획득되는 상기 존으로부터의 적외선 영상을 제거하도록 설계된 것을 특징으로 하는 영상 획득 장치.
  2. 제 1 항에 있어서, 상기 존의 단색 영상은, 상기 존의 일부를 형성하는 팬크로매틱 픽셀들의 보간(interpolation)에 의해 획득되는 것을 특징으로 하는 영상 획득 장치.
  3. 제 1 항에 있어서, 상기 존의 컬러 영상은, 상기 존의 프라이머리 컬러 영상들과, 상기 존의 프라이머리 컬러 픽셀들의 보간에 의해 획득되는 프라이머리 컬러 영상의 조합에 의해 획득되는 것을 특징으로 하는 영상 획득 장치.
  4. 제 1 항에 있어서, 상기 존의 적외선 영상은, 상기 존의 적외선 픽셀들의 보간에 의해 획득되는 것을 특징으로 하는 영상 획득 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 팬크로매틱 필터들은 상기 기본 필터들의 적어도 75%에 해당하는 것을 특징으로 하는 영상 획득 장치.
  6. 제 5 항에 있어서, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
    Figure pct00061

    여기서,
    Figure pct00062
    는 각각의 레드 투과 필터, 그린 투과 필터 및 블루 투과 필터를 나타내고,
    Figure pct00063
    은 적외선 필터이고, 또한
    Figure pct00064
    는 팬크로매틱 필터이며, 상기 패턴은 하나의
    Figure pct00065
    의 순열(permutation) 내에서 규정되는 것을 특징으로 하는 영상 획득 장치.
  7. 제 5 항에 있어서, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
    Figure pct00066

    여기서,
    Figure pct00067
    는 각각의 옐로우(yellow) 투과 필터, 마젠타(magenta) 투과 필터 및 시안(cyan) 투과 필터를 나타내고,
    Figure pct00068
    은 적외선 필터이고, 또한
    Figure pct00069
    는 팬크로매틱 필터이며, 상기 패턴은 하나의
    Figure pct00070
    의 순열 내에서 규정되는 것을 특징으로 하는 영상 획득 장치.
  8. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
    Figure pct00071

    여기서,
    Figure pct00072
    는 각각의 레드 투과 필터, 그린 투과 필터 및 블루 투과 필터를 나타내고,
    Figure pct00073
    은 적외선 필터이고, 또한
    Figure pct00074
    는 팬크로매틱 필터이며, 상기 패턴은 하나의
    Figure pct00075
    의 순열 내에서 규정되는 것을 특징으로 하는 영상 획득 장치.
  9. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 기본 필터들의 어레이는 아래의 패턴의 2-차원의 주기적 반복에 의해 생성되며:
    Figure pct00076

    여기서,
    Figure pct00077
    는 각각의 옐로우 투과 필터, 마젠타 투과 필터 및 시안 투과 필터를 나타내고,
    Figure pct00078
    은 적외선 필터이고, 또한
    Figure pct00079
    는 팬크로매틱 필터이며, 상기 패턴은 하나의
    Figure pct00080
    의 순열 내에서 규정되는 것을 특징으로 하는 영상 획득 장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 처리 수단은, 상기 존에서의 모든 팬크로매틱 픽셀들에 대한 평균 조도가 제 1 임계값보다 작은 경우에, 상기 존이 낮은 조명을 갖는 것으로 결정하고, 또한 상기 존에서의 모든 팬크로매틱 픽셀들에 대한 평균 조도가 제 2 임계값보다 큰 경우에는, 상기 존이 높은 조명을 갖는 것으로 결정하며, 상기 제 2 임계값이 상기 제 1 임계값보다 큰 것을 특징으로 하는 영상 획득 장치.
  11. 제 10 항에 있어서, 상기 존에서의 모든 팬크로매틱 픽셀들에 대한 평균 조도가 제 1 임계값과 제 2 임계값 사이에 있는 경우에는, 상기 처리 수단이 상기 존의 상기 컬러 영상과 상기 단색 영상의 조합을 행하는 것을 특징으로 하는 영상 획득 장치.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 상기 센서 존은 상기 센서 전체이며, 상기 처리 수단은, 상기 센서가 낮은 조명 조명 조건들 아래에 있는지 또는 높은 조명 조건들 아래에 있는지를 결정하는 것을 특징으로 하는 영상 획득 장치.
  13. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 상기 센서의 상기 단색 영상은 동종 영역(homogeneous region)들로 세그먼트화되고, 상기 처리 수단은 상기 센서의 각 동종의(homogeneous) 존 상에서 독립적으로 동작하는 것을 특징으로 하는 영상 획득 장치.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 존이 낮은 조명 조건들 아래에 있는 경우, 이 존의 일부를 형성하는 적외선 픽셀들의 강도가 미리 결정된 IR 임계값보다 큰지 여부를 결정하도록 하는 테스트가 수행되며, 만일 상기 미리 결정된 IR 임계값보다 큰 경우에는, 위색(false colour)들로 표현된 적외선 픽셀들이 이 존의 단색 영상과 중첩되는 것을 특징으로 하는 영상 획득 장치.
  15. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 존이 낮은 조명 조건들 아래에 있는 경우, 적외선 스펙트럼에서 균일한 강도를 갖는 서브-존들이 이 존에서 식별되며, 이렇게 식별된 각각의 서브-존에 대하여, 이 서브-존에서의 평균 적외선 강도가 미리 결정된 IR 임계값보다 큰지 여부가 결정되고, 만일 상기 미리 결정된 IR 임계값보다 큰 경우에는, 이 서브-존은 이 서브-존 내의 적외선 픽셀들에 기초하여 위색 영상으로 표현되고, 그 후에, 상기 서브-존의 위색 영상은 상기 존의 일부를 형성하는 상기 존의 단색 영상과 중첩되게 표현되는 것을 특징으로 하는 영상 획득 장치.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 서브-존의 위색 영상은, 이 서브-존의 일부를 형성하는 상기 적외선 픽셀들의 보간에 의해 획득되는 것을 특징으로 하는 영상 획득 장치.
  17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 적외선 필터들은 700nm-1100nm 대역을 투과시키는 것을 특징으로 하는 영상 획득 장치.
  18. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서, 상기 적외선 필터들은 700nm-1700nm 대역을 투과시키는 것을 특징으로 하는 영상 획득 장치.
KR1020157032475A 2013-04-17 2014-04-16 이중 모드 영상들을 획득하기 위한 장치 Active KR102170410B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1353482 2013-04-17
FR1353482A FR3004882B1 (fr) 2013-04-17 2013-04-17 Dispositif d'acquisition d'images bimode
PCT/EP2014/057698 WO2014170359A1 (fr) 2013-04-17 2014-04-16 Dispositif d'acquisition d'images bimode

Publications (2)

Publication Number Publication Date
KR20150140832A true KR20150140832A (ko) 2015-12-16
KR102170410B1 KR102170410B1 (ko) 2020-10-28

Family

ID=48979925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032475A Active KR102170410B1 (ko) 2013-04-17 2014-04-16 이중 모드 영상들을 획득하기 위한 장치

Country Status (11)

Country Link
US (1) US9736437B2 (ko)
EP (1) EP2987321B1 (ko)
JP (1) JP6492055B2 (ko)
KR (1) KR102170410B1 (ko)
CN (1) CN105210369B (ko)
CA (1) CA2909554C (ko)
FR (1) FR3004882B1 (ko)
IL (1) IL242097B (ko)
SG (1) SG11201508579VA (ko)
TW (1) TWI669963B (ko)
WO (1) WO2014170359A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085533A1 (ko) * 2021-11-15 2023-05-19 주식회사 넥스트칩 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
DE102013223699A1 (de) * 2013-11-20 2015-05-21 Takata AG Filteranordnung und Verfahren zum Herstellen einer Filteranordnung
US9992469B2 (en) 2014-06-24 2018-06-05 Hitachi Maxell, Ltd. Imaging processing device and imaging processing method
FR3026223B1 (fr) * 2014-09-22 2016-12-23 Photonis France Dispositif d'acquisition d'images bimode a photocathode.
TWI577971B (zh) * 2015-10-22 2017-04-11 原相科技股份有限公司 雙孔徑測距系統
FR3045263B1 (fr) * 2015-12-11 2017-12-08 Thales Sa Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
CN106878690A (zh) * 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
FR3048800B1 (fr) * 2016-03-11 2018-04-06 Bertin Technologies Procede de traitement d'images
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
CN107786857B (zh) * 2016-08-25 2019-07-19 杭州海康威视数字技术股份有限公司 一种图像还原方法及装置
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
US9986128B1 (en) * 2017-03-10 2018-05-29 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method facilitating processing color
CN106713878A (zh) * 2017-03-24 2017-05-24 陈兵 一种新型图像传感器
CN106911919A (zh) * 2017-03-24 2017-06-30 陈兵 彩色图像传感器及彩色图像成像方法
US10531067B2 (en) 2017-03-26 2020-01-07 Apple Inc. Enhancing spatial resolution in a stereo camera imaging system
CN107370917B (zh) * 2017-06-30 2020-01-10 Oppo广东移动通信有限公司 控制方法、电子装置和计算机可读存储介质
CN109327665A (zh) * 2017-07-26 2019-02-12 聚晶半导体股份有限公司 图像获取装置及其红外线感测方法
CN109756713B (zh) * 2017-11-08 2021-12-21 超威半导体公司 图像捕获装置、执行处理的方法以及计算机可读介质
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备
CN109905681B (zh) * 2019-02-01 2021-07-16 华为技术有限公司 图像传感器、从其获取图像数据的方法及摄像设备
CN114008782B (zh) * 2019-09-30 2026-02-24 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN111447380B (zh) * 2020-05-22 2022-03-22 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
US12120472B2 (en) * 2021-03-17 2024-10-15 Mediatek Inc. High sensitivity color image generation using hybrid sensor
CN113418864B (zh) * 2021-06-03 2022-09-16 奥比中光科技集团股份有限公司 一种多光谱图像传感器及其制造方法
CN113660415B (zh) * 2021-08-09 2026-02-17 Oppo广东移动通信有限公司 对焦控制方法、装置、成像设备、电子设备和存储介质
CN113676617B (zh) * 2021-08-12 2023-08-18 Oppo广东移动通信有限公司 运动检测方法、装置、电子设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045512A (ja) * 1999-08-04 2001-02-16 Sanyo Electric Co Ltd 白黒／カラー切換カメラ
JP2005525052A (ja) * 2002-05-08 2005-08-18 ボール エアロスペース アンド テクノロジーズ コーポレイション 単一チップ低光レベルカラーカメラ
JP2006148690A (ja) * 2004-11-22 2006-06-08 Toyota Central Res & Dev Lab Inc 撮像装置
JP2007053731A (ja) * 2005-07-21 2007-03-01 Sony Corp 物理情報取得方法および物理情報取得装置並びに半導体装置
JP2010512049A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー カラー画素およびパンクロマティック画素を有する画像の処理
JP2011259060A (ja) * 2010-06-07 2011-12-22 Konica Minolta Opto Inc 撮像装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US7477304B2 (en) * 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
KR101276757B1 (ko) * 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US8031243B2 (en) * 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
JP2009253447A (ja) * 2008-04-02 2009-10-29 Panasonic Corp 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
JP2010062604A (ja) 2008-09-01 2010-03-18 Rohm Co Ltd 撮像センサ
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
KR101739880B1 (ko) * 2010-12-01 2017-05-26 삼성전자주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치
CN102957917B (zh) * 2011-08-30 2016-03-30 比亚迪股份有限公司 一种像素阵列、摄像头及基于该阵列的色彩处理方法
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
US9231015B2 (en) * 2012-09-24 2016-01-05 Omnivision Technologies, Inc. Backside-illuminated photosensor array with white, yellow and red-sensitive elements

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045512A (ja) * 1999-08-04 2001-02-16 Sanyo Electric Co Ltd 白黒／カラー切換カメラ
JP2005525052A (ja) * 2002-05-08 2005-08-18 ボール エアロスペース アンド テクノロジーズ コーポレイション 単一チップ低光レベルカラーカメラ
JP2006148690A (ja) * 2004-11-22 2006-06-08 Toyota Central Res & Dev Lab Inc 撮像装置
JP2007053731A (ja) * 2005-07-21 2007-03-01 Sony Corp 物理情報取得方法および物理情報取得装置並びに半導体装置
JP2010512049A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー カラー画素およびパンクロマティック画素を有する画像の処理
JP2011259060A (ja) * 2010-06-07 2011-12-22 Konica Minolta Opto Inc 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085533A1 (ko) * 2021-11-15 2023-05-19 주식회사 넥스트칩 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Also Published As

Publication number Publication date
US20160080706A1 (en) 2016-03-17
CA2909554C (fr) 2021-08-10
US9736437B2 (en) 2017-08-15
CN105210369A (zh) 2015-12-30
JP2016523013A (ja) 2016-08-04
IL242097B (en) 2018-08-30
JP6492055B2 (ja) 2019-03-27
FR3004882A1 (fr) 2014-10-24
FR3004882B1 (fr) 2015-05-15
KR102170410B1 (ko) 2020-10-28
CN105210369B (zh) 2017-06-27
SG11201508579VA (en) 2015-11-27
EP2987321B1 (fr) 2018-05-30
EP2987321A1 (fr) 2016-02-24
CA2909554A1 (fr) 2014-10-23
WO2014170359A1 (fr) 2014-10-23
TW201507473A (zh) 2015-02-16
TWI669963B (zh) 2019-08-21

Similar Documents

Publication Publication Date Title
KR102170410B1 (ko) 이중 모드 영상들을 획득하기 위한 장치
KR101531709B1 (ko) 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US10171757B2 (en) Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter
US9159758B2 (en) Color imaging element and imaging device
US9184195B2 (en) Color imaging element and imaging device
US9184196B2 (en) Color imaging element and imaging device
JP2010531540A (ja) 広いダイナミックレンジと良好な色再現性および解像度を有する画素アレイならびに画素アレイを用いたイメージセンサ
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
KR20210018136A (ko) 영상 처리 방법 및 장치
JP5702895B2 (ja) カラー撮像素子および撮像装置
CN104471929B (zh) 彩色摄像元件及摄像装置
JP5702892B2 (ja) カラー撮像素子および撮像装置
US9324749B2 (en) Color imaging element and imaging device
US9036061B2 (en) Color imaging apparatus
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US10334185B2 (en) Image capturing device, signal separation device, and image capturing method
TWI751124B (zh) 用於處理由彩色影像擷取矩陣產生的信號的方法以及相應的感測器
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP2006033483A (ja) カラー撮像装置
CN106852190A (zh) 图像处理单元、拍摄装置、图像处理程序及图像处理方法
KR100999885B1 (ko) 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체
CN121262485A (zh) 图像传感器以及图像处理方法和装置
WO2011162155A1 (ja) 撮像装置

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6