KR20200090347A - 카메라 장치 및 이를 구비하는 전자 장치 - Google Patents

카메라 장치 및 이를 구비하는 전자 장치 Download PDF

Info

Publication number
KR20200090347A
KR20200090347A KR1020190007250A KR20190007250A KR20200090347A KR 20200090347 A KR20200090347 A KR 20200090347A KR 1020190007250 A KR1020190007250 A KR 1020190007250A KR 20190007250 A KR20190007250 A KR 20190007250A KR 20200090347 A KR20200090347 A KR 20200090347A
Authority
KR
South Korea
Prior art keywords
image
rgbn
color
pattern
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020190007250A
Other languages
English (en)
Inventor
이동규
김아람
윤흥순
안재현
이진규
이지원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190007250A priority Critical patent/KR20200090347A/ko
Priority to PCT/KR2020/001046 priority patent/WO2020153729A1/ko
Priority to US17/424,400 priority patent/US20220094886A1/en
Publication of KR20200090347A publication Critical patent/KR20200090347A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H04N9/04559—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N5/2253—
    • H04N5/2254—
    • H04N9/04553—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 카메라 장치에 관한 것이다. 본 발명의 일 실시예에 따른 카메라 장치 및 이를 구비하는 전자 장치는, 렌즈 장치와, 렌즈 장치를 통과한 광을 전기 신호로 변환하여, RGBN 패턴 이미지를 생성하는 이미지 센서와, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력하는 프로세서를 포함한다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.

Description

카메라 장치 및 이를 구비하는 전자 장치{Camera device, and electronic apparatus including the same}
본 발명은 카메라 장치 및 이를 구비하는 전자 장치에 관한 것이며, 더욱 상세하게는 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치 및 이를 구비하는 전자 장치에 관한 것이다.
카메라 장치는, 이미지를 촬영하기 위한 장치이다. 최근, 카메라가, 다양한 전자 장치에 채용되는 추세이다.
한편, 카메라 장치는, 색상 이미지를 획득하기 위해 사용된다. 최근 거리 검출을 등을 위해, IR 이미지를 획득하기 위해 사용되기도 한다.
종래에는, 색상 이미지와 IR 이미지를 획득하기 위해, 각각 색상 카메라와 IR 카메라를 사용하였다.
이러한 경우, 색상 카메라로부터의 색상 이미지, IR 카메라로부터의 IR 이미지를 획득하기 위해, 각각의 이미지 센서가 필요하고, 색상 이미지와 IR 이미지의 신호 처리를 위한 프로세서가 각각 필요하게 되었다.
그러나, 이러한 경우, IR 이미지 센서에 기반하여 IR 이미지가 생성되므로, 저조도 환경에서, 강인하지 않은 IR 이미지가 획득된다는 단점이 있다.
본 발명의 목적은, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치 및 이를 구비하는 전자 장치를 제공함에 있다.
본 발명의 다른 목적은, 하나의 이미지 센서를 사용하여 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치 및 이를 구비하는 전자 장치를 제공함에 있다.
본 발명의 다른 목적은, 노이즈 및 아티팩트에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치 및 이를 구비하는 전자 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 카메라 장치 및 이를 구비하는 전자 장치는, 렌즈 장치와, 렌즈 장치를 통과한 광을 전기 신호로 변환하여, RGBN 패턴 이미지를 생성하는 이미지 센서와, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력하는 프로세서를 포함한다.
한편, 이미지 센서는, 렌즈 장치를 통과한 광을 RGBN 패턴으로 필터링하는 RGBN 필터와, RGBN 필터로부터의 광을 전기 신호로 변환하는 센서 어레이를 구비할 수 있다.
한편, RGBN 필터는 적외선광과 가시광을 RGBN 패턴으로 필터링할 수 있다.
한편, 프로세서는, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지를 생성하는 IR 이미지 생성부와, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, RGB 기반의 색상 이미지를 출력하는 색상 이미지 생성부를 포함할 수 있다.
한편, 프로세서는, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 제1 색상을 추정하는 제1 색상 추정부를 더 포함하고, 색상 이미지 생성부는, RGBN 패턴 이미지 내의 N 패턴을 제1 색상 패턴으로 변환하여, RGB 기반의 색상 이미지를 출력할 수 있다.
한편, 프로세서는, RGBN 패턴 이미지 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지를 출력할 수 있다.
한편, 프로세서는, RGBN 패턴 이미지와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지를 출력할 수 있다.
한편, 적외선광을 출력하는 IR 출력부를 더 포함하며, 프로세서는, RGBN 패턴 이미지에 기초하여, 휘도를 추정하고, 추정된 휘도에 기초하여, IR 출력부의 동작 제어를 위한 제어 신호를 출력할 수 있다.
한편, 프로세서는, RGBN 패턴 이미지에 기초하여, 휘도를 추정하고, 추정된 휘도 레벨이 기준 레벨 이하인 경우, IR 출력부에서 적외선광이 출력되도록 제어할 수 있다.
한편, 조도 센서를 더 포함하고, 프로세서는, 조도 센서에서 센싱된 조도 레벨이 제2 기준 레벨 이하인 경우, IR 출력부에서 적외선광이 출력되도록 제어할 수 있다.
한편, 멀티 스펙트럼의 파장 별 레벨은, IR 스펙트럼 보다 큰 것이 바람직하다.
한편, 적외선광을 출력하는 IR 출력부를 더 포함하며, 프로세서는, IR 출력부의 동작 중 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력할 수 있다.
한편, 적외선광을 출력하는 IR 출력부를 더 포함하며, 프로세서는, IR 출력부의 동작이 중지되는 경우, 멀티 스펙트럼 기반의 IR 이미지는 출력하지 않고, RGB 기반의 색상 이미지만 출력할 수 있다.
본 발명의 일 실시예에 따른 카메라 장치 및 이를 구비하는 전자 장치는, 렌즈 장치와, 렌즈 장치를 통과한 광을 전기 신호로 변환하여, RGBN 패턴 이미지를 생성하는 이미지 센서와, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력하는 프로세서를 포함한다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
특히, 하나의 이미지 센서를 사용하여 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다. 또한, 노이즈 및 아티팩트에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 이미지 센서는, 렌즈 장치를 통과한 광을 RGBN 패턴으로 필터링하는 RGBN 필터와, RGBN 필터로부터의 광을 전기 신호로 변환하는 센서 어레이를 구비할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, RGBN 필터는 적외선광과 가시광을 RGBN 패턴으로 필터링할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 프로세서는, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지를 생성하는 IR 이미지 생성부와, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, RGB 기반의 색상 이미지를 출력하는 색상 이미지 생성부를 포함할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 프로세서는, 이미지 센서로부터의 RGBN 패턴 이미지에 기초하여, 제1 색상을 추정하는 제1 색상 추정부를 더 포함하고, 색상 이미지 생성부는, RGBN 패턴 이미지 내의 N 패턴을 제1 색상 패턴으로 변환하여, RGB 기반의 색상 이미지를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 프로세서는, RGBN 패턴 이미지 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 프로세서는, RGBN 패턴 이미지와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 적외선광을 출력하는 IR 출력부를 더 포함하며, 프로세서는, RGBN 패턴 이미지에 기초하여, 휘도를 추정하고, 추정된 휘도에 기초하여, IR 출력부의 동작 제어를 위한 제어 신호를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 프로세서는, RGBN 패턴 이미지에 기초하여, 휘도를 추정하고, 추정된 휘도 레벨이 기준 레벨 이하인 경우, IR 출력부에서 적외선광이 출력되도록 제어할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 조도 센서를 더 포함하고, 프로세서는, 조도 센서에서 센싱된 조도 레벨이 제2 기준 레벨 이하인 경우, IR 출력부에서 적외선광이 출력되도록 제어할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 멀티 스펙트럼의 파장 별 레벨은, IR 스펙트럼 보다 큰 것이 바람직하다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 적외선광을 출력하는 IR 출력부를 더 포함하며, 프로세서는, IR 출력부의 동작 중 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
한편, 적외선광을 출력하는 IR 출력부를 더 포함하며, 프로세서는, IR 출력부의 동작이 중지되는 경우, 멀티 스펙트럼 기반의 IR 이미지는 출력하지 않고, RGB 기반의 색상 이미지만 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
도 1a은 본 발명과 관련한 카메라 장치의 외관의 일예를 도시한 도면이다.
도 1b는 본 발명과 관련한 카메라 장치의 외관의 다른 예를 도시한 도면이다.
도 2는 전자 장치의 다양한 예를 설명하는 도면이다.
도 3a는 도 1b의 카메라 장치의 동작 설명에 참조되는 도면이다.
도 3b는 도 1b의 색상 카메라와 IR 카메라의 내부 단면도이다.
도 3c는 도 1b의 카메라 장치의 내부 블록도이다.
도 4a 내지 도 4c는 도 3a의 카메라 장치의 동작 설명에 참조되는 도면이다.
도 5a는 본 발명의 실시예에 따른 카메라 장치의 동작 설명에 참조되는 도면이다.
도 5b는 도 5a의 카메라 장치의 내부 단면도이다.
도 5c는 도 5a의 카메라 장치의 내부 블록도이다.
도 6a 내지 도 7b는 도 5a의 카메라 장치의 동작 설명에 참조되는 도면이다.
도 8은 본 발명의 실시예에 따른 카메라 장치의 동작 방법을 도시한 순서도이다.
도 9 내지 도 18c는 도 8의 동작 방법 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1a은 본 발명과 관련한 카메라 장치의 외관의 일예를 도시한 도면이다.
도면을 참조하면, 카메라 장치(100m)는, 색상 카메라(CCmm)와, IR 카메라(DCmm)와, 색상 카메라(CCmm)와 IR 카메라(DCmm)를 고정하는 브라켓(BRK), 색상 카메라(CCmm)의 인터페이스(CTam)와 IR 카메라(DCmm)의 인터페이스(CTbm)를 구비할 수 있다.
도 1a에 따른 카메라 장치(100m)는, 색상 카메라(CCmm)와 IR 카메라(DCmm)를 고정하는 브라켓(BRK)으로 인하여, 카메라 장치(100m) 또는 카메라 장치(100m)가 장착되는 전자 장치의 공간 설계에 제약이 있을 수 있다.
도 1b는 본 발명과 관련한 카메라 장치의 외관의 다른 예를 도시한 도면이다.
도면을 참조하면, 카메라 장치(100a)는, 색상 카메라(CCma)와, IR 카메라(DCma)와, 색상 카메라(CCma)와 IR 카메라(DCma)를 연결하는 연결 부재(FLE), 색상 카메라(CCma)의 인터페이스(CTa)와 IR 카메라(DCma)의 인터페이스(CTb)를 구비할 수 있다.
한편, 색상 카메라(CCma)와 IR 카메라(DCma)를 연결하는 연결 부재(FLE)는, 플렉서블할 수 있다. 즉, 도 1a와 달리, 브라켓(BRK)이 구비되지 않을 수 있다. 이에 따라, 노 브라켓(braket)으로 인하여, 카메라 장치(100a) 또는 카메라 장치(100a)가 장착되는 전자 장치의 공간 설계의 자유도가 향상될 수 있다.
한편, 도 1a의 카메라 장치(100m) 또는 도 1b의 카메라 장치(100a)는, 각각 색상 카메라와 IR 카메라로 구분되고, 색상 카메라와 IR 카메라가 각각 색상 이미지와 IR 카메라 획득을 위해, 별도의 이미지 센서를 사용하게 된다.
이러한 경우, 별도의 이미지 센서에 의한 색상 이미지와 IR 이미지가 출력되므로, 저조도 환경에서, 노이즈가 많은 색상 이미지와 IR 이미지가 획득되게 된다.
이에 따라, 본 발명에서는, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치(100)를 제안한다.
특히, 본 발명에서는, 하나의 이미지 센서를 사용하여, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치(100)를 제안한다.
또한, 본 발명에서는, 노이즈 및 아티팩트에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치(100)를 제안한다.
본 발명의 실시예에 따른 카메라 장치(100)에 대한 설명은 도 5a 이하를 참조하여 기술한다.
한편, 본 발명의 실시예에 따른 카메라 장치(100)는, 다양한 전자 장치에 구비될 수 있다.
도 2는 전자 장치의 다양한 예를 설명하는 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 카메라 장치(100)는, 이동 단말기(200), 공기조화기(200a), 로봇청소기(200b), 냉장고(200c), 세탁기(200d), TV(200e), 차량, 드론 등의 다양한 전자 장치에 채용될 수 있다.
도 3a는 도 1b의 카메라 장치의 동작 설명에 참조되는 도면이다.
도면을 참조하면, 카메라 장치(100a)는, 색상 카메라(CCma)와, IR 카메라(Dcma), 및 프로세서(170a,170b)를 구비할 수 있다.
색상 카메라(CCma)는, 색상 패턴에 기초하여, 색상 패턴 이미지(Ibggr)를 출력하고, IR 카메라(Dcma)는, IR 패턴 또는 모노 패턴에 기초하여, IR 이미지(Imono)를 출력할 수 있다.
프로세서(170a)는, 색상 패턴에 기초한 색상 패턴 이미지(Ibggr)를 신호 처리하여, 색상 이미지(311)를 출력할 수 있다.
프로세서(170b)는, IR 패턴 또는 모노 패턴에 기초한 IR 이미지(Imono)를 신호 처리하여, IR 이미지(313)를 출력할 수 있다.
도 3b는 도 1b의 색상 카메라와 IR 카메라의 내부 단면도이다.
도면을 참조하면, 색상 카메라(CCma)는, 조리개(194a), 렌즈 장치(193a), 이미지 센서(Imsa)를 구비할 수 있다.
이미지 센서(Imsa)는, RGB 색상을 센싱하기 위해, RGB 필터(915a)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911a)를 구비할 수 있다.
이에 따라, 이미지 센서(Imsa)는, 색상 이미지를 센싱하여, 출력할 수 있다.
IR 카메라(DCma)는, 조리개(194b), 렌즈 장치(193b), 이미지 센서(Imsb)를 구비할 수 있다.
이미지 센서(Imsb)는, IR 이미지를 센싱하기 위해, IR 필터(915b)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911b)를 구비할 수 있다.
이에 따라, 이미지 센서(Imsb)는, IR 이미지를 센싱하여, 출력할 수 있다.
도 3c는 도 1b의 색상 카메라와 IR 카메라를 구비하는 카메라 장치의 내부 블록도이다.
도면을 참조하면, 카메라 장치(100a)는, 색상 카메라(CCma), IR 카메라(DCma), 프로세서(170a,170b), 센서부(130), 메모리(140), 전원공급부(190), 인터페이스(150)를 구비할 수 있다.
색상 카메라(CCma)는, 색상 이미지 출력을 위해, 렌즈 장치(193a), 이미지 센서(Imsa)를 구비할 수 있다.
색상 카메라(CCma) 내의 렌즈 장치(193a)는, 입사되는 입사광을 수신하며, 복수의 렌즈를 구비할 수 있다.
한편, 이미지 센서(Imsa)는, 전기 신호에 기초하여, 노출 시간이 조절될 수 있다.
IR 카메라(DCma)는, IR 이미지 출력을 위해, 렌즈 장치(193b), 이미지 센서(Imsb)를 구비할 수 있다.
IR 카메라(DCm) 내의 렌즈 장치(193b)는, 입사되는 입사광을 수신하며, 복수의 렌즈를 구비할 수 있다.
프로세서(170a)는, 색상 패턴(IBggr)에 기초한 색상 패턴 이미지를 신호 처리하여, 색상 이미지(311)를 출력할 수 있다.
프로세서(170b)는, IR 패턴 또는 모노 패턴에 기초한 IR 이미지를 신호 처리하여, IR 이미지(313)를 출력할 수 있다.
센서부(130)는, 카메라 장치(100a)의 이동 정보 또는 위치 정보 등을 센싱할 수 있다.
메모리(140)는, 카메라 장치(100a)의 동작을 위한 데이터 등을 저장할 수 있다.
인터페이스(150)는, 카메라 장치(100a) 내의 다른 유닛과의 데이터 전송을 위해 사용될 수 있다.
전원공급부(190)는, 카메라 장치(100a)의 동작을 위한 전원을 공급할 수 있다.
도 4a 내지 도 4c는 도 3a의 카메라 장치의 동작 설명에 참조되는 도면이다.
먼저, 도 4a를 참조하면, 카메라 장치(100a)의 색상 카메라(CCma)는, 조리개(194a), 렌즈 장치(193a), 적외선 차단 필터(IRCF), 이미지 센서(Imsa), 기판(Suba), 및 플렉서블 기판(Fsba)를 구비할 수 있다.
조리개(194a)로 입사되는 광은, 렌즈 장치(193a), 적외선 차단 필터(IRCF)를 거쳐, 이미지 센서(Imsa)에서 전기 신호로 변환되며, 변환된 전기 신호는, 기판(Suba), 및 플렉서블 기판(Fsba) 등을 거쳐, 프로세서(170a) 등으로 전달될 수 있다.
한편, 도 4b를 참조하면, 이미지 센서(Imsa)는, RGB 색상을 센싱하기 위한 RGB 필터(915a)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911a)를 구비할 수 있다.
도 4c는 입력되는 광 신호가, 적외선 차단 필터(IRCF)에 의해 차단되는 것을 예시한다.
도면을 참조하면, 제1 대역(BWa)에 대응하는 청색광(Wb),녹색광(Wg),적색광(Wr)이, 적외선 차단 필터(IRCF)에 의해, 차단되지 않고, 각각 이미지 센서(Imsa)로 입사된다.
한편, 제2 대역(BWb)에 대응하는 적외선광은, 적외선 차단 필터(IRCF)에 의해, 차단되어, 이미지 센서(Imsa)로 입사되지 않게 된다.
이에 따라, 프로세서(170a)는, 적외선광이 제외된 가시광에 기초한 색상 이미지를 출력하게 된다.
한편, 이와 유사하게, 프로세서(170b)는, 적외선광에 기초한 IR 이미지를 출력하게 된다.
도 3a 내지 도 4c와 같이, 카메라 장치(100a) 내에 색상 카메라(CCma)와, IR 카메라(Dcma)로 분리되어, 각각 신호 처리하여, 색상 이미지와 IR 이미지를 출력하는 경우, 적외선 차단 필터(IRCF) 등에 의해, 광 손실이 발생하며, 따라서, 주변 환경이 어두운 저조도 환경에서, 노이즈가 많은 색상 이미지와 IR 이미지가 획득되게 된다.
이에 따라, 본 발명에서는, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치(100)를 제안한다.
특히, 본 발명에서는, 하나의 이미지 센서를 사용하여, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치(100)를 제안한다.
또한, 본 발명에서는, 노이즈 및 아티팩트에 강인한 색상 이미지와 IR 이미지를 획득할 수 있는 카메라 장치(100)를 제안한다.
도 5a는 본 발명의 실시예에 따른 카메라 장치의 동작 설명에 참조되는 도면이다.
도면을 참조하면, 카메라 장치(100a)는, 색상 IR 카메라(CCm) 및 프로세서(170)를 구비할 수 있다.
색상 IR 카메라(CCm)는, 색상 IR 패턴(IBggr)에 기초하여, RGBN 패턴 이미지(Ibgnr)를 출력할 수 있다.
프로세서(170)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 신호 처리를 하여, RGB 기반의 색상 이미지(511)와, IR 기반의 IR 이미지(513)를 출력할 수 있다.
특히, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력할 수 있다.
이에 따라, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다. 또한, 색상 이미지와 IR 이미지의 전체적인 다이내믹 레인지가 증가하게 된다.
특히, 색상 IR 카메라(CCm) 내의 하나의 이미지 센서(Ims)를 사용하여 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다. 또한, 노이즈 및 아티팩트에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
도 5b는 도 5a의 카메라 장치의 내부 단면도이다.
도면을 참조하면, 색상 IR 카메라(CCm)는, 조리개(194), 렌즈 장치(193), 이미지 센서(Ims)를 구비할 수 있다.
조리개(194)는, 렌즈 장치(193)로 입사되는 광을 개폐할 수 있다.
렌즈 장치(193)는, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.
이미지 센서(Ims)는, RGB 색상, 및 IR 이미지를 센싱하기 위해, RGBN 필터(915)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911)를 구비할 수 있다.
이에 따라, 이미지 센서(Ims)는, RGBN 패턴 이미지를 센싱하여, 출력할 수 있다.
한편, RGBN 패턴 이미지는, RGBN 베이어(bayer) 패턴 이미지라 명명할 수도 있다.
도 5c는 도 5a의 카메라 장치의 내부 블록도이다.
도면을 참조하면, 카메라 장치(100)는, 색상 IR 카메라(CCm), 프로세서(170), 센서부(130), 메모리(140), 인터페이스(150), 전원공급부(190), IR 출력부(195)를 구비할 수 있다.
색상 IR 카메라(CCm)는, 색상 이미지 출력을 위해, 렌즈 장치(193), 이미지 센서(Ims)를 구비할 수 있다.
색상 IR 카메라(CCm) 내의 렌즈 장치(193)는, 입사되는 입사광을 수신하며, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.
한편, 프로세서(170)는, 초점 조절을 위해, 복수의 렌즈 중 적어도 하나의 위치를 이동시키기 위한 제어 신호를 렌즈 장치(193)로 출력할 수 있다.
이미지 센서(Ims)는, RGB 색상, 및 IR 이미지를 센싱하기 위해, 적외선광과 가시광을 RGBN 패턴으로 필터링하는 RGBN 필터(915)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911)를 구비할 수 있다.
이에 따라, 이미지 센서(Ims)는, RGBN 패턴 이미지(Ibgnr)를 센싱하여, 출력할 수 있다.
프로세서(170)는, 이미지 센서(Ims)로부터의 RGBN 패턴 이미지(Ibgnr)를 수신하고, RGBN 패턴 이미지(Ibgnr)에 기초하여, 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 생성하여 출력할 수 있다.
이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다. 또한, 노이즈 및 아티팩트에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr) 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지(Imono)를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지(Imono)를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도를 추정하고, 추정된 휘도에 기초하여, IR 출력부(195)의 동작 제어를 위한 제어 신호를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도를 추정하고, 추정된 휘도 레벨이 기준 레벨 이하인 경우, IR 출력부(195)에서 적외선광이 출력되도록 제어할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, 센서부(130) 내의 조도 센서(미도시)에서 센싱된 조도 레벨이 제2 기준 레벨 이하인 경우, IR 출력부(195)에서 적외선광이 출력되도록 제어할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, IR 출력부(195)의 동작 중 멀티 스펙트럼 기반의 IR 이미지(Imono)와, RGB 기반의 색상 이미지(Ibggr)를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, IR 출력부(195)의 동작이 중지되는 경우, 멀티 스펙트럼 기반의 IR 이미지(Imono)는 출력하지 않고, RGB 기반의 색상 이미지(Ibggr)만 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, 색상 이미지의 휘도 성분과, IR 이미지의 휘도 성분을 비교하여, 오차 정보를 연산하고, 연산된 오차 정보에 기초하여 색상 이미지와 IR 이미지 중 적어도 하나를 보상하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
센서부(130)는, 카메라 장치(100)의 이동 정보 또는 위치 정보 등을 센싱할 수 있다. 이를 위해, 센서부(130)는, GPS 수신부, 또는 관성 센서(자이로 센서, 가속도 센서 등) 등을 구비할 수 있다.
한편, 센서부(130)는, 카메라 장치(100) 주변의 조도 센싱을 위한 조도 센서를 구비할 수 있다.
메모리(140)는, 카메라 장치(100)의 동작을 위한 데이터 또는 색상 IR 카메라(CCm)로부터의 RGBN 패턴 이미지를 저장할 수 있다.
또는, 메모리(140)는, 프로세서(170)에서 생성되어 출력되는 색상 이미지 또는 IR 이미지를 저장할 수 있다.
인터페이스(150)는, 카메라 장치(100) 내의 다른 유닛과의 데이터 전송을 위해 사용될 수 있다.
전원공급부(190)는, 카메라 장치(100)의 동작을 위한 전원을 공급할 수 있다.
예를 들어, 전원공급부(190)는, 외부로 입력되는 직류 전원 또는 교류 전원을 변환하여, 변환된 직류 전원을 프로세서(170), 색상 IR 카메라(CCm), 센서부(130), 메모리(140), 인터페이스(150), IR 출력부(195) 등에 공급할 수 있다.
IR 출력부(195)는, 카메라 장치(100)의 주변에, 적외선광을 출력할 수 있다.
도 6a 내지 도 7b는 도 5a의 카메라 장치의 동작 설명에 참조되는 도면이다.
먼저, 도 6a를 참조하면, 카메라 장치(100)의 색상 IR 카메라(CCm)는, 조리개(194), 렌즈 장치(193), 이미지 센서(Ims), 기판(Sub), 및 플렉서블 기판(Fsb)를 구비할 수 있다.
조리개(194)로 입사되는 광은, 렌즈 장치(193)를 거쳐, 이미지 센서(Ims)에서 전기 신호로 변환되며, 변환된 전기 신호는, 기판(Sub), 및 플렉서블 기판(Fsb) 등을 거쳐, 프로세서(170) 등으로 전달될 수 있다.
한편, 도 6a의 카메라 장치(100)와 도 4a의 카메라 장치(100)를 비교하면, 적외선 차단 필터(IRCF)가 구비되지 않는 것에 그 차이가 있다.
도 6a의 카메라 장치(100)는, 도 4c의 제2 대역(BWb)이 차단되지 않으므로, 색상 이미지 생성시, 폭 넓은 색상 표현이 가능하며, IR 이미지 생성시, 멀티 스펙트럼 기반의 IR 이미지 생성이 가능하게 된다.
한편, 도 6b를 참조하면, 이미지 센서(Ims)는, 렌즈 장치(193)를 통과한 광을 RGBN 패턴으로 필터링하는 RGBN 필터(915)와, RGBN 필터(915)로부터의 광을 전기 신호로 변환하는 센서 어레이(911)를 구비할 수 있다.
한편, RGBN 필터(915)는, 2*2 패턴의 필터 또는 1*4 패턴, 4*1 패턴일 수 있다.
도 7a는 프로세서(170)에서 처리된 색상 이미지(520)와 IR 이미지(525)를 예시한다.
한편, 프로세서(170)는, 색상 이미지(520)와 IR 이미지(525)를 이용하여, 매칭을 수행할 수 있다.
예를 들어, 프로세서(170)는, 색상 이미지(520)에 IR 이미지(525)를 매칭시킬 수 있다. 그리고, 프로세서(170)는, 그 차이에 기초하여, 오차 정보를 연산할 수 있다.
예를 들어, 프로세서(170)는, 색상 이미지(520)에 IR 이미지(525)에 기초하여, 각 특징점을 분석하여, 3차원 오차 정보를 연산할 수 있다.
구체적으로, 프로세서(170)는, 색상 이미지(520)에 IR 이미지(525)에 기초하여, 각 특징점을 분석하여, 색상 이미지(520)와 IR 이미지(525)) 사이의 상대 회전 정보(Relative Rotation information)와, 상대 변형 정보(Relative Translation information) 또는 상대 천이 정보(Relative Shift information) 등의 3차원 오차 정보를 연산할 수 있다.
그리고, 프로세서(170)는, 연산된 3차원 오차 정보에 기초하여, 보상된 색상 이미지 또는 보상된 IR 이미지를 출력할 수 있다.
도 7b는 보상된 색상 이미지(540)를 예시한다. 도면과 달리, 보상된 IR 이미지가 출력되는 것도 가능하다. 이에 따라, 선명한 색상 이미지와 IR 이미지를 획득할 수 있게 된다. 특히, 저조도에 강인한 색상 이미지와 IR 이미지를 획득할 수 있게 된다.
도 8은 본 발명의 실시예에 따른 카메라 장치의 동작 방법을 도시한 순서도이다.
도면을 참조하면, 카메라 장치(100) 내의 이미지 센서(Ims))는, 광을 전기 신호로 변환하여, RGBN 패턴 이미지(Ibgnr)를 생성할 수 있다(S815).
카메라 장치(100) 내의 프로세서(170)는, 이미지 센서(Ims)로부터의 RGBN 패턴 이미지(Ibgnr)에 기초하여, 멀티 스펙트럼 기반의 IR 이미지(Imono)를 생성하여 출력할 수 있다.(S820).
한편, 한편, 이미지 센서(Ims)는, 렌즈 장치(193)를 통과한 광을 RGBN 패턴으로 필터링하는 RGBN 필터(915)와, RGBN 필터(915)로부터의 광을 전기 신호로 변환하는 센서 어레이(911)를 구비할 수 있다.
한편, RGBN 필터(915)는 적외선광과 가시광을 RGBN 패턴으로 필터링할 수 있다.
한편, 카메라 장치(100) 내의 프로세서(170)는, 이미지 센서(Ims)로부터의 RGBN 패턴 이미지(Ibgnr)에 기초하여, RGB 기반의 색상 이미지(Ibggr)를 생성하여 출력할 수 있다.(S830).
이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다. 또한, 노이즈 및 아티팩트에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr) 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지(Imono)를 출력할 수 있다.
또는, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지(Imono)를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
도 9 내지 도 18c는 도 8의 동작 방법 설명에 참조되는 도면이다.
먼저, 도 9는 프로세서(170)의 내부 블록도의 일예를 도시한다.
도면을 참조하면, 도 9는 프로세서(170)는, 노이즈 리덕션부(910), 이미지 분리부(920), 휘도 추정부(930)를 구비할 수 있다.
프로세서(170)는, 이미지 센서(Ims)로부터의 RGBN 패턴 이미지(Ibgnr)를 수신할 수 있다.
이에 따라, 프로세서(170) 내의 노이즈 리덕션부(910)는, RGBN 패턴 이미지(Ibgnr)를 수신할 수 있다.
노이즈 리덕션부(910)는, 수신되는 RGBN 패턴 이미지(Ibgnr) 내의 노이즈 리덕션을 수행할 수 있다.
예를 들어, 노이즈 리덕션부(910)는, 수신되는 RGBN 패턴 이미지(Ibgnr) 내의 배드 픽셀(bad pixel)에 대한 정정(correction)을 수행하거나, 노이즈 리덕션을 수행할 수 있다.
이미지 분리부(920)는, 노이즈 리덕션부(910)로부터의 RGBN 패턴 이미지(Ibgnr)를 수신하고, RGBN 패턴 이미지(Ibgnr)에서, RGB 패턴 이미지와, IR 이미지를 분리할 수 있다.
특히, 이미지 분리부(920)는, RGBN 패턴 이미지(Ibgnr)에서, RGB 패턴 이미지와, IR 이미지를 분리하고, RGB 기반의 색상 이미지와, IR 기반의 IR 이미지를 생성하여 출력할 수 있다.
한편, 이미지 분리부(920)는, RGB 기반의 색상 이미지와, IR 기반의 IR 이미지의 출력을 위해, Demosaicing 을 수행할 수도 있다.
한편, 이미지 분리부(920)의 상세 동작은 도 10 등을 참조하여 후술한다.
한편, 휘도 추정부(930)는, 노이즈 리덕션부(910)로부터의 RGBN 패턴 이미지(Ibgnr)를 수신하고, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도 추정(Brightness estimation)을 수행할 수 있다.
예를 들어, 프로세서(170) 내의 휘도 추정부(930)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도를 추정하고, 추정된 휘도에 기초하여, IR 출력부(195)의 동작 제어를 위한 제어 신호(Ssc)를 출력할 수 있다. 이에 따라, IR 출력부(195)가 동작할 수 있으며, IR 출력부(195)의 동작에 따라, 저조도에 강인한 색상 이미지(Ibggr)와 IR 이미지(Imono)를 획득할 수 있게 된다.
구체적으로, 프로세서(170) 내의 휘도 추정부(930)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도를 추정하고, 추정된 휘도 레벨이 기준 레벨 이하인 경우, IR 출력부(195)의 동작 제어를 위한 제어 신호(Ssc)를 출력할 수 있다.
한편, 이와 달리, 프로세서(170)는, 조도 센서에서 센싱된 조도 레벨이 제2 기준 레벨 이하인 경우, IR 출력부(195)에서 적외선광이 출력되도록 제어할 수도 있다.
도 10은 도 9의 이미지 분리부의 내부 블록도의 일예이고, 도 11a 내지 도 1c는 다양한 광 스펙트럼을 예시한다.
도면을 참조하면, 이미지 분리부(920)는, IR 이미지 생성부(1010), IR 추정부(1015), 제1 색상 추정부(1020), 색상 이미지 생성부(103) 등을 포함할 수 있다.
도면을 참조하면, 이미지 분리부(920)는, 이미지 센서(Ims)로부터, 적외선광 차단되지 않은, 가시광 및 적외선광 스펙트럼(SPa) 기반의 GBN 패턴 이미지(Ibgnr)를 수신할 수 있다.
그리고, RGBN 패턴 이미지(Ibgnr)는, IR 이미지 생성부(1010), IR 추정부(1015), 제1 색상 추정부(1020)에 각각 입력될 수 있다.
IR 이미지 생성부(1010)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 멀티 스펙트럼 기반의 IR 이미지(Imono)를 생성할 수 있다.
IR 추정부(1015)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, N 패턴 또는 IR을 추정할 수 있다. 특히, 추정된 N 패턴 또는 추정된 IR은 색상 이미지 생성시 IR 제거를 위해 사용될 수 있다.
제1 색상 추정부(1020)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 제1 색상을 추정할 수 있다. 예를 들어, 녹색(G)을 추정할 수 있다.
다음, 색상 이미지 생성부(1030)는, RGBN 패턴 이미지(Ibgnr) 내의 N 패턴을 제1 색상 패턴으로 변환하여, RGB 기반의 색상 이미지(Ibggr)를 출력할 수 있다.
특히, 색상 이미지 생성부(1030)는, RGBN 패턴 이미지(Ibgnr)을 기반으로, IR 추정부(1015)에서 추정된 N 패턴 또는 추정된 IR을 제거하고, 제1 색상 추정부(1020)에서, 추정된 녹색(G)을 추가할 수 있다. 이에 따라, RGB 기반의 색상 이미지(Ibggr)를 출력할 수 있다.
도 11a는 가시광 및 적외선광 스펙트럼(SPa)을 예시하며, 도 11b는 종래의 IR 카메라(Dcma)에서 이미지 센서(Imsb)에 입력되는 적외선광 스펙트럼(Spi)을 예시하며, 도 11c는 본 발명의 카메라 장치(100)의 이미지 센서(Ims)에 입력되는 멀티 스펙트럼(Spm)을 예시한다.
도 11a의 가시광 및 적외선광 스펙트럼(SPa)은, 본 발명의 카메라 장치(100)의 RGBN 필터(915) 이전에 입력되는 광 스펙트럼일 수 있다.
한편, 본원의 RGBN 필터(915) 중 R 필터는, 도 11a의 가시광 및 적외선광 스펙트럼(SPa) 중 적색광을 출력하며, G 필터는, 도 11a의 가시광 및 적외선광 스펙트럼(SPa) 중 녹색광을 출력하며, B 필터는, 도 11a의 가시광 및 적외선광 스펙트럼(SPa) 중 청색광을 출력하며, N 필터는, 도 11a의 가시광 및 적외선광 스펙트럼(SPa) 중 적색광,녹색광,청색광,적외선광을 출력할 수 있다.
이에 따라, N 필터는, 적색광,녹색광,청색광,적외선광을 투과하기 위한 대역폭으로 설정될 수 있다.
즉, N 필터의 대역폭은, R 필터의 대역폭, G 필터의 대역폭, B 필터의 대역폭을 포함하면서, 적외성광의 대역폭도 포함할 수 있다.
이에 따라, 도 11c와 같은, 멀티 스펙트럼(Spm)이, 이미지 센서(Ims)에 입력되어 전기 신호로 변환될 수 있다.
즉, 멀티 스펙트럼(Spm)은, 색광,녹색광,청색광,적외선광을 합산한 광 스펙트럼일 수 있다.
결국, 도 10에서의 IR 이미지 생성부(1010)는, 멀티 스펙트럼(Spm) 기반의 IR 이미지(Imono)를 생성하여 출력할 수 있다. 이에 따라, 저조도에 강인한 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 도 10에서의 색상 이미지 생성부(1030)는, RGB 기반의 색상 이미지(Ibggr)를 출력할 수 있다. 특히, 기사광 스펙트럼(Spc) 기반의 RGGB 기반의 색상 이미지(Ibggr)를 출력할 수 있다. 이에 따라, 저조도에 강인한 색상 이미지(Ibggr)를 획득할 수 있게 된다.
도 12a는 도 11b의 적외선광 스펙트럼(Spi) 기반의 IR 이미지(1210)를 예시하며, 도 12b는 도 11c의 멀티 스펙트럼(Spm) 기반의 IR 이미지(1220)를 예시한다.
도 12a의 IR 이미지(1210)에 비해, 도 12b의 IR 이미지(1220)의 저조도 표현력이 풍부한 것을 알 수 있다. 또한, IR 이미지의 전체적인 다이내믹 레인지가 증가하게 된다.
한편, 도 13a와 같이, RGBN 패턴 이미지(Ibgnr)에서, N 패턴 또는 모노(mono) 성분에 대응하여, IR 이미지를 추출하는 경우, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr) 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지(Ihr)를 출력할 수 있다.
이에 따라, 프로세서(170)는, 내부 신호 처리를 통해, RGBN 패턴 이미지(Ibgnr) 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지(Imono)를 출력할 수 있다. 이에 따라, 저조도에 강인한 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 도 14a와 같이, GBN 패턴 이미지(Ibgnr)에서, N 패턴 또는 모노(mono) 성분을 중첩하여, IR 이미지를 추출하는 경우, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지(Ifr)를 출력할 수 있다.
이에 따라, 프로세서(170)는, 내부 신호 처리를 통해, RGBN 패턴 이미지(Ibgnr)와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지(Imono)를 출력할 수 있다. 이에 따라, 저조도에 강인한 IR 이미지(Imono)를 획득할 수 있게 된다.
한편, 기사광, 적외선광 성분은, 각각 초점 위치가 다르기 때문에 픽셀 단위(pixel-wise) 연산에 기초하여, IR 제거에 따른 색상 이미지 생성시, 아티팩트(artifact)가 발생할 수 있다.
이에 따라, 프로세서(170) 내의 색상 이미지 생성부(1030)는, IR 제거 등의 신호 처리시, 픽셀 단위가 아닌, 에지(Edge) 기반의 블럭 단위(block-wise)로 신호 처리를 수행할 수 있다.
도 15a는 에지 영역(1515)을 포함하는 색상 이미지(1501)를 예시한다.
상술한 바와 같이, 픽셀 단위로, 색상 이미지 처리시, 도 15b와 같이, 에지 영역 이미지(1520)에 아티팩트(artifact)가 발생할 수 있다.
한편, 에지(Edge) 기반의 블럭 단위(block-wise)로 신호 처리를 수행시, 도 15c와 같이, 에지 영역 이미지(1530) 내에 아티팩트(artifact)가 상당히 저감될 수 있게 된다.
유사하게, 도 16a는 픽셀 단위로 신호 처리 수행에 따른 색상 이미지(1610)를 예시하며, 도 16b는 에지(Edge) 기반의 블럭 단위(block-wise)로 신호 처리를 수행에 따른 색상 이미지(1620)를 예시한다.
도 16b의 색상 이미지(1620)가, 도 16a의 색상 이미지(1610)에 비해, 아티팩트(artifact)가 상당히 저감되며, 노이즈에 더 강건한 것을 알 수 있다.
한편, 프로세서(170)는, 색상 이미지 생성시, 하이라이트 영역을 고려하여, 비선형 IR 제거 기법을 사용할 수 있다.
특히, 프로세서(170) 내의 색상 이미지 생성부(1030)는, IR 제거 등의 신호 처리시, 하이라이트 영역을 고려하여, 색상 이미지를 생성할 수 있다.
도 17a는 하이라이트 영역에 대응하는 제1 영역(1713)과 제2 영역(1716)을 포함하는 색상 이미지(1701)를 예시한다.
상술한 바와 같이, 픽셀 단위로, 색상 이미지 처리시, 도 17b와 같이, 제1 영역 이미지(1720)와 제2 영역 이미지(1725) 내에 각각 아티팩트(artifact)가 발생할 수 있다.
이에 따라, 프로세서(170)는, IR 제거 등의 신호 처리시, 에지(Edge) 기반의 블럭 단위(block-wise)로 신호 처리를 수행하면서, 비선형 IR 제거 기법을 사용할 수 있다.
즉, 프로세서(170)는, IR 제거 등의 신호 처리시, 하이라이트 영역에 대해, 비선형 IR 제거 기법을 사용할 수 있다.
이에 따라, 도 17c와 같이, 제1 영역 이미지(1730)와 제2 영역 이미지(1735) 내에 각각 아티팩트(artifact)가 상당히 저감될 수 있게 된다. 따라서, 노이즈에 강인한 색상 이미지의 획득이 가능하게 된다.
한편, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도를 추정하고, 추정된 휘도에 기초하여, IR 출력부(195)의 동작 제어를 위한 제어 신호(Ssc)를 출력할 수 있다.
구체적으로, 프로세서(170)는, RGBN 패턴 이미지(Ibgnr)에 기초하여, 휘도를 추정하고, 추정된 휘도 레벨이 기준 레벨 이하인 경우, IR 출력부(195)에서 적외선광이 출력되도록 제어할 수 있다.
또는, 프로세서(170)는, 조도 센서에서 센싱된 조도 레벨이 제2 기준 레벨 이하인 경우, IR 출력부(195)에서 적외선광이 출력되도록 제어할 수 있다.
한편, IR 출력부(195)의 동작은, 도 18a 내지 도 18c와 같이, 다양한 방법으로 동작할 수 있다.
예를 들어, 적외선광을 출력하는 IR 출력부(195)는, 도 18a와 같이, 오프되다가, ta1 시점 부터 계속 턴 온될 수 있다.
즉, 프로세서(170)는, IR 출력부(195)가 오프되다가, ta1 시점 부터 계속 턴 온되도록 제어할 수 있다.
다른 예로, 적외선광을 출력하는 IR 출력부(195)는, 도 18b와 같이, 오프되다가, tb1 시점에 온 되어, tb2 시점에 오프되는 등, 교호하게, 턴 온될 수 있다.
즉, 프로세서(170)는, IR 출력부(195)가, tb1 시점에 온 되어, tb2 시점에 오프되는 등, 교호하게 턴 온되도록 제어할 수 있다.
또 다른 예로, 적외선광을 출력하는 IR 출력부(195)는, 도 18c와 같이, 오프되다가, to 시점부터, 계속 온될 수 있다.
즉, 프로세서(170)는, IR 출력부(195)가, to 시점부터, 계속 온되도록 제어할 수 있다.
이와 같이, IR 출력부(195)의 동작에 따라, 저조도에 강인한 IR 이미지의 획득이 가능할 수 있게 된다.
한편, 본 발명의 카메라 장치(100)에 대해, 도 1a와 도 1b와 달리, 하나의 렌즈 장치와 하나의 이미지 센서를 이용할 수 있으며, 이미지 신호 처리도 하나의 프로세서를 이용할 수 있다.
이에 따라, 저조도에 강인한 IR 이미지, 색상 이미지의 생성이 가능하며, 다이나믹 레인지의 IR 이미지, 색상 이미지의 생성이 가능하게 된다.
또한, 아티팩트 저감되고, 노이즈에 강인한 색상 이미지와 IR 이미지의 생성이 가능하게 된다.
한편, 본 발명의 카메라 장치(100)에 대해, 도 1a와 도 1b와 달리, 하나의 렌즈 장치와 하나의 이미지 센서를 이용함으로써, 제조 비용 저감이 가능하며, 장치의 공간을 줄일 수 있어, 다양한 전자 장치에 장착시 설계 자유도가 향상될 수 있게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (14)

  1. 렌즈 장치;
    상기 렌즈 장치를 통과한 광을 전기 신호로 변환하여, RGBN 패턴 이미지를 생성하는 이미지 센서;
    상기 이미지 센서로부터의 상기 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력하는 프로세서;를 포함하는 것을 특징으로 하는 카메라 장치.
  2. 제1항에 있어서,
    상기 이미지 센서는,
    상기 렌즈 장치를 통과한 광을 RGBN 패턴으로 필터링하는 RGBN 필터;
    상기 RGBN 필터로부터의 광을 전기 신호로 변환하는 센서 어레이;를 구비하는 것을 특징으로 하는 카메라 장치.
  3. 제1항에 있어서,
    상기 RGBN 필터는 적외선광과 가시광을 RGBN 패턴으로 필터링하는 것을 특징으로 하는 카메라 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터의 상기 RGBN 패턴 이미지에 기초하여, 멀티 스펙트럼 기반의 IR 이미지를 생성하는 IR 이미지 생성부;
    상기 이미지 센서로부터의 상기 RGBN 패턴 이미지에 기초하여, RGB 기반의 색상 이미지를 출력하는 색상 이미지 생성부;를 포함하는 것을 특징으로 하는 카메라 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 이미지 센서로부터의 상기 RGBN 패턴 이미지에 기초하여, 제1 색상을 추정하는 제1 색상 추정부;를 더 포함하고,
    상기 색상 이미지 생성부는, 상기 RGBN 패턴 이미지 내의 N 패턴을 제1 색상 패턴으로 변환하여, 상기 RGB 기반의 색상 이미지를 출력하는 것을 특징으로 하는 카메라 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 RGBN 패턴 이미지 보다 작은 해상도의 멀티 스펙트럼 기반의 IR 이미지를 출력하는 것을 특징으로 하는 카메라 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 RGBN 패턴 이미지와 동일한 해상도의 멀티 스펙트럼 기반의 IR 이미지를 출력하는 것을 특징으로 하는 카메라 장치.
  8. 제4항에 있어서,
    적외선광을 출력하는 IR 출력부;를 더 포함하며,
    상기 프로세서는,
    상기 RGBN 패턴 이미지에 기초하여, 휘도를 추정하고, 상기 추정된 휘도에 기초하여, IR 출력부의 동작 제어를 위한 제어 신호를 출력하는 것을 특징으로 하는 카메라 장치.
  9. 제4항에 있어서,
    상기 프로세서는,
    상기 RGBN 패턴 이미지에 기초하여, 휘도를 추정하고, 상기 추정된 휘도 레벨이 기준 레벨 이하인 경우, 상기 IR 출력부에서 적외선광이 출력되도록 제어하는 것을 특징으로 하는 카메라 장치.
  10. 제1항에 있어서,
    조도 센서;를 더 포함하고,
    상기 프로세서는,
    상기 조도 센서에서 센싱된 조도 레벨이 제2 기준 레벨 이하인 경우, 상기 IR 출력부에서 적외선광이 출력되도록 제어하는 것을 특징으로 하는 카메라 장치.
  11. 제1항에 있어서,
    상기 멀티 스펙트럼의 파장 별 레벨은, IR 스펙트럼 보다 큰 것을 특징으로 하는 카메라 장치.
  12. 제1항에 있어서,
    적외선광을 출력하는 IR 출력부;를 더 포함하며,
    상기 프로세서는,
    상기 IR 출력부의 동작 중 상기 멀티 스펙트럼 기반의 IR 이미지와, RGB 기반의 색상 이미지를 출력하는 것을 특징으로 하는 카메라 장치.
  13. 제1항에 있어서,
    적외선광을 출력하는 IR 출력부;를 더 포함하며,
    상기 프로세서는,
    상기 IR 출력부의 동작이 중지되는 경우, 상기 멀티 스펙트럼 기반의 IR 이미지는 출력하지 않고, 상기 RGB 기반의 색상 이미지만 출력하는 것을 특징으로 하는 카메라 장치.
  14. 제1항 내지 제13항 중 어느 한 항의 카메라 장치를 구비하는 것을 특징으로 하는 전자 장치.
KR1020190007250A 2019-01-21 2019-01-21 카메라 장치 및 이를 구비하는 전자 장치 Withdrawn KR20200090347A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190007250A KR20200090347A (ko) 2019-01-21 2019-01-21 카메라 장치 및 이를 구비하는 전자 장치
PCT/KR2020/001046 WO2020153729A1 (ko) 2019-01-21 2020-01-21 카메라 장치 및 이를 구비하는 전자 장치
US17/424,400 US20220094886A1 (en) 2019-01-21 2020-01-21 Camera device, and electronic apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190007250A KR20200090347A (ko) 2019-01-21 2019-01-21 카메라 장치 및 이를 구비하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20200090347A true KR20200090347A (ko) 2020-07-29

Family

ID=71736831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190007250A Withdrawn KR20200090347A (ko) 2019-01-21 2019-01-21 카메라 장치 및 이를 구비하는 전자 장치

Country Status (3)

Country Link
US (1) US20220094886A1 (ko)
KR (1) KR20200090347A (ko)
WO (1) WO2020153729A1 (ko)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP3940696B2 (ja) * 2002-12-25 2007-07-04 株式会社岩根研究所 ハイライト抑制画像撮影装置
WO2009072537A1 (ja) * 2007-12-04 2009-06-11 Sony Corporation 画像処理装置および方法、プログラム、並びに記録媒体
US10044946B2 (en) * 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
KR20110137700A (ko) * 2010-06-17 2011-12-23 삼성전자주식회사 광학 장치 및 광학장치를 이용한 이미징 장치
KR101767093B1 (ko) * 2012-12-14 2017-08-17 한화테크윈 주식회사 색감 복원 방법 및 장치
US9967527B2 (en) * 2013-11-25 2018-05-08 JVC Kenwood Corporation Imaging device, image processing device, image processing method, and image processing program
US10013764B2 (en) * 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2017009916A (ja) * 2015-06-25 2017-01-12 キヤノン株式会社 映像表示装置、映像表示方法、およびプログラム
JP2017098863A (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法

Also Published As

Publication number Publication date
US20220094886A1 (en) 2022-03-24
WO2020153729A1 (ko) 2020-07-30

Similar Documents

Publication Publication Date Title
US7773115B2 (en) Method and system for deblurring digital camera images using reference image and motion estimation
KR101871945B1 (ko) 영상 처리 장치 및 방법
US8848063B2 (en) Image processing including image correction
US8289405B2 (en) Image processing apparatus and method thereof
US9338371B2 (en) Imaging device
US8411176B2 (en) Image input device
JP2010166558A (ja) 撮像装置
KR20100053558A (ko) 이미지 프로세싱 기기, 이미징 기기, 이미지 프로세싱 방법, 이미징 방법 및 이미징 프로세싱 프로그램
US9071764B2 (en) System and method for color imaging under low light
JP5860663B2 (ja) ステレオ撮像装置
US11275296B2 (en) Signal processing apparatus and imaging apparatus
KR102255218B1 (ko) 컬러 프린지를 제거하기 위한 이미지 처리 장치
JP6825617B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2017104411A1 (ja) 撮像素子、画像処理装置および方法、並びにプログラム
KR20180118432A (ko) 감도 개선을 위한 영상 처리 장치 및 방법
JP4346634B2 (ja) 目標物検出装置
JP6595161B2 (ja) 画像処理装置、画像処理方法、及び、撮像装置
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
WO2010109919A1 (ja) 撮像装置
CN118056408A (zh) 包括图像传感器的电子设备及其操作方法
KR20060077188A (ko) 이미지센서의 포커스 데이타 생성 장치 및 방법
US20220094886A1 (en) Camera device, and electronic apparatus including the same
JP4385748B2 (ja) 画像信号処理装置及び画像信号処理方法
KR102643588B1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
KR102690408B1 (ko) 카메라 장치 및 이를 구비하는 전자 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190121

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220119

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190121

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230618

Patent event code: PE09021S01D

PC1202 Submission of document of withdrawal before decision of registration

Comment text: [Withdrawal of Procedure relating to Patent, etc.] Withdrawal (Abandonment)

Patent event code: PC12021R01D

Patent event date: 20230718

WITB Written withdrawal of application