WO2016003106A2 - 멀티 애퍼처 카메라의 센서 어레이 - Google Patents

멀티 애퍼처 카메라의 센서 어레이 Download PDF

Info

Publication number
WO2016003106A2
WO2016003106A2 PCT/KR2015/006421 KR2015006421W WO2016003106A2 WO 2016003106 A2 WO2016003106 A2 WO 2016003106A2 KR 2015006421 W KR2015006421 W KR 2015006421W WO 2016003106 A2 WO2016003106 A2 WO 2016003106A2
Authority
WO
WIPO (PCT)
Prior art keywords
signal
sensor array
cell
white
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/006421
Other languages
English (en)
French (fr)
Other versions
WO2016003106A3 (ko
Inventor
박종호
최상길
경종민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Center for Integrated Smart Sensors Foundation
Original Assignee
Center for Integrated Smart Sensors Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Center for Integrated Smart Sensors Foundation filed Critical Center for Integrated Smart Sensors Foundation
Publication of WO2016003106A2 publication Critical patent/WO2016003106A2/ko
Anticipated expiration legal-status Critical
Publication of WO2016003106A3 publication Critical patent/WO2016003106A3/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light

Definitions

  • the present invention relates to a sensor array of a multi aperture camera, and more particularly, by configuring the sensor array to include at least one white cell and at least one IR (infrared) cell. It is a technique to improve the signal to noise ratio (SNR) of the signals processed in the sensor array.
  • SNR signal to noise ratio
  • the sensor array of a conventional dual aperture camera includes RGB cells and IR cells, whereby R cells, G cells, B cells, and IR cells (four cells) are formed in a set.
  • the existing sensor array is formed to include an IR cell 120 and an RGB cell 130 within the set 110. .
  • the RGB signal since the RGB signal selectively transmits only a specific wavelength band by the color filter, the optical power of incident light is limited so that the signal-to-noise ratio of the RGB signal processed by the RGB cell 130 may have a small value.
  • the signal-to-noise ratio of the IR signal since the IR signal is processed in one IR cell 120 in the set 110 in the conventional sensor array, the signal-to-noise ratio of the IR signal may have a small value because the area of the light receiving unit where the IR signal is sensed is small. .
  • the conventional sensor array uses an image composed of an RGB signal having a small signal-to-noise ratio value and an image composed of an IR signal having a small signal-to-noise ratio value between the subject and the sensor array from the sharpness of the image included in each image. In the process of determining the distance of P, the depth accuracy is poor.
  • the present specification proposes a technique for improving the signal-to-noise ratio of signals processed by the sensor array by configuring the sensor array of the dual aperture camera to include at least one white cell and at least one IR cell.
  • Embodiments of the present invention include at least one white cell and at least one IR cell, thereby providing a sensor array of a dual aperture camera that widens the light wavelength and the light receiving area of an incoming signal, and the distance between the object and the sensor array using the same. Provide a way to make decisions.
  • embodiments of the present invention by increasing the light wavelength and the light receiving area of the incoming signal, the sensor array of the dual aperture camera to improve the signal-to-noise ratio of the output signals from the sensor and the distance between the object and the sensor array using the same Provide a way to make decisions.
  • embodiments of the present invention by improving the signal-to-noise ratio of the output signals from the sensor, in the process of determining the distance between the subject and the sensor array, the sensor array and the subject using the dual aperture camera to improve the distance accuracy
  • a method of determining the distance between sensor arrays is provided.
  • embodiments of the present invention when a plurality of at least one white cell or at least one IR cell each includes a plurality of signals, by applying a binning technique that adds the charge of at least two pixels for each pixel of the same type A sensor array of a dual aperture camera that improves a noise ratio and a method of determining a distance between a subject and a sensor array using the same are provided.
  • a sensor array of a dual aperture camera includes at least one white cell for processing a black and white signal; And at least one IR cell for processing an infrared (IR) signal.
  • IR infrared
  • the at least one white cell and the at least one IR cell may be disposed in a single plane.
  • the plurality of the at least one white cell may be arranged to be connected to each other in a single plane.
  • the at least one IR cell may be arranged to be connected to each other in a single plane.
  • a dual aperture camera includes a lens; A lens iris for adjusting an inflow amount of at least one of a black and white signal or an infrared (IR) signal; An IR cut-off filter for adjusting an inflow wavelength of the IR signal; And a sensor array for processing the monochrome signal and the IR signal, wherein the sensor array comprises at least one white cell for processing the monochrome signal; And at least one IR cell for processing the IR signal.
  • IR infrared
  • the at least one white cell and the at least one IR cell may be disposed in a single plane.
  • the plurality of the at least one white cell may be arranged to be connected to each other in a single plane.
  • the at least one IR cell may be arranged to be connected to each other in a single plane.
  • an image including a black and white signal is obtained from at least one white cell included in the sensor array.
  • the at least one white cell and the at least one IR cell may be disposed in a single plane.
  • Embodiments of the present invention include at least one white cell and at least one IR cell, thereby providing a sensor array of a dual aperture camera that widens the light wavelength and the light receiving area of an incoming signal, and the distance between the object and the sensor array using the same. It may provide a way to make a decision.
  • embodiments of the present invention by increasing the light wavelength and the light receiving area of the incoming signal, the sensor array of the dual aperture camera to improve the signal-to-noise ratio of the output signals from the sensor and the distance between the object and the sensor array using the same It may provide a way to make a decision.
  • embodiments of the present invention by improving the signal-to-noise ratio of the output signals from the sensor, in the process of determining the distance between the subject and the sensor array, the sensor array and the subject using the dual aperture camera to improve the distance accuracy
  • a method of determining the distance between sensor arrays can be provided.
  • embodiments of the present invention improve the signal-to-noise ratio by applying a binning technique in which charges of at least two pixels are summed for each pixel of the same type when at least one white cell or at least one IR cell includes a plurality of cells.
  • a sensor array of a dual aperture camera and a method of determining a distance between a subject and a sensor array using the same may be provided.
  • FIG. 1 is a diagram illustrating a pixel structure of a sensor array of a conventional dual aperture camera.
  • FIG. 2 is a view showing the structure of a dual aperture camera according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a pixel structure of a sensor array according to a first exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a pixel structure of a sensor array according to a second exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a pixel structure of a sensor array according to a third exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of recognizing a subject using a sensor array according to an exemplary embodiment of the present invention.
  • FIG. 2 is a view showing the structure of a dual aperture camera according to an embodiment of the present invention.
  • a dual aperture camera includes a lens 210, a lens aperture 220, an IR cut-off filter 230, and a sensor array 240.
  • the dual aperture camera in the case of not including the ISP by performing the function of the image signal processor (ISP) in the sensor array 240, but is not limited to this, the dual aperture camera described above The same may apply to the case of including an ISP.
  • ISP image signal processor
  • the lens stop 220 adjusts the inflow of the optical signal (for example, the optical signal including the monochrome signal and the IR signal) incident through the lens 210.
  • the optical signal for example, the optical signal including the monochrome signal and the IR signal
  • the IR wavelength is controlled by the IR cut-off filter 230.
  • the IR cut-off filter 230 may filter the IR signal and introduce the IR signal into the sensor array 240 through the included pin hole 231.
  • the amount of light of the IR signal flowing through the pinhole 231 is 1/1 compared to the remaining light signal flowing through the lens aperture 220. Can be on the order of 10 to 1/6.
  • the sensor array 240 increases the number of pixels sensing the incoming IR signal, and furthermore, by applying the binning technique, it is possible to more efficiently sense the IR signal having a small amount of light. Therefore, the signal-to-noise ratio of the IR signal processed by the sensor array 240 can be improved compared to the conventional.
  • the sensor array 240 is configured to include at least one white cell instead of the RGB cell, so that instead of processing the RGB signal having a narrow light wavelength, a monochrome having a wide light wavelength You can process the signal.
  • sensor array 240 may be configured to include two or more white cells. Therefore, since the sensor array 240 processes a signal having a wider wavelength than the conventional sensor array, the signal-to-noise ratio of the signal to be processed may be improved as compared with the conventional one. Detailed description thereof will be described below.
  • FIG. 3 is a diagram illustrating a pixel structure of a sensor array according to a first exemplary embodiment of the present invention.
  • the sensor array according to the first embodiment of the present invention includes at least one white cell for processing a monochrome signal and at least one IR cell for processing an IR signal (eg, two sensor arrays). Or more white cells).
  • the sensor array may be formed by forming a set 330 with three white cells 310 and one IR cell 320, and including a plurality of sets 330.
  • three white cells 310 and one IR cell 320 may be disposed in a single plane.
  • the plurality of sets 330 may also be arranged in a single plane.
  • the sensor array according to the first embodiment of the present invention includes three white cells 310 in the set 330 instead of processing RGB signals having narrow optical wavelengths including the RGB cells. Since the monochrome signal having the wavelength is processed, the signal-to-noise ratio of the signal to be processed can be improved.
  • the three white cells 310 may be arranged to be connected to each other in a single plane.
  • each of the three white cells 310 may be arranged to be connected to each other left, right, and up and down. Therefore, since the binning technique of adding the black and white signal at the charge level is applied to the process of processing the black and white signal in the three white cells 310, the signal-to-noise ratio of the processed black and white signal can be efficiently improved. Detailed description of the binning technology will be omitted since it departs from the technical idea of the present invention.
  • the sensor array according to the first embodiment of the present invention includes three white cells 310 for processing a monochrome signal having a wide optical wavelength in the set 330, the signal-to-noise ratio of the monochrome signal to be processed is This has the advantage of maximizing the value.
  • FIG. 4 is a diagram illustrating a pixel structure of a sensor array according to a second exemplary embodiment of the present invention.
  • the sensor array according to the second embodiment of the present invention includes at least one white cell for processing a monochrome signal and at least one IR cell for processing an IR signal (eg, two sensor arrays). Or more white cells).
  • the sensor array may be formed by forming a set 430 with two white cells 410 and two IR cells 420, and including a plurality of sets 430.
  • two white cells 410 and two IR cells 420 may be disposed in a single plane.
  • the plurality of sets 430 may also be arranged in a single plane.
  • the sensor array according to the second embodiment of the present invention includes two white cells 410 in the set 430 instead of processing RGB signals having narrow optical wavelengths, including RGB cells. Since the monochrome signal having the wavelength is processed, the signal-to-noise ratio of the signal to be processed can be improved.
  • the sensor array according to the second embodiment of the present invention includes two IR cells 420 in the set 430, the number of pixels sensing the IR signal can be increased in comparison with the conventional sensor array. have. Therefore, the signal-to-noise ratio of the IR signal to be processed can be improved.
  • the two white cells 410 may be arranged to be connected to each other left and right or up and down in a single plane, and the two IR cells 420 may also be arranged to be connected to each other left and right or up and down in a single plane. Therefore, since the binning technique of adding the black and white signal at the charge level is applied to the processing of the black and white signal in the two white cells 410, the signal-to-noise ratio of the processed black and white signal can be efficiently improved. In addition, since the binning technique of adding the IR signal at the charge level is applied to the process of processing the IR signal in the two IR cells 420, the signal-to-noise ratio of the IR signal to be processed can be efficiently improved.
  • each of the two white cells 410 is disposed to be connected to each other from side to side, and each of the two IR cells 420 is shown to be arranged to be connected to each other from side to side, but the present invention is not limited thereto.
  • Each of the plurality of IR cells 420 may be arranged to be connected to each other vertically or diagonally.
  • the sensor array according to the second embodiment of the present invention includes two white cells 410 and two IR cells 420 in the set 430, a process of processing a monochrome signal and an IR signal may be performed. There is an advantage that can be applied to the binning technique in all the process of processing.
  • FIG. 5 is a diagram illustrating a pixel structure of a sensor array according to a third exemplary embodiment of the present invention.
  • a sensor array includes at least one white cell for processing a black and white signal and at least one IR cell for processing an IR signal.
  • the sensor array may be formed by forming a set 530 with one white cell 510 and three IR cells 520 and including a plurality of sets 530.
  • one white cell 510 and three IR cells 520 may be disposed in a single plane.
  • the plurality of sets 530 may also be arranged in a single plane.
  • the sensor array according to the third embodiment of the present invention includes one white cell 510 in the set 530 instead of processing an RGB signal having a narrow optical wavelength including the RGB cell. Since the monochrome signal having the wavelength is processed, the signal-to-noise ratio of the signal to be processed can be improved.
  • the sensor array according to the third embodiment of the present invention includes three IR cells 520 in the set 530, the number of pixels for sensing an IR signal can be increased in comparison with a conventional sensor array. have. Therefore, the signal-to-noise ratio of the IR signal to be processed can be improved.
  • the three IR cells 520 may be arranged to be connected to each other from left to right or up and down in a single plane. Therefore, since the binning technique of adding the IR signal at the charge level is applied to the process of processing the IR signal in the three IR cells 520, the signal-to-noise ratio of the IR signal to be processed can be efficiently improved.
  • the sensor array according to the third embodiment of the present invention includes three IR cells 520 in the set 530, the number of pixels for sensing the IR signal is increased, and thus the signal band of the IR signal to be processed is increased. There is an advantage to maximize the noise ratio value.
  • Such a sensor array may be optimized and used in an indoor environment lacking an IR signal.
  • FIG. 6 is a flowchart illustrating a method of recognizing a subject using a sensor array according to an exemplary embodiment of the present invention.
  • a dual aperture camera processes a black and white signal to obtain an image composed of a black and white signal in at least one white cell included in a sensor array (610).
  • the dual aperture camera processes the black and white signal having the wide light wavelength by using at least one white cell instead of processing the RGB signal having the narrow light wavelength by using the RGB cell.
  • Signal-to-noise ratio can be improved.
  • the dual aperture camera processes the IR signal to obtain an image composed of the IR signal in at least one IR (infrared) cell included in the sensor array (620).
  • the dual aperture camera may increase the area of the light receiving unit sensing the IR signal by increasing the number of at least one IR cell included in the sensor array. Therefore, the dual aperture camera can improve the signal-to-noise ratio of the IR signal to be processed.
  • At least one white cell and at least one IR cell may be arranged in a single plane.
  • the plurality of at least one white cell may be arranged to be connected to each other, and when the at least one IR cell is included in a plurality, the plurality of at least one IR cell may include It may be arranged to be connected to each other.
  • the dual aperture camera may apply a binning technique of adding an IR signal at a charge level in a process of processing a monochrome signal or processing an IR signal.
  • the dual aperture camera determines a distance between the sensor array and the subject based on a blur change for the subject included in each of the image composed of the monochrome signal and the image composed of the IR signal.
  • the dual aperture camera may use various conventional algorithms as an algorithm for determining the distance between the sensor array and the subject. For example, the dual aperture camera obtains a plurality of blur patches through predetermined processing on an image composed of an IR signal, and an image composed of a black and white signal for each of the obtained plurality of blur patches. By calculating the difference value with, the value having the least error among the plurality of difference values may be determined as the distance between the sensor array and the subject.
  • the dual aperture camera recognizes the subject using the distance between the sensor array and the subject based on at least one of an image composed of a black and white signal or an image composed of an IR signal (640).
  • the dual aperture camera that recognizes a subject uses an image composed of a black and white signal
  • the dual aperture camera may be used for a purpose such as gesture recognition that does not require an RGB image.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

듀얼 애퍼처 카메라(dual aperture camera)의 센서 어레이(sensor array)는 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및 IR(infrared) 신호를 처리하는 적어도 하나의 IR 셀을 포함한다.

Description

멀티 애퍼처 카메라의 센서 어레이
본 발명은 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor array)에 관한 것으로, 보다 구체적으로, 적어도 하나의 화이트 셀 및 적어도 하나의 IR(infrared) 셀을 포함하도록 센서 어레이를 구성함으로써, 센서 어레이에서 처리하는 신호들의 신호대잡음비(signal to noise ratio; SNR)를 개선하는 기술이다.
기존의 듀얼 애퍼처 카메라의 센서 어레이는 RGB 셀 및 IR 셀을 포함함으로써, R 셀, G 셀, B 셀 및 IR 셀(네 개의 셀들)이 세트를 이루어 형성된다. 예를 들어, 기존의 듀얼 애퍼처 카메라의 센서 어레이의 화소 구조를 나타낸 도 1을 살펴보면, 기존의 센서 어레이는 세트(110) 내에서 IR 셀(120) 및 RGB 셀(130)을 포함하도록 형성된다.
기존의 센서 어레이에서 RGB 신호는 컬러 필터에 의해 특정 파장 대역만을 선택적으로 투과하기 때문에, 입사광의 광 파워가 제한되어 RGB 셀(130)에서 처리하는 RGB 신호의 신호대잡음비는 작은 값을 가질 수 있다. 또한, 기존의 센서 어레이에서 IR 신호는 세트(110) 내에서 하나의 IR 셀(120)에서 처리되므로, IR 신호가 센싱되는 수광부 면적이 작기 때문에, IR 신호의 신호대잡음비는 작은 값을 가질 수 있다.
따라서, 기존의 센서 어레이는 작은 신호대잡음비 값을 갖는 RGB 신호로 구성되는 이미지 및 작은 신호대잡음비 값을 갖는 IR 신호로 구성되는 이미지를 이용하여 각각의 이미지에 포함되는 영상의 선명도로부터 피사체와 센서 어레이 사이의 거리를 결정하는 과정에서, 깊이 정확도(depth accuracy)가 떨어지는 단점이 있다.
이에, 본 명세서에서는 듀얼 애퍼처 카메라의 센서 어레이를 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀을 포함하도록 구성함으로써, 센서 어레이에서 처리하는 신호들의 신호대잡음비를 개선하는 기술을 제안한다.
본 발명의 실시예들은 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀을 포함함으로써, 유입되는 신호의 광 파장 및 수광부 면적을 넓히는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
또한, 본 발명의 실시예들은 유입되는 신호의 광 파장 및 수광부 면적을 넓힘으로써, 센서로부터의 출력 신호들의 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
또한, 본 발명의 실시예들은 센서로부터의 출력 신호들의 신호대잡음비를 개선함으로써, 피사체와 센서 어레이 사이의 거리를 결정하는 과정에서, 거리 정확도를 향상시키는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
또한, 본 발명의 실시예들은 적어도 하나의 화이트 셀 또는 적어도 하나의 IR 셀 각각이 복수 개가 포함되는 경우, 동일한 종류의 화소별로 적어도 두 개 이상의 화소의 전하를 합하는 빈닝(binning) 기술을 적용하여 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공한다.
본 발명의 일실시예에 따른 듀얼 애퍼처 카메라(dual aperture camera)의 센서 어레이(sensor array)는 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및 IR(infrared) 신호를 처리하는 적어도 하나의 IR 셀을 포함한다.
상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다.
상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 화이트 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 IR 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
본 발명의 일실시예에 따른 듀얼 애퍼처 카메라(dual aperture camera)는 렌즈; 흑백 신호 또는 IR(infrared) 신호 중 적어도 하나의 유입량을 조절하는 렌즈 조리개; 상기 IR 신호의 유입 파장을 조절하는 IR 컷 오프 필터; 및 상기 흑백 신호 및 상기 IR 신호를 처리하는 센서 어레이(sensor array)를 포함하고, 상기 센서 어레이는 상기 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및 상기 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다.
상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다.
상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 화이트 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 IR 셀은 단일 평면에서 서로 연결되도록 배치될 수 있다.
본 발명의 일실시예에 따른 듀얼 애퍼처 카메라(dual aperture camera)에서 센서 어레이(sensor array)를 이용한 피사체 인식 방법은 상기 센서 어레이에 포함되는 적어도 하나의 화이트 셀에서 흑백 신호로 구성되는 이미지를 획득하기 위하여 상기 흑백 신호를 처리하는 단계; 상기 센서 어레이에 포함되는 적어도 하나의 IR(infrared) 셀에서 IR 신호로 구성되는 이미지를 획득하기 위하여 상기 IR 신호를 처리하는 단계; 상기 흑백 신호로 구성되는 이미지 및 상기 IR 신호로 구성되는 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur) 변화에 기초하여 상기 센서 어레이와 상기 피사체 사이의 거리를 결정하는 단계; 및 상기 흑백 신호로 구성되는 이미지 또는 상기 IR 신호로 구성되는 이미지 중 적어도 하나를 기초로, 상기 센서 어레이와 상기 피사체 사이의 거리를 이용하여 상기 피사체를 인식하는 단계를 포함한다.
상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다.
본 발명의 실시예들은 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀을 포함함으로써, 유입되는 신호의 광 파장 및 수광부 면적을 넓히는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
또한, 본 발명의 실시예들은 유입되는 신호의 광 파장 및 수광부 면적을 넓힘으로써, 센서로부터의 출력 신호들의 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
또한, 본 발명의 실시예들은 센서로부터의 출력 신호들의 신호대잡음비를 개선함으로써, 피사체와 센서 어레이 사이의 거리를 결정하는 과정에서, 거리 정확도를 향상시키는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
또한, 본 발명의 실시예들은 적어도 하나의 화이트 셀 또는 적어도 하나의 IR 셀 각각이 복수 개가 포함되는 경우, 동일한 종류의 화소별로 적어도 두 개 이상의 화소의 전하를 합하는 빈닝 기술을 적용하여 신호대잡음비를 개선하는 듀얼 애퍼처 카메라의 센서 어레이 및 이를 이용한 피사체와 센서 어레이 사이의 거리를 결정하는 방법을 제공할 수 있다.
도 1은 기존의 듀얼 애퍼처 카메라의 센서 어레이의 화소 구조를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라의 구조를 나타낸 도면이다.
도 3은 본 발명의 제1 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 4는 본 발명의 제2 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 5는 본 발명의 제3 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 센서 어레이를 이용한 피사체 인식 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라의 구조를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라는 렌즈(210), 렌즈 조리개(220), IR 컷 오프 필터(230) 및 센서 어레이(240)를 포함한다. 이하, ISP(Image Signal Processor)의 기능을 센서 어레이(240)에서 수행함으로써, ISP를 포함하지 않는 경우의 듀얼 애퍼처 카메라에 대해 상술하지만, 이에 제한되거나 한정되지 않고, 상술되는 듀얼 애퍼처 카메라는 ISP를 포함하는 경우에도 마찬가지로 적용될 수 있다.
여기서, 렌즈 조리개(220)는 렌즈(210)를 통하여 입사되는 광 신호(예컨대, 흑백 신호 및 IR 신호를 포함하는 광 신호)의 유입량을 조절한다.
렌즈 조리개(220)를 통하여 유입되는 광 신호 중 IR 신호는 IR 컷 오프 필터(230)에 의해 유입 파장이 조절된다. 구체적으로, IR 컷 오프 필터(230)는 IR 신호를 필터링하고, 포함되는 핀 홀(231)을 통하여 IR 신호를 센서 어레이(240)로 유입시킬 수 있다. 이 때, 핀 홀(231)의 크기는 렌즈 조리개(220)보다 작기 때문에, 핀 홀(231)을 통하여 유입되는 IR 신호의 광량은 렌즈 조리개(220)를 통하여 유입되는 나머지 광 신호에 비해 1/10 내지 1/6 수준으로 적을 수 있다.
본 발명의 일실시예에 따른 센서 어레이(240)는 유입되는 IR 신호를 센싱하는 화소수를 늘리고, 더 나아가 빈닝 기술을 적용함으로써, 적은 광량의 IR 신호를 보다 효율적으로 센싱할 수 있다. 따라서, 센서 어레이(240)에서 처리하는 IR 신호의 신호대잡음비가 기존에 비해 개선될 수 있다.
또한, 본 발명의 일실시예에 따른 센서 어레이(240)는 RGB 셀 대신에 적어도 하나의 화이트 셀을 포함하도록 구성됨으로써, 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 넓은 광 파장을 갖는 흑백 신호를 처리할 수 있다. 예를 들어, 센서 어레이(240)는 두 개 이상의 화이트 셀을 포함하도록 구성될 수 있다. 따라서, 센서 어레이(240)는 기존의 센서 어레이 보다 넓은 광 파장의 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 기존에 비해 개선할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 3은 본 발명의 제1 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 제1 실시예에 따른 센서 어레이는 흑백 신호를 처리하는 적어도 하나의 화이트 셀 및 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다(예컨대, 센서 어레이는 두 개 이상의 화이트 셀을 포함할 수 있음). 구체적으로, 센서 어레이는 세 개의 화이트 셀들(310) 및 한 개의 IR 셀(320)로 세트(330)를 이루고, 세트(330)를 복수 개 구비함으로써, 형성될 수 있다. 여기서, 세 개의 화이트 셀들(310) 및 한 개의 IR 셀(320)은 단일 평면에 배치될 수 있다. 마찬가지로, 복수 개의 세트(330) 역시 단일 평면에 배치될 수 있다.
따라서, 본 발명의 제1 실시예에 따른 센서 어레이는 RGB 셀을 포함하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 세트(330) 내에서 세 개의 화이트 셀들(310)을 포함하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
이 때, 세 개의 화이트 셀들(310)은 단일 평면에서 서로 연결되도록 배치될 수 있다. 예를 들어, 세 개의 화이트 셀들(310) 각각은 좌우 및 상하로 서로 연결되도록 배치될 수 있다. 따라서, 세 개의 화이트 셀들(310)에서 흑백 신호를 처리하는 과정에 흑백 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 흑백 신호의 신호대잡음비가 효율적으로 개선될 수 있다. 빈닝 기술에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
이와 같이, 본 발명의 제1 실시예에 따른 센서 어레이는 세트(330) 내에서 넓은 광 파장을 갖는 흑백 신호를 처리하는 세 개의 화이트 셀들(310)을 포함하기 때문에, 처리하는 흑백 신호의 신호대잡음비 값을 최대화할 수 있는 이점이 있다.
도 4는 본 발명의 제2 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 제2 실시예에 따른 센서 어레이는 흑백 신호를 처리하는 적어도 하나의 화이트 셀 및 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다(예컨대, 센서 어레이는 두 개 이상의 화이트 셀을 포함할 수 있음). 구체적으로, 센서 어레이는 두 개의 화이트 셀들(410) 및 두 개의 IR 셀들(420)로 세트(430)를 이루고, 세트(430)를 복수 개 구비함으로써, 형성될 수 있다. 여기서, 두 개의 화이트 셀들(410) 및 두 개의 IR 셀들(420)은 단일 평면에 배치될 수 있다. 마찬가지로, 복수 개의 세트(430) 역시 단일 평면에 배치될 수 있다.
따라서, 본 발명의 제2 실시예에 따른 센서 어레이는 RGB 셀을 포함하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 세트(430) 내에서 두 개의 화이트 셀들(410)을 포함하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
또한, 본 발명의 제2 실시예에 따른 센서 어레이는 세트(430) 내에서 두 개의 IR 셀들(420)을 포함하여 구성되기 때문에, 기존의 센서 어레이에 비해 IR 신호를 센싱하는 화소수를 늘릴 수 있다. 따라서, 처리하는 IR 신호의 신호대잡음비를 개선할 수 있다.
이 때, 두 개의 화이트 셀들(410)은 단일 평면에서 좌우 또는 상하로 서로 연결되도록 배치될 수 있고, 두 개의 IR 셀들(420) 역시 단일 평면에서 좌우 또는 상하로 서로 연결되도록 배치될 수 있다. 따라서, 두 개의 화이트 셀들(410)에서 흑백 신호를 처리하는 과정에 흑백 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 흑백 신호의 신호대잡음비가 효율적으로 개선될 수 있다. 또한, 두 개의 IR 셀들(420)에서 IR 신호를 처리하는 과정에 IR 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 IR 신호의 신호대잡음비가 효율적으로 개선될 수 있다.
도면에는 두 개의 화이트 셀들(410) 각각이 좌우로 서로 연결되도록 배치되고, 두 개의 IR 셀들(420) 각각이 좌우로 서로 연결되도록 배치된 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 두 개의 화이트 셀들(410) 각각이 상하 또는 대각선으로 서로 연결되도록 배치될 수 있고, 두 개의 IR 셀들(420) 각각이 상하 또는 대각선으로 서로 연결되도록 배치될 수도 있다.
이와 같이, 본 발명의 제2 실시예에 따른 센서 어레이는 세트(430) 내에서 두 개의 화이트 셀들(410) 및 두 개의 IR 셀들(420)을 포함하기 때문에, 흑백 신호를 처리하는 과정 및 IR 신호를 처리하는 과정 모두에서 빈닝 기술을 적용할 수 있는 이점이 있다.
도 5는 본 발명의 제3 실시예에 따른 센서 어레이의 화소 구조를 나타낸 도면이다.
*도 5를 참조하면, 본 발명의 제3 실시예에 따른 센서 어레이는 흑백 신호를 처리하는 적어도 하나의 화이트 셀 및 IR 신호를 처리하는 적어도 하나의 IR 셀을 포함한다. 구체적으로, 센서 어레이는 한 개의 화이트 셀(510) 및 세 개의 IR 셀들(520)로 세트(530)를 이루고, 세트(530)를 복수 개 구비함으로써, 형성될 수 있다. 여기서, 한 개의 화이트 셀(510) 및 세 개의 IR 셀들(520)은 단일 평면에 배치될 수 있다. 마찬가지로, 복수 개의 세트(530) 역시 단일 평면에 배치될 수 있다.
따라서, 본 발명의 제3 실시예에 따른 센서 어레이는 RGB 셀을 포함하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 세트(530) 내에서 한 개의 화이트 셀 (510)을 포함하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
또한, 본 발명의 제3 실시예에 따른 센서 어레이는 세트(530) 내에서 세 개의 IR 셀들(520)을 포함하여 구성되기 때문에, 기존의 센서 어레이에 비해 IR 신호를 센싱하는 화소수를 늘릴 수 있다. 따라서, 처리하는 IR 신호의 신호대잡음비를 개선할 수 있다.
이 때, 세 개의 IR 셀들(520)은 단일 평면에서 좌우 또는 상하로 서로 연결되도록 배치될 수 있다. 따라서, 세 개의 IR 셀들(520)에서 IR 신호를 처리하는 과정에 IR 신호를 전하레벨에서 더하는 빈닝 기술이 적용되기 때문에, 처리하는 IR 신호의 신호대잡음비가 효율적으로 개선될 수 있다.
이와 같이, 본 발명의 제3 실시예에 따른 센서 어레이는 세트(530) 내에서 세 개의 IR 셀들(520)을 포함하기 때문에, IR 신호를 센싱하는 화소수를 증가시켜, 처리하는 IR 신호의 신호대잡음비 값을 최대화할 수 있는 이점이 있다. 이러한 센서 어레이는 IR 신호가 부족한 실내환경에서 최적화되어 사용될 수 있다.
도 6은 본 발명의 일실시예에 따른 센서 어레이를 이용한 피사체 인식 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 듀얼 애퍼처 카메라는 센서 어레이에 포함되는 적어도 하나의 화이트 셀에서 흑백 신호로 구성되는 이미지를 획득하기 위하여 흑백 신호를 처리한다(610). 이 때, 듀얼 애퍼처 카메라는 RGB 셀을 이용하여 좁은 광 파장을 갖는 RGB 신호를 처리하는 대신에, 적어도 하나의 화이트 셀을 이용하여 넓은 광 파장을 갖는 흑백 신호를 처리하기 때문에, 처리하는 신호의 신호대잡음비를 개선할 수 있다.
이어서, 듀얼 애퍼처 카메라는 센서 어레이에 포함되는 적어도 하나의 IR(infrared) 셀에서 IR 신호로 구성되는 이미지를 획득하기 위하여 IR 신호를 처리한다(620). 이 때, 듀얼 애퍼처 카메라는 센서 어레이에 포함되는 적어도 하나의 IR 셀의 개수를 증가시킴으로써, IR 신호를 센싱하는 수광부 면적을 넓힐 수 있다. 따라서, 듀얼 애퍼처 카메라는 처리하는 IR 신호의 신호대잡음비를 개선할 수 있다.
여기서, 적어도 하나의 화이트 셀 및 적어도 하나의 IR 셀은 단일 평면에 배치될 수 있다. 또한, 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 적어도 하나의 화이트 셀은 서로 연결되도록 배치될 수 있고, 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 적어도 하나의 IR 셀은 서로 연결되도록 배치될 수 있다. 따라서, 듀얼 애퍼처 카메라는 흑백 신호를 처리하는 과정 또는 IR 신호를 처리하는 과정에 IR 신호를 전하레벨에서 더하는 빈닝 기술을 적용할 수 있다.
그 다음, 듀얼 애퍼처 카메라는 흑백 신호로 구성되는 이미지 및 IR 신호로 구성되는 이미지 각각에 포함되는 피사체에 대한 블러(blur) 변화에 기초하여 센서 어레이와 피사체 사이의 거리를 결정한다(630).
이 때, 듀얼 애퍼처 카메라는 센서 어레이와 피사체 사이의 거리를 결정하는 알고리즘으로 기존의 다양한 알고리즘을 이용할 수 있다. 예를 들어, 듀얼 애퍼처 카메라는 IR 신호로 구성되는 이미지에 대해 미리 정해진 처리를 통하여 복수의 블러 패치(blured patch)들을 획득하고, 획득된 복수의 블러 패치들 각각에 대해 흑백 신호로 구성되는 이미지와의 차이값을 계산함으로써, 복수의 차이값들 중 가장 에러가 작은 값을 센서 어레이와 피사체 사이의 거리로 결정할 수 있다.
그 후, 듀얼 애퍼처 카메라는 흑백 신호로 구성되는 이미지 또는 IR 신호로 구성되는 이미지 중 적어도 하나를 기초로, 센서 어레이와 피사체 사이의 거리를 이용하여 상기 피사체를 인식한다(640).
이와 같이 피사체를 인식하는 듀얼 애퍼처 카메라는 흑백 신호를 구성되는 이미지를 이용하기 때문에, RGB 이미지가 필요하지 않은 제스처 인식과 같은 용도로 이용될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor array)에 있어서,
    흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및
    IR(infrared) 신호를 처리하는 적어도 하나의 IR 셀
    을 포함하는 센서 어레이.
  2. 제1항에 있어서,
    상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은
    단일 평면에 배치되는 센서 어레이.
  3. 제1항에 있어서,
    상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 화이트 셀은
    단일 평면에서 서로 연결되도록 배치되는 센서 어레이.
  4. 제1항에 있어서,
    상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 IR 셀은
    단일 평면에서 서로 연결되도록 배치되는 센서 어레이.
  5. 렌즈;
    흑백 신호 또는 IR(infrared) 신호 중 적어도 하나의 유입량을 조절하는 렌즈 조리개;
    상기 IR 신호의 유입 파장을 조절하는 IR 컷 오프 필터; 및
    상기 흑백 신호 및 상기 IR 신호를 처리하는 센서 어레이(sensor array)
    를 포함하고,
    상기 센서 어레이는
    상기 흑백 신호를 처리하는 적어도 하나의 화이트 셀; 및
    상기 IR 신호를 처리하는 적어도 하나의 IR 셀
    을 포함하는 듀얼 애퍼처 카메라(dual aperture camera).
  6. 제5항에 있어서,
    상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은
    단일 평면에 배치되는 멀티 애퍼처 카메라.
  7. 제5항에 있어서,
    상기 적어도 하나의 화이트 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 화이트 셀은
    단일 평면에서 서로 연결되도록 배치되는 멀티 애퍼처 카메라.
  8. 제5항에 있어서,
    상기 적어도 하나의 IR 셀이 복수 개가 포함되는 경우, 복수 개의 상기 적어도 하나의 IR 셀은
    단일 평면에서 서로 연결되도록 배치되는 멀티 애퍼처 카메라.
  9. 멀티 애퍼처 카메라(multi aperture camera)에서 센서 어레이(sensor array)를 이용한 피사체 인식 방법에 있어서,
    상기 센서 어레이에 포함되는 적어도 하나의 화이트 셀에서 흑백 신호로 구성되는 이미지를 획득하기 위하여 상기 흑백 신호를 처리하는 단계;
    상기 센서 어레이에 포함되는 적어도 하나의 IR(infrared) 셀에서 IR 신호로 구성되는 이미지를 획득하기 위하여 상기 IR 신호를 처리하는 단계;
    상기 흑백 신호로 구성되는 이미지 및 상기 IR 신호로 구성되는 이미지 각각에 포함되는 상기 피사체에 대한 블러(blur) 변화에 기초하여 상기 센서 어레이와 상기 피사체 사이의 거리를 결정하는 단계; 및
    상기 흑백 신호로 구성되는 이미지 또는 상기 IR 신호로 구성되는 이미지 중 적어도 하나를 기초로, 상기 센서 어레이와 상기 피사체 사이의 거리를 이용하여 상기 피사체를 인식하는 단계
    를 포함하는 피사체 인식 방법.
  10. 제9항에 있어서,
    상기 적어도 하나의 화이트 셀 및 상기 적어도 하나의 IR 셀은
    단일 평면에 배치되는 피사체 인식 방법.
PCT/KR2015/006421 2014-07-01 2015-06-24 멀티 애퍼처 카메라의 센서 어레이 Ceased WO2016003106A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0081893 2014-07-01
KR1020140081893A KR101575964B1 (ko) 2014-07-01 2014-07-01 듀얼 애퍼처 카메라의 센서 어레이

Publications (2)

Publication Number Publication Date
WO2016003106A2 true WO2016003106A2 (ko) 2016-01-07
WO2016003106A3 WO2016003106A3 (ko) 2017-05-26

Family

ID=55020059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006421 Ceased WO2016003106A2 (ko) 2014-07-01 2015-06-24 멀티 애퍼처 카메라의 센서 어레이

Country Status (2)

Country Link
KR (1) KR101575964B1 (ko)
WO (1) WO2016003106A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101764504B1 (ko) * 2015-12-15 2017-08-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 블러 채널을 적응적으로 선택하는 멀티 애퍼처 카메라 및 그 동작 방법
KR101684194B1 (ko) * 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
DE102018222865A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858034B1 (ko) * 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
JP5670456B2 (ja) * 2009-08-25 2015-02-18 アイピーリンク・リミテッド カラー画像のノイズを低減すること

Also Published As

Publication number Publication date
KR101575964B1 (ko) 2015-12-11
WO2016003106A3 (ko) 2017-05-26

Similar Documents

Publication Publication Date Title
US10498990B2 (en) Imaging systems with high dynamic range and phase detection pixels
EP4398304A3 (en) Image sensor including color separating lens array and electronic device including the image sensor
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
WO2014189232A1 (en) Electronic sensor and method for controlling the same
WO2021137555A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2013137637A1 (en) Imaging apparatus and image sensor thereof
WO2023179527A1 (zh) 摄像模组、摄像模组的控制方法以及电子设备
WO2015005672A1 (en) Image generating apparatus and method and non-transitory recordable medium
WO2023277665A1 (ko) 전자 장치 및 그 제어 방법
WO2013062345A1 (ko) 비전시스템의 이미지 품질 향상을 위한 컬러조명 제어방법
CN104064577A (zh) 自动对焦的图像传感器
WO2016003106A2 (ko) 멀티 애퍼처 카메라의 센서 어레이
WO2015178536A1 (ko) 화질 개선 장치, 이를 가지는 디지털 촬영 장치 및 화질 개선 방법
US11418707B2 (en) Electronic device and notification method
WO2016098912A1 (ko) 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법
CN104079903B (zh) 高动态范围的彩色及灰度图像传感器
WO2022108365A1 (ko) 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치
WO2014077475A1 (ko) 칼라 마이크로 렌즈를 구비한 cmos 이미지센서 및 그 제조방법
KR20170036415A (ko) 양면 이미지 센서
WO2016048040A1 (ko) 광학 이미지 검출 장치
CN113037982B (zh) 传感器组件及电子设备
WO2023038459A1 (ko) 전자 장치 및 그 제어 방법
CN115242949A (zh) 摄像模组与电子设备
WO2015178534A1 (ko) 화질 개선 장치, 이를 가지는 디지털 촬영 장치 및 화질 개선 방법
WO2022203192A1 (ko) 공통 홀을 통해 조명 기능 및 광원 감지 기능을 동시에 수행 가능한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814671

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15814671

Country of ref document: EP

Kind code of ref document: A2