CN116419082A - 高动态成像的实现方法及其装置、图像处理系统 - Google Patents

高动态成像的实现方法及其装置、图像处理系统 Download PDF

Info

Publication number
CN116419082A
CN116419082A CN202111657558.3A CN202111657558A CN116419082A CN 116419082 A CN116419082 A CN 116419082A CN 202111657558 A CN202111657558 A CN 202111657558A CN 116419082 A CN116419082 A CN 116419082A
Authority
CN
China
Prior art keywords
unit
voltage
signal
column
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111657558.3A
Other languages
English (en)
Inventor
乔劲轩
魏经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Galaxycore Shanghai Ltd Corp
Original Assignee
Galaxycore Shanghai Ltd Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Galaxycore Shanghai Ltd Corp filed Critical Galaxycore Shanghai Ltd Corp
Priority to CN202111657558.3A priority Critical patent/CN116419082A/zh
Priority to PCT/CN2022/123969 priority patent/WO2023124355A1/zh
Priority to US18/864,408 priority patent/US20250247635A1/en
Publication of CN116419082A publication Critical patent/CN116419082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供一种高动态成像的实现方法及其装置、图像处理系统，其中，所述高动态成像装置包括图像传感器，所述图像传感器中的像素阵列，包括多个像素单元；列处理单元，包括增益控制单元和模数转换单元；所述像素单元包括两个具有不同感光灵敏度的光电转换单元；所述增益控制单元，用于根据所述像素单元输出的信号电压判断图像所处的亮度范围，并根据所述亮度范围选择所述像素单元中进行信号转换的光电转换单元、所述像素单元的电荷‑电压转换增益和所述列处理单元的电压增益。本发明提供的高动态成像的实现方法及其装置、图像处理可以只读出一次信号电压，缩短行读出时间，进而提高帧率。

Description

高动态成像的实现方法及其装置、图像处理系统
技术领域
本发明涉及图像传感器技术领域，尤其涉及一种高动态成像的实现方法及其装置、图像处理系统。
背景技术
高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。
CMOS图像传感器（CMOS image sensor，CIS）广泛应用到手机、监控安防、机器视觉、消费电子等各个领域，应用领域的拓展对CIS的性能指标提出了更高的要求。动态范围（dynamic range）是CIS的重要指标之一，在监控安防、自动驾驶等较为复杂的应用场景中尤为关键。
高动态范围图像传感器HDRCIS有多种实现方法，例如可通过融合多幅不同曝光时间的图像，得到高动态范围的最终图像，也可以通过一个像素中包含感光灵敏度不同的两个光电二极管实现，应用这种像素结构的技术称为双转换增益（dual conversion gain，DCG）像素结构或者称为分裂二极管（split photodiode pixel，SPP）像素结构。
近几年dual photodiode在HDR CIS 设计中得到了一些关注和应用，并衍生出DCG+dual photodiode（双光电二极管）的结构，但是整个读出周期较长，速度较慢。
比如，现有技术中有一种三捕获高动态范围（HDR）CMOS图像传感器，将分裂二极管像素技术与双转换增益（DCG）读出相结合，以实现HDR和消除LED闪烁（LEDflickermitigation，LFM）。其具体的像素电路图和读出时序图分别如图1和图2所示。
该像素包括：一个感光灵敏度较大的光电二极管LPD，一个感光灵敏度较小的光电二极管SPD，LPD的转移门TXL，SPD的转移门TXS，浮动扩散门DFD，复位晶体管RST，像素源跟随晶体管SF和选择晶体管RS。
其中，光电二极管LPD和光电二极管SPD的浮动扩散节点FD（flating diffusion）由DFD晶体管隔开为FD1和FD2。通过在FD1和FD2之间使用浮动扩散门DFD来增加像素源跟随晶体管SF的栅极等效电容C从而获得低转换增益。通过关断DFD得到高转换增益CG。感光灵敏度较大的光电二极管LPD的电荷在低转换增益模式LCG和高转化增益模式HCG都可以被感知，而感光灵敏度较小的光电二极管SPD只能在LCG模式下被读出。
因而该传感器能够获取三个感测值，分别为：感光灵敏度较大的光敏二极管LPD分别暴露在高转换增益下获取的HCG、感光灵敏度较大的光电二极管LPD暴露在低转换增益下获取的LCG，和感光灵敏度较小的光电二极管（SPD）暴露在低转换增益下获取的SPD。
HCG、LCG和SPD这三个感测值使用数字相关双采样电路读出，然后进行数字组合，形成线性输出像素值。
现有技术中另一种高动态范围图像传感器的像素结构和工作时序如图3和图4所示。其中，图3显示了一个简化的高动态范围图像传感器的像素的原理图。该像素采用了一个大的光电二极管SP1，一个小的光电二极管SP2，一个像素内浮动电容FC和七个晶体管。SP2的灵敏度小于SP1的灵敏度。这七个晶体管是：SP1的转移门TGL，SP2的转移门TGS，浮动扩散门FDG，浮动电容门FCG，复位晶体管RST，选择晶体管SEL，源跟随放大器AMP。FDG和FCG将浮动扩散节点FD（flatingdiffusion）分离为FD1、FD2和FD3，且FDG和FCG作为连接FD1、FD2和FD3的开关。FC的两个电极分别连接到FD3和电源电压VDD为FC VDD的对电极。
简化后的时序图如图4所示。将SP 1中积累的电荷通过FDG开关转换成两种模式，即高转换增益模式(SP1H)和低转换增益模式(SP1L)。在SP2中积累的电荷被读出为SP2H。电荷积聚起来与SP2合并读出为SP2L。这样，一次曝光就能读出四个信号。为每个像素选择信噪比最高的信号，然后合成一张图像。
由以上两个现有技术可以看出，第一种现有技术HDR是利用多组读出数据拼成高动态范围的图像而实现，这种结构下为了实现HDR需要读出至少3组信号（signal）和重置（reset），总共6个数据。
而上述第二种现有技术需要读出4组信号（signal）和重置（reset），总共8个数据。
由此可知，现有技术中为了实现高动态范围的图像需要读取的数据量较大，读出周期长。
发明内容
本发明的目的在于提供新型的高动态范围（high dynamic range，HDR）图像传感器的实现方法，缩短读出周期，实现高动态范围的CMOS 图像传感器。
为了解决上述技术问题，本发明提供一种一种高动态成像的实现方法，所述高动态成像的实现方法基于图像传感器实现，所述图像传感器的像素单元具有多个电荷-电压转换增益档位，所述图像传感器的列信号处理单元具有多个电压增益档位，所述像素单元包括两个具有不同感光灵敏度的光电转换单元；
所述实现方法包括：
清空当前行各所述像素单元的光电转换单元；
对当前行各所述光电转换单元上的光生载流子进行积分；
对当前行各所述像素单元的浮置扩散区进行复位；
设置当前行各所述像素单元的电荷-电压转换增益档位；
设置图像传感器的列信号处理单元的电压增益档位；
转换并保存浮置扩散区复位后的参考电压在某一特定档位设置状态下的转换参考值，或多个档位设置状态的多个转换参考值；
控制当前行各所述像素单元的转移晶体管，将各所述像素单元的光生载流子全部或部分地从感光灵敏度较高的所述光电转换单元转移到对应的浮置扩散区；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地设置该列对应的像素单元的电荷-电压转换增益档位；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地设置该列信号处理单元的电压增益档位；
各列信号处理单元同时转换对应像素单元的浮置扩散区的信号电压，得到当前行的转换信号值；
处理所述转换信号值和一个或多个所述转换参考值，得到当前行的各像素单元在相应档位的图像信号值。
优选地，根据所述像素单元输出的信号电压判断图像所处的亮度范围。
优选地，根据所述亮度范围调整所述像素单元中进行信号转换的光电转换单元、所述像素单元的电荷-电压转换增益和所述列处理单元的电压增益。
优选地，所述当前行的不同列信号处理单元具有不同的电压增益档位。
优选地，提供增益档位电压与所述像素单元的输出信号电压进行一次或多次比较，以判断当前图像所处的亮度范围。
优选地，根据所述图像所处的亮度范围，产生对所述像素单元中光电转换单元选择、转换增益设置和所述列处理单元的电压增益设置的控制信号。
优选地，所述当前行的不同像素单元具有不同的电荷-电压转换增益档位。
优选地，所述当前行的不同像素单元选择不同感光灵敏度的光电转换单元进行信号转换。
优选地，所述各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元，设置所述像素单元的电荷-电压转换增益档位，和设置该列的信号处理单元电压增益档位的步骤，包括：
根据所述光电转换单元灵敏度、所述电压增益档位和所述电荷-电压转换增益档位设置多种档位组合，每种所述档位组合对应不同的电压区间；
判断检测到的所述浮置扩散区的信号电压所在的电压区间，进而确定该电压区间对应的所述档位组合，同时选择进行信号转换的光电转换单元，设置所述电压增益档位和所述电荷-电压转换增益档位。
优选地，所述各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元，设置所述像素单元的电荷-电压转换增益档位，设置该列的信号处理单元电压增益档位，包括：
根据检测到的所述浮置扩散区的信号电压与预设的第一电压区间，确定所述信号电压对应的信号处理单元电压增益档位；
根据检测到的所述浮置扩散区的信号电压与预设的第二电压区间，确定所述信号电压对应的像素单元的电荷-电压转换增益档位；
根据检测到的所述浮置扩散区的信号电压与预设的第三电压区间，确定所述信号电压对应的像素单元中进行信号转换的光电转换单元。
优选地，所述图像信号根据所述电压增益档位和所述电荷-电压转换增益档位分为多个子段，各所述信号处理单元根据所选择发对应子段进行信号量化，同时输出所述图像信号。
优选地，按照预设方式处理每个子段中的图像信号，使得各子段中的图像信号拟合的图像曲线能够依次首尾相接并输出。
优选地，每个所述子段区间的开始部分和结束部分对应的图像信号输出是线性变化的，其余部分对应的图像信号输出是非线性变化的。
优选地，对于所述图像信号的多个子段，每个子段的开始部分与前一子段的结束部分具有相同的增益，使得所述图像曲线在相邻子段之间平滑过渡。
本发明的技术方案还提供了一种高动态成像装置，所述高动态成像装置包括图像传感器，还包括：
所述图像传感器中的像素阵列，包括多个像素单元；
列处理单元，包括增益控制单元和模数转换单元；
所述像素单元包括两个具有不同感光灵敏度的光电转换单元；
所述增益控制单元，用于根据所述像素单元输出的信号电压判断图像所处的亮度范围，并根据所述亮度范围选择所述像素单元中进行信号转换的光电转换单元、所述像素单元的电荷-电压转换增益和所述列处理单元的电压增益。
优选地，所述增益控制单元包括：
增益档位电压提供单元，适于提供增益档位电压与所述像素单元的输出信号电压进行一次或多次比较，以判断当前图像所处的亮度范围；
增益控制信号产生单元，根据所述当前图像所处的亮度范围，产生对所述像素单元中光电转换单元选择、转换增益设置和所述列处理单元的电压增益设置的控制信号。
优选地，所述像素单元还包括浮置扩散区，所述光电转换单元分别包括光电转换部和传输栅极，所述传输栅极适于将所述光电转换部中的电荷传输至所述浮置扩散区。
优选地，所述光电转换单元分别为第一光电转换单元和第二光电转换单元；所述第一光电转换单元和所述第二光电转换单元之间设置有第一开关单元，所述第一开关单元适于切换不同的所述光电转换单元连通所述列处理单元。
优选地，所述第一光电转换单元的感光灵敏度高于所述第二光电转换单元的感光灵敏度。
本发明的技术方案还提供了一种图像处理系统，包括：
如上所述的高动态成像装置；
行驱动单元；
同一行的所述像素单元连接到同一行控制线，所述行驱动单元通过所述行控制线对像素单元进行驱动和控制；
同一列像素单元连接到同一列信号线，所述像素单元的输出信号经由所述列信号线输出到列处理单元；
同一列像素单元连接到同一列控制线，所述列处理单元通过所述列控制线对像素单元进行驱动和控制。
优选地，还包括列存储单元，所述列处理单元将对所述像素单元输出信号的模数结果存储所述到列存储单元。
相对于现有技术，本发明所提供的高动态成像的实现方法及其装置、图像处理系统具有以下有益效果：
在对像素读出的信号电压进行模数转换之前，先进行一次预判断，根据像素输出电压范围判断所处的亮度范围，自适应的调整像素的转换增益，这样可以只读出一次信号电压，缩短行读出时间，进而提高帧率。
进一步的，本发明所提供的技术方案中，在dual photodiode结构下，可以对两个光电转换单元的信号通路分别采用自适应的转换增益控制，只读出两个信号电压，即可实现四档亮度区间的像素信号读出控制。
进一步的，本发明所提供的技术方案中，在感光灵敏度较低的第二光电转换单元的浮置扩散区域引入的浮动电荷导通晶体管和浮动电荷存储电容可以实现对极高亮度下在感光灵敏度较低的第二光电转换单元的浮置扩散区域曝光过程中溢出电荷的积累，进一步提升成像的动态范围。
进一步的，本发明所提供的技术方案避免了现有技术中基于dual photodiode结构下实现四档亮度区间的像素信号读出需要读出四个信号电压的情况，也减少了对数据处理和存储的需求，节省了芯片资源和功耗。
附图说明
图1为现有技术中一种高动态范围CMOS图像传感器的像素结构电路图；
图2为图1所示的高动态范围CMOS图像传感器的像素结构的读出时序图；
图3为现有技术中另一种高动态范围图像传感器的像素结构电路图；
图4为图3所示的高动态范围图像传感器的像素结构的读出时序图；
图5为本发明的实施例所提供的高动态图像传感器实现方法的流程图；
图6为本发明的实施例所提供的高动态成像装置的结构框图；
图7为一种具体实施方式中的高动态图像传感器中的像素结构的电路图；
图8为图7所示的像素结构的读出时序示意图；
图9为另一种具体的实施方式中的高动态图像传感器中的像素结构电路图；
图10为本发明所提供的技术方案中一种实施例的图像处理系统；
图11为本发明所提供的技术方案中另一种实施例的图像处理系统。
具体实施方式
本发明所提供的技术方案旨在于在结合自适应控制DCG的方法和dualphotodiode结构的基础上，提出一种新型的高动态范围CIS的实现方法。
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
其次，本发明利用示意图进行详细描述，在详述本发明实施例时，为便于说明，所述示意图只是实例，其在此不应限制本发明保护的范围。
为使本发明的上述目的、特征和优点能够更为明显易懂，以下结合附图对本发明的高动态成像的实现方法进行详细描述。
图5为本发明的实施例中所提供的高动态图像传感器实现方法的流程图。具体的，本发明的实施例所提供的所述图像传感器的像素单元具有多个电荷-电压转换增益档位，所述图像传感器的列信号处理单元具有多个电压增益档位，所述像素单元包括两个具有不同感光灵敏度的光电转换单元；
所述实现方法包括：
执行步骤S101：清空当前行各所述像素单元的光电转换单元；
执行步骤S102：对当前行各所述光电转换单元上的光生载流子进行积分；
执行步骤S103：对当前行各所述像素单元的浮置扩散区进行复位；
执行步骤S104：设置当前行各所述像素单元的电荷-电压转换增益档位；
执行步骤S105：设置图像传感器的列信号处理单元的电压增益档位；
执行步骤S106：转换并保存浮置扩散区复位后的参考电压在某一特定档位设置状态下的转换参考值，或多个档位设置状态的多个转换参考值；
执行步骤S107：控制当前行各所述像素单元的转移晶体管，将各所述像素单元的光生载流子全部或部分地从感光灵敏度较高的所述光电转换单元转移到对应的浮置扩散区；
执行步骤S108：各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元；
执行步骤S109：各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地设置该列对应的像素单元的电荷-电压转换增益档位；
执行步骤S110：各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地设置该列信号处理单元的电压增益档位；
执行步骤S111：各列信号处理单元同时转换对应像素单元的浮置扩散区的信号电压，得到当前行的转换信号值；
进一步的，在步骤中，所述当前行的不同列信号处理单元可具有不同的电压增益档位，所述当前行的不同像素单元可具有不同的电荷-电压转换增益档位，所述当前行的不同像素单元可选择不同感光灵敏度的光电转换单元进行信号转换；
执行步骤S112：处理所述转换信号值和所述一个或多个转换参考值，得到当前行的各像素单元在相应档位的图像信号值。
优选地，所述各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元，设置所述像素单元的电荷-电压转换增益档位，和设置该列的信号处理单元电压增益档位的步骤，包括：
根据所述光电转换单元灵敏度、所述电压增益档位和所述电荷-电压转换增益档位设置多种档位组合，每种所述档位组合对应不同的电压区间；
判断检测到的所述浮置扩散区的信号电压所在的电压区间，进而确定该电压区间对应的所述档位组合，同时选择进行信号转换的光电转换单元，设置所述电压增益档位和所述电荷-电压转换增益档位。
优选地，所述各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元，设置所述像素单元的电荷-电压转换增益档位，设置该列的信号处理单元电压增益档位，包括：
根据检测到的所述浮置扩散区的信号电压与预设的第一电压区间，确定所述信号电压对应的信号处理单元电压增益档位；
根据检测到的所述浮置扩散区的信号电压与预设的第二电压区间，确定所述信号电压对应的像素单元的电荷-电压转换增益档位；
根据检测到的所述浮置扩散区的信号电压与预设的第三电压区间，确定所述信号电压对应的像素单元中进行信号转换的光电转换单元。
优选地，所述图像信号根据所述电压增益档位和所述电荷-电压转换增益档位分为多个子段，各所述信号处理单元根据所选择发对应子段进行信号量化，同时输出所述图像信号。
优选地，按照预设方式处理每个子段中的图像信号，使得各子段中的图像信号拟合的图像曲线能够依次首尾相接并输出。
优选地，每个所述子段区间的开始部分和结束部分对应的图像信号输出是线性变化的，其余部分对应的图像信号输出是非线性变化的。
优选地，对于所述图像信号的多个子段，每个子段的开始部分与前一子段的结束部分具有相同的增益，使得所述图像曲线在相邻子段之间平滑过渡。
参考图6所示，本发明的技术方案中还提供了一种高动态成像装置，所述高动态成像装置包括图像传感器，具体的还包括：
所述图像传感器中的像素阵列，包括多个像素单元40；
列处理单元，包括增益控制单元70和模数转换单元80；
所述像素单元40包括两个具有不同感光灵敏度的光电转换单元；
所述增益控制单元70，用于根据所述像素单元40输出的信号电压判断图像所处的亮度范围，并根据所述亮度范围调整所述像素单元中进行信号转换的光电转换单元、所述像素单元的电荷-电压转换增益和所述列处理单元的电压增益。
具体的，所述增益控制单元70包括：
增益档位电压提供单元，适于提供增益档位电压与所述像素单元的输出信号电压进行一次或多次比较，以判断当前图像所处的亮度范围；
增益控制信号产生单元，根据所述图像所处的亮度范围，产生对所述像素单元中光电转换单元选择、转换增益设置和所述列处理单元的电压增益设置的控制信号。
结合图6所示，参考图7、图8和图9，其中，图7为一种具体实施方式中的高动态图像传感器中的像素结构的电路图，图8为图7所示的像素结构的读出时序示意图，图9为另一种具体的实施方式中的高动态图像传感器中的像素结构电路图。
图7或图9所示的像素结构中，包括两个具有不同感光灵敏度的光电转换单元，所述光电转换单元分别包括第一光电转换单元PD1和第二光电转换单元PD2。在本实施例中，所述第一光电转换单元PD1的感光灵敏度高于所述第二光电转换单元PD2的感光灵敏度。
本实施例中，所述光电转换单元分别包括光电转换部和传输栅极，所述像素单元还包括浮置扩散区FD，所述传输栅极适于将所述光电转换部中的电荷传输至所述浮置扩散区FD。在本实施例中，所述传输栅极为传输晶体管TXL和TXS。
在本实施例中，所述第一光电转换单元和所述第二光电转换单元之间设置有第一开关单元DCG，所述第一开关单元DCG适于切换不同的所述光电转换单元连通列处理单元。
所述光电转换单元和所述浮置扩散区FD设置在第一参考电压Vref1和第二参考电压Vref2之间，所述浮置扩散区FD与所述第一参考电压Vref1之间设置有第一参考电压选通晶体管，所述浮置扩散区FD与所述第二参考电压Vref2之间设置有复位晶体管RST。
所述第一光电转换单元PD1连接第一参考电压选通晶体管的栅极，所述第一参考电压选通晶体管的源漏极分别连接所述第一参考电压Vref1，和所述列选通晶体管SEL，所述SEL列选通晶体管的栅极连接列选通信号。
所述第二光电转换单元PD2朝向所述浮置扩散区FD的一端设置有浮动电荷存储区CF，所述浮动电荷存储区CF远离所述第二光电转换单元PD2的一端连接电源电压VSSC，所述浮动电荷存储区CF适于存储在曝光过程中由第二光电转换单元PD2溢出的电子，并在被接入时提供不同的转换增益。本实施例中，所述浮动电荷存储区CF为电容。
根据所述浮动电荷存储区CF的电容结构，所述电源电压VSSC可以为高电平、低电平、或者变化的波形电压。
所述浮动电荷存储区域所述第二光电转换单元之间还设置有浮动电荷导通晶体管TGC，适于在需要时导通所述浮动电荷存储区CF。
本实施例中，在感光灵敏度较低的第二光电转换单元PD2的浮置扩散区域FD引入的浮动电荷导通晶体管TGC和浮动电荷存储区（电容）CF可以实现对极高亮度下PD2曝光过程中溢出电荷的积累，进一步提升动态范围。
参考图7所示，所述浮动电荷存储区（CF）和所述浮置扩散区之间设置有第二开关晶体管TGS。
参考图9所示，其中所述浮动电荷存储区域所述第二光电转换单元之间还设置有与所述浮动电荷导通晶体管TGC并联的第四开关单元RGC，以控制曝光时间对所述浮动电荷存储区的接入。所述第一开关单元DCG和所述第二光电转换单元之间还设置有第五开关单元TGX。
本实施例中，所述第一光电转换单元包括第一传输栅极TX1和第一光电转换单元PD1。
所述第二光电转换单元包括第二传输栅极TX2和第二光电转换单元PD2。
在以上实施例中，两次预判断中各提供一个参考电压，根据判断结果决定DCG和TGC的开关，两个PD的读出过程较为独立，需要进行两次信号电压的读出。
参考图11，为其读出时序。在图11所示的读出时序的过程之前，还包括：
清空当前行各所述像素单元的光电转换单元PD1和PD2；
对当前行各所述光电转换单元PD1和PD2上的光生载流子进行积分；
对当前行各所述像素单元40的浮置扩散区FD进行复位；
设置当前行各所述像素单元的电荷-电压转换增益档位；
设置图像传感器的列信号处理单元的电压增益档位；
具体的，在图11所示的读出时序的详细过程如下：
1）设置DCG信号为高，DCG管开启，读出FD结点参考电压R1L（Reference/PD1/LowCG）；
2）DCG信号为低，DCG管关断，读出FD结点参考电压R1H（Reference/PD1/High CG）
通过阶段1）和2）转换并保存浮置扩散区在特定档位设置状态下的转换参考值参考电压R1L和参考电压R1H；
3）将当前行各所述像素单元的转移晶体管TX1管开启，在曝光过程中积累在PD1中的电子转移到FD上；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压FD结点电压，进行第一次预判段，并相应地设置该列对应的像素单元的电荷-电压转换增益档位，具体的：
若PXD<Vref1，则判断当前亮度较高，令DCG=1，反之则判断当前处于较低亮度，令DCG=0；
4）根据阶段3）的判断结果，各列信号处理单元同时转换对应像素单元的浮置扩散区的信号电压，得到当前行的转换信号值。具体地，控制DCG管开启或关断，再令TX1开启一次，然后读出FD结点的信号电压S1（Signal/PD1)；
5）使DCG管和TGS管保持开启，短暂开启RST管，读出FD结点参考电压R2H（Reference/PD2/High CG）TX2管开启，在曝光过程中积累在PD2中的电子转移到FD上，读出FD结点电压，进行第二次预判段，若PXD<Vref2，则处于极亮亮度，令TGC=1，反之则令TGC=0；
6）根据阶段6）的判断结果，控制TGC管开启或关断，再令TX2开启一次，然后读出FD结点的信号电压S2（Signal/PD2）；
7）使TGC管保持开启，短暂开启RST管，读出FD结点参考电压R2L（Reference/PD2/Low CG）；
说明：Vref1和Vref2可以相同，也可以不同。
图10所示为本发明所提供的技术方案中一种实施例的图像处理系统。包括：
如上所述的高动态成像装置50；
行驱动单元30；
同一行的所述像素单元40连接到同一行控制线LL，所述行驱动单元30通过所述行控制线LL对像素单元进行驱动和控制；
同一列像素单元连接到同一列信号线CL，所述像素单元的输出信号经由所述列信号线CL输出到列处理单元20。
同一列像素单元连接到同一列控制线CC，所述列处理单元通过所述列控制线对像素单元进行驱动和控制。
进一步的，参考图11所示，本发明所提供的技术方案中另一种实施例的图像处理系统，还包括列存储单元10，所述列处理单元20将对所述像素单元输出信号的模数结果存储所述到列存储单元10。
本发明的技术方案所提供的图像处理系统中，列处理单元在检测出图像亮度区间后，增益控制单元在调整像素单元输出信号的模拟增益的基础上，同时可以切换像素单元的转换增益，尤其是对于有多个光电二极管的像素结构，在光电二极管的选择上也可以自适应的切换，减少读取数据的次数和时间，降低对数据处理和存储的需求，提高帧率。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (21)

1.一种高动态成像的实现方法，所述高动态成像的实现方法基于图像传感器实现，其特征在于，所述图像传感器的像素单元具有多个电荷-电压转换增益档位，所述图像传感器的列信号处理单元具有多个电压增益档位，所述像素单元包括两个具有不同感光灵敏度的光电转换单元；
所述实现方法包括：
清空当前行各所述像素单元的光电转换单元；
对当前行各所述光电转换单元上的光生载流子进行积分；
对当前行各所述像素单元的浮置扩散区进行复位；
设置当前行各所述像素单元的电荷-电压转换增益档位；
设置图像传感器的列信号处理单元的电压增益档位；
转换并保存浮置扩散区复位后的参考电压在某一特定档位设置状态下的转换参考值，或多个档位设置状态的多个转换参考值；
控制当前行各所述像素单元的转移晶体管，将各所述像素单元的光生载流子全部或部分地从感光灵敏度较高的所述光电转换单元转移到对应的浮置扩散区；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地设置该列对应的像素单元的电荷-电压转换增益档位；
各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地设置该列信号处理单元的电压增益档位；
各列信号处理单元同时转换对应像素单元的浮置扩散区的信号电压，得到当前行的转换信号值；
处理所述转换信号值和一个或多个所述转换参考值，得到当前行的各像素单元在相应档位的图像信号值。
2.如权利要求1所述的高动态成像的实现方法，其特征在于，根据所述像素单元输出的信号电压判断图像所处的亮度范围。
3.如权利要求2所述的高动态成像的实现方法，其特征在于，根据所述亮度范围调整所述像素单元中进行信号转换的光电转换单元、所述像素单元的电荷-电压转换增益和所述列处理单元的电压增益。
4.如权利要求1所述的高动态成像的实现方法，其特征在于，所述当前行的不同列信号处理单元具有不同的电压增益档位。
5.如权利要求4所述的高动态成像的实现方法，其特征在于，提供增益档位电压与所述像素单元的输出信号电压进行一次或多次比较，以判断当前图像所处的亮度范围。
6.如权利要求5所述的高动态成像的实现方法，其特征在于，根据所述图像所处的亮度范围，产生对所述像素单元中光电转换单元选择、转换增益设置和所述列处理单元的电压增益设置的控制信号。
7.如权利要求1所述的高动态成像的实现方法，其特征在于，所述当前行的不同像素单元具有不同的电荷-电压转换增益档位。
8.如权利要求1所述的高动态成像的实现方法，其特征在于，所述当前行的不同像素单元选择不同感光灵敏度的光电转换单元进行信号转换。
9.如权利要求1所述的高动态成像的实现方法，其特征在于，所述各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元，设置所述像素单元的电荷-电压转换增益档位，和设置该列的信号处理单元电压增益档位的步骤，包括：
根据所述光电转换单元灵敏度、所述电压增益档位和所述电荷-电压转换增益档位设置多种档位组合，每种所述档位组合对应不同的电压区间；
判断检测到的所述浮置扩散区的信号电压所在的电压区间，进而确定该电压区间对应的所述档位组合，同时选择进行信号转换的光电转换单元，设置所述电压增益档位和所述电荷-电压转换增益档位。
10.如权利要求1所述的高动态成像的实现方法，其特征在于，所述各列信号处理单元检测该列对应的像素单元的浮置扩散区的信号电压，相应地选择该列对应的像素单元中进行信号转换的光电转换单元，设置所述像素单元的电荷-电压转换增益档位，设置该列的信号处理单元电压增益档位，包括：
根据检测到的所述浮置扩散区的信号电压与预设的第一电压区间，确定所述信号电压对应的信号处理单元电压增益档位；
根据检测到的所述浮置扩散区的信号电压与预设的第二电压区间，确定所述信号电压对应的像素单元的电荷-电压转换增益档位；
根据检测到的所述浮置扩散区的信号电压与预设的第三电压区间，确定所述信号电压对应的像素单元中进行信号转换的光电转换单元。
11.如权利要求1所述的高动态成像的实现方法，其特征在于，所述图像信号根据所述电压增益档位和所述电荷-电压转换增益档位分为多个子段，各所述信号处理单元根据所选择发对应子段进行信号量化，同时输出所述图像信号。
12.如权利要求4所述的高动态成像的实现方法，其特征在于，按照预设方式处理每个子段中的图像信号，使得各子段中的图像信号拟合的图像曲线能够依次首尾相接并输出。
13.如权利要求4所述的高动态成像的实现方法，其特征在于，每个所述子段区间的开始部分和结束部分对应的图像信号输出是线性变化的，其余部分对应的图像信号输出是非线性变化的。
14.如权利要求6所述的高动态成像的实现方法，其特征在于，对于所述图像信号的多个子段，每个子段的开始部分与前一子段的结束部分具有相同的增益，使得所述图像曲线在相邻子段之间平滑过渡。
15.一种高动态成像装置，所述高动态成像装置包括图像传感器，其特征在于，还包括：
所述图像传感器中的像素阵列，包括多个像素单元；
列处理单元，包括增益控制单元和模数转换单元；
所述像素单元包括两个具有不同感光灵敏度的光电转换单元；
所述增益控制单元，用于根据所述像素单元输出的信号电压判断图像所处的亮度范围，并根据所述亮度范围选择所述像素单元中进行信号转换的光电转换单元、所述像素单元的电荷-电压转换增益和所述列处理单元的电压增益。
16.如权利要求15所述的高动态成像装置，其特征在于，所述增益控制单元包括：
增益档位电压提供单元，适于提供增益档位电压与所述像素单元的输出信号电压进行一次或多次比较，以判断当前图像所处的亮度范围；
增益控制信号产生单元，根据所述当前图像所处的亮度范围，产生对所述像素单元中光电转换单元选择、转换增益设置和所述列处理单元的电压增益设置的控制信号。
17.如权利要求15所述的高动态成像装置，其特征在于，所述像素单元还包括浮置扩散区，所述光电转换单元分别包括光电转换部和传输栅极，所述传输栅极适于将所述光电转换部中的电荷传输至所述浮置扩散区。
18.如权利要求15所述的高动态成像装置，其特征在于，所述光电转换单元分别为第一光电转换单元和第二光电转换单元；所述第一光电转换单元和所述第二光电转换单元之间设置有第一开关单元，所述第一开关单元适于切换不同的所述光电转换单元连通所述列处理单元。
19.如权利要求18所述的高动态成像装置，其特征在于，所述第一光电转换单元的感光灵敏度高于所述第二光电转换单元的感光灵敏度。
20.一种图像处理系统，其特征在于，包括：
如权利要求15所述的高动态成像装置；
行驱动单元；
同一行的所述像素单元连接到同一行控制线，所述行驱动单元通过所述行控制线对像素单元进行驱动和控制；
同一列像素单元连接到同一列信号线，所述像素单元的输出信号经由所述列信号线输出到列处理单元；
同一列像素单元连接到同一列控制线，所述列处理单元通过所述列控制线对像素单元进行驱动和控制。
21.如权利要求20所述的图像处理系统，其特征在于，还包括列存储单元，所述列处理单元将对所述像素单元输出信号的模数结果存储所述到列存储单元。
CN202111657558.3A 2021-12-31 2021-12-31 高动态成像的实现方法及其装置、图像处理系统 Pending CN116419082A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111657558.3A CN116419082A (zh) 2021-12-31 2021-12-31 高动态成像的实现方法及其装置、图像处理系统
PCT/CN2022/123969 WO2023124355A1 (zh) 2021-12-31 2022-10-09 高动态成像的实现方法及其装置、图像处理系统
US18/864,408 US20250247635A1 (en) 2021-12-31 2022-10-09 Method and device for implementing high-dynamic range imaging, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111657558.3A CN116419082A (zh) 2021-12-31 2021-12-31 高动态成像的实现方法及其装置、图像处理系统

Publications (1)

Publication Number Publication Date
CN116419082A true CN116419082A (zh) 2023-07-11

Family

ID=86997441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111657558.3A Pending CN116419082A (zh) 2021-12-31 2021-12-31 高动态成像的实现方法及其装置、图像处理系统

Country Status (3)

Country Link
US (1) US20250247635A1 (zh)
CN (1) CN116419082A (zh)
WO (1) WO2023124355A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336623A (zh) * 2023-11-24 2024-01-02 上海芯歌智能科技有限公司 机器视觉测量系统与传感器芯片模拟参数调整方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202425302A (zh) * 2022-08-22 2024-06-16 日商索尼半導體解決方案公司 固態攝像裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054973A1 (en) * 2013-08-23 2015-02-26 Aptina Imaging Corporation Imaging systems and methods for performing column-based image sensor pixel gain adjustments
US20150350574A1 (en) * 2014-05-27 2015-12-03 Canon Kabushiki Kaisha Image sensor and control method thereof, and image capturing apparatus
CN108419032A (zh) * 2018-03-01 2018-08-17 上海晔芯电子科技有限公司 支持多种曝光模式的hdr图像传感器像素结构及成像系统
US20210144319A1 (en) * 2019-11-08 2021-05-13 Semiconductor Components Industries, Llc Systems and methods for generating high dynamic range images
CN113206963A (zh) * 2020-01-30 2021-08-03 半导体元件工业有限责任公司 具有多个光电二极管的高动态范围成像像素

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580945B (zh) * 2014-12-29 2018-08-10 上海集成电路研发中心有限公司 一种实现高动态范围图像的图像传感器结构和方法
US9854186B2 (en) * 2016-02-05 2017-12-26 Semiconductor Components Industries, Llc Methods and apparatus for an images sensor with row-level gain control
CN109951655B (zh) * 2017-12-21 2022-02-25 格科微电子（上海）有限公司 双转换增益图像传感器的实现方法
CN111294529B (zh) * 2020-03-11 2021-11-16 长春长光辰芯光电技术有限公司 高动态范围tdi图像传感器及其成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150054973A1 (en) * 2013-08-23 2015-02-26 Aptina Imaging Corporation Imaging systems and methods for performing column-based image sensor pixel gain adjustments
US20150350574A1 (en) * 2014-05-27 2015-12-03 Canon Kabushiki Kaisha Image sensor and control method thereof, and image capturing apparatus
CN108419032A (zh) * 2018-03-01 2018-08-17 上海晔芯电子科技有限公司 支持多种曝光模式的hdr图像传感器像素结构及成像系统
US20210144319A1 (en) * 2019-11-08 2021-05-13 Semiconductor Components Industries, Llc Systems and methods for generating high dynamic range images
CN113206963A (zh) * 2020-01-30 2021-08-03 半导体元件工业有限责任公司 具有多个光电二极管的高动态范围成像像素

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336623A (zh) * 2023-11-24 2024-01-02 上海芯歌智能科技有限公司 机器视觉测量系统与传感器芯片模拟参数调整方法
CN117336623B (zh) * 2023-11-24 2024-02-20 上海芯歌智能科技有限公司 机器视觉测量系统与传感器芯片模拟参数调整方法
WO2025107471A1 (zh) * 2023-11-24 2025-05-30 上海芯歌智能科技有限公司 机器视觉测量系统与传感器芯片模拟参数调整方法

Also Published As

Publication number Publication date
US20250247635A1 (en) 2025-07-31
WO2023124355A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN103402059B (zh) 成像器件
US8619170B2 (en) Solid-state image pickup device with plural transfer structures to transfer charge to plural accumulation portions
US9088726B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
US8059173B2 (en) Correlated double sampling pixel and method
US9826185B2 (en) High signal to noise ratio of image based on signals with different sensitivities
CN109819184A (zh) 图像传感器及减少图像传感器固定图像噪声的方法
KR102690091B1 (ko) 고체 촬상 장치, 그 구동 방법 및 전자 기기
US9137432B2 (en) Backside illumination image sensor, operating method thereof, image processing system and method of processing image using the same
EP4344243B1 (en) Image sensor comprising pixels usable in both rolling shutter and global shutter mode and image processing device including the same
CN108200366A (zh) 像素单元和形成像素单元的方法及数字相机成像系统
CN103905748A (zh) 三维架构的超高清cmos图像传感器像素电路及其控制方法
WO2023124355A1 (zh) 高动态成像的实现方法及其装置、图像处理系统
KR102519712B1 (ko) 이미지 센서
US12593125B2 (en) Image sensor supporting AF function and method of operating the same
CN112670308B (zh) 像素单元
KR102743552B1 (ko) 이미지 센싱 장치
KR20090117230A (ko) 고체 촬상 소자의 픽셀 회로 및 구동 방법
JP2012244379A (ja) 固体撮像装置
CN111314636B (zh) 具有改进的列数据移位读取的cmos图像传感器
CN120711305A (zh) 像素信号的读出方法和装置
KR20250154103A (ko) 이미지 센서 및 이미지 센서의 동작 방법
CN119605160A (zh) 光子计数像素及其操作方法
CN114363537A (zh) 像素结构和阵列、电路和方法、图像传感器、存储介质
HK1180863B (zh) 多重轉換增益圖像傳感器的多電平復位電壓
HK1180863A1 (zh) 多重轉換增益圖像傳感器的多電平復位電壓

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination