WO2023284236A1 - 图像盲去噪方法、装置、电子设备和存储介质 - Google Patents

图像盲去噪方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2023284236A1
WO2023284236A1 PCT/CN2021/136268 CN2021136268W WO2023284236A1 WO 2023284236 A1 WO2023284236 A1 WO 2023284236A1 CN 2021136268 W CN2021136268 W CN 2021136268W WO 2023284236 A1 WO2023284236 A1 WO 2023284236A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
noise
denoised
candidate
exposure gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/136268
Other languages
English (en)
French (fr)
Inventor
孙岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to EP21950008.9A priority Critical patent/EP4372671A4/en
Priority to US18/579,149 priority patent/US20240323548A1/en
Publication of WO2023284236A1 publication Critical patent/WO2023284236A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • Blind denoising refers to a denoising algorithm that can better denoise input images with different noise levels.
  • the combination of noise level estimation and denoising algorithm is still adopted to ensure blind denoising capability.
  • a combination of image noise calibration and traditional filtering is used to determine the target noise parameters of the image to be denoised in the image noise calibration, wherein the target noise parameters are used to characterize the image acquisition equipment Noise model introduced to the acquired image. Since the sensors in different types of image acquisition devices are different, the noise models also have certain differences. Therefore, in the embodiment of the present application, image noise calibration is performed on different types of image acquisition devices in advance to obtain their corresponding noise models. characterize the noise. In the embodiment of the present application, it is only necessary to pre-calibrate once for each type of image acquisition device. After the calibration is completed, the noise model of this type of image acquisition device is determined, and no repeated calibration is required.
  • the primary filtering process of the image to be denoised is to smooth the image and eliminate the interference of noise on the calculation of noise level estimation.
  • the image noise level expression of the image acquisition device is the functional relationship between the pixel brightness value and the pixel variance, so to determine the pixel variance of the image to be denoised, it is necessary to determine the pixel brightness Value, that is, to eliminate the interference factor of noise in the pixel value.
  • This step does not have high requirements on the image denoising effect, so a simple and efficient conventional image filtering method can be used.
  • the preliminary filtering method here may be Gaussian filtering, mean filtering, median filtering, bilateral filtering, guided filtering, etc., which are not limited here.
  • step 103 includes:
  • step 104 includes:
  • the image to be denoised and the noise level map are combined and input to a preset image noise removal network for denoising processing.
  • the image noise removal network utilizes the noise level distribution information of the image to be denoised, and can achieve a better blind denoising effect when denoising the image to be denoised.
  • the image size of the final blind denoising result of the image to be denoised is consistent with the size of the input image to be denoised.
  • image noise level estimation is realized by combining image noise calibration with traditional filtering, which improves the efficiency of image noise level estimation, and reduces the overall complexity of the blind denoising method while maintaining the blind denoising effect, thereby Reduce the difficulty of deploying blind denoising methods on platforms with limited computing power such as front-end image acquisition equipment.
  • image noise level estimation is realized by combining image noise calibration with traditional filtering, which improves the efficiency of image noise level estimation, and reduces the overall complexity of the blind denoising method while maintaining the blind denoising effect, thereby Reduce the difficulty of deploying blind denoising methods on platforms with limited computing power such as front-end image acquisition equipment.
  • the calibration data acquisition unit is configured to acquire at least two pieces of image data to be calibrated for the same photographing scene through the image acquisition device under each candidate exposure gain value; wherein, the candidate exposure gain value includes at least one;
  • x represents the target pixel brightness value of the target pixel point
  • V(x) represents the noise variance used to characterize the noise level of the target pixel point
  • n represents the series of polynomials
  • a i is the noise parameter to be calibrated
  • the image noise calibration result includes at least one candidate exposure gain value and an associated candidate noise parameter
  • the image noise parameter determination module is set as:
  • a target noise parameter associated with the target noise parameter is determined according to the associated candidate noise parameter.
  • the noise level estimation module is set to:
  • xp represents the pixel value of the target pixel in the preliminary filtered image
  • Vp represents the noise level of the pixel associated with the target pixel in the preliminary filtered image in the image to be denoised
  • n represents the polynomial Series
  • a x, i is the target noise parameter of the image to be denoised
  • the image size of the preliminary filtered image is the same as that of the image to be denoised
  • the noise level of each pixel is determined according to the target noise parameter and the pixel value of each pixel in the preliminary filtered image, and a noise level map is obtained, which is the image to be denoised.
  • the blind denoising module is set to:
  • Denoising is performed on the merged image based on a pre-trained image noise removal network to obtain a final blind denoising result of the image to be denoised.
  • the preliminary filtering process adopts Gaussian filtering, mean filtering, median filtering, bilateral filtering method or guided filtering method.
  • the blind image denoising device provided in the embodiment of the present application can execute the blind image denoising method provided in any embodiment of the present application, and has corresponding functional modules and beneficial effects for performing the blind image denoising method.
  • FIG. 3 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • FIG. 3 shows a block diagram of an exemplary electronic device 12 suitable for implementing embodiments of the present application.
  • the electronic device 12 shown in FIG. 3 is only an example, and should not limit the functions and scope of use of this embodiment of the present application.
  • electronic device 12 takes the form of a general-purpose computing device.
  • Components of electronic device 12 may include, but are not limited to: one or more processors or processing units 16, system storage 28, bus 18 connecting various system components including system storage 28 and processing unit 16.
  • Bus 18 represents one or more of several types of bus structures, including a storage device bus or controller, a peripheral bus, an accelerated graphics port, a processor, or a local bus using any of a variety of bus structures.
  • bus structures include, by way of example, but are not limited to Industry Standard Architecture (ISA) bus, Micro Channel Architecture (MAC) bus, Enhanced ISA bus, Video Electronics Standards Association (VESA) local bus, and Peripheral Component Interconnect ( PCI) bus.
  • ISA Industry Standard Architecture
  • MAC Micro Channel Architecture
  • VESA Video Electronics Standards Association
  • PCI Peripheral Component Interconnect
  • Electronic device 12 typically includes a variety of computer system readable media. These media can be any available media that can be accessed by electronic device 12 and include both volatile and nonvolatile media, removable and non-removable media.
  • System storage 28 may include computer system readable media in the form of volatile storage, such as random access storage (RAM) 30 and/or cache storage 32 .
  • the electronic device 12 may further include other removable/non-removable, volatile/nonvolatile computer system storage media.
  • storage system 34 may be configured to read and write to non-removable, non-volatile magnetic media (not shown in FIG. 3, commonly referred to as a "hard drive”).
  • a disk drive for reading and writing to removable non-volatile disks e.g. "floppy disks”
  • removable non-volatile optical disks e.g. CD-ROM, DVD-ROM or other optical media
  • each drive may be connected to bus 18 via one or more data media interfaces.
  • the storage device 28 may include at least one program product having a set (eg, at least one) of program modules configured to perform the functions of various embodiments of the present application.
  • a program/utility tool 40 having a set (at least one) of program modules 42 such as but not limited to, an operating system, one or more application programs, other program modules, and program data, each or some combination of these examples may include the implementation of the network environment.
  • the program modules 42 generally perform the functions and/or methods of the embodiments described herein.
  • Electronic device 12 may also communicate with one or more external devices 14 (e.g., a keyboard, pointing device, display 24, etc.), and with one or more devices that enable a user to interact with The device 12 is capable of communicating with any device (eg, network card, modem, etc.) that communicates with one or more other computing devices. Such communication may occur through input/output (I/O) interface 22 .
  • the electronic device 12 can also communicate with one or more networks (such as a local area network (LAN), a wide area network (WAN) and/or a public network such as the Internet) through the network adapter 20 .
  • network adapter 20 communicates with other modules of electronic device 12 via bus 18 .
  • other hardware and/or software modules may be used in conjunction with electronic device 12, including but not limited to: microcode, device drivers, redundant processing units, external disk drive arrays, RAID systems, tape Drives and data backup storage systems, etc.
  • the embodiment of the present application also provides a computer-readable storage medium, on which a computer program is stored.
  • the program is executed by a processor, the image blind denoising method provided in the embodiment of the present application is implemented, including:
  • the computer storage medium in the embodiments of the present application may use any combination of one or more computer-readable media.
  • the computer readable medium may be a computer readable signal medium or a computer readable storage medium.
  • a computer-readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any combination thereof. More specific examples (non-exhaustive list) of computer readable storage media include: electrical connections with one or more leads, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), Erasable programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • the computer readable storage medium may be a non-transitory computer
  • a computer readable signal medium may include a data signal carrying computer readable program code in baseband or as part of a carrier wave traveling as a data signal. Such propagated data signals may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, which can send, propagate, or transmit a program for use by or in conjunction with an instruction execution system, apparatus, or device. .
  • Program code embodied on a computer readable medium may be transmitted using any appropriate medium, including but not limited to wireless, wireline, optical fiber cable, RF, etc., or any suitable combination of the foregoing.
  • Computer program code for carrying out the operations of the present application may be written in one or more programming languages or combinations thereof, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional process programming language such as "C" or a similar programming language.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server.
  • the remote computer may be connected to the user computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (e.g. via the Internet using an Internet Service Provider). .
  • LAN local area network
  • WAN wide area network
  • Internet Service Provider e.g. via the Internet using an Internet Service Provider

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像盲去噪方法、装置、电子设备和存储介质。该图像盲去噪方法包括：根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定待去噪图像的目标噪声参数；对待去噪图像进行初步滤波处理，得到待去噪图像的初步滤波图像；根据目标噪声参数和初步滤波图像确定待去噪图像的噪声水平估计结果；根据噪声水平估计结果对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结果。

Description

图像盲去噪方法、装置、电子设备和存储介质
本申请要求在2021年7月15日提交中国专利局、申请号为202110799034.1的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及图像处理技术领域，例如涉及一种图像盲去噪方法、装置、电子设备和存储介质。
背景技术
在通过图像采集设备获取图像的过程中，由于图像采集设备的自身物理约束以及外界光环境的限制，使得采集到的图像中不可避免地存在噪声，进而影响成像质量。为此，相关技术中的图像采集设备均采用图像去噪技术来提高自身的成像质量。然而，由于图像真实噪声具有成分复杂性和来源多样性的特点，以及每个图像采集设备的真实噪声模型都有所差异，使得图像真实噪声去除的难度较大。目前对图像去噪的要求是在处理不同噪声水平的输入图像时均可实现很好的去噪效果，即实现盲去噪。
相关技术中的盲去噪方法一般采用基于卷积神经网络(Convolutional Neural Networks，CNN)的方案，方案可以分为两步：第一步，采用一个CNN子网络对输入的待去噪图像进行噪声水平估计，得到其噪声水平图；第二步，将噪声水平图与待去噪图像合并，输入到另一个CNN子网络进行处理，得到待去噪图像的盲去噪结果。这种将噪声水平估计与CNN去噪相结合的方式，使得整个模型具备很好的盲去噪能力。但是该方法中模型的整体复杂度过高，需要同时部署两个CNN网络，对硬件平台的算力要求很高，从而增加了模型在前端图像采集设备等算力受限平台上的部署难度。
发明内容
本申请实施例提供一种图像盲去噪方法、装置、电子设备和存储介质，通过将图像噪声标定和滤波相结合的方法实现噪声水平估计，降低盲去噪方法的整体复杂度。
第一方面，本申请实施例提供了一种图像盲去噪方法，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
第二方面，本申请实施例还提供了一种图像盲去噪装置，包括：
图像噪声参数确定模块，设置为根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
图像初步滤波模块，设置为对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
噪声水平估计模块，设置为根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
盲去噪模块，设置为根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
第三方面，本申请实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，设置为存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请任一实施例所述的图像盲去噪方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任一实施例所述的图像盲去噪方法。
附图说明
图1是本申请一实施例中的图像盲去噪方法的流程图；
图2是本申请一实施例中的图像盲去噪装置的结构示意图；
图3是本申请一实施例中的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
图1是本申请一实施例中的图像盲去噪方法的流程图，本实施例可适用于对待去噪图像进行盲去噪的情况。该方法可以由图像盲去噪装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在电子设备中，例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法包括：
步骤101、根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定待去噪图像的目标噪声参数。
盲去噪是指对不同噪声水平的输入图像均可以较好去噪的去噪算法。在本申请实施例中，仍采用噪声水平估计与去噪算法相结合的方式来保证盲去噪能力。在确定待去噪图像的噪声水平估计结果时采用图像噪声标定和传统滤波相结合的方式，在图像噪声标定中确定待去噪图像的目标噪声参数，其中，目标噪声参数用于表征图像采集设备给采集图像带来的噪声模型。由于不同型号的图像采集设备中的传感器不同，则噪声模型也存在一定的差异，因此在本申请实施例中预先对不同型号的图像采集设备进行图像噪声标定，得到其对应的噪声模型对采集图像的噪声进行表征。在本申请实施例中，只需要对每一类型的图像采集设备进行预先标定一次，在标定完成后，该类型的图像采集设备的噪声模型确定，无需进行重复标定。
例如，预先确定进行采集图像的至少一种类型的图像采集设备，对其进行一次图像噪声标定，得到对应的图像噪声标定结果。图像噪声标定结果中表达了图像采集设备在采集图像时对图像中噪声水平的影响程度。示例性的，由于图像采集设备在采集图像时会存在可调的设备参数，在不同的设备参数下所采集到的图像噪声水平也不同，因此，图像采集设备进行图像噪声标定得到的图像噪声标定结果中反映了不同的设备参数对采集图像噪声的影响。在此基础上，确定此次待去噪图像采集时图像采集设备的设备参数，根据该设备参数和图像噪声标定结果确定待去噪图像的目标噪声参数。
例如，预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果中包括不同设备参数与噪声参数的映射关系，同时确定待去噪图像的目标设备参数，根据该映射关系确定目标设备参数所映射的目标噪声参数。
在一个可行的实施例中，图像噪声标定结果包括至少一个候选曝光增益值和关联的候选噪声参数；
相应的，步骤101，包括：
确定图像采集设备在采集待去噪图像时的目标曝光增益值；
基于目标曝光增益值与候选曝光增益值的关系，根据关联的候选噪声参数确定与目标噪声参数关联的目标噪声参数。
其中，候选曝光增益值是指预先确定的图像采集设备的采集参数值，候选曝光增益值的具体数量和具体数值可以根据图像采集设备的设备属性进行预先确定，在此不作限制。示例性的，候选曝光增益值预先确定为一组曝光增益值{ISO j；j＝1～s}，即设置s个候选曝光增益值，在每个曝光增益值下进行一次图像噪声标定，得到每个候选曝光增益值下的候选噪声参数，即图像噪声标定结果中包括候选曝光增益值和候选噪声参数的映射关系。其中，1≤j≤s。
在确定待去噪图像的目标噪声参数时，首先确定图像采集设备在采集待去噪图像时的曝光增益值，为目标曝光增益值，由于候选曝光增益值的数量有限，不可能穷尽图像采集设备的所有曝光增益值，因此若目标噪声参数不在候选曝光增益值中时，采用插值计算的方式基于目标曝光增益值与候选曝光增益值的关系，根据关联的候选噪声参数确定与目标噪声参数关联的目标噪声参数。
示例性的，图像噪声标定结果包括一组候选曝光增益值{ISO j；j＝1～s}以及每个候选曝光增益值关联的候选噪声参数{a j,i；j＝1～s，i＝0～n}，即每个候选曝光增益值关联的候选噪声参数中包括n+1个参数。设目标曝光增益值为ISO x；若ISO x为{ISO j；j＝1～s}中的任一个，则目标噪声参数可以直接从{a j,i；j＝1～s，i＝0～n}中进行确定。若ISO x不是{ISO j；j＝1～s}中的任一个，则采用线性插值的方式精确求解当前目标曝光增益值ISO x关联的目标噪声参数{a x,i；i＝0～n}。例如，根据如下公式确定目标噪声参数{a x,i；i＝0～n}：
Figure PCTCN2021136268-appb-000001
需要说明的是，采用上述线性插值方法求解当前目标目标曝光增益值ISO x关联的目标噪声参数{a x,i；i＝0～n}时，其中{ISO j；j＝1～s}的取值是单调递增的。
在一个可行的实施例中，预先对待去噪图像的图像采集设备进行图像噪声标定，包括：
在每个候选曝光增益值下通过图像采集设备对同一拍照场景采集至少两张待标定图像数据；其中，候选曝光增益值包括至少一个；
分别根据每个候选曝光增益值关联的至少两张待标定图像数据确定候选曝光增益值的候选噪声参数，由至少一个候选曝光增益值和关联的候选噪声参数确定图像采集设备的图像噪声标定结果。
在预先进行图像噪声标定时，需要对每个候选曝光增益值进行标定，即获取每个候选曝光增益值下的候选噪声参数。
例如，预先根据图像采集设备确定一组候选曝光增益值{ISO j；j＝1～s}，在每个候选曝光增益值下采集图像采集设备拍摄的多张图像作为待标定图像数据，由于多张图像是在同一曝光增益值且同一拍照场景下获取的，因此通过这多张图像之间的差异情况可以确定当前曝光增益值下的噪声水平，进而确定对应的候选噪声参数。其中，为了保证拍摄得到的标定图像数据中包括多个亮度的信息，拍照场景中需要包括不同亮度信息，示例性的，拍照场景可以为标准灰阶卡。
示例性的，在环境亮度可控的实验室场景下，相机画面对准标准灰阶卡，保证画面聚焦清晰，标定过程中保证画面静态；设候选曝光增益值分别为{100，400，1600，6400，25600，102400}；在每一个候选曝光增益值下，手动调节相机快门或者环境照度，使画面亮度适中，在保持画面亮度不变的情况下，连续采集m帧图像数据作为待标定图像数据。根据每个候选曝光增益值下的m帧图像数据确定图像的噪声水平，例如确定每个像素点之间的差异和像素点亮度之间的关系，确定候选曝光增益值的候选噪声参数。最后根据所有候选曝光增益值和其关联的候选噪声参数构成图像噪声标定结果。
示例性的，当候选曝光增益值只包括一个时，即图像噪声标定结果仅包括一个候选曝光增益值和候选噪声参数，在确定待去噪图像的目标噪声参数时，可以直接将候选噪声参数认定为目标噪声参数；或者根据候选曝光增益值和目标曝光增益值之间的关系，确定目标噪声参数，例如按照候选曝光增益值和目标曝光增益值之间的比例关系，对候选噪声参数进行等比例计算得到目标噪声 参数。
在一个可行的实施例中，分别根据每个候选曝光增益值关联的至少两张待标定图像数据确定候选曝光增益值的候选噪声参数，包括：
确定图像采集设备的图像噪声水平表达式为：
Figure PCTCN2021136268-appb-000002
其中，x表示目标像素点的目标像素亮度值，V(x)表示用于表征目标像素点噪声水平的噪声方差，n表示多项式的级数，a i为待标定噪声参数；
根据候选曝光增益值关联的至少两张待标定图像数据在每个像素点上的像素平均值，确定平均标定图像；
根据候选曝光增益值关联的至少两张待标定图像数据在每个像素点上的像素值方差，确定方差标定图像；
从平均标定图像和方差标定图像中确定至少n+1个像素值不同的像素对，基于图像噪声水平表达式根据像素对确定待标定噪声参数的值，为候选曝光增益值的候选噪声参数。
其中，图像噪声水平表达式用于表征图像噪声方差(噪声水平的量化值)与像素亮度之间的函数关系。研究表明，图像采集设备采集的图像噪声一般服从泊松-高斯分布，其噪声方差与像素亮度之间的函数关系可由下面的线性函数表示：
V(x)＝k·x+σ 2；
其中，等式右边第一项为泊松噪声项，其噪声方差与像素亮度成正比；第二项为高斯噪声项；参数k、σ 2决定了图像的噪声水平，与图像采集设备的曝光增益值相关。但是上述模型存在一定偏差，例如噪声方差与像素亮度之间存在高阶的非线性关系；为了更精准地反映实际噪声模型，本申请实施例采用多项式函数的形式来描述噪声方差与像素亮度之间的关系：
Figure PCTCN2021136268-appb-000003
其中，多项式函数的级数n可根据图像采集设备的实际噪声特性、及用户的需求来设定，示例性的，n＝2是一个合理值；参数{a i；i＝0～n}即为待标定噪声参数，与图像采集设备的曝光增益值相关；V(x)表示噪声方差，用图像中每个像素点的噪声方差量化表征该点的噪声水平。
在上述示例的基础上，确定每个候选曝光增益下的m帧待标定图像数据，计算其连续m帧图像数据在每一个像素上的平均值，得到平均标定图像I；同时 计算其连续m帧图像数据在每一个像素上的方差，得到方差标定图像V。根据上述图像噪声水平表达式可知，对于平均标定图像I中的任意一个像素值x p，其在方差标定图像V中对应位置的像素值V(x p)应当满足图像噪声水平表达式中的函数关系，即
Figure PCTCN2021136268-appb-000004
由于在图像噪声水平表达式中所需确定的待标定噪声参数为n+1个，因此至少需要从平均标定图像和方差标定图像中确定至少n+1个像素值不同的x p-V(x p)像素对，具体选取的像素值可以根据实际情况进行确定，在此不作限制。最后将x p-V(x p)像素对的具体值代入到图像噪声水平表达式中，对n+1个未知量进行求解，得到待标定噪声参数的值。按照该方法依次计算其余候选曝光增益值的候选噪声参数。
在根据像素对确定待标定噪声参数的值时，可以采取最小二乘法进行求解。示例性的，设从图像I、V中取t个像素值不同的x p-V(x p)像素对，满足t≥n+1，则图像噪声水平表达式通过下式求解：
令：
Figure PCTCN2021136268-appb-000005
则A＝(X TX) -1X TV。
得到的图像噪声标定结果中包括一组候选曝光增益值{ISO j；j＝1～s}，以及每个候选曝光增益值下的候选噪声参数{a j,i；j＝1～s，i＝0～n}，其中噪声参数a j,i代表第j个候选曝光增益值下的第i阶噪声参数。
步骤102、对待去噪图像进行初步滤波处理，得到待去噪图像的初步滤波图像。
对待去噪图像进行初步滤波处理是为了平滑图像，消除噪声对噪声水平估计计算的干扰。示例性的，在上述示例的基础上，图像采集设备的图像噪声水平表达式是像素亮度值与像素方差之间的函数关系，因此若要确定待去噪图像的像素方差，则需要确定像素亮度值，即消除噪声在像素值中的干扰因素。该步骤对图像去噪效果的要求不高，因此采用简单高效的常规图像滤波方法即可。此处的初步滤波方法可以是高斯滤波、均值滤波、中值滤波、双边滤波、导向滤波等，在此不作限定。
在一个可行的实施例中，初步滤波处理采用高斯滤波、均值滤波、中值滤波、双边滤波或导向滤波。
例如，为了更好保持滤波后图像中的细节特征，初步滤波处理可以采用双 边滤波或导向滤波等边缘保持滤波器可以提高后续去噪后的图像质量。
步骤103、根据目标噪声参数和初步滤波图像确定待去噪图像的噪声水平估计结果。
目标噪声参数表征了图像中噪声水平和图像像素值之间的关系，因此根据目标噪声参数和初步去除噪声影响的初步滤波图像可以确定待去噪图像的噪声水平估计结果。
在一个可行的实施例中，步骤103，包括：
确定图像采集设备的图像噪声水平表达式为：
Figure PCTCN2021136268-appb-000006
其中，x p表示初步滤波图像中目标像素点的像素值，V p表示待去噪图像中与初步滤波图像中目标像素点关联的像素点的噪声水平，n表示多项式的级数，a x,i为待去噪图像的目标噪声参数；其中，初步滤波图像与待去噪图像的图像大小相同；
基于图像噪声水平表达式，根据目标噪声参数和初步滤波图像中每个像素点的像素值确定每个像素点的噪声水平，得到噪声水平图，为待去噪图像的噪声水平估计结果。
其中，噪声水平图代表了输入的待去噪图像中每一个像素的噪声方差的估计值。根据上述可知，采用多项式函数的形式来描述噪声方差与像素亮度之间的关系，即确定图像采集设备的图像噪声水平表达式。由于目标噪声参数确定后，表示图像噪声水平表达式中的{a x,i；i＝0～n}确定，确定初步滤波图像后即确定图像噪声水平表达式中的x p，多项式的级数n在确定候选噪声参数时预先确定。
由于初步滤波图像与待去噪图像的图像大小相同，将初步滤波图像中任意一个像素点x p的像素值输入到确定的图像噪声水平表达式中，得到的噪声水平V p为噪声水平图中与x p相同位置处的像素值。依次遍历初步滤波图像中的每个像素值，得到噪声水平图，表征待去噪图像的噪声水平估计结果。
步骤104、根据噪声水平估计结果对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结果。
根据待去噪图像的噪声水平估计结果对图像进行盲去噪，实现根据图像中多个位置的噪声实际情况进行针对性去噪，提高去噪效果。
例如，根据噪声水平估计结果确定待去噪图像的局部去噪强度，根据该局部去噪强度对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结 果。
在一个可行的实施例中，步骤104，包括：
将噪声水平图与待去噪图像在通道维度上进行拼接，得到合并图像；
基于预先训练的图像噪声去除网络对合并图像进行去噪处理，得到待去噪图像的最终盲去噪结果。
其中，预先训练的图像噪声去除网络为CNN网络，通过预先获取数据集进行训练得到。对图像噪声去除网络的具体网络结构不做限定，例如可采用U-Net、DnCNN等架构的CNN去噪网络模型，具体实现不再赘述。
例如，将待去噪图像与噪声水平图进行合并后输入预设的图像噪声去除网络进行去噪处理。这样，图像噪声去除网络利用待去噪图像的噪声水平分布信息，在对待去噪图像进行去噪处理时，可以实现更好的盲去噪效果。其中，待去噪图像的最终盲去噪结果的图像尺寸与输入的待去噪图像的尺寸一致。
为了不损失图像信息，待去噪图像与噪声水平图的合并采用通道维度上的拼接实现。示例性的：设待去噪图像的宽度为w、高度为h、通道数为c，噪声水平图与待去噪图像的尺寸一致，因此其宽度、高度、通道数也分别为w、h、c；将两个图像在通道维度上进行拼接，也就是在通道维度上进行堆叠，这样得到合并图像的宽度、高度、通道数分别为w、h、2*c。
本申请实施例通过将图像噪声标定和传统滤波相结合实现对图像的噪声水平估计，提高对图像噪声水平估计的效率，在保持盲去噪效果的同时降低盲去噪方法的整体复杂度，从而降低盲去噪方法在前端图像采集设备等算力受限平台上的部署难度。
图2是本申请一实施例中的图像盲去噪装置的结构示意图，本实施例可适用于对待去噪图像进行盲去噪的情况。如图2所示，该装置包括：
图像噪声参数确定模块210，设置为根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
图像初步滤波模块220，设置为对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
噪声水平估计模块230，设置为根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
盲去噪模块240，设置为根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
本申请实施例通过将图像噪声标定和传统滤波相结合实现对图像的噪声水平估计，提高对图像噪声水平估计的效率，在保持盲去噪效果的同时降低盲去噪方法的整体复杂度，从而降低盲去噪方法在前端图像采集设备等算力受限平台上的部署难度。
例如，所述装置包括图像噪声标定模块，包括：
标定数据采集单元，设置为在每个候选曝光增益值下通过所述图像采集设备对同一拍照场景采集至少两张待标定图像数据；其中，所述候选曝光增益值包括至少一个；
噪声参数确定单元，设置为分别根据每个候选曝光增益值关联的所述至少两张待标定图像数据确定所述候选曝光增益值的候选噪声参数，由至少一个候选曝光增益值和关联的候选噪声参数确定所述图像采集设备的图像噪声标定结果。
例如，噪声参数确定单元，设置为：
确定所述图像采集设备的图像噪声水平表达式为：
Figure PCTCN2021136268-appb-000007
其中，x表示目标像素点的目标像素亮度值，V(x)表示用于表征目标像素点噪声水平的噪声方差，n表示多项式的级数，a i为待标定噪声参数；
根据所述候选曝光增益值关联的所述至少两张待标定图像数据在每个像素点上的像素平均值，确定平均标定图像；
根据所述候选曝光增益值关联的所述至少两张待标定图像数据在每个像素点上的像素值方差，确定方差标定图像；
从所述平均标定图像和所述方差标定图像中确定至少n+1个像素值不同的像素对，基于所述图像噪声水平表达式根据所述像素对确定所述待标定噪声参数的值，为所述候选曝光增益值的候选噪声参数。
例如，所述图像噪声标定结果包括至少一个候选曝光增益值和关联的候选噪声参数；
相应的，图像噪声参数确定模块，设置为：
确定所述图像采集设备在采集所述待去噪图像时的目标曝光增益值；
基于所述目标曝光增益值与所述候选曝光增益值的关系，根据所述关联的 候选噪声参数确定与所述目标噪声参数关联的目标噪声参数。
例如，噪声水平估计模块，设置为：
确定所述图像采集设备的图像噪声水平表达式为：
Figure PCTCN2021136268-appb-000008
其中，x p表示所述初步滤波图像中目标像素点的像素值，V p表示所述待去噪图像中与所述初步滤波图像中目标像素点关联的像素点的噪声水平，n表示多项式的级数，a x,i为所述待去噪图像的目标噪声参数；其中，所述初步滤波图像与所述待去噪图像的图像大小相同；
基于所述图像噪声水平表达式，根据所述目标噪声参数和所述初步滤波图像中每个像素点的像素值确定每个像素点的噪声水平，得到噪声水平图，为所述待去噪图像的噪声水平估计结果。
例如，盲去噪模块，设置为：
将所述噪声水平图与所述待去噪图像在通道维度上进行拼接，得到合并图像；
基于预先训练的图像噪声去除网络对所述合并图像进行去噪处理，得到所述待去噪图像的最终盲去噪结果。
例如，所述初步滤波处理采用高斯滤波、均值滤波、中值滤波、双边滤波方法或导向滤波方法。
本申请实施例所提供的图像盲去噪装置可执行本申请任意实施例所提供的图像盲去噪方法，具备执行图像盲去噪方法相应的功能模块和有益效果。
图3是本申请一实施例提供的一种电子设备的结构示意图。图3示出了适于用来实现本申请实施方式的示例性电子设备12的框图。图3显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子 标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以设置为读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请多个实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图3中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储装置28中的程序，从而执行多种功能应用以及数据处理，例如实现本申请实施例所提供的图像盲去噪方法，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所提供的图像盲去噪方法，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质可以是非暂态计算机可读存储介质。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

Claims (10)

  1. 一种图像盲去噪方法，包括：
    根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
    对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
    根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
    根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
  2. 根据权利要求1所述的方法，其中，所述预先对待去噪图像的图像采集设备进行图像噪声标定，包括：
    在每个候选曝光增益值下通过所述图像采集设备对同一拍照场景采集至少两张待标定图像的数据；其中，所述候选曝光增益值包括至少一个；
    根据所述每个候选曝光增益值关联的所述至少两张待标定图像的数据确定所述每个候选曝光增益值的候选噪声参数，由所述每个候选曝光增益值和所述每个候选曝光增益值关联的候选噪声参数确定所述图像采集设备的图像噪声标定结果。
  3. 根据权利要求2所述的方法，其中，所述根据所述每个候选曝光增益值关联的所述至少两张待标定图像的数据确定所述每个候选曝光增益值的候选噪声参数，包括：
    确定所述图像采集设备的图像噪声水平表达式为：
    Figure PCTCN2021136268-appb-100001
    其中，x表示目标像素点的目标像素亮度值，V(x)表示用于表征所述目标像素点噪声水平的噪声方差，n表示多项式的级数，a i为待标定噪声参数，表示所述每个候选曝光增益值下待标定的第i阶噪声参数；其中，n为整数，n≥1，0≤i≤n；
    根据所述每个候选曝光增益值关联的所述至少两张待标定图像的数据在每个像素点上的像素平均值，确定平均标定图像；
    根据所述每个候选曝光增益值关联的所述至少两张待标定图像的数据在每个像素点上的像素值方差，确定方差标定图像；
    从所述平均标定图像和所述方差标定图像中确定至少n+1个像素值不同的像素对，将基于所述图像噪声水平表达式根据所述像素对确定所述待标定噪声 参数的值作为所述每个候选曝光增益值的候选噪声参数。
  4. 根据权利要求1所述的方法，其中，所述图像噪声标定结果包括至少一个候选曝光增益值和所述至少一个候选曝光增益值中的每个候选曝光增益值关联的候选噪声参数；
    所述根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数，包括：
    确定所述图像采集设备在采集所述待去噪图像时的目标曝光增益值；
    基于所述目标曝光增益值与所述至少一个候选曝光增益值的关系，根据所述至少一个候选曝光增益值关联的候选噪声参数确定与所述目标噪声参数关联的目标噪声参数。
  5. 根据权利要求1所述的方法，其中，所述根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果，包括：
    确定所述图像采集设备的图像噪声水平表达式为：
    Figure PCTCN2021136268-appb-100002
    其中，x p表示所述初步滤波图像中目标像素点的像素值，V p表示所述待去噪图像中与所述初步滤波图像中目标像素点关联的像素点的噪声水平，n表示多项式的级数，a x,i为所述待去噪图像的目标噪声参数；其中，所述初步滤波图像与所述待去噪图像的图像大小相同；其中，n为整数，且n≥1，0≤i≤n；
    基于所述图像噪声水平表达式，根据所述目标噪声参数和所述初步滤波图像中每个像素点的像素值确定所述每个像素点的噪声水平，得到噪声水平图，将所述噪声水平图作为所述待去噪图像的噪声水平估计结果。
  6. 根据权利要求5所述的方法，其中，所述根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果，包括：
    将所述噪声水平图与所述待去噪图像在通道维度上进行拼接，得到合并图像；
    基于预先训练的图像噪声去除网络对所述合并图像进行去噪处理，得到所述待去噪图像的最终盲去噪结果。
  7. 根据权利要求1所述的方法，其中，所述初步滤波处理采用高斯滤波、均值滤波、中值滤波、双边滤波或导向滤波。
  8. 一种图像盲去噪装置，包括：
    图像噪声参数确定模块，设置为根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
    图像初步滤波模块，设置为对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
    噪声水平估计模块，设置为根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
    盲去噪模块，设置为根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
  9. 一种电子设备，包括：
    至少一个处理器；
    存储装置，设置为存储至少一个程序，
    当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一所述的图像盲去噪方法。
  10. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的图像盲去噪方法。
PCT/CN2021/136268 2021-07-15 2021-12-08 图像盲去噪方法、装置、电子设备和存储介质 Ceased WO2023284236A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21950008.9A EP4372671A4 (en) 2021-07-15 2021-12-08 Blind image denoising method and device, electronic device and storage medium
US18/579,149 US20240323548A1 (en) 2021-07-15 2021-12-08 Blind image denoising method, electronic device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110799034.1A CN115619652A (zh) 2021-07-15 2021-07-15 图像盲去噪方法、装置、电子设备和存储介质
CN202110799034.1 2021-07-15

Publications (1)

Publication Number Publication Date
WO2023284236A1 true WO2023284236A1 (zh) 2023-01-19

Family

ID=84855420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/136268 Ceased WO2023284236A1 (zh) 2021-07-15 2021-12-08 图像盲去噪方法、装置、电子设备和存储介质

Country Status (4)

Country Link
US (1) US20240323548A1 (zh)
EP (1) EP4372671A4 (zh)
CN (1) CN115619652A (zh)
WO (1) WO2023284236A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745593A (zh) * 2023-12-29 2024-03-22 湖北大学 一种基于扩散模型老照片划痕修复方法与系统
CN120318112A (zh) * 2025-06-17 2025-07-15 自然资源部第二海洋研究所 国产海洋卫星影像噪声处理方法、装置、电子设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12482075B2 (en) 2022-06-08 2025-11-25 Samsung Electronics Co., Ltd. Restoring images using deconvolution
US20240169497A1 (en) * 2022-11-23 2024-05-23 Samsung Electronics Co., Ltd. Airy-Disk Correction for Deblurring an Image
CN116109524B (zh) * 2023-04-11 2023-06-16 中国医学科学院北京协和医院 磁共振图像通道合并方法、装置、电子设备及存储介质
CN118071635B (zh) * 2024-04-19 2024-07-23 中国南方电网有限责任公司超高压输电公司电力科研院 紫外检测图像的噪声处理方法、装置、计算机设备和介质
CN119048383B (zh) * 2024-08-02 2025-06-27 四川国创新视超高清视频科技有限公司 一种低光照图像的降噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021533A (zh) * 2014-06-24 2014-09-03 浙江宇视科技有限公司 一种实时图像降噪方法及装置
CN104504700A (zh) * 2014-12-19 2015-04-08 成都品果科技有限公司 一种获取图像传感器噪声水平曲线的方法及系统
US20180025474A1 (en) * 2016-07-20 2018-01-25 Alibaba Group Holding Limited Video processing method and apparatus
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN112513936A (zh) * 2019-11-29 2021-03-16 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100759517B1 (ko) * 2006-06-23 2007-09-18 삼성전기주식회사 디지털 영상 노이즈 제거장치 및 방법
US8355063B2 (en) * 2010-09-27 2013-01-15 Sharp Laboratories Of America, Inc. Camera noise reduction for machine vision systems
CN110766632A (zh) * 2019-10-22 2020-02-07 广东启迪图卫科技股份有限公司 基于通道注意力机制和特征金字塔的图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021533A (zh) * 2014-06-24 2014-09-03 浙江宇视科技有限公司 一种实时图像降噪方法及装置
CN104504700A (zh) * 2014-12-19 2015-04-08 成都品果科技有限公司 一种获取图像传感器噪声水平曲线的方法及系统
US20180025474A1 (en) * 2016-07-20 2018-01-25 Alibaba Group Holding Limited Video processing method and apparatus
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN112513936A (zh) * 2019-11-29 2021-03-16 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4372671A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745593A (zh) * 2023-12-29 2024-03-22 湖北大学 一种基于扩散模型老照片划痕修复方法与系统
CN120318112A (zh) * 2025-06-17 2025-07-15 自然资源部第二海洋研究所 国产海洋卫星影像噪声处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN115619652A (zh) 2023-01-17
EP4372671A4 (en) 2025-06-25
EP4372671A1 (en) 2024-05-22
US20240323548A1 (en) 2024-09-26

Similar Documents

Publication Publication Date Title
WO2023284236A1 (zh) 图像盲去噪方法、装置、电子设备和存储介质
CN115294275A (zh) 三维模型的重建方法、装置及计算机可读存储介质
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN113781375B (zh) 一种基于多曝光融合的车载视觉增强方法
CN111047543B (zh) 图像增强方法、装置和存储介质
CN112703532A (zh) 图像处理方法、装置、设备及存储介质
CN114742774B (zh) 融合局部和全局特征的无参考图像质量评价方法及系统
CN111368717A (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
CN111382647A (zh) 一种图片处理方法、装置、设备及存储介质
CN114298942B (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN114581318A (zh) 一种低照明度图像增强方法及系统
CN108230292A (zh) 物体检测方法和神经网络的训练方法、装置及电子设备
JP2021179833A (ja) 情報処理装置、情報処理方法及びプログラム
CN107895350B (zh) 一种基于自适应双伽玛变换的hdr图像生成方法
CN114331901B (zh) 模型训练方法和模型训练装置
CN114066760A (zh) 图像去噪方法、网络模型的训练方法、装置、介质和设备
CN111932467A (zh) 一种图像处理方法及装置
CN117788330A (zh) 一种基于通道-空间注意力的水下图像渐进式生成对抗增强模块
WO2023160645A1 (zh) 图像增强方法及设备
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
CN114764771A (zh) 一种图像质量评价方法、装置、设备、芯片及存储介质
CN120298232A (zh) 无监督图像增强方法、装置、设备以及存储介质
CN116029937A (zh) 一种x射线图像的快速降噪的方法及其装置
CN111886625A (zh) 图像融合方法、图像采集设备、可移动平台
CN112243118B (zh) 白平衡校正方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950008

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18579149

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021950008

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021950008

Country of ref document: EP

Effective date: 20240215