CN111192206A - 一种提高图像清晰度的方法 - Google Patents
一种提高图像清晰度的方法 Download PDFInfo
- Publication number
- CN111192206A CN111192206A CN201911217831.3A CN201911217831A CN111192206A CN 111192206 A CN111192206 A CN 111192206A CN 201911217831 A CN201911217831 A CN 201911217831A CN 111192206 A CN111192206 A CN 111192206A
- Authority
- CN
- China
- Prior art keywords
- image
- loss function
- network
- generator
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种提高图像清晰度的方法,包括如下步骤:利用生成器网络对输入图像进行特征信息的采集,生成器网络根据获取的特征信息生成图像;将生成器网络生成的图像与真实图像分别传入判别器网络,利用判别器网络判断生成的图像是否为真实图像,且提取生成器生成图像和真实图像的特征信息;根据所提取的特征信息,使用Adam算法计算损失函数,不断更新损失函数的参数,直至达到最优参数;完成训练生成清晰图像。本发明能够有效的提高图像清晰度,具备极好的应用价值。
Description
技术领域
本发明属于计算机视觉和深度学习领域,涉及计算机视觉、数字图像处理、人工智能、计算机科学等多门学科,具体涉及一种提高图像清晰度的方法。
背景技术
随着图像技术的发展,人们对图像清晰度的要求越来越高,高清设备已然大规模应用到我们生活中的各个方面,中国成立七十周年大庆上布满了各种超高清设备。因此提高图像清晰度尤为重要,不仅给人们以更高的感官体验,在各种研究领域中也有广泛的应用空间。
造成图像清晰度偏低的原因有很多,其中包括大气因素、亮度因素、人工因素等等,由于拍摄方式、图像放大、设备陈旧、物理损坏等各种原因都会导致图像清晰度下降,因此提高图像清晰度已经成为人们的迫切要求,它以深度学习、计算机视觉、数字图像处理等技术为基础,不仅可以提高人们的视觉体验,在各个领域都有广泛的应用。一般监控是指大范围的场景,比如广场人流情况,公路车流情况等,需要高清晰度的图像来进行人脸识别和车牌识别等;在目标识别方面对画面清晰度有更高的要求,要求能够对图像中的人物、车牌、文字、标志等等进行精确的呈现;细节特征识别主要用在一些特殊应用场所,比如银行柜台、ATM机、赌场等,要求在目标识别的基础上能够得到更多的细节特征。所以提高图像清晰度在各个方面都有着重要的意义。
但是现有技术中还没有一个能够进一步提高图像清晰度的有效方法,所以,迫切需要一个新的技术方案来解决这个问题。
发明内容
发明目的:为了克服现有技术中存在的不足,提供一种提高图像清晰度的方法,其能够有效的提高图像的清晰度。
技术方案:为实现上述目的,本发明提供一种提高图像清晰度的方法,包括如下步骤:
S1:利用生成器网络对输入图像进行特征信息的采集,生成器网络根据获取的特征信息生成图像;
S2:将生成器网络生成的图像与真实图像分别传入判别器网络,利用判别器网络判断生成的图像是否为真实图像,且提取生成器生成图像和真实图像的特征信息;
S3:根据步骤S2所提取的特征信息,使用Adam算法计算损失函数,不断更新损失函数的参数,直至达到最优参数;
S4:完成训练生成清晰图像。
进一步的,所述步骤S1中在生成器网络对输入图像进行特征信息采集之前,对输入图像进行增强预处理,对图像进行增强预处理的操作都是在不改变图像像素信息情况下进行的,其中包括:裁剪,翻转等。
进一步的,所述增强预处理具体为:将图像的每个像素点的值由0~255映射到0~1之间,并随机裁剪得出24x24的图像,输入至模型,随机进行左右/上下翻转,若输入图像进行左右/上下翻转,在训练过程中,相对应的输入图像也进行同样操作。
进一步的,所述步骤S1具体为:在生成器网络中,利用多个残差网络块对输入图像一步步进行特征提取,除了第一个残差块,每一个残差块的输入是前一个残差块的输入和输出的像素级的求和,最后将第一个残差块的输入和最后一个残差块的输出进行像素级求和,通过降维得到与输入图像相同通道数的图像,作为整个生成器网络输出。
进一步的,所述步骤S1中像素级求和是通过残差网络和跳跃连接实现的,其具体为:从浅层网络传入深层网络的特征图与深层的特征图堆叠,其后的卷积层通过权重来选择浅层特征和深层特征对最终预测的影响。
进一步的,所述步骤S2中利用判别器网络的判断方式为:通过多次卷积-激活-正则化操作之后,把生成器网络生成的图像和真实图像的特征提取出来,通过全连接层和Sigmoid激活函数对生成的图像进行判别真假,将结果运用到判别器损失函数。
进一步的,所述步骤S3中损失函数包括生成器损失函数和判别器损失函数两部分,所述判别器损失函数的计算公式如下:
其中,ldis表示判别器损失函数,IT表示真实高清晰度图像,IL表示输入至生成器网络的模糊图像,表示由生成器网络生成的图像,对于判别器而言,我们希望尽可能的大,因为由判别器对真实图像进行判定的输出一定希望是真;希望尽可能的小,因为由判别器对生成图像进行判定的输出一定希望是假,这样函数的增长趋势不同,无法进行最优化,因此计算这样两个公式所期望的优化目标是相同的,便可以一同优化,但此时的期望都是最大值,我们希望在程序实现时是最小值,因此取反为作为判别器损失函数;
所述生成器损失函数包括内容损失函数和对抗损失函数两部分:
内容损失函数的计算公式如下:
其中,lcon表示内容损失函数用L1范数来计算,W和H分别表示图像的宽和高,表示真实高清晰度图像每一像素,IL表示输入至生成器网络的模糊图像,表示由生成器网络经过特征提取,降维生成图像的每一像素,通过对生成图像与真实高清晰度图像之间L1损失函数的优化,即求曼哈顿距离的最小值作为最优解;
对抗损失函数的计算公式如下:
进一步的,所述步骤S3中Adam算法引入二次方梯度校正,通过训练后进行学习速率衰减,通过计算loss对于指定计算图中需要训练参数的导数,不断更新参数达到最优。
有益效果:本发明与现有技术相比,通过使用GAN框架,生成网络将模糊图像和真实高清晰度图像对作为输入,并通过残差网络和跳跃连接进行像素级映射,从浅层网络传入深层网络的特征图与深层的特征图堆叠,最终通过使用Adam优化算法计算损失函数梯度反向传播不断更新参数,因此能够有效的提高图像清晰度,具备很好的应用前景。
附图说明
图1为本发明方法的流程图;
图2为图像增强预处理方法的流程图;
图3为生成器工作流程图;
图4为判别器工作流程图;
图5为本发明模型损失函数流程图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
如图1所示,本发明提供一种提高图像清晰度的方法,包括如下步骤:
步骤1:输入图像,对图像进行增强预处理操作,该操作都是在不改变图像像素信息情况下进行的,其中包括:裁剪,翻转等。
步骤2:利用生成器网络对输入图像进行特征信息的采集,采集的特征信息包括低层特征信息和高层特征信息。
步骤3:生成器网络根据获取的特征信息生成图像;
步骤4:将生成器网络生成的图像与真实高清晰度图像分别传入判别器网络,利用判别器网络判断生成的图像是否为真实图像,且提取生成器生成图像和真实图像的特征信息。
步骤5:根据所提取的特征信息,使用Adam算法计算损失函数,不断更新损失函数的参数,直至达到最优参数;
步骤6:完成训练生成清晰图像。
如图2所示,本实施例中步骤1的增强预处理操作具体为:将输入图像的每个像素点的值由0~255映射到0~1之间,并随机裁剪得出24x24的图像,输入至提高图像清晰度的生成模型,进行翻转,翻转包括左右或上下翻转,随机进行左右/上下翻转,若输入图像进行左右/上下翻转,在训练过程中,相对应的真实高清晰度的图像也要进行同样操作。
如图3所示,本实施例中步骤2和3中生成器的具体工作流程为:在生成器的网络中,利用多个残差网络块对输入图像一步步进行特征提取,除了第一个残差块,每一个残差块的输入是前一个残差块的输入和输出的像素级的求和,最后将第一个残差块的输入和最后一个残差块的输出进行像素级求和,通过降维得到与输入图像相同通道数的图像,作为整个生成网络输出。对于上述的求和操作是通过残差网络和跳跃连接实现的,从浅层网络传入深层网络的特征图与深层的特征图堆叠,其后的卷积层通过权重来选择浅层特征和深层特征对最终预测的影响,并生成图像。
如图4所示,本实施例中步骤4中判别器的具体工作流程为:在判别器网络中,将生成器生成图像和真实高清晰度图像传入判别器,通过多次卷积-激活-正则化操作之后,把生成器生成图像和真实高清晰图像的特征分别提取出来,本实施例用到的激活函数为Leaky ReLU,它并不是将所有的负值都设为零,相反,Leaky ReLU是给所有负值赋予一个非零斜率,由于导数总是不为零,这能减少静默神经元的出现,允许基于梯度的学习,解决了ReLU激活函数进入负区间后,导致神经元不学习的问题。最后通过全连接层(Dense)和Sigmoid激活函数对其进行判别真假,并将结果运用在判别器损失函数中。
如图5所示,步骤5中损失函数主要包括两大块,分别为生成器损失函数和判别器损失函数:
(1)其中判别器损失函数的计算公式如下:
其中,ldis表示判别器损失函数,IT表示真实高清晰度图像,IL表示输入至生成器网络的模糊图像,表示由生成器网络生成的图像,对于判别器而言,我们希望尽可能的大,因为由判别器对真实图像进行判定的输出一定希望是真;希望尽可能的小,因为由判别器对生成图像进行判定的输出一定希望是假,这样函数的增长趋势不同,无法进行最优化,因此计算这样两个公式所期望的优化目标是相同的,便可以一同优化,但此时的期望都是最大值,我们希望在程序实现时是最小值,因此取反为作为判别器损失函数。
(2)生成器损失函数主要包含两部分:内容损失函数和对抗损失函数。
①内容损失函数的计算公式如下:
其中,lcon表示内容损失函数用L1范数来计算,W和H分别表示图像的宽和高,表示真实高清晰度图像每一像素,IL表示输入至生成器网络的模糊图像,表示由生成器网络经过特征提取,降维生成图像的每一像素。通过对生成图像与真实高清晰度图像之间L1损失函数的优化,即求曼哈顿距离的最小值作为最优解;
②对抗损失函数的计算公式如下:
内容损失函数和对抗损失函数共同构成生成器损失函数,在优化中,不断求其最小值。
如图5所示,步骤5中在生成器损失函数和判别器损失函数组成的模型上,使用Adam优化算法进行计算,它是一个寻找全局最优点的优化算法,引入了二次方梯度校正,其中Adam优化算法中一阶矩估计的指数衰减率β1设置为0.9,二阶矩估计的指数衰减率β2设置为0.999,进行10000次训练,训练五千次后进行学习速率衰减,衰减率设置为0.1,在一个batch中,更新生成器两次,更新判别器一次,以防把判别器训练的过好,通过计算损失函数对于指定计算图中需要训练参数的导数,不断更新参数达到最优。
Claims (8)
1.一种提高图像清晰度的方法,其特征在于:包括如下步骤:
S1:利用生成器网络对输入图像进行特征信息的采集,生成器网络根据获取的特征信息生成图像;
S2:将生成器网络生成的图像与真实图像分别传入判别器网络,利用判别器网络判断生成的图像是否为真实图像,且提取生成器生成图像和真实图像的特征信息;
S3:根据步骤S2所提取的特征信息,使用Adam算法计算损失函数,不断更新损失函数的参数,直至达到最优参数;
S4:完成训练生成清晰图像。
2.根据权利要求1所述的一种提高图像清晰度的方法,其特征在于:所述步骤S1中在生成器网络对输入图像进行特征信息采集之前,对输入图像进行增强预处理。
3.根据权利要求1所述的一种提高图像清晰度的方法,其特征在于:所述增强预处理具体为:将图像的每个像素点的值由0~255映射到0~1之间,并随机裁剪得出24x24的图像,输入至模型,随机进行左右/上下翻转,若输入图像进行左右/上下翻转,在训练过程中,相对应的输入图像也进行同样操作。
4.根据权利要求1所述的一种提高图像清晰度的方法,其特征在于:所述步骤S1具体为:在生成器网络中,利用多个残差网络块对输入图像一步步进行特征提取,除了第一个残差块,每一个残差块的输入是前一个残差块的输入和输出的像素级的求和,最后将第一个残差块的输入和最后一个残差块的输出进行像素级求和,通过降维得到与输入图像相同通道数的图像,作为整个生成器网络输出。
5.根据权利要求4所述的一种提高图像清晰度的方法,其特征在于:所述步骤S1中像素级求和是通过残差网络和跳跃连接实现的,其具体为:从浅层网络传入深层网络的特征图与深层的特征图堆叠,其后的卷积层通过权重来选择浅层特征和深层特征对最终预测的影响。
6.根据权利要求1所述的一种提高图像清晰度的方法,其特征在于:所述步骤S2中利用判别器网络的判断方式为:通过多次卷积-激活-正则化操作之后,把生成器网络生成的图像和真实图像的特征提取出来,通过全连接层和Sigmoid激活函数对生成的图像进行判别真假。
7.根据权利要求1所述的一种提高图像清晰度的方法,其特征在于:所述步骤S3中损失函数包括生成器损失函数和判别器损失函数两部分,所述判别器损失函数的计算公式如下:
所述生成器损失函数包括内容损失函数和对抗损失函数两部分:
内容损失函数的计算公式如下:
其中,lcon表示内容损失函数用L1范数来计算,W和H分别表示图像的宽和高,表示真实图像每一像素,IL表示输入至生成器网络的模糊图像,表示由生成器网络经过特征提取,降维生成图像的每一像素,通过对生成图像与真实高清晰度图像之间L1损失函数的优化,即求曼哈顿距离的最小值作为最优解;
对抗损失函数的计算公式如下:
8.根据权利要求1所述的一种提高图像清晰度的方法,其特征在于:所述步骤S3中Adam算法引入二次方梯度校正,通过训练后进行学习速率衰减,通过计算loss对于指定计算图中需要训练参数的导数,不断更新参数达到最优。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911217831.3A CN111192206A (zh) | 2019-12-03 | 2019-12-03 | 一种提高图像清晰度的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911217831.3A CN111192206A (zh) | 2019-12-03 | 2019-12-03 | 一种提高图像清晰度的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111192206A true CN111192206A (zh) | 2020-05-22 |
Family
ID=70710761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911217831.3A Pending CN111192206A (zh) | 2019-12-03 | 2019-12-03 | 一种提高图像清晰度的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111192206A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784721A (zh) * | 2020-07-01 | 2020-10-16 | 华南师范大学 | 基于深度学习的超声内窥图像智能分割与量化方法及系统 |
| CN112435192A (zh) * | 2020-11-30 | 2021-03-02 | 杭州小影创新科技股份有限公司 | 一种轻量级的图像清晰度增强方法 |
| CN113379624A (zh) * | 2021-05-31 | 2021-09-10 | 北京达佳互联信息技术有限公司 | 图像生成方法、图像生成模型的训练方法、装置及设备 |
| WO2022077417A1 (zh) * | 2020-10-16 | 2022-04-21 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理设备和可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190138838A1 (en) * | 2017-11-09 | 2019-05-09 | Boe Technology Group Co., Ltd. | Image processing method and processing device |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110211045A (zh) * | 2019-05-29 | 2019-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
-
2019
- 2019-12-03 CN CN201911217831.3A patent/CN111192206A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190138838A1 (en) * | 2017-11-09 | 2019-05-09 | Boe Technology Group Co., Ltd. | Image processing method and processing device |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110211045A (zh) * | 2019-05-29 | 2019-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高媛 等: "《基于深度残差生成对抗网络的医学影像超分辨率算法》", 《计算机应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784721A (zh) * | 2020-07-01 | 2020-10-16 | 华南师范大学 | 基于深度学习的超声内窥图像智能分割与量化方法及系统 |
| WO2022077417A1 (zh) * | 2020-10-16 | 2022-04-21 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理设备和可读存储介质 |
| CN112435192A (zh) * | 2020-11-30 | 2021-03-02 | 杭州小影创新科技股份有限公司 | 一种轻量级的图像清晰度增强方法 |
| CN112435192B (zh) * | 2020-11-30 | 2023-03-14 | 杭州小影创新科技股份有限公司 | 一种轻量级的图像清晰度增强方法 |
| CN113379624A (zh) * | 2021-05-31 | 2021-09-10 | 北京达佳互联信息技术有限公司 | 图像生成方法、图像生成模型的训练方法、装置及设备 |
| CN113379624B (zh) * | 2021-05-31 | 2024-07-02 | 北京达佳互联信息技术有限公司 | 图像生成方法、图像生成模型的训练方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
| CN115115947B (zh) | 遥感图像检测方法、装置、电子设备以及存储介质 | |
| CN114693607B (zh) | 基于多域块特征标志点配准的篡改视频检测方法及系统 | |
| CN113870128B (zh) | 一种基于深度卷积对抗式网络的数字壁画图像修复方法 | |
| CN111192206A (zh) | 一种提高图像清晰度的方法 | |
| CN111340123A (zh) | 一种基于深度卷积神经网络的图像分数标签预测方法 | |
| WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
| CN105657402A (zh) | 一种深度图恢复方法 | |
| CN114758293B (zh) | 基于辅助分支优化和局部密度块增强的深度学习人群计数方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN111178503A (zh) | 面向移动终端的去中心化目标检测模型训练方法及系统 | |
| CN109685772A (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
| CN117495735A (zh) | 一种基于结构引导的建筑物立面纹理自动修复方法及系统 | |
| CN116188516A (zh) | 缺陷数据生成模型的训练方法 | |
| CN113177463B (zh) | 一种移动场景下的目标定位方法及装置 | |
| CN118247146A (zh) | 基于专家知识监督的遥感图像超分辨率学习方法及装置 | |
| CN117237599A (zh) | 图像目标检测方法及装置 | |
| CN114821174B (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
| CN116052168A (zh) | 基于单目标域图像的跨域语义分割模型生成方法及装置 | |
| CN115035315A (zh) | 一种基于注意力机制的瓷砖色差分级检测方法及系统 | |
| CN119625804B (zh) | 一种深度伪造人脸图像的检测方法和系统 | |
| CN114581381A (zh) | 一种基于深度学习的废钢判级方法 | |
| CN114299328A (zh) | 一种环境自适应感知的小样本濒危动物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200522 |
|
| RJ01 | Rejection of invention patent application after publication |




























