CN109410123B - 基于深度学习的去除马赛克的方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种基于深度学习的去除马赛克的方法、装置及电子设备，该方法包括：获取包括待修复马赛克区域的待修复图像；将待修复图像输入至图像修复模型中，通过图像修复模型生成与待修复图像对应的被掩码masked图像；与待修复图像对应的masked图像满足：与待修复图像大小相同，图像中的掩码mask区域重叠或覆盖待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为待修复图像中相应区域的像素值；通过图像修复模型对masked图像进行修复，得到修复后的图像。本申请的方案，对待修复图像的修复可以不依赖于待修复图像对应的原图中马赛克区域的信息，且修复效果好。

Description

基于深度学习的去除马赛克的方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的去除马赛克的方法、装置及电子设备。

背景技术

目前，去马赛克技术其实是个图像超分辨率问题，也就是如何在低分辨率图像基础上得到更高分辨率的图像。通常情况下，马赛克是难以清除的。这是因为在打码过程中，原图的信息会经历不可逆的损失，如果没有原始图片，是不可能将马赛克完美去掉的。现有常用去马赛技术主要有：

传统的去马赛克技术，基本上都是基于插值算法实现，比如，LCCI(LinearInterpolation with Color Correction Terms I，带颜色校正的线性插值)，NNR(NearestNeighbor Replication，最近邻复制)，Biliner(双线性插值)以及Vargra(InterpolationUsing Threshold-based Variable Number of Gradients，基于阈值的梯度变量插值)。但是基于插值的去马赛克算法，去马赛的效果并不太好，有的没有克服假色影响，有的不能保证图像轮廓边缘的平滑性，有的插值结果会产生块状纹理，影响图像的视觉效果。

现有的基于深度学习的去马赛克技术，有基于图像翻译的pix2pix(像素转像素)模型，有结合对偶学习和GAN(Generative Adversarial Networks，生成式对抗网络)思想的CycleGAN，甚至可以使用基于GAN的超分辨率SRGAN方法，还有Google Brain 2017年提出的像素递归超分辨率(Pixel Recursive Super Resolution)。基于深度学习的去马赛克技术，虽然一定程度上能重建修复马赛克，但该方式具有数据量大，收敛不易，训练难度大，参数调整困难等问题，并且大部分训练都依赖于原始图片信息。

无论是传统插值算法，还是基于深度学习算法的马赛克去除，都过分依赖于马赛克的制作方式，比如传统插值算法可能要依赖于马赛克生成规则，而深度学习算法会依赖于马赛克的大小。

发明内容

为了解决上述现有技术中存在的至少一个问题，本申请提供了一种基于深度学习的去除马赛克的方法、装置及电子设备。为了解决上述问题，本申请主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于深度学习的去除马赛克的方法，该方法包括：

获取待修复图像，所述待修复图像中包括待修复马赛克区域；

将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码(masked)图像；

其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；

通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像。

在第一方面的可选实施方式中，所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像，包括：

通过所述图像修复模型检测所述待修复图像中的所述待修复马赛克区域；

根据检测出的所述待修复马赛克区域，生成与所述待修复图像对应的mask图像；

根据所述待修复图像，以及与所述待修复图像对应的所述mask图像，生成与所述待修复图像对应的masked图像；

其中，与任一图像对应的mask图像满足：

与所述任一图像大小相同，图像中的mask区域的像素值根据所述设定值确定，图像中除mask区域之外的区域为黑色。

在第一方面的可选实施方式中，所述设定值为白色所对应的像素值。

在第一方面的可选实施方式中，所述方法还包括：

获取图像数据集，并将所述图像数据集随机划分为训练数据集和验证数据集；

基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件；

将训练后的图像修复模型确定为所述图像修复模型。

在第一方面的可选实施方式中，所述基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，包括：

将所述训练图像输入至所述待训练图像修复模型，通过所述待训练图像修复模型生成与所述训练图像对应的masked图像；

基于与所述训练图像对应的masked图像对所述待训练图像修复模型进行训练，直至训练后的图像修复模型收敛，得到收敛的图像修复模型；

将所述验证图像输入至所述收敛的图像修复模型中，通过所述收敛的图像修复模型生成与所述验证图像对应的masked图像；

基于所述验证图像，以及所述验证图像对应的masked图像，对所述收敛的图像修复模型进行验证；

其中，与所述训练图像或所述验证图像对应的masked图像满足：

与所述训练图像或所述验证图像大小相同，图像中的mask区域的像素值为所述设定值，图像中除mask区域之外的区域的像素值为所述训练图像或所述验证图像中对应区域的像素值。

在第一方面的可选实施方式中，所述通过所述收敛的图像修复模型生成与所述训练图像对应的masked图像，包括：

通过所述收敛的图像修复模型生成与所述训练图像对应的mask图像；

根据所述训练图像，以及与所述训练图像对应的mask图像，生成与所述训练图像对应的masked图像。

在第一方面的可选实施方式中，所述基于所述训练数据集中的训练图像对待训练图像修复模型进行训练之前，所述方法还包括：

将所述图像数据集中的图像转换成设定大小；

所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像之前，包括：

将所述待修复图像转换成所述设定大小。

第二方面，本申请提供了一种基于深度学习的去除马赛克的装置，该装置包括：

待修复图像获取模块，用于获取待修复图像，所述待修复图像中包括待修复马赛克区域；

被掩码图像生成模块，用于将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像；

其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；

图像修复模块，用于通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像。

第三方面，本申请还提供了一种电子设备，该电子设备包括至少一个处理器，以及与处理器连接的至少一个存储器；

存储器中存储有计算机程序指令，

处理器，用于调用计算机程序指令，以执行本申请第一方面或第一方面任一可选实施方式中所示的方法。

第四方面，本申请还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序指令，当程序指令被处理器调用时，处理器执行本申请第一方面或第一方面任一可选实施方式中所示的方法。

本申请提供的技术方案至少具有下列优点：

本发明提供的基于深度学习的去除马赛克的方法、装置及电子设备，基于图像修复模型实现对待修复图像中马赛克区域的恢复，在对待修复图像进行修复时，可以不依赖于待修复图像对应的原图中马赛克区域信息，即可方便的实现图像中局部马赛克的消除，且修复效果好。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种基于深度学习的去除马赛克的方法的流程示意图；

图2示出了本发明实施例提供的一种基于深度学习的去除马赛克的装置的结构示意图；

图3示出了本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了本申请实施例提供的一种基于深度学习的去除马赛克的方法的流程示意图，如图1所示，该方法主要可以包括以下步骤：

步骤S110：获取待修复图像，待修复图像中包括待修复马赛克区域；

需要说明的是，本申请实施例中，待修复图像中的待修复马赛克区域可以是通过打马赛克方式形成的马赛克区域，也可以图像中有像素缺失的区域或者受损区域。也就是说，待修复图像中的马赛克区域可以是不同原因导致的需要进行修复的区域。

其中，如果是通过打马赛克方式形成的马赛克区域，对于马赛克区域的打码方式即马赛克的制作方式，以及打码区域内每个小格子的大小本申请实施例也均不作限定。

步骤S120：将待修复图像输入至图像修复模型中，通过图像修复模型生成与待修复图像对应的masked图像；

其中，与待修复图像对应的masked图像满足：与待修复图像大小相同，图像中的mask区域重叠或覆盖待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为待修复图像中相应区域的像素值。

本申请实施例中，被掩码图像即masked图像中的mask区域与待修复图像中的待修复马赛克区域对应，将masked图像与待修复图像重叠放置时，mask区域覆盖或重叠待修复马赛克区域。也就是说，mask区域的面积不小于待修复马赛克区域，且mask区域在masked图像中的位置和待修复图像中待修复马赛克区域的位置是相对应的。

步骤S130：通过图像修复模型对masked图像进行修复，得到修复后的图像。

本申请实施例中，图像修复模型为经过训练得到的深度学习神经网络模型，该模型的输入为待修复图像，输出为对待修复图像进行修复后的图像。

本申请实施例的去除马赛克的方法，基于预配置的图像修复模型实现对待修复图像中马赛克区域的恢复，在对待修复图像进行修复时，可以不依赖于待修复图像对应的原图中马赛克区域的信息，即可方便的实现图像中局部马赛克的消除，且修复效果相对较好。

本申请实施例中，步骤S120中，通过图像修复模型基于待修复图像，生成与待修复图像对应的masked图像，具体可以包括：

通过图像修复模型检测待修复图像中的待修复马赛克区域；

根据检测出的待修复马赛克区域，生成与待修复图像对应的mask图像；

根据待修复图像，以及与待修复图像对应的mask图像，生成与待修复图像对应的masked图像；

其中，与任一图像对应的mask图像满足：

与任一图像大小相同，图像中的mask区域的像素值根据设定值确定，图像中除mask区域之外的区域为黑色。

可见，对于待修复图像而言，与其对应的mask图像与待修复图像大小相同，该mask图像中的mask区域的像素值根据设定值确定，该mask图像中除mask区域之外的其它区域均为黑色。

本申请实施例中，在待修复图像输入至图像修复模型后，图像修复模型可以通过上述方案基于待修复图像，生成待修复图像对应的masked图像。其中，在生成masked图像的过程中，所生成的mask图像即掩码图像，是用于与待修复图像进行运算后，对待修复图像中的待修复马赛克区域中的像素点的像素值实现掩码操作的图像，即基于mask图像实现对待修复马赛克区域的像素点的像素值的重新确定。

其中，在实际应用中，上述设定值优选为白色所对应的像素值，即masked图像中的mask区域的像素点的红(R)、绿(G)、蓝(B)均为255，相应的，mask图像中的mask区域也为白色(R、G、B均为255)，其它区域为黑色(R、G、B均为0)。

本申请实施例中，该去除马赛克的方法还包括通过训练得到图像修复模型的步骤。其中，通过训练得到图像修复模型具体可以包括：

获取图像数据集，并将图像数据集随机划分为训练数据集和验证数据集；

基于训练数据集中的训练图像对待训练图像修复模型进行训练，基于验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件；

将训练后收敛且满足预设条件的图像修复模型确定为图像修复模型。

其中，待训练图像修复模型即初始图像修复模型，基于训练数据集和图像数据集对该初始图像修复模型不断进行训练、验证和参数调整等操作，直至训练后得到的图像修复模型满足需求。

在实际应用中，模型收敛的条件以及上述预设条件可以根据实际需求或实际应用场景进行配置。例如，在一可选方案中，基于验证数据集中无马赛克的原图像，生成带马赛克的图像，将带马赛克的图像输入到训练后收敛的图像修复模型中，该模型对输入的带马赛克的图像进行修复后，输出修复后的图像，如果修复后的图像与输入到模型的原图像的相似度大于设定值，则认为满足预设条件，也就是说，该可选方案中，预设条件为模型输入的修复后的图像与原图像的相似度大于设定值。

本申请实施例中，基于训练数据集中的训练图像对待训练图像修复模型进行训练，基于验证数据集中的训练图像对训练后的图像修复模型进行验证，可以包括：

将训练图像输入至待训练图像修复模型，通过待训练图像修复模型生成与训练图像对应的masked图像；

基于与训练图像对应的masked图像对待训练图像修复模型进行训练，直至训练后的图像修复模型收敛，得到收敛的图像修复模型；

将验证图像输入至收敛的图像修复模型中，通过收敛的图像修复模型生成与验证图像对应的masked图像；

基于验证图像，以及验证图像对应的masked图像，对收敛的图像修复模型进行验证；

其中，与训练图像或验证图像对应的masked图像满足：

与训练图像或验证图像大小相同，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为训练图像或验证图像中对应区域的像素值。

可见，对于任一图像(如上述待修复图像、训练图像、训练图像等)，与其对应的masked图像都满足：与任一图像大小相同，masked图像中的mask区域的像素值为设定值(优选为白色对应的像素值)，mask区域之外的像素值为任一图像中相应区域的像素值。

本方案中，在对待训练的图像修复模型进行训练时，模型的输入可以为训练数据集中无马赛克的原图像，通过该模型对该原图像进行处理，生成带mask区域的masked图像，基于该masked图像对待训练的图像修复模型进行训练直至模型收敛，之后基于验证数据集中的图像对收敛的图像修复模型进行验证，具体的，由模型生成验证图像对应的masked图像，基于该masked图像以及其对应的原始验证图像对收敛后的模型进行验证，如果验证满足预设条件，则该收敛的图像修复模型即为本申请实施例中对待修复图像进行修复的图像修复模型，如果验证结果不满足预设条件，则需要对收敛的图像修复模型的参数进行调整，并重复上述基于训练数据集中的图像生成masked图像，基于masked图像继续对调整参数后的该模型进行训练，直至模型收敛，再基于验证数据集对收敛后的模型进行验证，验证结果满足预设条件，则结束训练，否则，继续重复调整模型参数、训练、验证等步骤，直至得到收敛且满足预设条件的图像修复模型。

本申请实施例中，通过收敛的图像修复模型生成与训练图像对应的masked图像，可以包括：

通过收敛的图像修复模型生成与训练图像对应的mask图像；

根据训练图像，以及与训练图像对应的mask图像，生成与训练图像对应的masked图像。

由前文描述可知，与训练图像对应的mask图像满足：

与训练图像大小相同，图像中的mask区域的像素值根据设定值确定，图像中除mask区域之外的区域为黑色。

需要说明的是，在实际应用中，与训练图像对应的mask图像中的mask区域的大小和/或位置均可随机生成。在生成与训练图像对应的masked图像时，可以采用先对训练图像进行打马赛克处理，得到带马赛克区域的训练图像，再生成与带马赛克区域的训练图像对应的mask图像，基于该mask图像与带马赛克区域的训练图像，得到与训练图像对应的masked图像；也可以是直接生成与训练图像对应的mask图像，基于该mask图像与训练图像生成相应的masked图像。其中，在采用第一种方式生成masked图像时，与带马赛克区域的训练图像对应的mask图像除满足与训练图像大小相同，图像中的mask区域的像素值根据设定值确定，图像中除mask区域之外的区域为黑色的条件外，图像中的mask区域需重叠或覆盖带马赛克区域的训练图像中的马赛克区域，该马赛克区域在训练图像中的大小和/或位置可以随机生成；在采用第二种方式生成masked图像时，mask图像中的mask区域的大小和/或位置可以随机生成。

本申请的可选方案中，待训练的图像修复模型可以包括masked图像生成模块和修复生成网络，其中，修复生成网络可以是生成式对抗网络即GAN网络。

本申请的可选方案中，该修复生成网络可以包括两个深度学习网络(记为第一个网络和第二个网络)，图像修复模型的训练可以有两个阶段：第一个网络进行初始粗略预测，第二个网络将粗略预测作为输入并预测精确结果，粗网络的训练损失为reconstruction loss(对抗损失)，细化网络的损失为reconstruction loss和GAN losses(重构损失)。直观地说，细化网络比缺少区域的原始图像拥有更完整的场景，所以它的编码器可以比粗网络学习更好的特征表示。卷积神经网络逐层地处理具有局部卷积核的图像特征，因此对于从远处空间位置获取特征没有效果，为了克服这个局限性，第二阶段考虑了关注机制，并在深度生成网络中引入了一个新的上下文注意力层(contextual attentionlayer)。

在一个示例中，对该修复生成网络进行训练并进行验证，得到收敛且满足预设条件的图像修复模型可以具体包括以下步骤：

a)将训练数据集随机分成N组，N≥2，每组大小记为batch_size，对于某组，取一张原图像x；

b)将原图像x输入至masked图像生成模块，该模块在图像随机位置生成二值mask，得到带mask区域的二值图像即mask图像，记为m，其中，二值图像是指图像中的像素值只有两个值，即mask区域为设定值，如白色，非mask区域为黑色；

c)masked图像生成模块构建网络输入图像z＝x⊙m，其中，⊙为元素乘法，即将原图像和mask图像作元素乘法运算，得到masked图像z；

d)预测输出图像：输出图像x～←z+G(z,m)⊙(1-m)，G表示修复生成网络；

e)根据L1损失(第一个网络的损失)和两个对抗鉴别损失(第二个网络的损失)更新G网络；

f)训练G网络收敛的时候可以结束训练。

在G网络收敛后，基于验证数据集对收敛的G网络进行验证，验证时，需要指定带mask区域的图(即验证数据集中需要生成对应的masked图像的图像)，及相应的mask图(即用于生成masked图像的mask图像，如二值mask图像)，基于收敛的模型即可生成修复图像。结果如果不理想需要调参数即验证结果不满足预设条件，则对模型进一步训练直至验证结果比较理想。

可见，该方案中，构建的修复生成网络的输入为z＝x⊙m，x为原图像，m为mask图，两个图像矩阵运算后，生成了带mask的图z即与原图像对应的masked图像。z优选大小与原图一致。这样预测输出的图像也和原图一样的大小。

本申请实施例中，基于训练数据集中的训练图像对待训练图像修复模型进行训练之前，该方法还包括：

将图像数据集中的图像转换成设定大小；

通过图像修复模型生成与待修复图像对应的masked图像之前，还包括：

将待修复图像转换成设定大小。

在实际应用中，图像修复模型一般都有固定的输入大小，不同的图像数据集(包括训练数据集和验证数据集)中的图像也会有不同的图像大小，如果图像数据集中图像的大小过大，训练速度会比较缓慢，因此，在基于图像数据集中的图像对初始图像修复模型进行训练时，一般会将训练数据集中的图像统一处理成一定大小作为输入，这样训练好的图像修复模型能够适用于统一的设定大小，该设定大小一般会小于训练数据集中图像的大小，从而减少训练时的硬件资源消耗，提升模型的训练速度。其中，设定大小可以根据实际应用需求进行设置。

可以理解的是，在训练时，如果将图像数据集中的图像转换成设定大小，在基于训练得到的图像修复模型对待修复图像进行修复时，可以将待修复图像转换成设定大小，以提高修复效果。

本申请实施例中，初始图像修复模型即待训练图像修复模型可以根据实际应用需求和应用场景选择，在一可选的实施方式中，待训练图像修复模型可以为基于语境关注的生成图像修复(Generative Image Inpainting with Contextual Attention)提出的模型，可以为基于神经网络的图像修复模型，如DeepFillv1模型或DeepFillv2模型，还可以是基于Pconv的图像修复模型。基于图像训练集，对选择的待训练图像修复模型进行训练，得到最终所需要的能够输出修复后图像的图像修复模型。

其中，在采用训练数据集中的图像对初始图像修复模型进行训练的过程中，可以自动随机对图像加马赛克区域。在实际应用中，可以利用开源计算机视觉库(Open SourceComputer Vision Library，opencv)将训练数据集中的人脸图片局部打码，生成了带马赛克的图片。其中，打马赛克的方式不做限定，可以根据实际应用需要设置。再基于该带马赛克的图片生成对应的masked图像，通过训练数据集中的图像对应的masked图像对初始图像修复模型进行反复训练，并通过验证集中的图像对训练后的模型进行验证，直至得到能够在输入带马赛克区域的图像时，能够输出得到满足需求的去除了masked图像中的mask区域的图像修复模型。

本申请实施例中，对图像修复模型进行训练的过程中，训练集里的每张图像都可以随机生成带mask的训练图像即训练图像对应的masked图像，每个生成masked图像中的mask区域可以大小不一，最大理论上可以为图像宽的一半和图像高的一半。比如人脸图像大小为256*256，那么该图可以随机生成的最大mask理论上可以为128*128，位置可以任意。

对于待修复图像，在对此图像进行修复前，需要生成一张带mask区域的、和待修复图像一样大小的mask图像，该图上mask区域优选为白色，即该mask图像中的mask区域的R、G、B值均为255，该图像除mask区域之外的其它区域优选为黑色，即其它区域的R、G、B值均为0，mask区域需覆盖或重叠待修复图像中的待修复马赛克区域。在原图即待修复图像上加上mask图像(两图作元素乘法元素)后，生成与待修复图像对应的masked图像，该masked图像中的mask区域像素值为255(白色)，其他区域为图像真实像素值，再由训练得到的图像修复模型对待修复图像所对应的masked图像进行图像修复，可以得到去除该mask区域的图，从而达到消除马赛克的目的。。

其中，对于任意一张带局部马赛克的人脸图像，需将马赛克区域检测出来或者直接生成覆盖该区域的mask图，使得原图带mask区域即生成原图对应的masked图像，最后将该masked图像进行修复，得到与原图对应的修复后的图像。

可以理解的是，在可选方案中，本申请实施例中，与任一图像对应的mask图像可以是二值mask图像，该mask图像归一化后只有两个值0和1(分别对应非mask区域之外的黑色区域和白色mask的区域)，以简化运算。可以理解的是，在实际应用中，也可以采用其它mask生成方式，生成的带mask的图像即masked图像中的mask区域也可以不是白色，如可以是灰色，也就是说，上述RGB值可以不是255，而是其它设定值。在实际应用中，优选上述白色，采用该方式，可以使得原图带mask即masked图像中的mask的效果更明显，修复效果更好。

本申请实施例的去除马赛克的方法，可以使得图像修复模型的修复删除结果不依赖于马赛克制作方式，也不限于打码区域内每个小格子的大小。并且马赛克修复视觉效果相对较好，且在训练时，不需要准备原图与打码后的图成对的数据集。

基于与图1中所示的方法相同的原理，本申请实施例还提供了一种基于深度学习的去除马赛克的装置，如图2所示，该去除马赛克的装置100主要可以包括待修复图像获取模块110、被掩码图像生成模块120和图像修复模块130。

待修复图像获取模块110，用于获取待修复图像，待修复图像中包括待修复马赛克区域；

被掩码图像生成模块120，用于将待修复图像输入至图像修复模型中，通过图像修复模型生成与待修复图像对应的被掩码masked图像；

其中，与待修复图像对应的masked图像满足：与待修复图像大小相同，图像中的掩码mask区域重叠或覆盖待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为待修复图像中相应区域的像素值；

图像修复模块130，用于通过图像修复模型对masked图像进行修复，得到修复后的图像。

可选的，被掩码图像生成模块120在通过图像修复模型生成与待修复图像对应的被掩码masked图像时，具体用于：

通过图像修复模型检测待修复图像中的待修复马赛克区域；

根据检测出的待修复马赛克区域，生成与待修复图像对应的mask图像；

根据待修复图像，以及与待修复图像对应的mask图像，生成与待修复图像对应的masked图像；

其中，与任一图像对应的mask图像满足：

与任一图像大小相同，图像中的mask区域的像素值根据设定值确定，图像中除mask区域之外的区域为黑色。

可选的，设定值为白色所对应的像素值。

可选的，该装置还可以包括修复模型训练模块。

修复模型训练模块，用于获取图像数据集，并将图像数据集随机划分为训练数据集和验证数据集，基于训练数据集中的训练图像对待训练图像修复模型进行训练，基于验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件，将训练后的图像修复模型确定为图像修复模型。

可选的，修复模型训练模块在基于训练数据集中的训练图像对待训练图像修复模型进行训练，基于验证数据集中的验证图像对训练后的图像修复模型进行验证时，可以具体用于：

将训练图像输入至待训练图像修复模型，通过待训练图像修复模型生成与训练图像对应的masked图像；

基于与训练图像对应的masked图像对待训练图像修复模型进行训练，直至训练后的图像修复模型收敛，得到收敛的图像修复模型；

将验证图像输入至收敛的图像修复模型中，通过收敛的图像修复模型生成与验证图像对应的masked图像；

基于验证图像，以及验证图像对应的masked图像，对收敛的图像修复模型进行验证；

其中，与训练图像或验证图像对应的masked图像满足：

与训练图像或验证图像大小相同，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为训练图像或验证图像中对应区域的像素值。

可选的，修复模型训练模块在通过收敛的图像修复模型生成与训练图像对应的masked图像时，可以具体用于：

由收敛的图像修复模型生成与训练图像对应的mask图像；

根据训练图像，以及与训练图像对应的mask图像，生成与训练图像对应的masked图像。

可选的，该装置还可以包括：

图像转换模块，用于在基于训练数据集中的训练图像对待训练图像修复模型进行训练之前，将图像数据集中的图像转换成设定大小；以及用于在通过图像修复模型生成与待修复图像对应的被掩码masked图像之前，将待修复图像转换成设定大小。

可以理解的是，由于本实施例所介绍的去除马赛克的装置为可以执行本发明的可选实施例中的去除马赛克的方法的装置，故而基于本发明的可选实施例中所介绍的去除马赛克的方法，本领域所属技术人员能够了解本实施例的去除马赛克的装置的具体实施方式以及其各种变化形式，所以在此对于该去除马赛克的装置如何实现本发明的可选实施例中的去除马赛克的方法不再详细介绍。只要本领域所属技术人员实施本发明的可选实施例中去除马赛克的方法所采用的装置，都属于本发明所欲保护的范围。

本申请实施例的去除马赛克的装置的各模块和/或各单元，可以具有实现本申请实施例所示的去除马赛克的方法中的相应步骤的功能。其中，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。上述各模块可以是软件和/或硬件，各模块可以单独实现，也可以多个模块集成实现。对于去除马赛克的装置的各模块的功能描述具体可以参见上述去除马赛克的方法中的相应描述，在此不再赘述。

图3示出了根据本申请实施例的一种电子设备的示意性框图，该电子设备可以具体实现为图像修复设备。如图3所示，该电子设备300包括处理器301、存储器302和通信接口303，通信接口303用于与外部设备通信。

处理器301可以包括中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或其组合。处理器501还可以进一步包括硬件芯片，例如专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。处理器301中的各电路可以是独立的，也可以集成在一个或多个芯片中。

存储器302可以是独立的器件也可以集成在处理器301中。存储器302可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)。存储器301也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)。存储器301还可以包括上述种类的存储器的任意组合。

存储器302可以用于存储故障原因与故障编码的对应关系；可选地，存储器302还用于存储计算机程序指令，处理器301执行所述存储器302存储的计算机程序指令，实现上述本申请图1或基于图1的任一实施例中所示的去除马赛克的方法。

通信接口303可以为可以是无线接口或有线接口。其中，无线接口可以是蜂窝移动网络接口，无线局域网(WLAN)接口等。有线接口可以是以太网接口，例如或光接口或电接口。

该电子设备300还可以包括总线304，总线304用于连接处理器301、存储器302和通信接口303，使处理器301、存储器302和通信接口303通过总线304进行相互通信。

在一个实施方式中，所述存储器302用于存储程序代码，所述处理器301用于调用所述程序代码以实现上述本申请图1或基于图1的任一实施例中所示的去除马赛克的方法的功能和步骤。

本申请实施例还提供一种计算机可读存储介质，改计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述任一去除马赛克的方法实施例所提供的方法。

在上述实施例中，可以全部或部分地通过软件、硬件或者其组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、双绞线、光纤)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，光盘)、或者半导体介质(例如固态硬盘)等。

Claims (9)

1.基于深度学习的去除马赛克的方法，其特征在于，包括：

获取待修复图像，所述待修复图像中包括待修复马赛克区域；

将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像；

其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；

通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像；

其中，所述图像修复模型是通过以下方式训练得到的：

获取图像数据集，并将所述图像数据集随机划分为训练数据集和验证数据集，其中，所述训练数据集中的训练图像是没有马赛克区域的原图像；

基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件，将训练后的图像修复模型确定为所述图像修复模型，其中，训练的过程包括：

将训练数据集中的训练图像输入到待训练图像修复模型中，通过所述待训练图像修复模型生成与训练图像对应的带mask区域的masked图像；

通过所述待训练图像修复模型对训练图像对应的masked图像进行修复，得到修复后的图像；

基于训练数据集中的训练图像和训练图像对应的修复后的图像之间的相似度，确定训练后的图像修复模型是否收敛。

2.根据权利要求1所述的方法，其特征在于，所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像，包括：

通过所述图像修复模型检测所述待修复图像中的所述待修复马赛克区域；

根据检测出的所述待修复马赛克区域，生成与所述待修复图像对应的mask图像；

根据所述待修复图像，以及与所述待修复图像对应的所述mask图像，生成与所述待修复图像对应的masked图像；

其中，与任一图像对应的mask图像满足：

与所述任一图像大小相同，图像中的mask区域的像素值根据所述设定值确定，图像中除mask区域之外的区域为黑色。

3.根据权利要求1或2所述的方法，其特征在于，所述设定值为白色所对应的像素值。

4.根据权利要求3所述的方法，其特征在于，所述基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，包括：

将所述验证图像输入至所述收敛的图像修复模型中，通过所述收敛的图像修复模型生成与所述验证图像对应的masked图像；

基于所述验证图像，以及所述验证图像对应的masked图像，对所述收敛的图像修复模型进行验证；

其中，与所述训练图像或所述验证图像对应的masked图像满足：

与所述训练图像或所述验证图像大小相同，图像中的mask区域的像素值为所述设定值，图像中除mask区域之外的区域的像素值为所述训练图像或所述验证图像中对应区域的像素值。

5.根据权利要求1所述的方法，其特征在于，通过所述待训练图像修复模型生成与所述训练图像对应的masked图像，包括：

由所述待训练图像修复模型生成与所述训练图像对应的mask图像；

根据所述训练图像，以及与所述训练图像对应的mask图像，生成与所述训练图像对应的masked图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据集中的训练图像对待训练图像修复模型进行训练之前，所述方法还包括：

将所述图像数据集中的图像转换成设定大小；

所述通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像之前，包括：

将所述待修复图像转换成所述设定大小。

7.基于深度学习的去除马赛克的装置，其特征在于，包括：

待修复图像获取模块，用于获取待修复图像，所述待修复图像中包括待修复马赛克区域；

被掩码图像生成模块，用于将所述待修复图像输入至图像修复模型中，通过所述图像修复模型生成与所述待修复图像对应的被掩码masked图像；

其中，与所述待修复图像对应的masked图像满足：与所述待修复图像大小相同，图像中的掩码mask区域重叠或覆盖所述待修复马赛克区域，图像中的mask区域的像素值为设定值，图像中除mask区域之外的区域的像素值为所述待修复图像中相应区域的像素值；

图像修复模块，用于通过所述图像修复模型对所述masked图像进行修复，得到修复后的图像；

其中，所述图像修复模型是通过以下方式训练得到的：

获取图像数据集，并将所述图像数据集随机划分为训练数据集和验证数据集，其中，所述训练数据集中的训练图像是没有马赛克区域的原图像；

基于所述训练数据集中的训练图像对待训练图像修复模型进行训练，基于所述验证数据集中的验证图像对训练后的图像修复模型进行验证，直至训练后的图像修复模型收敛且验证结果满足预设条件，将训练后的图像修复模型确定为所述图像修复模型，其中，训练的过程包括：

将训练数据集中的训练图像输入到待训练图像修复模型中，通过所述待训练图像修复模型生成与训练图像对应的带mask区域的masked图像；

通过所述待训练图像修复模型对训练图像对应的masked图像进行修复，得到修复后的图像；

基于训练数据集中的训练图像和训练图像对应的修复后的图像之间的相似度，确定训练后的图像修复模型是否收敛。

8.一种电子设备，其特征在于，包括至少一个处理器，以及与所述处理器连接的至少一个存储器；

所述存储器中存储有计算机程序指令，

所述处理器，用于调用所述计算机程序指令，以执行权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序指令，当所述程序指令被处理器调用时，所述处理器执行权利要求1至6中任一项所述的方法。