CN108401112B - 图像处理方法、装置、终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、终端及存储介质，属于计算机技术领域，所述方法包括：获取目标图像；提取目标图像中的第一局部图像，第一局部图像是包含指定类型对象的图像；通过预设分类对应的图像生成模型生成第二局部图像，预设分类是指定类型对象的至少两种分类中的一种，图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，第一样本图像包含预设分类的指定类型对象，第二局部图像的几何尺寸和第一局部图像的几何尺寸相同；将目标图像中的第一局部图像替换为第二局部图像，经过图像处理后的目标图像中的第一局部图像替换为第二局部图像，简化了用户替换图像中指定区域的操作步骤，提高了图像处理效果。

Description

图像处理方法、装置、终端及存储介质

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种图像处理的方法、装置、终端及存储介质。

背景技术

随着摄影摄像技术的不断发展，包括手机和平板电脑在内的移动终端的功能日益强大。通过移动终端中设置的摄像头，用户可以实现拍摄照片，录制视频或者进行视频聊天等功能。

相关技术中，当用户通过摄像头拍摄到图片后，用户可能因为图片中的指定区域光线灰暗或者不够美观而希望进行替换。比如，用户可能会因为图片中的模块区域而希望更换该区域的图像。此时，用户要手动圈出需要被替换的区域的范围，此后，用户还需要手动选择进行替换的图像素材。随后，终端将使用图像素材填充用户圈出的区域。

然而，由于不同的图片需要替换的区域不同且终端提供的图像素材固定，造成替换图像指定区域的步骤繁琐且视觉效果单调。

发明内容

本申请实施例提供了一种图像处理的方法、装置、终端及存储介质，可以解决由于不同的图片需要替换的区域不同且终端提供的图像素材固定，造成替换图像指定区域的步骤繁琐且视觉效果单调的问题。所述技术方案如下：

根据本申请的第一方面，提供了一种图像处理方法，所述方法包括：

获取目标图像；

提取所述目标图像中的第一局部图像，所述第一局部图像是包含指定类型对象的图像；

通过预设分类对应的图像生成模型生成第二局部图像，所述预设分类是所述指定类型对象的至少两种分类中的一种，所述图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，所述第一样本图像包含所述预设分类的指定类型对象，所述第二局部图像的几何尺寸和所述第一局部图像的几何尺寸相同；

将所述目标图像中的所述第一局部图像替换为所述第二局部图像。

根据本申请的第二方面，提供了一种图像处理装置，所述装置包括：

获取单元，用于获取目标图像；

提取单元，用于提取所述目标图像中的第一局部图像，所述第一局部图像是包含指定类型对象的图像；

生成单元，用于通过预设分类对应的图像生成模型生成第二局部图像，所述预设分类是所述指定类型对象的至少两种分类中的一种，所述图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，所述第一样本图像包含所述预设分类的指定类型对象，所述第二局部图像的几何尺寸和所述第一局部图像的几何尺寸相同；

替换单元，用于将所述目标图像中的所述第一局部图像替换为所述第二局部图像。

根据本申请的第三方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如第一方面所述的图像处理方法。

根据本申请的第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如第一方面所述的图像处理方法。

本申请实施例提供的技术方案带来的有益效果是：

在执行本申请实施例提供的方案时，终端能够通过获取目标图像，提取目标图像中包含指定类型对象的第一局部图像，并能够通过预设分类对应的图像生成模型生成第二局部图像，该第二局部图像的几何尺寸和第一局部图像的几何尺寸相同，将目标图像中的第一局部图像替换为第二局部图像。其中，图像生成模型对应的预设分类，是指定类型对应的至少两种分类中的一种，该模型是预先通过N个第一样本图像训练获得的机器学习模型，同时第一样本图像包含有预设分类的指定类型对象。可见，本申请实施例提供的方案能够在无人操控情形下自动将目标图像中包含指定类型对象的第一局部图像替换为第二局部图像，且由于生成的第二局部图像的图像是经过预设分类的指定类型对象训练出的模型生成的图像，因此经过图像处理后的目标图像能够将原第一局部图像替换为含有预设分类的指定类型对象的图像，简化了用户替换图像中指定区域的操作步骤，提高了图像处理效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的图像处理方法的流程图；

图2是基于图1所示实施例提供的一种第一局部图像的示意图；

图3是基于图1所示实施例提供的一种用户确定预设分类的交互示意图；

图4是本申请另一个示例性实施例提供的图像处理的流程图；

图5是基于图4所示实施例提供的一种获取目标图像的过程示意图；

图6是基于图4所示实施例提供一种几何参考点的位置的示意图；

图7是基于图4所示实施例提供的一种提取第一局部图像的过程示意图；

图8示出了本申请一个示例性实施例提供的图形处理装置的结构框图；

图9是本申请一个示例性实施例提供的终端的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

为了本申请实施例所示方案易于理解，下面将对本申请实施例中出现的若干名词进行解释。

第一局部图像：指目标图像中的部分区域组成的图像，该第一局部图像可以是目标图像中的一个闭合区域的图像，也可以是两个或者两个以上的闭合区域的图像。极端情况下，第一局部图像也可以是目标图像本身。其中，目标图像中包含有指定类型对象，该指定类型对象可以是天空对象、海洋对象、河流对象、湖泊对象、山丘对象、草原对象或道路对象中至少一种。

目标图像：指包含有第一局部图像的图像，该目标图像可以由终端从待处理图像中筛选而得到。可选地，终端可以通过图像识别的方式确定待处理图像中是否包含指定类型对象，将指定类型对象对应的部分图像确定为第一局部图像。可选地，本申请实施例还能够通过图像识别模型识别待处理图像是否为目标图像，该图像识别模型是预想通过第二样本图像训练获得的机器学习模型，该第二样本图像包括标注有对应的图像类型的图像，该图像类型包括目标类型和非目标类型两种，属于目标类型的图像中包含指定类型对象，属于非目标类型的图像中不包含指定类型对象。需要说明的是，图像识别模型可以是CNN(Convolutional Neural Network，卷积神经网络)模型，例如VGG(Visual GeometryGroup，超分辨率测试序列)模型、YOLO(You Only Look Once，一瞥)模型或RCNN(Regionswith CNN features，基于卷积神经网络特征的区域方法)模型中至少一种模型。

图像生成模型，指预先通过N个第一样本图像训练获得的机器学习模型，该图像生成模型可以对应预设分类，该预设分类可以是指定类型对象的至少两种分类中的一种。可选地，当指定类型对象是天空对象时，预设分类可以是晴朗类型、多云类型或阴雨类型中的一种。需要说明的是，终端中可以同时集成对应晴朗类型的图像生成模型、对应多云类型的图像生成模型和对应阴雨类型的图像生成模型。在另一种可能实现的方式中，终端还可以根据时间设置更多的图像生成模型，例如对应晴朗类型的图像生成模型，可以替换为对应日出时刻的晴朗类型的图像生成模型，对应中午的晴朗类型的图像生成模型，对应日落时刻的晴朗类型的图像生成模型，对应夜间的晴朗类型的图像生成模型。在实际应用中，图像生成模型可以是GNN(Generative Adversarial Nets，生成式对抗网络)模型。比如，该模型可以通过一个晴朗天空图像(第一训练样本)的集合进行训练，进而转化为对应晴朗类型的图像生成模型。该图像生成模型由于第一训练样本同属一个预设分类模型，因而生成的第二局部图像也与该预设分类模型的图像类似。

信息输出组件：包括屏幕、扬声器、振动组件和提示灯等组件中的至少一种，可以令信息通过视觉信息、听觉信息或者体感信息被用户感知。

示例性地，本申请实施例所示的图像处理方法，可以应用在终端中，该终端具备显示屏。终端可以包括手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放终端、MP5播放终端、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(Virtual Reality，VR)播放终端或增强现实(Augmented Reality，AR)播放终端等。

请参考图1，其是本申请一个示例性实施例提供的图像处理方法的流程图。该图像处理方法可以应用在上述所示的终端中。在图1中，该图像处理方法包括：

步骤110，获取目标图像。

在本申请实施例中，终端可以先获取待处理图像，待处理图像的获取过程可以参见上述关于目标图像的解释，此处不再赘述。在获取到待处理图像后，终端能够通过图像识别的方式确定待处理图像中是否包含指定类型对象，将包含指定类型对象的图像获取为目标图像。

步骤120，提取目标图像中的第一局部图像，第一局部图像是包含指定类型对象的图像。

在本申请实施例中，终端将提取目标图像中的第一局部图像，该第一局部图像中包含指定类型对象。例如，当指定类型对象为天空对象时，终端将提取目标图像中的天空区域，将该区域作为第一局部图像。

请参考图2，其是基于图1所示实施例提供的一种第一局部图像的示意图。在图2中，指定类型对象为天空对象，终端将从目标图像200中提取第一局部图像210，该第一局部图像210中包括天空对象。

步骤130，通过预设分类对应的图像生成模型生成第二局部图像，预设分类是指定类型对象的至少两种分类中的一种，图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，第一样本图像包含预设分类的指定类型对象，第二局部图像的几何尺寸和第一局部图像的几何尺寸相同。

在本申请实施例中，终端能够通过预设分类对应的图像生成模型生成第二局部图像。其中，预设分类是终端自行确定的分类，或者用户指定的分类。该预设分类是终端中存储的图像生成模型对应的分类，比如当指定类型对象是天空对象时，该预设分类可以是晴朗类型、多云类型或阴雨类型中的一种。

可选地，终端可以从指定类型对象的至少两种分类中确定出预设分类，并根据预设分类从至少两个图像生成模型中确定对应的图像生成模型。

在一种可能的实现方式中，终端可以自主确定预设分类。比如，终端可以通过当前所在的地理位置的实时天气状况来确定预设分类，如终端确定当前所在的地理位置是北京东城区，时间是2018年3月27日15:00。则终端可以从云端或者本机缓存数据中读取北京东城区在2018年3月27日15:00的天气状况，例如终端获取的天气状况是晴，则终端可以将预设分类确定为晴。

在另一种可能的实现方式中，终端可以接受用户的操作，根据用户的操作确定预设分类。首先，终端可以接收第一信号，该第一信号是接收到第一用户操作时生成的信号，该第一用户操作是基于至少两种分类执行的选择操作，随后，终端根据第一信号将第一用户操作对应的分类确定为预设分类。请参见图3，其是基于图1所示实施例提供的一种用户确定预设分类的交互示意图。在图3中，终端展示候选的预设分类有晴朗类型310、多云类型320和阴雨类型330，用户的手指340点击该终端的可触摸显示屏中的晴朗类型310对应的图标。此时，终端将晴朗类型确定为预设分类，并使用预设分类对应的图像生成模型生成第二局部图像。

步骤140，将目标图像中的第一局部图像替换为第二局部图像。

在本申请实施例中，终端将目标图像中的第一局部图像替换为第二局部图像。在一种可能的实现过程中，终端可以将第二局部图像覆盖在第一局部图像的位置处，将目标图像和第二局部图像合成为新的目标图像。在另一种可能的实现过程中，终端可以将目标图像中的第一局部图像删除，并将其余部分和第二局部图像相拼接，合成为新的第二图像。

综上所述，本实施例提供的图像处理方法，通过获取目标图像，提取目标图像中包含指定类型对象的第一局部图像，使用预设分类对应的图像生成模型生成几何尺寸和第一局部图像相同的第二局部图像，并将第一局部图像中的第一局部图像替换为第二局部图像，使得终端能够自动将目标图像中包含指定类型对象的局部区域替换为预设分类对应的图像生成模型生成的图像，由于图像生成模型生成的第二局部图像是预设分类对应的图像，因此本实施例简化了用户替换图像中指定区域的操作步骤，提高了图像处理效果。

在本申请提供的一个实施例中，终端还能够根据目标图像中人物的表情确定预设分类，请参考如下实施例。

请参见图4，其是本申请另一个示例性实施例提供的图像处理的流程图。该图像处理的方法可以应用在上述所示的终端中。在图4中，该图像处理的方法包括：

步骤401，获取待处理图像。

在本实施例中，终端可以通过如下几种方式获取待处理图像。

方式一：终端可以通过接收图像采集信号控制摄像头采集待处理图像，该图像采集信号是终端接收到用于触发摄像头采集待处理图像的操作时生成的信号。

例如，用户点击终端中相机应用的拍摄按钮或者按压终端的调节音量按钮时，终端将拍摄图像，并将该图像作为待处理图像。

方式二：终端可以读取本地存储芯片，将本地芯片中存储的图像获取为待处理图像。

例如，用户使用终端的相册，选取相册中的一张图像，该图像即可作为待处理图像。其中，需要说明的是本地存储芯片既可以包括内存(易失性存储)芯片，也可以包括非易失性存储芯片。

方式三：终端可以通过接收开启取景信号控制摄像头采集待处理图像，该开启取景信号是终端接收到用于指示拍摄应用进入取景模式的操作时生成的信号。

例如，终端可以将用户点击拍摄应用的启动图标时产生的信号作为开启取景信号，或者，将其他用于启动拍摄应用并进入取景模式时产生的信号作为开启取景信号，终端将摄像头采集到的取景图像作为待处理图像。

可选地，取景图像可以是摄像头处于取景状态时，实时显示在终端的屏幕中的图像，用于用户观察摄像头实时采集到的图像。

方式四：终端还可以将从云端下载的图像作为待处理图像。

例如，用户从云端服务器下载了一张图像，终端将该图像作为待处理图像。

步骤402，将待处理图像输入图像识别模型，获得待处理图像对应的图像类型，图像识别模型是预先通过第二样本图像训练获得的机器学习模型，第二样本图像包括标注有对应的图像类型的图像。

需要说明的是，图像类型包括目标类型和非目标类型，属于目标类型的图像中包含指定类型对象，属于非目标类型的图像中不包含指定类型对象。终端在获取到待处理图像后，可将该待处理图像输入到图像识别模型中，以获取目标图像。请参见图5，其是基于图4所示实施例提供的一种获取目标图像的过程示意图。在图5中，待处理图像经过图像识别模型识别后，将被区分为目标图像和非目标图像。

其中，获取第二样本图像的过程可以通过步骤(a1)、步骤(a2)、步骤(a3)和步骤(a4)来实现。

步骤(a1)终端采集包含指定类型对象的图像；

需要说明的是，该包含指定类型对象的图像可以根据指定类型对象的不同而有所区别，当指定类型对象是天空对象时，终端可以采集各种包含天空区域的图像，该图像可以是整幅图像中全部为天空对象的图像。当指定类型对象是海洋对象时，终端可以采集平静海洋的图像、海浪翻卷的图像或者波光凌凌的海面的图像等等海洋的图像。按照同样的图像采集标准，该指定类型对象还可以是河流对象、湖泊对象、山丘对象、草原对象或道路对象中至少一种。

步骤(a2)终端将包含指定类型对象的图像划分为M个图像块，M是正整数。

终端可以将包含指定类型对象的图像划分为M个图像块，M可以根据该图像的分辨率来设置，当该图像的分辨率较高时，M的数值可以设置的较大，当该图像的分辨率较低时，M的数值可以设置的较小。其中，M和目标图像的分辨率成正相关关系。例如，当终端是手机或者平板电脑时，M的数值可以为100，M可以实现为10×10的方格，图像被划分为100个大小相等的图像块。需要说明的是，M的取值可以取决于实验数值，既可以在本公开所举例子周围浮动，也可以自主确定为一个具体的数值，本实施例不做限制。

步骤(a3)终端为M个图像块分别添加标签，标签用于指示对应的图像块的图像类型。

在本实施例中，终端可以获取技术人员标定的M个图像块各自的标签，也可以通过调用其它识别模型为M个图像块添加标签。

步骤(a4)终端获取M个图像块为第二样本图像。

在本实施例中，终端将M个图像块作为第二样本图像。可选地，终端可以通过该第二样本图像训练图像识别模型。需要说明的是，图像识别模型也可以在服务器中进行训练，终端中直接安装经过训练的图像识别模型。

步骤403，确定图像类型为目标类型的待处理图像为目标图像。

步骤404，将目标图像划分为Q个图像块，Q为正整数。

在本实施例中，终端可以将目标图像划分为Q个图像块，此处Q为正整数。Q的取值可以参数M相同，即Q等于M。当Q与M的取值相同时，用于执行本实施例的程序代码和所需的计算资源都将减少，使得实现本是实施例所示方法的效率较高。

步骤405，对于Q个图像块中的每一个图像块，确定图像块中属于第一局部图像的区域的几何参考点，几何参考点是中心、垂心或重心中的一种。

请参考图6，其是基于图4所示实施例提供一种几何参考点的位置的示意图。在图6中，图像块610整块都属于第一局部区域，若取几何参考点为中心，则点611是图像块610的几何参考点。图像块620中的左上三角形区域属于第一局部区域，若取几何参考点为中心，则点621是图像块620的几何参考点。

步骤406，根据Q个图像块中的每一个图像块各自的几何参考点的坐标，从目标图像中提取第一局部图像。

其中，在实际执行过程中，终端能够通过根据几何参考点获取范围更为准确的第一局部图像，该执行方案包括步骤(b1)、步骤(b2)、步骤(b3)、步骤(b4)和步骤(b5)。

步骤(b1)终端将目标图像划分为K个面积相等的图像块，K为正整数。

需要说明的是，K的取值可以在执行本方案的终端的计算能力的范围内，尽可能的取较大值。原因在于K的取值越大，终端提取的第一局部图像的边界将越精细。

步骤(b2)终端在第i次执行时，针对K个图像块剩余的(K+1-i)个图像块，计算每两个有公共边的图像块之间的相似度s，获得相似度集合S。

在本实施例中，终端将对K个图像块执行融合操作，从第1次执行开始，直至将K个图像块融合为2个图形块。

步骤(b3)将数值最大的相似度s对应的目标图像块和第二图像块合并为一个图像块。

步骤(b4)从相似度集合S中，删除目标图像块对应的相似度数值和第二图像块对应的相似度数值。

步骤(b5)执行第i+1次操作，直至相似度集合S为空集时，将合并后的各个图像块中包含Q个图像块中的图像块的几何参考点的图像块作为第一局部图像。

请参考图7，其是基于图4所示实施例提供的一种提取第一局部图像的过程示意图。在图7中，K的取值为9，每一次执行，终端都将相似度最高的两个图像块，直至图像块的数量为2时,终端将从该图像块7A和图像块7B中确定包含Q个图像块中的图像块的几何参考点的图像块。比如，在图7中的图像块7A包含有Q个图像块中的图像块的几何参考点，则该图像块作为第一局部图像。例如，在第1次执行时，标号为1的图像块和标号为2的图像块相似度最高，合并为新的图像块10，经过7次合并后，图像块7A最为第一局部图像。

可选地，在一种可能实现的方式中，终端可以使用图像分割算法获取第一局部图像，该图像分割算法可以是选择性搜索(selective search)算法。

步骤407，对人脸进行表情识别，获取该人脸的表情类型，该人脸是目标图像中包含的人脸。

其中，当目标图像中的人脸包括至少两个人脸时，终端可以分别对该人脸中的至少两个人脸进行表情识别，获得至少两个人脸各自的表情类型。基于至少两个人脸各自的表情类型，将所占比例最高的表情类型确定为人脸的表情类型。

例如，目标图像中的人脸包括三个人脸，两个人脸的表情类型为高兴的表情类型，则将高兴的标签类型确定为人脸的表情类型。

可选地，终端还可以在目标图像中的人脸包括至少两个人脸时，将面积最大的人脸的表情类型作为人脸的表情类型。

可选地，终端还可以在目标图像中的人脸包括至少两个人脸时，将距离镜头最近的人脸的表情类型作为人脸的表情类型。其中，与镜头的距离可以通过景深来确定，该景深可以通过两个或者两个以上的摄像头的终端在在采集目标图像时确定。

步骤408，将至少两种分类中，与人脸的表情类型相对应的分类确定为预设分类。

在本实施例中，人脸的表情类型对应的分类关系可以预先确定的关系。例如，高兴的表情类型对应晴朗类型，平静的表情类型对应多云类型，难过的表情类型对应阴雨类型。

步骤409，通过预设分类对应的图像生成模型生成第二局部图像，预设分类是指定类型对象的至少两种分类中的一种，图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，第一样本图像包含预设分类的指定类型对象，第二局部图像的几何尺寸和第一局部图像的几何尺寸相同。

在本申请实施例中，步骤409和步骤130的执行过程相同，详情请参见步骤130，此处不再赘述。

步骤410，将目标图像中的第一局部图像替换为第二局部图像。

在本申请实施例中，步骤410和步骤140的执行过程相同，详情请参见步骤140，此处不再赘述。

在本实施例的一种可能实现的方式中，比如，终端可以是手机，该手机中可以预先安装一个图像识别模型和多个图像生成模型。图像生成模型可以包括对应晴朗类型的天空图像生成模型、对应多云类型的天空图像生成模型和对应阴雨类型的天空图像生成模型。

在一种可能的应用场景中，若终端开启相机应用，且终端处于美化天空的模式中，则终端将直接将取景图像中的天空区域替换为美化后的天空区域。需要说明的是，在此应用场景中，终端可以根据终端当前的地理位置和系统时间查询对应的天气状况，根据天气状况选定图像生成模型，根据选定的图像生成模型实时生成美化后的天空区域。

在另一种可能的应用场景中，当终端拍摄了一张包含天空的照片(目标图像)时，终端将弹出能够使用的预定类型，例如晴朗类型、多云类型和阴雨类型。当用户点击选择一种预定类型，例如晴朗类型时，终端将使用对应晴朗类型的天空图像生成模型生成美化后的天空区域(第二局部图像)，以替换照片中包含天空的区域(第一局部图像)。可选地，在另一种可能实现的方式中，本方案还可以应用在视频处理的领域中，本方案可以将视频以帧为单位进行局部图像的替换，例如，将一段视频中的天空图像替换为对应晴朗类型的天空图像。

综上可知，本实施例还能够通过获取待处理图像，将待处理图像输入图像识别模型，获得待处理图像对应的图像类型，确定图像类型为目标类型的待处理图像为目标图像，将目标图像划分为Q个图像块，对于Q个图像块中的每一个图像块，确定图像块中属于第一局部图像的区域的几何参考点，根据Q个图像块中的每一个图像块各自的几何参考点的坐标，从目标图像中提取第一局部图像，对人脸进行表情识别，获取人脸的表情类型，将至少两种分类中，与人脸的表情类型相对应的分类确定为预设分类，通过预设分类对应的图像生成模型生成第二局部图像，将目标图像中的第一局部图像替换为第二局部图像。以实现根据图像中的人脸的表情类型自动生成对应的美化后的第二局部图像，简化了用户替换图像中指定区域的操作步骤，提高了图像处理效果。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图8，其示出了本申请一个示例性实施例提供的图形处理装置的结构框图。该录屏装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：

获取单元810，用于获取目标图像；

提取单元820，用于提取所述目标图像中的第一局部图像，所述第一局部图像是包含指定类型对象的图像；

生成单元830，用于通过预设分类对应的图像生成模型生成第二局部图像，所述预设分类是所述指定类型对象的至少两种分类中的一种，所述图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，所述第一样本图像包含所述预设分类的指定类型对象，所述第二局部图像的几何尺寸和所述第一局部图像的几何尺寸相同；

替换单元840，用于将所述目标图像中的所述第一局部图像替换为所述第二局部图像。

在一个可选的实施例中，所述装置还包括分类确定单元和模型获取单元；

所述分类确定单元，用于从所述指定类型对象的至少两种分类中确定出所述预设分类；

所述模型获取单元，用于根据所述预设分类获取所述图像生成模型。

在一个可选的实施例中，所述分类确定单元，用于接收第一信号，所述第一信号是接收到第一用户操作时生成的信号，所述第一用户操作是基于所述至少两种分类执行的选择操作；根据所述第一信号将所述第一用户操作对应的分类确定为所述预设分类。

在一个可选的实施例中，所述装置还包括表情识别单元；

所述表情识别单元，用于对人脸进行表情识别，获取所述人脸的表情类型，所述人脸是所述目标图像中包含的人脸；

所述分类确定单元，用于将所述至少两种分类中，与所述人脸的表情类型相对应的分类确定为所述预设分类。

在一个可选的实施例中，当人脸包括至少两个人脸时，所述表情识别单元，用于分别对所述人脸中的所述至少两个人脸进行表情识别，获得所述至少两个人脸各自的表情类型；基于所述至少两个人脸各自的表情类型，将所占比例最高的表情类型确定为所述人脸的表情类型。

在一个可选的实施例中，所述获取单元810，用于将待处理图像输入图像识别模型，获得所述待处理图像对应的图像类型，所述图像识别模型是预先通过第二样本图像训练获得的机器学习模型，所述第二样本图像包括标注有对应的图像类型的图像；确定所述图像类型为目标类型的所述待处理图像为所述目标图像；其中，所述图像类型包括所述目标类型和非目标类型，属于所述目标类型的图像中包含所述指定类型对象，属于所述非目标类型的图像中不包含所述指定类型对象。

在一个可选的实施例中，所述装置还包括第二样本获取单元，所述第二样本获取单元用于采集包含所述指定类型对象的图像；将所述包含所述指定类型对象的图像划分为M个图像块，M是正整数；为所述M个图像块分别添加标签，所述标签用于指示对应的图像块的所述图像类型；获取所述M个图像块为所述第二样本图像。

在一个可选的实施例中，所述提取单元820，用于将所述目标图像划分为Q个图像块，Q为正整数；对于所述Q个图像块中的每一个图像块，确定所述图像块中属于所述第一局部图像的区域的几何参考点，所述几何参考点是中心、垂心或重心中的一种；根据所述Q个图像块中的每一个图像块各自的所述几何参考点的坐标，从所述目标图像中提取所述第一局部图像。

在一个可选的实施例中，所述提取单元820，用于将所述目标图像划分为K个面积相等的图像块，K为正整数；在第i次执行时，针对所述K个图像块剩余的(K+1-i)个图像块，计算每两个有公共边的图像块之间的相似度s，获得相似度集合S；将数值最大的相似度s对应的目标图像块和第二图像块合并为一个图像块；从所述相似度集合S中，删除所述目标图像块对应的相似度数值和第二图像块对应的相似度数值；执行第i+1次操作，直至所述相似度集合S为空集时，将合并后的各个图像块中包含所述Q个图像块中的图像块的所述几何参考点的图像块作为所述第一局部图像。

在一个可选的实施例中，所述装置还包括待处理图像获取单元，所述待处理图像获取单元，用于接收图像采集信号，所述图像采集信号是接收到第二用户操作时生成的信号，所述第二用户操作是用于触发摄像头采集所述待处理图像的操作；根据所述图像采集信号，控制所述摄像头采集所述待处理图像；或，读取本地存储芯片，将已存储的图像获取为所述待处理图像；或，接收开启取景信号，所述开启取景信号是接收到第三用户操作时生成的信号，所述第三用户操作是用于指示拍摄应用进入取景模式的操作；根据所述开启取景信号，控制所述拍摄应用进入取景模式并将取景图像获取为所述待处理图像；或，获取从云端下载的图像，将所述从云端下载的图像获取为所述待处理图像。

在一个可选的实施例中，所述装置中涉及的所述指定类型对象包括：天空对象、海洋对象、河流对象、湖泊对象、山丘对象、草原对象或道路对象中至少一种。

在一个可选的实施例中，所述装置中涉及的所述指定类型对象是天空对象，所述预设分类包括晴朗类型、多云类型或阴雨类型中的一种。

请参考图9，其是本申请一个示例性实施例提供的终端的结构框图，如图9所示，该终端包括处理器910和存储器920，所述存储器920中存储有至少一条指令，所述指令由所述处理器910加载并执行以实现如上各个实施例所述的图像处理方法。

本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像处理方法。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像处理方法。

需要说明的是：上述实施例提供的图像处理装置在执行图像处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标图像；

提取所述目标图像中的第一局部图像，所述第一局部图像是包含指定类型对象的图像，所述指定类型对象是天空对象；

当所述目标图像包括至少两张人脸时，分别对所述目标图像中的所述至少两个人脸进行表情识别，获得所述至少两个人脸各自的表情类型；基于所述至少两个人脸各自的表情类型，将所占比例最高的表情类型确定为所述目标图像中人脸的表情类型；或，当所述目标图像包括至少两张人脸时，将所述至少两张人脸中面积最大的人脸的表情类型确定为所述目标图像中人脸的表情类型；或，当所述目标图像包括至少两张人脸时，将所述至少两张人脸中距离摄像头最近的人脸的表情类型确定为所述目标图像中人脸的表情类型；其中，所述人脸是所述目标图像中包含的人脸；

将至少两种分类中，与所述人脸的表情类型相对应的分类确定为预设分类，所述预设分类包括晴朗类型、多云类型或阴雨类型中的一种；

根据所述预设分类从至少两个图像生成模型中确定对应的所述图像生成模型；

通过预设分类对应的图像生成模型生成第二局部图像，所述预设分类是所述指定类型对象的至少两种分类中的一种，所述图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，所述第一样本图像包含所述预设分类的指定类型对象，所述第二局部图像的几何尺寸和所述第一局部图像的几何尺寸相同，所述预设分类是所述图像生成模型对应的分类，所述图像生成模型包括对应晴朗类型的图像生成模型、对应多云类型的图像生成模型和对应阴雨类型的图像生成模型中的至少两种；

将所述目标图像中的所述第一局部图像替换为所述第二局部图像。

2.根据权利要求1所述的方法，其特征在于，所述将至少两种分类中，与所述人脸的表情类型相对应的分类确定为预设分类，包括：

接收选择操作信号，所述选择操作信号是接收到基于所述至少两种分类执行的选择操作时生成的信号；

根据所述选择操作信号将所述选择操作对应的分类确定为所述预设分类。

3.根据权利要求1所述的方法，其特征在于，所述获取图像，包括：

将待处理图像输入图像识别模型，获得所述待处理图像对应的图像类型，所述图像识别模型是预先通过第二样本图像训练获得的机器学习模型，所述第二样本图像包括标注有对应的图像类型的图像；

确定所述图像类型为目标类型的所述待处理图像为所述目标图像；

其中，所述图像类型包括所述目标类型和非目标类型，属于所述目标类型的图像中包含所述指定类型对象，属于所述非目标类型的图像中不包含所述指定类型对象。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

采集包含所述指定类型对象的图像；

将所述包含所述指定类型对象的图像划分为M个图像块，M是正整数；

为所述M个图像块分别添加标签，所述标签用于指示对应的图像块的所述图像类型；

获取所述M个图像块为所述第二样本图像。

5.根据权利要求3所述的方法，其特征在于，所述提取所述目标图像中的第一局部图像，包括：

将所述目标图像划分为Q个图像块，Q为正整数；

对于所述Q个图像块中的每一个图像块，确定所述图像块中属于所述第一局部图像的区域的几何参考点，所述几何参考点是中心、垂心或重心中的一种；

根据所述Q个图像块中的每一个图像块各自的所述几何参考点的坐标，从所述目标图像中提取所述第一局部图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述Q个图像块中的每一个图像块各自的所述几何参考点的坐标，从所述目标图像中提取所述第一局部图像，包括：

将所述目标图像划分为K个面积相等的图像块，K为正整数；

在第i次执行时，针对所述K个图像块剩余的(K+1-i)个图像块，计算每两个有公共边的图像块之间的相似度s，获得相似度集合S；

将数值最大的相似度s对应的目标图像块和第二图像块合并为一个图像块；

从所述相似度集合S中，删除所述目标图像块对应的相似度数值和第二图像块对应的相似度数值；

执行第i+1次操作，直至所述相似度集合S为空集时，将合并后的各个图像块中包含所述Q个图像块中的图像块的所述几何参考点的图像块作为所述第一局部图像。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收图像采集信号，所述图像采集信号是接收到用于触发摄像头采集所述待处理图像的操作时生成的信号；根据所述图像采集信号，控制所述摄像头采集所述待处理图像；

或，

读取本地存储芯片，将已存储的图像获取为所述待处理图像；

或，

接收开启取景信号，所述开启取景信号是接收到用于指示拍摄应用进入取景模式的操作时生成的信号；根据所述开启取景信号，控制所述拍摄应用进入取景模式并将取景图像获取为所述待处理图像；

或，

获取从云端下载的图像，将所述从云端下载的图像获取为所述待处理图像。

8.根据权利要求1至7任一所述的方法，其特征在于，所述指定类型对象还包括：海洋对象、河流对象、湖泊对象、山丘对象、草原对象或道路对象中至少一种。

9.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取目标图像；

提取单元，用于提取所述目标图像中的第一局部图像，所述第一局部图像是包含指定类型对象的图像，所述指定类型对象是天空对象；

表情识别单元，用于当所述目标图像包括至少两张人脸时，分别对所述目标图像中的所述至少两个人脸进行表情识别，获得所述至少两个人脸各自的表情类型；基于所述至少两个人脸各自的表情类型，将所占比例最高的表情类型确定为所述目标图像中人脸的表情类型；或，所述表情识别单元，用于当所述目标图像包括至少两张人脸时，将所述至少两张人脸中面积最大的人脸的表情类型确定为所述目标图像中人脸的表情类型；或，所述表情识别单元，用于当所述目标图像包括至少两张人脸时，将所述至少两张人脸中距离摄像头最近的人脸的表情类型确定为所述目标图像中人脸的表情类型；其中，所述人脸是所述目标图像中包含的人脸；

分类确定单元，用于将至少两种分类中，与所述人脸的表情类型相对应的分类确定为预设分类，所述预设分类包括晴朗类型、多云类型或阴雨类型中的一种；

模型获取单元，用于根据所述预设分类获取所述图像生成模型；

生成单元，用于通过预设分类对应的图像生成模型生成第二局部图像，所述预设分类是所述指定类型对象的至少两种分类中的一种，所述图像生成模型是预先通过N个第一样本图像训练获得的机器学习模型，所述第一样本图像包含所述预设分类的指定类型对象，所述第二局部图像的几何尺寸和所述第一局部图像的几何尺寸相同，所述预设分类是所述图像生成模型对应的分类，所述图像生成模型包括对应晴朗类型的图像生成模型、对应多云类型的图像生成模型和对应阴雨类型的图像生成模型中的至少两种；

替换单元，用于将所述目标图像中的所述第一局部图像替换为所述第二局部图像。

10.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至8任一所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至8任一所述的图像处理方法。

Images