CN104123749A - 一种图像处理方法及系统 - Google Patents

Abstract

本发明提供了一种图像处理方法及系统，包括：根据至少一张包含第一人物的图像，模拟出第一人物的模型；确定包含第二人物的目标图像；确定在目标图像中显示第二人物的特征信息；在第一人物的模型中根据所述特征信息调整第一人物的显示；在目标图像中，将第二人物替换为显示调整后的第一人物。本发明提供的技术方案解决了图像处理替换前后人物之间没有联系，使得替换后的人物与背景出现不协调、冲突等问题。

Description

一种图像处理方法及系统

技术领域

本发明涉及图像处理技术，特别涉及一种图像处理方法及系统。

背景技术

现有技术在进行图像处理，将图像中的一个人物替换到另一张图像中时，只是简单的将一个人物的头部或者面部沿着轮廓裁剪下来，叠加在另一个人物的图像相应位置，类似于大头贴的效果。一方面，其所替换的人物会因光照、视角等与背景不一致而会出现人物与背景颜色相冲突、色调不搭配的情况；另一方面，当把人物面部替换到另外一个人的面部时，只能保留原来人物的表情，而这表情通常都与背景不一致，这种按现有技术替换后出现的人物与背景的不协调显然无法满足人们的需求。

现有技术的不足在于：

替换前后人物之间没有联系，使得替换后的人物与背景出现不协调、冲突等问题。

发明内容

本发明针对上述问题，提出了一种图像处理方法及系统，用以解决了图像模拟替换时，人物图像与所替换的图像背景不相符的问题。

本发明实施例中提供了一种图像处理方法，可以包括如下步骤：

根据至少一张包含第一人物的图像，模拟出第一人物的模型；

确定包含第二人物的目标图像；

确定在目标图像中显示第二人物的特征信息；

在第一人物的模型中根据所述特征信息调整第一人物的显示；

在目标图像中，将第二人物替换为显示调整后的第一人物。

本发明实施例中提供了一种图像处理系统，可以包括：

模型模拟模块，用于根据至少一张包含第一人物的图像，模拟出第一人物的模型；

目标图像确定模块，用于确定包含第二人物的目标图像；

特征信息确定模块，用于确定在目标图像中显示第二人物的特征信息；

调整显示模块，用于在第一人物的模型中根据所述特征信息调整第一人物的显示；

人物替换模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物。

本发明有益效果如下：

在本发明实施例提供的技术方案中，首先模拟出第一人物的模型，然后根据作为被替代对象的第二人物在目标图像中显示的特征信息进行调整，这样，使得第一人物与第二人物在目标图像中都具备同样的显示特征，从而克服了替换后与目标图像背景等不协调的问题。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1为本发明实施例中图像处理方法实施流程示意图；

图2为本发明实施例中人脸检测算法实施流程示意图；

图3为本发明实施例中提取Haar-like特征示意图；

图4为本发明实施例中积分图的方法实施流程示意图；

图5为本发明实施例中瀑布型级联检测器示意图；

图6为本发明实施例中标定的人脸面部示意图；

图7为本发明实施例中局部特征的创建过程示意图；

图8为本发明实施例中计算每个特征点的新位置的方法实施流程示意图；

图9为本发明实施例中人脸检测结果示意图；

图10为本发明实施例中三维人脸重建实施流程示意图；

图11为本发明实施例中原始图像和三维模型示意图；

图12为本发明实施例中模型的表情实例示意图；

图13为本发明实施例中人物表情特征点示意图；

图14为本发明实施例中图像处理系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1为图像处理方法实施流程示意图，如图1所示，可以包括如下步骤：

步骤101：根据至少一张包含第一人物的图像，模拟出第一人物的模型；

步骤102：确定包含第二人物的目标图像；

步骤103：确定在目标图像中显示第二人物的特征信息；

步骤104：在第一人物的模型中根据所述特征信息调整第一人物的显示；

步骤105：在目标图像中，将第二人物替换为显示调整后的第一人物。

具体的，在对图像进行替换时，可以根据用户提供的图片或图像序列自动完成对人物的编辑工作。例如可以如下：

a.用户提供一张或多张图片或者图像序列作为素材，其所有素材中均含有同一个人物，即：第一人物；

b.系统根据用户提供的素材，模拟出该第一人物的模型。该模型可针对不同的视角、光照等做出相应的调整，并且可做出不同的形变；

c.用户在图片或图像序列中指定另一个人物，即：第二人物；

d.系统检测出该指定的第二人物在每帧图像中的相关特征信息。这些特征信息是指位置、轮廓、相对视角、光照及形变等特征；

e.在每帧图像上，将第一人物模型调整到第二人物在该帧图像的特性上，并替换第二人物。

实施中，对单张图像进行的提取、处理、调整、转换进行了说明，由于多张图像序列和视频图像的每一帧均是由单张图像构成，因此，以本发明实施例提供的技术方案为基础，可以容易的得出对多张或批量图片组成的图像序列，或者是对视频图像的处理，比如，一种最简单的方式是：对图像序列或视频的每张图像进行替换处理后，再组成替换后的图像序列或视频。如何在单张图像的处理基础上扩展至对整个图像序列或视频的处理，这是本领域技术人员容易理解并作出相应修改的。

实施中，本发明实施例中的人物可以是拟人化人物，如卡通人物、3D人物等，其不仅限于人类的人物，也不必是自然存在的人物，在实施例中均称为“人物”。下面的实施例中大多也是以人类的图像处理为例，这是因为其最具代表性，也最为复杂。所以这里以人像为例进行说明；但是，本发明实施例提供的技术方案也可以用其它的图像处理，因为其披露的是一种用于图像处理的涉及替换的方案，也即，只要是图像处理领域内所有的实现替换这一目的的，都可以采用本发明实施例中的方案，理论上并不仅限于人物，只要是图案的替换都可以，人像仅用于教导本领域技术人员具体如何实施本定明，但不意味仅能使用于人像，实施过程中可以结合实践需要在相应的环境中使用。

实施中，在根据至少一张包含第一人物的图像，模拟出第一人物的脸部的模型时，可以包括：

检测出第一人物的脸部的区域；

在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸三维3D模型上后获得模拟出的第一人物的脸部的模型。

具体的，根据模拟出的第一人物的模型，可以是人物全身的模型，也可以是人物脸部的模型，实施例中将以人物脸部的实施为例，但本领域技术人员应当知晓，采用相应的图像工具进行处理，即可获得不限于脸部的处理方式，比如人物全身的模型。

以人物脸部的实施为例，可以如下：

a.从用户提供的图片或图像序列中检测出第一人物的人脸的位置和区域；

b.在检测出的人脸的区域里，确定人脸的五官的区域和脸颊的轮廓，如：眼睛、鼻子、眉毛、嘴和耳朵；

c.将检测到的五官的区域和脸颊的轮廓，贴合到一个已有的人脸3维模型上，使其能够自动的根据参数的设定，呈现不同的视角、光照和表情的变化。

实施中，在确定在目标图像中显示第二人物的脸部的特征信息时，可以包括：

检测出第二人物的脸部的区域；

在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二人物的脸部的特征信息。

具体的，检测出指定的第二人物在每帧图像中的相关特性信息，可以如下：

a.从图片或图像序列中检测出第二人物的人脸的位置和区域；

b.在检测出的人脸的区域里，确定人脸的五官的区域和脸颊的轮廓，如：眼睛、鼻子、眉毛、嘴和耳朵；

c.通过检测到的五官的区域和脸颊的轮廓，推断第二人物的相关特性信息。这些特性信息包括视角、光照和表情的变化等。

具体的，在检测出的脸部的区域里，采用人脸识别算法确定五官的区域和脸颊的轮廓，可以采用ASM(Active Shape Model，主动形状模型)算法确定五官的区域和脸颊的轮廓。

在实施中，采用ASM算法来进行说明是因为ASM算法在人脸识别算法中比较典型，也较为常用，容易被本领域技术人员理解实施，所以这里以ASM算法为例；但是，从理论上来说，用其它的算法也是可以的，只要能够达到确定五官的区域和脸颊的轮廓这一目的即可，例如可以采用AAM(ActiveAppearance Model，主动表现模型)或SDM(Supervised Descent Method，监督梯度下降法)等算法。因此，ASM算法仅用于教导本领域技术人员具体如何实施本发明，但不意味仅能使用ASM算法，实施过程中可以结合实践需要来确定相应的算法。

实施中，将第二人物替换为显示调整后的第一人物，是根据第一人物的脸部的区域与第二人物的脸部的区域将第二人物的脸部替换为显示调整后的第一人物的脸部。

具体的，将第一人物模型进一步替换第二人物，可以如下：

a.根据第二人物的相关特征信息，调整第一人物的模型，使其与第二人物的相关特性相仿；

b.通过检测到的五官的区域和脸颊的轮廓，将每帧图像中的第二人物的脸部区域抹去；

c.在每帧图像中，将调整好的第一人物的模型放置在第二人物的脸部区域。

实施中，在检测出的脸部的区域里，可以采用人脸识别算法确定五官的区域和脸颊的轮廓。

实施中，在目标图像中，将第二人物替换为显示调整后的第一人物之后，进一步可以包括：

为目标图像中的第一人物添加图像。

这是便于对替换后的原人物添加道具等图像的，这些道具包括眼镜、帽子、衣服、背包、以及鞋子等。

实施中，以上根据用户提供的图片或图像序列中检测出第一人物或第二人物的脸部的位置和区域的方法有很多种，如图3所示。

所列方法中，基于统计模型的方法是目前比较流行的方法，具体可以参见：梁路宏等所著《人脸检测研究综述》(载于计算机学报Vol25No5May2002)，该方案具有较大的优越性。其优点有：

1、不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整的知识造成的错误；

2、采用实例学习的方法获取模型的参数，统计意义上更加可靠；

3、通过增加学习的实例可以扩种检测模式范围，提高鲁棒性。

一、统计模型的方法

2001年左右由Viola和Jones提出的基于集成机器学习的人脸检测算法相对于其他方法具有明显优势，具体可参见：艾海舟等所著《人脸检测与检索》(载于自然科学基金项目60273005)；武勃等所著《基于连续adaboost算法的多视角人脸检测》(载于计算机研究与发展，2005)。近期文献也表明目前尚未发现优于Viola和Jones方法的其他人脸检测方法，具体可参见：N Degtyarev etal.所著的《Comparative Testing of Face Detection Algorithms》(Image and SignalProcessing，2010)。该方法不仅检测精度高，最关键的是其运算速度大大快于其他方法。

Viola和Jones人脸检测方法中几个关键性步骤，具体可参见：Paul Violaand Michael Jones所著《Rapid object detection using a boosted cascade of simplefeatures》(载于Accepted Conference on Computer Vision and Pattern Recognition2001)：

1、提取Haar-like特征(Haar-like features，哈尔特征)

Haar-like型特征是Viola等人提出的一种简单矩形特征，因为类似Haar小波而得名。Haar型特征的定义是黑色矩形和白色矩形在图像子窗口中对应的区域的权重灰度级总和之差。如图4所示，显示了两种最简单的特征算子。图4中可以看到，在人脸特定结构处，算子计算得到较大的值。

2、计算积分图

算子数量庞大时上述计算量显得太大，Viola等人发明了积分图方法，使得计算速度大大加快。如图5所示，点1处的值为A区域的像素积分，点2处的值为AB区域的像素积分。对整张图片进行一次积分操作，便可以方便的计算出任一区域D像素积分值为4+1-2-3。

3、训练Adaboost模型

在离散Adaboost算法中，Haar-like特征算子计算结果减去某阈值，便可视为一个人脸检测器。因为其准确率不高，称为弱分类器。Adaboost算法的循环中，首先利用各种弱分类器对训练图片库进行分类，准确度最高的弱分类器保留下来，同时提高判断错误的图片的权重，进入下一循环。最终将每次循环所保留的弱分类器组合起来，成为一个准确的人脸检测器，称为强分类器。具体计算流程见，具体可参见：武勃等所著《基于连续adaboost算法的多视角人脸检测》(载于计算机研究与发展，2005)；Paul Viola and Michael Jones所著《Rapid object detection using a boosted cascade of simple features》(载于Accepted Conference on Computer Vision and Pattern Recognition2001)。

4、建立瀑布型级联检测器

瀑布型级联检测器是针对人脸检测速度问题提出的一种检测结构。如图6所示，瀑布的每一层是一个由adaboost算法训练得到的强分类器。设置每层的阈值，使得大多数人脸图像能够通过，在此基础上尽量抛弃反例。位置越靠后的层越复杂，具有越强的分类能力。

这样的检测器结构就想一系列筛孔大小递减的筛子，每一步都能筛除一些前面筛子漏下的反例，最终通过所有筛子的样本被接受为人脸。瀑布型检测器训练算法，具体可参见：武勃等所著《基于连续adaboost算法的多视角人脸检测》(载于计算机研究与发展2005)。

以上算法实现上，采用OpenCV(Open Source Computer Vision Library，开源计算机视觉库)人脸检测程序流程，具体程序源代码可参见如下网址所记载：

http：//www.opencv.org.cn/index.php/％E4％BA％BA％E8％84％B8％E6％A3％80％E6％B5％8B。

OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。它轻量级而且高效-由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV的人脸检测程序采用了Viola和Jones人脸检测方法，主要是调用训练好的瀑布级联分类器cascade来进行模式匹配。

cvHaarDetectObjects，先将图像灰度化，根据传入参数判断是否进行canny边缘处理(默认不使用)，再进行匹配。匹配后收集找出的匹配块，过滤噪声，计算相邻个数如果超过了规定值(传入的min_neighbors)就当成输出结果，否则删去。

匹配循环：将匹配分类器放大scale(传入值)倍，同时原图缩小scale倍，进行匹配，直到匹配分类器的大小大于原图，则返回匹配结果。匹配的时候调用cvRunHaarClassifierCascade来进行匹配，将所有结果存入CvSeq*Seq(可动态增长元素序列)，将结果传给cvHaarDetectObjects。

cvRunHaarClassifierCascade函数整体是根据传入的图像和cascade来进行匹配。并且可以根据传入的cascade类型不同(树型、stump(不完整的树)或其他的)，进行不同的匹配方式。

函数cvRunHaarClassifierCascade用于对单幅图片的检测。在函数调用前首先利用cvSetImagesForHaarClassifierCascade设定积分图和合适的比例系数(＝＞窗口尺寸)。当分析的矩形框全部通过级联分类器每一层的时返回正值(这是一个候选目标)，否则返回0或负值。

其中分类器的训练采用哈尔分类器，Haar分类器的训练是独立于人脸检测过程的。分类器的训练分为两个阶段：

A.创建样本，用OpenCV自带的creatsamples.exe完成；

B.训练分类器，生成xml文件，由OpenCV自带的haartraining.exe完成。

训练过程，具体可参见如下1和2：

1、http：//034080116.blog.163.com/blog/static/334061912009641073715/；

2、\OpenCV\apps\HaarTraining\doc\haartraining.doc；

以上地址中，地址1可以在博客中看到，地址2提供的哈尔训练的源文件可以在下载安装后的openCVS安装包目录中找到。

同时，OpenCV中采用的训练算法adaboost是gentle adaboost，为最适合人脸检测的方案。具体可参见：

1、http：//www.opencv.org.cn/forum/viewtopic.php？f＝1&t＝4264#p15258

2、http：//www.opencv.org.cn/forum/viewtopic.php？t＝3880

举例来说，在检测的人脸区域内，确定人脸的五官区域，位置关系及脸颊的轮廓信息，如：眼睛、鼻子、眉毛、嘴和耳朵等，可以通过有很多算法实现。本发明专利优先用ASM算法，以下将对ASM算法进行介绍。

ASM是一种基于分布模型(Point Distribution Model，PDM)的算法，在PDM中，外形要相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键特征点(landmarks)的坐标依次串连形成一个形状向量来表示。本专利就以人脸为例来介绍该算法的基本原理和方法。首先给出一个标定好68个关键特征点的人脸面部图片，如图6所示。ASM在实际应用过程中，包括训练和搜索两个部分。

一、ASM的训练

ASM训练包括两个部分。

1、建立形状模型：该部分由以下几个步骤组成

1.1搜集n个训练样本

如果需要对人脸的面部关键区域进行ASM训练，就需要涉及n个含有人脸面部区域的样本图片。需要提醒的是，搜集的图片只要里面含有人脸面部区域就可以了，这里不用考虑图像尺寸的归一化等问题。

1.2手动记录下每个训练样本中的k个关键特征点

如图7所示，对于训练集中任意一个图片而言，需要记录下若干个(图7中是68个)关键特征点的位置坐标信息，并在文本文件中将该坐标信息保存。该步骤一般程序员均可以写个小程序完成。程序每次加载一张训练样本，用户依次按照顺序点击图片中的关键特征点，每点击一次，程序自动记录下当前鼠标点击的位置坐标，予以保存，供后面使用。

1.3构建训练集的形状向量

将一副图中标定的k个关键特征点组成一个形状向量。

$a_i=(x_1^i,y_1^i,x_2^i,y_2^i,\·\·\·\·,x_k^i,y_k^i),i=\mathrm{1,2},...,n$ 式(1)

其中，表示第i个训练样本上第j个特征点的坐标，n表示训练样本的个数。如此一来，n个训练样本，就构成了n个形状向量。

1.4形状归一化

该步骤的目的在于对前面手动标定的人脸形状进行归一化或者对齐操作，从而消除图片中人脸由于不同角度、距离远近、姿态变换等外界因素造成的非形状干扰，从而使得点分布模型更加有效。一般来说，该步骤都采用Procrustes方法进行归一化。简单来说，该方法就是把一系列的点分布模型通过适当的平移、旋转、缩放变换，在不改变点分布模型的基础上对齐到同一个点分布模型，从而改变获取的原始数据杂乱无章的状态，减少非形状因素的干扰。利用Procrustes方法对π＝{α₁，α₂，...，α_n}这个训练集进行对齐的过程，需要对其中的每个α_i计算的参数有4个：旋转角度旋θ_i，缩放尺度s_i，水平方向平移量垂直方向平移量令M(s_i，θ_i)[α_i]表示对α_i做一个旋转角度为θ_i，缩放尺度为s_i的变换。α_i向α_k对齐的过程就是求θ_i，s_i，使得最小化的过程。其中 $Z_i={\mathrm{\α}}_i-M(s_i,{\mathrm{\θ}}_i)\left[{\mathrm{\α}}_i\right]-[X_{x_i},{X_y}_i,...,X_{x_i},X_{y_i}].$ 这里的W是一个对角矩阵，它可以通过下面的计算来得到：令R_ki表示一副图像中第k个点和第1个点之间的距离，令表示整个训练集中不同图像之间R_ki的方差，通过计算从而得到：不难发现，Procrustes方法只是一种求解变换矩阵的方法。而ASM中，正是利用了Procrustes进行点分布模型的对齐操作，具体步骤如下：

(1)将训练集中的所有人脸模型对齐到第1个人脸模型；

(2)计算平均人脸模型

(3)将所有人脸模型对齐到平均人脸模型

(4)重复(2)，(3)直到收敛。

1.5将对齐后的形状向量进行PCA处理

(1)计算平均形状向量：

$\stackrel{\‾}{\mathrm{\α}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i$ 式(2)

(2)计算协方差矩阵：

$S=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{\α}}_i-\stackrel{\‾}{\mathrm{\α}})}^T\·{\mathrm{\α}}_i-\stackrel{\‾}{\mathrm{\α}}$ 式(3)

(3)计算协方差矩阵S的特征值并将其按从大到小依次排序：

这样，便得到λ₁，λ₂，...，λ_q，其中λ₁＞0。选择前t个特征向量P＝(p₁，p₂，...，p_t)使得与其对应的特征值满足：

$\frac{{\mathrm{\Σ}}_{i=1}^t{\mathrm{\λ}}_i}{{\mathrm{\Σ}}_{i=1}^q{\mathrm{\λ}}_s}>f_v{V}_T$ 式(4)

这里的f_v是一个由特征向量个数来确定的比例系数，通常取值为95％，而V_T是所有特征之和。即：

V_T＝∑λ_i

这样任何一个用于训练的形状向量都可以被表示为：

${\mathrm{\α}}_i\≈\stackrel{\‾}{\mathrm{\α}}+P_s{b}_s$ 式(5)

上面的式子当中，b_s是包含了t个参数的向量，其中，

$b_s\left(i\right)=P^T\·({\mathrm{\α}}_i-\stackrel{\‾}{\mathrm{\α}})$

另外，为了确保由b_s的变化产生的形状与训练集中的形状类似，需要对b_s进行一些限制，即

${D_m}^2={\mathrm{\Σ}}_{i=1}^t\left(\frac{{b_s\left(i\right)}^2}{{\mathrm{\λ}}_i}\right)\≤{D_{\max }}^2$

其中D_max通常为3，如果b在更新过程中D_m＞D_max，则使用

$b_s\left(k\right)=b_s\left(k\right)\×\left(\frac{D_{\max }}{D_m}\right)$

对b_s加以约束。

2、为每个特征点构建局部特征

为了能在每一次迭代过程中为每个特征点寻找其新的位置，需要为它们分别建立局部特征。对于第i个特征点，其局部特征的创建过程如图7所示，在第i个训练图像上的第i个特征点的两侧，沿着垂直于该点前后两个特征点连线的方向上分别选择m个像素以构成一个长度为2m+1的向量，对该向量所包含的像素的灰度值求导得到一个局部纹理g_ij，对训练集中其他训练样本图像上的第i特征点进行同样的操作，便可得到第i个特征点的n个局部纹理g_i1，g_i2，...，g_in。然后，求取它们的均值：

$\stackrel{\‾}{g_i}=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}$ 式(6)

以及方差：

$S_i=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(g_{\mathrm{ij}}-\stackrel{\‾}{g_i})}^T(g_{\mathrm{ij}}-\stackrel{\‾}{g_i})$ 式(7)

这样就得到了第i个特征点的局部特征。对其他所有的特征点进行相同的操作，就可得到每个特征点的局部特征。这样，一个特征点的新的特征g与其训练好的局部特征之间的相似性度量就可以用马氏距离来表示：

$f_{\mathrm{sim}}=(g-\stackrel{\‾}{g_i})S_i^{-1}{(g-\stackrel{\‾}{g_i})}^T$ 式(8)

二、ASM的搜索

在通过样本集进行训练得到ASM模型建立后即可进行ASM搜索，首先对平均形状进行仿射变换得到一个初始模型：

X＝M(s，θ)[α_i]+X_c   式(9)

上面的式子表示对平均形状以其中心逆时针旋转θ缩放S，然后再平移X_c得到初始模型X。

用该初始模型在新的图像中搜索目标形状，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近，这个搜索过程主要是通过仿射变换和参数b的变化来实现。具体算法可以通过反复如下两步来实现：

2.1计算每个特征点的新位置

首先把初始ASM模型覆盖在图像上，如图8所示，

对于模型中第i个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择1(1＞m)个像素，然后计算这1个像素的灰度值导数并归一化从而得到一个局部特征，其包括2(1-m)+1个子局部特征，然后利用前面的公式计算这些子局部特征与当前特征点的局部特征之间的马氏距离，使得马氏距离最小的那个子局部特征的中心即为当前特征点的新位置，这样就会产生一个位移。为所有的特征点找到其新位置，并把它们的位移组成一个向量：

dX＝(dX₁，dX₂，...dX_k)

2.2仿射变化中的参数和b的更新

通过仿射变换并调整其参数使得当前特征点的位置X与对应的新的位置X+dX最为接近。

仿射变换后便可以得到仿射变换参数的变化量d_s∶d_θ∶同时由式(9)得：

M(s(1+ds)，(θ+dθ))[α_i+dα_i]+(X_c+dX_c)    式(10)

同时X又可以由(9)表示，因此，上式又可以表示为：

M(s(1+ds)，(θ+dθ))[α_i+da_i]＝M(S，θ)[α_i]+dX+Xc-(Xc＝dX_C)    式(11)

同时由式(9)可得：

M^-1(s，θ)＝M(s^-1，θ)   式(12)

由式(11)以及式(12)可得：

dα_i＝M(s(1+ds)^-1，-(θ+dθ))[M(S，θ)+dX-dXc]-α    式(13)

同时由式(5)可得：

${\mathrm{\α}}_i+d{\mathrm{\α}}_i\≈\stackrel{\‾}{\mathrm{\α}}+P(b+\mathrm{db})$ 式(14)

用式(14)减去式(5)可得：

dα_i≈P×db   式(15)

即：

db＝P^-1dα_i   式(16)

db＝P^Tdα_i   式(17)

结合式(17)和式(13)可以求得db。因此，上述的参数更新过程为：

所以可以对仿射变换参数和b做如下更新：

X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_cθ＝θ+w_θdθ，s＝s(1+w_sds)，b＝b+w_bdb  式(18)

上面的式子中w_t，w_θ，w_s，w_b是用于控制参数变化的权值。这样就可以由式(5)和式(9)得到新的形状。当仿射变换的参数和b的变化不是很大或者迭代次数达到指定的阈值就结束该搜索过程。检测结果如图9所示。

将检测到的五官的区域和脸颊的轮廓，贴合到一个已有的人脸3维模型上，使其能够自动的根据参数的设定，呈现不同的视角、光照和表情的变化。其具体实现方法如下：

选用“BJUT-3D Face Database”三维人脸库，经重采样、平滑及坐标校正等预处理，选择100个男性和100个女性每人约60000个点和120000个三角片的数据作为稠密人脸样本集。然后通过手工交互选取每人60个三维特征点，作为稀疏对应的样本集，并使用这200人的平均模型作为一般模型。

重建分以下四个步骤，如图10所示：

a.由ASM模板检测人脸特征点。采用改进的ASM算法。自动提取其60个特征点；

b.利用稀疏的形变模型获取特征点深度信息。利用先验三维人脸统计知识，将三维特征点样本集通过平面投影和线性组合来最优逼近照片的二维特征点，从而获得照片特征点对应的三维坐标。

c.根据三维特征点的位移将一般人脸模型变形得到特定三维人脸。选择薄板样条插值算法(TPS)，具体可参见：BOOKSTEINFL.Principlewarps：thin-platesplines and the decompo sition of deformation(载于IEEETranson PAMI198911(6)：567-585)，将原始模型弹性变形为特定人脸模型。

d.通过纹理映射重建模型的颜色信息。将照片纹理作仿射变换后正交投影到三维模型表面。

进一步地，将原人物模型调整替换到目标人物所在的所述图像中之后，还可以包括：

对替换后的原人物添加道具，所述道具包括眼镜、帽子、衣服、背包、以及鞋子。

具体的，当上述自动编辑系统将用户指定的第一人物替换到第二人物的图片或图像序列上后，还可以进一步对替换后的第一人物添加道具。其道具可以是眼镜、帽子、衣服、背包等。

进一步地，将原人物模型调整替换到目标人物所在的所述图像中，还可以包括：

根据ASM检测的二维特征点，纹理映射的全部特征点落在面部区域以内进行调整。

进一步地，所述纹理映射的全部特征点，还可以包括：

使用的特征点经过肤色模型校正。

举例来说，本发明在模型重建过程中使用ASM检测的二维特征点，而纹理映射使用的特征点需要经过基于肤色模型的校正，使全部特征点落在脸部区域以内，从而避免纹理映射时侧面纹理的缺失。

1)肤色点判定

以YUV和YIQ空间为基础并加入Gamma矫正减少光照对图像质量影响的方法，具体可参见：CHEN Lu，YANG Jie所著的《Automatic3D face modelreconstruction using》，来进行肤色信息的检测。

在YUV空间中，U和V是平面上两个相互正交的矢量，色度信号(即U与V之和)是一个二维矢量，称之为色度信号矢量，并且每一种颜色对应一个色度信号矢量，它的饱和度由模值Ch表示，色调由相位角θ表示：

$\mathrm{CH}=\sqrt{{\left|U\right|}^2+{\left|V\right|}^2}$ 式(19)

$\mathrm{\θ}={\tan }^{-1}\left(\frac{\left|U\right|}{\left|V\right|}\right)$ 式(20)

把彩色图像的像素P由RGB空间变换到YUV空间，如果满足条件θ_p∈[105，150]，则P是肤色点。在YIQ空间中，I分量代表从桔黄到蓝绿的色调，I值越小，包含的黄色越多，蓝绿色越少。通过实验和统计分析可确定肤色在YIQ空间内的I值在[20，90]变化。分别对R、G、B三个分量作Gamma矫正，校正后的值分别记为Rgamma、Ggamma、Bgamm：

U＝-0.147×R_gamma-0.289×G_gamma+0.436×B_gamma      式(21)

V＝-0.615×R_gamma-0.515×G_gamma-0.100×B_gamma   式(22)

$\mathrm{\θ}={\tan }^{-1}\left(\frac{\left|U\right|}{\left|V\right|}\right)$ 式(23)

I＝0.596×R_gamma-0.274×G_gamma-0.322×B_gamma  式(24)

根据求得的和值，判定该像素点为肤色点。若满足

$\left\{\begin{array}{c}\mathrm{\θ}\∈\left[\mathrm{105,150}\right]\\ I\∈\left[\mathrm{20,90}\right]\end{array}\right\}$ 式(25)

则判定该像素点为肤色点。

2)校正特征点

由于ASM模板采用对称模板，对于不完全正面的人脸特征提取会出现一边侧面特征点的出界，进而对后面的纹理重建造成侧面信息缺失。对侧面特征点进行肤色点判定，若不是肤色点，则落在脸部以外，将该点向脸中心缩进，直到所有侧面特征点都成为肤色点。

3)使用校正后特征点进行纹理映射

由于模型重建必须使用对称的特征点，仍然使用校正前的二维特征点来计算三维特征点，最后得到模型。贴图时使用校正后的特征点来映射三维特征点，这样有效地避免了侧面的纹理缺失。

由该模型所生成的不同姿态、光照和表情的三维人脸模型也有较好的真实感。如图11所示，原始输入的人脸图像和生成的人脸三维模型，为合成丰富的人脸表情，基于面部运动编码系统(Facial Action Coding System，FACS)设立44个基本动作单元(Action Unit，AU)，每个AU可以控制一个或几个人脸特征点在三维空间的位移。将不同的AU组合，可产生喜怒哀乐等各种表情。使用TPS对三维特征点进行插值变形，实现表情变化，如图12所示，模拟的表情实例。

通过检测到的五官的区域和脸颊的轮廓，推断第二人物的相关特性信息。这些特性信息包括视角、光照和表情的变化等。如图13所示，具体实施方案如下。

当图片或图像序列中的人物的特征点已经确认，我们可以很容易的找到已经事先定义好的AU单元(如上文所述)。这些AU可以很细化地描述一个脸部的表情，本算法只要确定了特征点的具体位置和AU的具体形态就确定了人物脸部的表情。

至于通过二维图像中的人脸特征点估计人物头部的姿态，本算法利用的是POSIT方法。

1、基本思想：算法分两部分

(1)带有比例系数的正交投影变换SOP(Standard Operation Procedure，标准作业程序)，根据线性方程组求出旋转矩阵和平移向量；

(2)由得出的旋转矩阵和平移向量系数，更新比例系数(Scale Factor)，再由比例系数更新原有的点，进行迭代。

2、算法过程：

(1)假设旋转矩阵 $R=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]=\left[\begin{array}{c}{R_1}^T\\ {R_2}^T\\ {R_3}^T\end{array}\right]$ 和平移向量 $T=\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right],$ f是焦距；在透视投影变换中而在SOP中，其中比例因子是 $s=\frac{f}{Z_0};$

(2)作基本的透视投影变换，将3D点a＝(a_x，a_y，a_z)^T透视投影到图像平面上得到齐次坐标m＝(wx，wy，w)^T，变换过程为 $\left[\begin{array}{c}\mathrm{wx}\\ \mathrm{wy}\\ w\end{array}\right]=\left[\begin{array}{cc}{{\mathrm{fR}}_1}^T& f{T}_x\\ f{R_2}^T& f{T}_y\\ {R_3}^T& T_z\end{array}\right]\·\left[\begin{array}{c}{a}_x\\ a_y\\ a_z\\ 1\end{array}\right]$ 因为m是齐次坐标，所以等式右边除以T_z，不会受影响，则得到 $\left[\begin{array}{c}\mathrm{wx}\\ \mathrm{wy}\\ w\end{array}\right]=\left[\begin{array}{cc}{{\mathrm{fR}}_1}^T& f{T}_x\\ f{R_2}^T& f{T}_y\\ {R_3}^T/T_z& 1\end{array}\right]\·\left[\begin{array}{c}{a}_x\\ a_y\\ a_z\\ 1\end{array}\right],$ 其中s＝f/T_z，即得到 $\left[\begin{array}{c}\mathrm{wx}\\ \mathrm{wy}\end{array}\right]=\left[\begin{array}{cc}{{\mathrm{fR}}_1}^T& f{T}_x\\ f{R_2}^T& f{T}_y\end{array}\right]\·\left[\begin{array}{c}{a}_x\\ a_y\\ a_z\\ 1\end{array}\right],$ 其中 $w=\frac{R_3\·a}{T_z}+1;$

(3)现在变换过程为 $\left[\begin{array}{cccc}X& Y& Z& 1\end{array}\right]\left[\begin{array}{cc}s{R}_1& s{R}_2\\ s{T}_x& s{T}_t\end{array}\right]=\left[\begin{array}{cc}\mathrm{wx}& \mathrm{wy}\end{array}\right],$ 即为方程组

$\left\{\begin{array}{c}\mathrm{Xs}{R}_{11}+\mathrm{Ys}{R}_{12}+\mathrm{Zs}{R}_{13}+s{T}_x=\mathrm{wx}\\ \mathrm{Xs}{R}_{21}+\mathrm{Ys}{R}_{22}+\mathrm{Zs}{R}_{23}+s{T}_y=\mathrm{wy}\end{array}\right.,$ w初始值为1；

(4)令K₁＝(sR₁₁ sR₁₂ sR₁₃ sT_x)^T，K₂＝(sR₂₁ sR_２２ sR₂₃ sT_y)^T，

$A=\left[\begin{array}{cccc}{X}_0& Y_0& Z_0& 1\\ X_1& Y_1& Z_1& 1\\ \·& \·& \·& \·\\ X_n& Y_n& Z_n& 1\end{array}\right],$ A为(n+1)×4矩阵， $b_1=\left[\begin{array}{c}{x}_0\\ x_1\\ \·\\ x_n\end{array}\right],b_2=\left[\begin{array}{c}{y}_0\\ y_1\\ \·\\ y_n\end{array}\right],$ 然后初始方程组变成 $\left\{\begin{array}{c}{\mathrm{AK}}_1=b_1\\ A{K}_2=b_2\end{array}\right.,$ 应用最小二乘法，得到解 $\left\{\begin{array}{c}{K}_1={\left(A^{T}A\right)}^{-1}{A}^T{b}_1\\ K_2={\left(A^{T}A\right)}^{-1}{A}^T{b}_2\end{array}\right.;$

(5)至少有4个不共面的2D-3D点对，求出K1，K2后，将其除以已知的定值s，可得到R1，R2，Tx，Ty，然后得到R3＝R1×R2，并且将R1，R2，R3归一化为单位向量；

(6)然后更新因为对不同的2D-3D点对，s＝f/T_z是定值，f是焦距，是已知的定值参数，T_z也是已知的定值参数，可以看做是所有的3D点Z坐标的平均值；对不同的3D点，a不同，所以w也就不同，这样将原来的2D点变为(wx，wy)^T；

(7)再从步骤(2)开始，由原有的3D点和更新后的2D点，用最小二乘法解方程组，得到新的K1，K2；再更新w，更新2D点坐标；

3、求解过程：

(1)给出摄像机的初始位置：焦距f，图像坐标中心，即(c_x，c_y)，图像范围，即合理的2D坐标值范围。

(2)共有8个未知数，至少需要4个2D-3D点对；

(3)第一个2D-3D点对必须是(0，0)-(0，0，0)；

(3)算法执行停止条件为：限制迭代次数，设置每次2D点的变动值大小(精确度)阈值。

实施中，在第一人物的模型中根据所述特征信息调整第一人物的脸部的显示时，所述特征信息可以为以下参数之一或者其组合：第二人物的脸部的三维3D姿态、第二人物的脸部的基本动作单元AU的状态、第二人物的脸部的轮廓的长宽的比例、第二人物的脸部的特征点周围的皮肤的亮暗程度。

具体的，将第一人物模型进一步替换第二人物，可以如下：

a.根据第二人物的相关特征信息，调整第一人物的模型，使其与第二人物的相关特性相仿；如要可以分为：

a.1根据估算出来的第二人物的3D人脸的姿态，调整第一人物3D模型的姿态；

a.2根据估计出来的第二人物的AU的状态，调整第一人物3D模型的表情；

a.3根据第二人物的脸的轮廓，主要是长宽的比例，调整第一人物3D模型的脸型；

a.4根据第二人物脸部的所有特征点周围的皮肤的亮暗程度，调整第一人物相应特征点周围的脸部的亮暗。

b.通过检测到的五官的区域和脸颊的轮廓，将每帧图像中的第二人物的脸部区域抹去；

c.在每帧图像中，将调整好的第一人物的模型放置在第二人物的脸部区域；

基于同一发明构思，本发明实施例中还提供了一种图像处理系统，由于该系统所解决问题的原理与一种图像处理方法相似，因此这些系统的实施可以参见方法的实施，重复之处不再赘述。

图14为图像处理系统结构示意图，如图14所示，可以包括：

模型模拟模块1401，用于根据至少一张包含第一人物的图像，模拟出第一人物的模型；

目标图像确定模块1402，用于确定包含第二人物的目标图像；

特征信息确定模块1403，用于确定在目标图像中显示第二人物的特征信息；

调整显示模块1404，用于在第一人物的模型中根据所述特征信息调整第一人物的显示；

人物替换模块1405，用于在目标图像中，将第二人物替换为显示调整后的第一人物。

实施中，模型模拟模块1401可以包括：

第一检测单元，用于检测出第一人物的脸部的区域；

第一确定单元，用于在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

贴合单元，用于将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸3D模型上后获得模拟出的第一人物的脸部的模型。

实施中，目标图像确定模块1402可以包括：

第二检测单元，用于检测出第二人物的脸部的区域；

第二确定单元，用于在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

特征单元，用于根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二人物的脸部的特征信息。

实施中，特征信息确定模块1403进一步用于根据第一人物的脸部的区域与第二人物的脸部的区域将第二人物的脸部替换为显示调整后的第一人物的脸部。

实施中，调整显示模块1404进一步用于在第一人物的模型中根据以下参数之一或者其组合的所述特征信息调整第一人物的脸部的显示：第二人物的脸部的3D姿态、第二人物的脸部的AU的状态、第二人物的脸部的轮廓的长宽的比例、第二人物的脸部的特征点周围的皮肤的亮暗程度。

实施中，调整显示模块1404进一步用于在检测出的脸部的区域里，采用人脸识别算法确定五官的区域和脸颊的轮廓。

实施中，进一步可以包括：

道具添加模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物之后，为目标图像中的第一人物添加图像。

在本发明实施例提供的技术方案中，模拟出原人物的模型，综合考虑目标人物的特征信息，将原人物模型调整替换到目标人物所在的图像中。解决了图像模拟替换时，人物图像与所替换的拍摄视角图像不相符，及人物表情不可改变的问题。可以应用在很多场景如：友情、爱情、亲子、卡拉ok换脸时，身临其境的将一个人物带到另一个人物所在的环境中；还可以虚拟出一个人物来替代另一个人物来做一些事情；还可以替换掉照片中不喜欢的人物，换成自己喜欢的人物。

采用在本发明实施例提供的技术方案，用户只用一幅图片即可，就可以替换或编辑任意照片或视频中的任意人物的面部；替换后，第一人物的面部的拍摄角度可以根据目标人物的拍摄角度的变化而变化；替换后，第一人物的面部的表情可以根据目标人物的表情的变化而变化；还可以身临其境的将第一人物带到目标人物所在的世界里。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (14)

1.一种图像处理方法，其特征在于，包括如下步骤：

根据至少一张包含第一人物的图像，模拟出第一人物的模型；

确定包含第二人物的目标图像；

确定在目标图像中显示第二人物的特征信息；

在第一人物的模型中根据所述特征信息调整第一人物的显示；

在目标图像中，将第二人物替换为显示调整后的第一人物。

2.如权利要求1所述的方法，其特征在于，在根据至少一张包含第一人物的图像，模拟出第一人物的脸部的模型时，包括：

检测出第一人物的脸部的区域；

在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸三维3D模型上后获得模拟出的第一人物的脸部的模型。

3.如权利要求1或2所述的方法，其特征在于，在确定在目标图像中显示第二人物的脸部的特征信息时，包括：

检测出第二人物的脸部的区域；

在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二人物的脸部的特征信息。

4.如权利要求3所述的方法，其特征在于，将第二人物替换为显示调整后的第一人物，是根据第一人物的脸部的区域与第二人物的脸部的区域将第二人物的脸部替换为显示调整后的第一人物的脸部。

5.如权利要求4所述的方法，其特征在于，在第一人物的模型中根据所述特征信息调整第一人物的脸部的显示时，所述特征信息为以下参数之一或者其组合：第二人物的脸部的3D姿态、第二人物的脸部的基本动作单元AU的状态、第二人物的脸部的轮廓的长宽的比例、第二人物的脸部的特征点周围的皮肤的亮暗程度。

6.如权利要求3所述的方法，其特征在于，在检测出的脸部的区域里，采用人脸识别算法确定五官的区域和脸颊的轮廓。

7.如权利要求1至6任一所述的方法，其特征在于，在目标图像中，将第二人物替换为显示调整后的第一人物之后，进一步包括：

为目标图像中的第一人物添加图像。

8.一种图像处理系统，其特征在于，包括：

模型模拟模块，用于根据至少一张包含第一人物的图像，模拟出第一人物的模型；

目标图像确定模块，用于确定包含第二人物的目标图像；

特征信息确定模块，用于确定在目标图像中显示第二人物的特征信息；

调整显示模块，用于在第一人物的模型中根据所述特征信息调整第一人物的显示；

人物替换模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物。

9.如权利要求8所述的系统，其特征在于，所述模型模拟模块包括：

第一检测单元，用于检测出第一人物的脸部的区域；

第一确定单元，用于在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

贴合单元，用于将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸3D模型上后获得模拟出的第一人物的脸部的模型。

10.如权利要求8或9所述的系统，其特征在于，所述目标图像确定模块包括：

第二检测单元，用于检测出第二人物的脸部的区域；

第二确定单元，用于在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；

特征单元，用于根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二人物的脸部的特征信息。

11.如权利要求10所述的系统，其特征在于，所述特征信息确定模块进一步用于根据第一人物的脸部的区域与第二人物的脸部的区域将第二人物的脸部替换为显示调整后的第一人物的脸部。

12.如权利要求11所述的系统，其特征在于，所述调整显示模块进一步用于在第一人物的模型中根据以下参数之一或者其组合的所述特征信息调整第一人物的脸部的显示：第二人物的脸部的3D姿态、第二人物的脸部的AU的状态、第二人物的脸部的轮廓的长宽的比例、第二人物的脸部的特征点周围的皮肤的亮暗程度。

13.如权利要求10所述的系统，其特征在于，所述调整显示模块进一步用于在检测出的脸部的区域里，采用人脸识别算法确定五官的区域和脸颊的轮廓。

14.如权利要求8至13任一所述的系统，其特征在于，进一步包括：

道具添加模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物之后，为目标图像中的第一人物添加图像。