CN110012209B - 全景图像生成方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种全景图像生成方法、装置、存储介质及电子设备，该全景图像生成方法包括：获取全景拍摄指令；根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该预览框进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向；根据每组扫描图像在该第二方向上生成对应的局部图像；根据该局部图像生成全景图像，从而能适用于各种复杂场景的图像拼接，方法简单，灵活性高，拼接效果。

Description

全景图像生成方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种全景图像生成方法、装置、存储介质及电子设备。

背景技术

随着移动通信技术的不断发展，移动终端已经成为人们日常生活的必备工具之一，其不仅可以提供通话和短信功能，还具有多媒体播放以及拍照功能。

目前的移动终端大多具有全景拍摄模式，在全景拍摄模式下，可以将一系列有部分重叠边界的小视角图像，根据不同图像的特征运用不同的处理算法进行匹配对准，从而拼接成一幅宽视角的全景图像，但是现有的全景拍摄技术只能针对一些比较简单的场景图像进行拼接，难以适应复杂场景，比如近距离拍摄建筑物、壁画等，局限性大，拼接效果差。

发明内容

本申请实施例提供一种全景图像生成方法、装置、存储介质及电子设备，能适应各种拍摄场景，拼接效果好。

本申请实施例提供了一种全景图像生成方法，包括：

获取全景拍摄指令；

根据所述全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；

在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对所述拍摄内容进行蛇形扫描，得到多组扫描图像，所述第一方向垂直于第二方向；

根据每组扫描图像在所述第二方向上生成对应的局部图像；

根据所述局部图像生成全景图像。

本申请实施例还提供了一种全景图像生成装置，应用于电子设备，包括：

获取模块，用于获取全景拍摄指令；

拍摄模块，用于根据所述全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；

扫描模块，用于在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对所述拍摄内容进行蛇形扫描，得到多组扫描图像，所述第一方向垂直于第二方向；

第一生成模块，用于根据每组扫描图像在所述第二方向上生成对应的局部图像；

第二生成模块，用于根据所述局部图像生成全景图像。

进一步地，所述第一生成模块具体包括：

确定子模块，用于根据每组扫描图像确定对应的关键帧图像组；

提取子模块，用于提取每一关键帧图像组中关键帧图像的特征点；

拼接子模块，用于根据所述特征点对所述关键帧图像组进行拼接，以在所述第二方向上生成对应的局部图像。

进一步地，所述拼接子模块用于：

根据所述关键帧图像组中相邻两帧关键帧图像的特征点计算对应的第一单应性矩阵；

根据所述第一单应性矩阵计算第一全局变换矩阵；

利用所述第一全局变换矩阵对相应的关键帧图像组进行拼接。

进一步地，所述拼接子模块具体用于：

将所述关键帧图像组中相邻两帧关键帧图像的特征点进行匹配；

获取匹配成功的特征点的位置信息；

根据所述位置信息计算第一单应性矩阵。

进一步地，所述确定子模块具体用于：

在每组扫描图像中，将第一帧扫描图像作为关键帧图像；

获取与所述关键帧图像相邻的下一帧扫描图像，作为目标帧图像；

根据所述关键帧图像的特征点、以及所述目标帧图像的特征点判断所述目标帧图像是否满足预设条件；

若是，则将所述目标帧图像作为关键帧图像，并返回执行获取与所述关键帧图像相邻的下一帧扫描图像的操作；

若否，则将与所述目标帧图像相邻的下一帧扫描图像作为目标帧图像，并返回执行根据所述关键帧图像的特征点、以及所述目标帧图像的特征点判断所述目标帧图像是否满足预设条件的操作。

进一步地，所述确定子模块具体用于：

将所述关键帧图像的特征点与所述目标帧图像的特征点进行匹配；

统计所述关键帧图像中匹配成功的特征点的数量、以及所述关键帧图像中特征点的总数量；

根据所述匹配成功的特征点的数量、以及总数量判断所述目标帧图像是否满足预设条件。

进一步地，所述确定子模块具体用于：

根据所述所述匹配成功的特征点的数量以及总数量计算相似度；

当所述相似度小于第一预设阈值，且所述匹配成功的特征点的数量大于第二预设阈值时，判断所述目标帧图像满足预设条件。

进一步地，所述第二生成模块具体用于：

根据相邻的两张局部图像计算对应的第二单应性矩阵；

根据所述第二单应性矩阵计算第二全局变换矩阵；

利用所述第二全局变换矩阵对所述局部图像在第一方向上进行拼接，得到全景图像。

本申请实施例还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项全景图像生成方法。

本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的全景图像生成方法中的步骤。

本申请提供的全景图像生成方法、装置、存储介质及电子设备，通过获取全景拍摄指令，接着，根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中，而在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向，并根据每组扫描图像在该第二方向上生成对应的局部图像，之后根据该局部图像生成全景图像，从而能适用于各种复杂场景的图像拼接，方法简单，灵活性高，拼接效果好。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的全景图像生成方法的流程示意图。

图2为本申请实施例提供的预览框中蛇形扫描的示意图。

图3为本申请实施例提供的全景图像生成方法的另一流程示意图。

图4为本申请实施例提供的步骤203的流程示意图。

图5为本申请实施例提供的全景图像生成装置的结构示意图。

图6为本申请实施例提供的第一生成模块的结构示意图。

图7为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种全景图像生成方法、装置、存储介质及电子设备。

一种全景图像生成方法，应用于电子设备，包括：获取全景拍摄指令；根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向；根据每组扫描图像在该第二方向上生成对应的局部图像；根据该局部图像生成全景图像。

如图1所示，图1是本申请实施例提供的全景图像生成方法的流程示意图，其应用于电子设备，具体流程可以如下：

101、获取全景拍摄指令。

本实施例中，当用户点击拍照应用的某个按钮时，电子设备可以生成全景拍摄指令。

102、根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中。

本实施例中，该预览框的大小可以人为设定，也可以根据电子设备显示屏的尺寸而定，比如是显示屏尺寸的四分之三。

103、在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向。

本实施例中，该第二方向和第一方向通常是提前设定好的，其可以是预览框长和宽所在的方向，也可以是人为定义的横向和纵向，当然还可以是其他设定方式。该第一方向重叠率是指在第一方向上的扫描轨迹重叠率，其可以人为设定，比如不小于50％。每次扫描完毕，都会生成一组对应的扫描图像，该蛇形扫描的扫描长度可以是定值，也可以是变量，该扫描轨迹重叠率取决于相邻两次蛇形扫描的起点位置，比如请参见图2，对于扫描长度固定的相邻两次蛇形扫描，若扫描起点分别为a1和a2，扫描长度为b,则该扫描轨迹重叠率为[b-(a2-a1)]/b。

104、根据每组扫描图像在该第二方向上生成对应的局部图像。

本实施例中，该局部图像是沿第二方向拼接形成的，由于每一组扫描图像并非针对整个预览框进行扫描，而是对预览框的某纵向区域或者横向区域进行扫描，故对应形成的拼接图像也并非全景图像，而是局部图像。

例如，上述步骤104具体可以包括：

1-1、根据每组扫描图像确定对应的关键帧图像组。

例如，上述步骤1-1具体可以包括：

在每组扫描图像中，将第一帧扫描图像作为关键帧图像；

获取与该关键帧图像相邻的下一帧扫描图像，作为目标帧图像；

根据该关键帧图像的特征点、以及该目标帧图像的特征点判断该目标帧图像是否满足预设条件；

若是，则将该目标帧图像作为关键帧图像，并返回执行获取与该关键帧图像相邻的下一帧扫描图像的操作；

若否，则将与该目标帧图像相邻的下一帧扫描图像作为目标帧图像，并返回执行根据该关键帧图像的特征点、以及该目标帧图像的特征点判断该目标帧图像是否满足预设条件的操作。

本实施例中，图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，每一特征点均可以包括纹理特征和颜色特征等信息。在对扫描图像进行拼接之前，需要先从扫描图像中过滤掉无需用于拼接的，比如对于相似度较高的图像只需取其一参与拼接，而对于相似度极低的图像则可以舍弃掉，等等，从而可以在保证图像信息完整的情况下，减少拼接图像的数量，提高拼接效率。

进一步地，上述步骤“根据该关键帧图像的特征点、以及该目标帧图像的特征点判断该目标帧图像是否满足预设条件”具体可以包括：

将该关键帧图像的特征点与该目标帧图像的特征点进行匹配；

统计该关键帧图像中匹配成功的特征点的数量、以及该关键帧图像中特征点的总数量；

根据该匹配成功的特征点的数量、以及总数量判断该目标帧图像是否满足预设条件。

本实施例中，该预设条件可以人为设定，比如可以是关键帧图像和目标帧图像彼此间的相似度在一定范围内，通常，匹配成功的特征点数量越多，相似度越高。

进一步地，上述步骤“根据该匹配成功的特征点的数量、以及总数量判断该目标帧图像是否满足预设条件”具体可以包括：

根据该该匹配成功的特征点的数量以及总数量计算相似度；

当该相似度小于第一预设阈值，且该匹配成功的特征点的数量大于第二预设阈值时，判断该目标帧图像满足预设条件。

本实施例中，可以计算匹配成功的特征点的数量与总数量之间的比值，将该比值作为相似度。该第一预设阈值和第二预设阈值可以人为设定，比如该第一预设阈值可以是70％，该第二预设阈值可以是20。

1-2、提取每一关键帧图像组中关键帧图像的特征点。

1-3、根据该特征点对该关键帧图像组进行拼接，以在该第二方向上生成对应的局部图像。

例如，上述步骤1-3具体可以包括：

1-3-1、根据该关键帧图像组中相邻两帧关键帧图像的特征点计算对应的第一单应性矩阵。

例如，上述步骤1-3-1具体可以包括：

将该关键帧图像组中相邻两帧关键帧图像的特征点进行匹配；

获取匹配成功的特征点的位置信息；

根据该位置信息计算第一单应性矩阵。

本实施例中，该单应性矩阵(Homography)(第一单应性矩阵)就是一个从一张图像到另一张图像映射关系的转换矩阵，具体的，可以先确定该相邻两帧关键帧图像中匹配成功的特征点是哪些，然后选取一定数量匹配成功的特征点来计算对应的单应性矩阵，使其中一帧关键帧图像中的特征点通过该单应性矩阵变换后，可以与另一帧关键帧图像中的特征点位于同一空间坐标系内。

1-3-2、根据该第一单应性矩阵计算第一全局变换矩阵。

本实施例中，可以按次序计算相邻帧关键帧图像的第一单应性矩阵，比如对于某个关键帧图像组M1～Mn，可以计算M1与M2之间、M2与M3之间、M3与M4之间、以及Mn-1与Mn之间的第一单应性矩阵，每一个单应性矩阵相当于该关键帧图像组的局部变换矩阵，最后，再将所有第一单应性矩阵统一到相同坐标系，得到第一全局变换矩阵。

1-3-3、利用该第一全局变换矩阵对相应的关键帧图像组进行拼接。

本实施例中，可以通过该全局变换矩阵将该关键帧图像组中的每一张关键帧图像都投射到同一坐标空间系中，得到的图像即为拼接得到的局部图像。

105、根据该局部图像生成全景图像。

例如，上述步骤105具体可以包括：

根据相邻的两张局部图像计算对应的第二单应性矩阵；

根据该第二单应性矩阵计算第二全局变换矩阵；

利用该第二全局变换矩阵对该局部图像在第一方向上进行拼接，得到全景图像。

本实施例中，由于该蛇形扫描在第一方向上是重叠性扫描，也即相邻两次扫描操作的扫描轨迹部分重叠，故当扫描图像完成第二方向上的拼接时，还需在第一方向上进行进一步拼接，也即将每列(行)扫描图像拼接的局部图像沿行(列)所在的方向再一次拼接，实现二维网格拼接，这种拼接方式能将扫描图像所携带的图像信息充分利用起来，方法简单，拼接效果好，而且能适用于各种复杂场景的视频图像拼接，灵活性强。

由上述可知，本实施例提供的全景图像生成方法，应用于电子设备，通过获取全景拍摄指令，接着，根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中，而在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向，并根据每组扫描图像在该第二方向上生成对应的局部图像，之后根据该局部图像生成全景图像，从而能适用于各种复杂场景的图像拼接，方法简单，灵活性高，拼接效果好。

在本实施例中，将从全景图像生成装置的角度进行描述，具体将以该全景图像生成装置集成在电子设备中为例进行详细说明。

请参见图3，一种全景图像生成方法，应用于电子设备，具体流程可以如下：

201、电子设备获取全景拍摄指令，并根据该全景拍摄指令启动摄像头进行视频拍摄，之后将拍摄内容显示在预览框中。

譬如，当电子设备进入拍摄界面时，可以点击该拍摄应用的全景拍摄按键，此时，电子设备会启动摄像头进行视频拍摄，并将拍摄内容实时显示在预览框中。

202、在视频拍摄过程中，电子设备沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向。

譬如，该第一方向可以为横向，该第二方向可以为纵向，也即电子设备会沿纵向对预览框中显示的内容进行蛇形扫描，请参见图2，对于扫描长度固定的相邻两次蛇形扫描，若扫描起点分别为a1和a2，扫描长度为b,则横向扫描重叠率为[b-(a2-a1)]/b，比如b/a可以不小于50％。

203、电子设备根据每组扫描图像确定对应的关键帧图像组。

例如，请参阅图4，上述步骤203具体可以包括：

2031、在每组扫描图像中，电子设备将第一帧扫描图像作为关键帧图像；

2032、电子设备获取与该关键帧图像相邻的下一帧扫描图像，作为目标帧图像；

2033、电子设备根据该关键帧图像的特征点、以及该目标帧图像的特征点判断该目标帧图像是否满足预设条件，若是，则将该目标帧图像作为关键帧图像，并返回执行上述步骤2032，若否，则将与该目标帧图像相邻的下一帧扫描图像作为目标帧图像，并返回执行上述步骤2033。

本实施例中，在对扫描图像进行拼接之前，需要先从扫描图像中过滤掉无需用于拼接的，比如对于相似度较高的图像只需取其一参与拼接，而对于相似度极低的图像则可以舍弃掉，等等，从而可以在保证图像信息完整的情况下，减少拼接图像的数量，提高拼接效率，也即，上述步骤2033进一步可以包括：

将该关键帧图像的特征点与该目标帧图像的特征点进行匹配；

统计该关键帧图像中匹配成功的特征点的数量、以及该关键帧图像中特征点的总数量；

根据该该匹配成功的特征点的数量以及总数量计算相似度；

当该相似度小于第一预设阈值，且该匹配成功的特征点的数量大于第二预设阈值时，判断该目标帧图像满足预设条件。

本实施例中，由于匹配成功的特征点越多，代表两者的相似度越高，反之则代表相似度越低，故当匹配成功的特征点的数量大于第二预设阈值，比如20时，可以认为两者的相似度不低于最低限度，当匹配成功的特征点数量与总数量的比值小于第一预设阈值，比如70％时，可以认为两者的相似度不高于最大限度，只有同时满足这两个条件的目标帧图像才能认为满足预设条件，才能作为关键帧图像。

204、电子设备提取每一关键帧图像组中关键帧图像的特征点，并将该关键帧图像组中相邻两帧关键帧图像的特征点进行匹配。

205、电子设备获取匹配成功的特征点的位置信息，并根据该位置信息计算第一单应性矩阵。

206、电子设备根据该第一单应性矩阵计算第一全局变换矩阵，并利用该第一全局变换矩阵对相应的关键帧图像组进行拼接，得到局部图像。

譬如，由于每一关键帧图像组都是单次纵向扫描得到的，故当采用图像拼接的方式对关键帧图像组进行处理时，每一关键帧图像组拼接而成的局部图像都对应纵向扫描区域所包含的图像信息，具体拼接方法可以是先两两计算相邻关键帧图像的第一单应性矩阵，然后将所有第一单应性矩阵进行归一，得到全局变换矩阵，利用该全局变换矩阵将关键帧图像组中的每一关键帧图像都投射到相同的坐标空间中，完成每个关键帧图像组的纵向拼接。

207、电子设备根据相邻的两张局部图像计算对应的第二单应性矩阵，并根据该第二单应性矩阵计算第二全局变换矩阵，之后利用该第二全局变换矩阵对该局部图像在第一方向上进行拼接，得到全景图像。

譬如，由于该蛇形扫描具有一定的横向重叠率，也即相邻两张局部图像中会存在相同的部分，故可以进一步对局部图像进行横向拼接，该拼接方式可以是先两两生成第二单应性矩阵，然后对第二单应性矩阵进行归一，得到第二全局变换矩阵，之后，利用该第二全局变换矩阵将所有局部图像都投射到一个坐标空间中，完成局部图像的横向拼接。

由上述可知，本实施例提供的全景图像生成方法，应用于电子设备，其中电子设备可以获取全景拍摄指令，并根据该全景拍摄指令启动摄像头进行视频拍摄，之后将拍摄内容显示在预览框中，接着，在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向，接着，根据每组扫描图像确定对应的关键帧图像组，接着，提取每一关键帧图像组中关键帧图像的特征点，并将该关键帧图像组中相邻两帧关键帧图像的特征点进行匹配，接着，获取匹配成功的特征点的位置信息，并根据该位置信息计算第一单应性矩阵，之后，根据该第一单应性矩阵计算第一全局变换矩阵，并利用该第一全局变换矩阵对相应的关键帧图像组进行拼接，得到局部图像，接着，根据相邻的两张局部图像计算对应的第二单应性矩阵，并根据该第二单应性矩阵计算第二全局变换矩阵，之后利用该第二全局变换矩阵对该局部图像在第一方向上进行拼接，得到全景图像，从而能采用二维网格的方式生成全景图，适用于各种复杂场景的图像拼接，方法简单，灵活性高，拼接效果好。

根据上述实施例所描述的方法，本实施例将从全景图像生成装置的角度进一步进行描述，该全景图像生成装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑以及个人计算机等。

请参阅图5，图5具体描述了本申请实施例提供的全景图像生成装置，应用于电子设备，该全景图像生成装置可以包括：获取模块10、拍摄模块20、扫描模块30、第一生成模块40和第二生成模块50，其中：

(1)获取模块10

获取模块10，用于获取全景拍摄指令。

本实施例中，当用户点击拍照应用的某个按钮时，电子设备可以生成全景拍摄指令。

(2)拍摄模块20

拍摄模块20，用于根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中。

本实施例中，该预览框的大小可以人为设定，也可以根据电子设备显示屏的尺寸而定，比如是显示屏尺寸的四分之三。

(3)扫描模块30

扫描模块30，用于在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向。

本实施例中，该第二方向和第一方向通常是提前设定好的，其可以是预览框长和宽所在的方向，也可以是人为定义的横向和纵向，当然还可以是其他设定方式。该第一方向重叠率是指在第一方向上的扫描轨迹重叠率，其可以人为设定，比如不小于50％。每次扫描完毕，都会生成一组对应的扫描图像，该蛇形扫描的扫描长度可以是定值，也可以是变量，该扫描轨迹重叠率取决于相邻两次蛇形扫描的起点位置，比如请参见图2，对于扫描长度固定的相邻两次蛇形扫描，若扫描长度为a，在第一方向上的重叠长度为b,则该扫描轨迹重叠率为b/a。

(4)第一生成模块40

第一生成模块40，用于根据每组扫描图像在该第二方向上生成对应的局部图像。

本实施例中，该局部图像是沿第二方向拼接形成的，由于每一组扫描图像并非针对整个预览框进行扫描，而是对预览框的某纵向区域或者横向区域进行扫描，故对应形成的拼接图像也并非全景图像，而是局部图像。

例如，请参见图6，该第一生成模块40具体可以包括确定子模块41、提取子模块42和拼接子模块43，其中：

确定子模块41，用于根据每组扫描图像确定对应的关键帧图像组。

例如，该确定子模块41具体可以用于：

在每组扫描图像中，将第一帧扫描图像作为关键帧图像；

获取与该关键帧图像相邻的下一帧扫描图像，作为目标帧图像；

根据该关键帧图像的特征点、以及该目标帧图像的特征点判断该目标帧图像是否满足预设条件；

若是，则将该目标帧图像作为关键帧图像，并返回执行获取与该关键帧图像相邻的下一帧扫描图像的操作；

若否，则将与该目标帧图像相邻的下一帧扫描图像作为目标帧图像，并返回执行根据该关键帧图像的特征点、以及该目标帧图像的特征点判断该目标帧图像是否满足预设条件的操作。

本实施例中，图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，每一特征点均可以包括纹理特征和颜色特征等信息。在对扫描图像进行拼接之前，需要先从扫描图像中过滤掉无需用于拼接的，比如对于相似度较高的图像只需取其一参与拼接，而对于相似度极低的图像则可以舍弃掉，等等，从而可以在保证图像信息完整的情况下，减少拼接图像的数量，提高拼接效率。

例如，该确定子模块41具体可以用于：

将该关键帧图像的特征点与该目标帧图像的特征点进行匹配；

统计该关键帧图像中匹配成功的特征点的数量、以及该关键帧图像中特征点的总数量；

根据该匹配成功的特征点的数量、以及总数量判断该目标帧图像是否满足预设条件。

本实施例中，该预设条件可以人为设定，比如可以是关键帧图像和目标帧图像彼此间的相似度在一定范围内，通常，匹配成功的特征点数量越多，相似度越高。

进一步地，该确定子模块41具体用于：

根据该该匹配成功的特征点的数量以及总数量计算相似度；

当该相似度小于第一预设阈值，且该匹配成功的特征点的数量大于第二预设阈值时，判断该目标帧图像满足预设条件。

本实施例中，可以计算匹配成功的特征点的数量与总数量之间的比值，将该比值作为相似度。该第一预设阈值和第二预设阈值可以人为设定，比如该第一预设阈值可以是70％，该第二预设阈值可以是20。

提取子模块42，用于提取每一关键帧图像组中关键帧图像的特征点。

拼接子模块43，用于根据该特征点对该关键帧图像组进行拼接，以在该第二方向上生成对应的局部图像。

例如，该拼接子模块43具体可以用于：

1-3-1、根据该关键帧图像组中相邻两帧关键帧图像的特征点计算对应的第一单应性矩阵。

此时，该拼接子模块43具体可以用于：

将该关键帧图像组中相邻两帧关键帧图像的特征点进行匹配；

获取匹配成功的特征点的位置信息；

根据该位置信息计算第一单应性矩阵。

本实施例中，该单应性矩阵(Homography)(第一单应性矩阵)就是一个从一张图像到另一张图像映射关系的转换矩阵，具体的，可以先确定该相邻两帧关键帧图像中匹配成功的特征点是哪些，然后选取一定数量匹配成功的特征点来计算对应的单应性矩阵，使其中一帧关键帧图像中的特征点通过该单应性矩阵变换后，可以与另一帧关键帧图像中的特征点位于同一空间坐标系内。

1-3-2、根据该第一单应性矩阵计算第一全局变换矩阵。

本实施例中，可以按次序计算相邻帧关键帧图像的第一单应性矩阵，比如对于某个关键帧图像组M1～Mn，可以计算M1与M2之间、M2与M3之间、M3与M4之间、以及Mn-1与Mn之间的第一单应性矩阵，每一个单应性矩阵相当于该关键帧图像组的局部变换矩阵，最后，再将所有第一单应性矩阵统一到相同坐标系，得到第一全局变换矩阵。

1-3-3、利用该第一全局变换矩阵对相应的关键帧图像组进行拼接。

本实施例中，可以通过该全局变换矩阵将该关键帧图像组中的每一张关键帧图像都投射到同一坐标空间系中，得到的图像即为拼接得到的局部图像。

(5)第二生成模块50

第二生成模块50，用于根据该局部图像生成全景图像。

例如，该第二生成模块50具体可以用于：

根据相邻的两张局部图像计算对应的第二单应性矩阵；

根据该第二单应性矩阵计算第二全局变换矩阵；

利用该第二全局变换矩阵对该局部图像在第一方向上进行拼接，得到全景图像。

本实施例中，由于该蛇形扫描在第一方向上是重叠性扫描，也即相邻两次扫描操作的扫描轨迹部分重叠，故当扫描图像完成第二方向上的拼接时，还需在第一方向上进行进一步拼接，也即将每列(行)扫描图像拼接的局部图像沿行(列)所在的方向再一次拼接，实现二维网格拼接，这种拼接方式能将扫描图像所携带的图像信息充分利用起来，方法简单，拼接效果好，而且能适用于各种复杂场景的视频图像拼接，灵活性强。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上述可知，本实施例提供的全景图像生成方法，应用于电子设备，通过获取模块10获取全景拍摄指令，接着，拍摄模块20根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中，而在视频拍摄过程中，扫描模块30沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向，第一生成模块40根据每组扫描图像在该第二方向上生成对应的局部图像，之后第二生成模块50根据该局部图像生成全景图像，从而能适用于各种复杂场景的图像拼接，方法简单，灵活性高，拼接效果好。

另外，本申请实施例还提供了一种电子设备，该电子设备可以是智能手机、平板电脑等设备。图7所示，电子设备900包括处理器901、存储器902、显示屏903以及控制电路904。其中，处理器901分别与存储器902、显示屏903、控制电路904电性连接。

处理器901是电子设备900的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器902内的应用程序，以及调用存储在存储器902内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备900中的处理器901会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现各种功能：

获取全景拍摄指令；

根据该全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；

在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对该拍摄内容进行蛇形扫描，得到多组扫描图像，该第一方向垂直于第二方向；

根据每组扫描图像在该第二方向上生成对应的局部图像；

根据该局部图像生成全景图像。

存储器902可用于存储应用程序和数据。存储器902存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器901通过运行存储在存储器902的应用程序，从而执行各种功能应用以及数据处理。

显示屏903可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。

控制电路904与显示屏903电性连接，用于控制显示屏903显示信息。

在一些实施例中，如图7所示，电子设备900还包括：射频电路905、输入单元906、音频电路907、传感器908以及电源909。其中，处理器901分别与射频电路905、输入单元906、音频电路907、传感器908以及电源909电性连接。

射频电路905用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。

输入单元906可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元906可以包括指纹识别模组。

音频电路907可通过扬声器、传声器提供用户与终端之间的音频接口。

电子设备900还可以包括至少一种传感器908，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

电源909用于给电子设备900的各个部件供电。在一些实施例中，电源909可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图7中未示出，电子设备900还可以包括摄像头、蓝牙模块等，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种全景图像生成方法中的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种全景图像生成方法中的步骤，因此，可以实现本发明实施例所提供的任一种全景图像生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

综上该，虽然本申请已以优选实施例揭露如上，但上述优选实施例并非用以限制本申请，本领域的普通技术人员，在不脱离本申请的精神和范围内，均可作各种更动与润饰，因此本申请的保护范围以权利要求界定的范围为准。

Claims (11)

1.一种全景图像生成方法，应用于电子设备，其特征在于，包括：

获取全景拍摄指令；

根据所述全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；

在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对所述拍摄内容进行蛇形扫描，得到多组扫描图像，所述第一方向垂直于第二方向；

根据每组扫描图像在所述第二方向上生成对应的局部图像；

根据所述局部图像生成全景图像。

2.根据权利要求1所述的全景图像生成方法，其特征在于，所述根据每组扫描图像在所述第二方向上生成对应的局部图像，包括：

根据每组扫描图像确定对应的关键帧图像组；

提取每一关键帧图像组中关键帧图像的特征点；

根据所述特征点对所述关键帧图像组进行拼接，以在所述第二方向上生成对应的局部图像。

3.根据权利要求2所述的全景图像生成方法，其特征在于，所述根据所述特征点对所述关键帧图像组进行拼接，包括：

根据所述关键帧图像组中相邻两帧关键帧图像的特征点计算对应的第一单应性矩阵；

根据所述第一单应性矩阵计算第一全局变换矩阵；

利用所述第一全局变换矩阵对相应的关键帧图像组进行拼接。

4.根据权利要求3所述的全景图像生成方法，其特征在于，所述根据所述关键帧图像组中相邻两帧关键帧图像的特征点计算对应的第一单应性矩阵，包括：

将所述关键帧图像组中相邻两帧关键帧图像的特征点进行匹配；

获取匹配成功的特征点的位置信息；

根据所述位置信息计算第一单应性矩阵。

5.根据权利要求2所述的全景图像生成方法，其特征在于，所述根据每组扫描图像确定对应的关键帧图像组，包括：

在每组扫描图像中，将第一帧扫描图像作为关键帧图像；

获取与所述关键帧图像相邻的下一帧扫描图像，作为目标帧图像；

根据所述关键帧图像的特征点、以及所述目标帧图像的特征点判断所述目标帧图像是否满足预设条件；

若是，则将所述目标帧图像作为关键帧图像，并返回执行获取与所述关键帧图像相邻的下一帧扫描图像的操作；

若否，则将与所述目标帧图像相邻的下一帧扫描图像作为目标帧图像，并返回执行根据所述关键帧图像的特征点、以及所述目标帧图像的特征点判断所述目标帧图像是否满足预设条件的操作。

6.根据权利要求5所述的全景图像生成方法，其特征在于，所述根据所述关键帧图像的特征点、以及所述目标帧图像的特征点判断所述目标帧图像是否满足预设条件，包括：

将所述关键帧图像的特征点与所述目标帧图像的特征点进行匹配；

统计所述关键帧图像中匹配成功的特征点的数量、以及所述关键帧图像中特征点的总数量；

根据所述匹配成功的特征点的数量、以及总数量判断所述目标帧图像是否满足预设条件。

7.根据权利要求6所述的全景图像生成方法，其特征在于，所述根据所述匹配成功的特征点的数量、以及总数量判断所述目标帧图像是否满足预设条件，包括：

根据所述匹配成功的特征点的数量以及总数量计算相似度；

当所述相似度小于第一预设阈值，且所述匹配成功的特征点的数量大于第二预设阈值时，判断所述目标帧图像满足预设条件。

8.根据权利要求1-7中任一项所述的全景图像生成方法，其特征在于，所述根据所述局部图像生成全景图像，包括：

根据相邻的两张局部图像计算对应的第二单应性矩阵；

根据所述第二单应性矩阵计算第二全局变换矩阵；

利用所述第二全局变换矩阵对所述局部图像在第一方向上进行拼接，得到全景图像。

9.一种全景图像生成装置，应用于电子设备，其特征在于，包括：

获取模块，用于获取全景拍摄指令；

拍摄模块，用于根据所述全景拍摄指令启动摄像头进行视频拍摄，并将拍摄内容显示在预览框中；

扫描模块，用于在视频拍摄过程中，沿第二方向以预设的第一方向重叠率对所述拍摄内容进行蛇形扫描，得到多组扫描图像，所述第一方向垂直于第二方向；

第一生成模块，用于根据每组扫描图像在所述第二方向上生成对应的局部图像；

第二生成模块，用于根据所述局部图像生成全景图像。

10.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至8中任一项所述的全景图像生成方法。

11.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至8中任一项所述的全景图像生成方法中的步骤。

Images