CN106908064A - 一种基于Kinect2传感器的室内夜间视觉导航方法 - Google Patents

Abstract

本发明公开了一种基于Kinect2传感器的室内夜间视觉导航方法，机器人在运动过程中采用Kinect2传感器获取红外图像和深度图像序列，采用首帧红外图像的特征点对红外特征数据库进行初始化，采用首帧深度图像初始化3D点云数据库，然后在后续帧红处图像中提取红外特征点，与红外特征数据库中的特征点进行匹配，与3D点云对应，去除外点，根据剩下的匹配特征点对获取当前帧对应的旋转矩阵R_t和平移矩阵T_t，并将当前帧的点云与现有3D地图进行对齐与拼接，实现3D地图扩展。本发明利用Kinect2传感器获取的红外图像，结合深度图像，实现可靠性较高的机器人室内夜间视觉导航。

Description

一种基于Kinect2传感器的室内夜间视觉导航方法

技术领域

本发明属于机器人和计算机视觉技术领域，更为具体地讲，涉及一种基于Kinect2传感器的室内夜间视觉导航方法。

背景技术

导航技术是机器人的核心关键技术之一。随着行业对机器人需求的不断提出，机器人市场的蓬勃发展，不断涌现出各类的导航技术。现有的室内导航定位技术主要分为基于视觉的传感器和非视觉传感器。采用视觉导航方式的优势在于价格低廉，容易消除累计误差，但难以实现夜间定位。非视觉传感器包括编码器、惯性测量单元、激光、RFID、Wifi、蓝牙、超宽带等。非视觉传感器对于光线没有要求，可以工作在白天和黑夜，但编码器、惯性测量单元容易产生累计误差且无法消除；激光和超宽带的精度高，但价格通常比较昂贵；RFID、Wifi、蓝牙的定位精度不高，且需要分布式布点。

如前所述，视觉传感器有非视觉传感器不可比拟的优势，而视觉传感器在室内夜间移动平台上通常不可用，原因如下：一方面，视觉传感器对光照有要求，在无光或少光的情况下，通常需要增加曝光时间；另一方面，增长曝光时间会使得运动中的移动平台采集到模糊图像，极大地影响准确度。Kinect2是微软公司推出的第二代体感感应器，主要采用Time of Flight的技术实现，其深度信息是通过主动发射红外光所获得，获得的红外光同时可以产生输出红外图像。当然，红外图像相对于普通RGB图像来讲，图像对比度较弱，提取的特征明显少于普通的RGB图像，这增加了夜间视觉导航的难度，故不能直接转移应用至RGB的视觉导航技术。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Kinect2传感器的室内夜间视觉导航方法，基于Kinect2传感器获取的红外图像和深度图像来实现可靠的室内夜间视觉导航。

为实现上述发明目的，本发明基于Kinect2传感器的室内夜间视觉导航方法包括以下步骤：

S1：在室内运动区域的机器人视野范围内搜索夜间红外特征缺乏处，如果存在，则补充红外特征图案，否则不作任何操作；

S2：机器人在运动过程中，采用Kinect2传感器获取红外图像和深度图像序列，并分别对红外图像和深度图像进行预处理，其中红外图像采用图像增强处理，深度图像的预处理方法为：对深度图像进行深度判断，如果深度超过Kinect2传感器的有效距离，将深度图像中与Kinect2传感器距离大于有效距离的点删除，仅保留有效距离范围内的点；

S3：如果当前图像序号t＝1，进入步骤S4，否则进入步骤S5；

S4：对首帧红外图像进行红外特征提取，得到红外特征点，将各个红外特征点信息放入红外特征数据库；记首帧的投影矩阵P₁为：

其中，R₁表示首帧的旋转矩阵，T₁表示首帧的平移矩阵；

采用首帧深度图像初始化3D点云数据库，形成3D地图，将首帧所对应的机器人位置坐标作为坐标原点，然后返回步骤S2；

S5：对当前帧红外图像中进行红外特征提取，得到红外特征点，根据当前帧的深度图像获取红外特征点对应的3D点，如果对应3D点存在，则不作任何操作，否则删除该红外特征点；

S6：如果步骤S5得到的红外特征点数量大于预设阈值TH₁，进入步骤S7，否则丢弃当前帧返回步骤S2；

S7：将当前帧的红外特征点与红外特征数据库中的红外特征点进行匹配，获得匹配特征点对集合；并将当前帧的红外特征点加入红外特征数据库中，对红外特征数据库进行更新；

S8：对于匹配特征点对集合中的每个特征点对(I_t,I_*)，其中I_t表示当前帧红外图像的红外特征点，I_*表示红外特征点I_t在红外特征数据库中的匹配特征点，根据当前帧的深度图像获取红外特征点I_t对应的3D点X，利用匹配特征点I_*对应帧的投影矩阵P_*对3D点X进行投影得到对应的二维坐标x′＝aP_*X，其中a表示尺度因子；计算二维坐标x′与红外特征点I_t在当前帧红外图像中的二维坐标x的距离，如果该距离小于预设阈值TH₂，则保留，否则将该匹配特征点对作为外点去除；

S9：根据步骤8得到的匹配特征点对集合，获取当前帧对应的旋转矩阵R_t和平移矩阵T_t，获得当前帧对应的投影矩阵P_t＝[R_t|T_t]；

S10：根据旋转矩阵R_t和平移矩阵T_t对当前帧的点云与现有3D地图进行对齐，对当前帧3D点云与现有3D地图进行拼接，实现3D地图扩展，然后返回步骤S2。

本发明基于Kinect2传感器的室内夜间视觉导航方法，机器人在运动过程中采用Kinect2传感器获取红外图像和深度图像序列，采用首帧红外图像的特征点对红外特征数据库进行初始化，采用首帧深度图像初始化3D点云数据库，然后在后续帧红处图像中提取红外特征点，与红外特征数据库中的特征点进行匹配，与3D点云对应，去除外点，根据剩下的匹配特征点对获取当前帧对应的旋转矩阵R_t和平移矩阵T_t，并将当前帧的点云与现有3D地图进行对齐与拼接，实现3D地图扩展。本发明利用Kinect2传感器获取的红外图像，结合深度图像，实现可靠性较高的机器人室内夜间视觉导航。

附图说明

图1是本发明基于Kinect2传感器的室内夜间视觉导航方法的具体实施方式流程图；

图2是本实施例中所采用的红外特征图案示例图；

图3是本实施例中红外图像增强处理前后对比图；

图4是本实施例中采用本发明得到的3D地图与机器人运动路径图；

图5是本实施例中有光情况下基于彩色图像得到的3D地图与机器人运动路径图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于Kinect2传感器的室内夜间视觉导航方法的具体实施方式流程图。如图1所示，本发明基于Kinect2传感器的室内夜间视觉导航方法的具体步骤包括：

S101：在室内运动区域内按需补充红外特征图案：

在室内运动区域的机器人视野范围内搜索夜间红外特征缺乏处，例如大面白色墙体等，如果存在，则补充带反光材质或者带吸收红外颜色(如黑色)的红外特征图案，否则不作任何操作。

为了便于进行验证测试，本实施例中自行搭建了一个家居实验环境作为机器人的运动区域，在搭建时设置了较为丰富的红外特征。图2是本实施例中所采用的红外特征图案示例图。如图2所示，该特征图案是具有较强对比的黑白色图案，具有较为明显的红外特征。

S102：获取红外图像和深度图像：

机器人在运动过程中，采用Kinect2传感器获取红外图像和深度图像序列，并分别对红外图像和深度图像进行预处理。

红外图像的预处理为图像增强处理，其目的是增强红外图像细节。红外图像增强处理的具体方法有很多，经实验发现，本发明中采用幂律函数或指数函数进行图像增强处理效果较好。本实施例中选用幂律函数进行红外图像增强，即红外图线每个像素点采用c·r^γ以拉伸暗区域，其中r表示像素值，c、γ分别是幂律函数的参数，本实施例中设置c＝1000、γ＝0.4。图3是本实施例中红外图像增强处理前后对比图。如图3所示，经过图像增强处理后，红外图像中的细节信息更加清晰，更有利于后续红外特征的提取。

对深度图像的预处理方法为：对深度图像进行深度判断，如果深度超过Kinect2传感器的有效距离(目前为4.5m)，直接截取深度图像，即将深度图像中与Kinect2传感器距离大于有效距离的点删除，仅保留有效距离范围内的点。

S103：判断是否当前图像序号t＝1，如果是，进入步骤S104，否则进入步骤S105。

S104：数据库初始化：

采用首帧红外图像和深度图像对红外特征数据库进行初始化，其具体方法为：对首帧红外图像进行红外特征提取，得到红外特征点，将各个红外特征点信息放入红外特征数据库。目前行业内已提出多种适用于红外图像的图像特征，本实施例中选用ORB(Oriented FAST and Rotated BRIEF)特征。

记首帧的投影矩阵P₁为：

其中，R₁表示首帧的旋转矩阵，T₁表示首帧的平移矩阵。

采用首帧深度图像初始化3D点云数据库，形成3D地图，将首帧所对应的机器人位置坐标作为坐标原点，然后返回步骤S102。

S105：提取红外特征点：

对当前帧红外图像中进行红外特征提取，得到红外特征点，根据当前帧的深度图像获取红外特征点对应的3D点，如果对应3D点存在，则不作任何操作，如果对应3D点不存在，即已在步骤S1的深度图像预处理中被删除，则删除该红外特征点。

S106：判断当前帧是否为关键帧，即判断步骤S105得到的红外特征点数量是否大于预设阈值TH₁，该阈值是根据运动区域内红外特征的具体情况以及图像大小来确定的，本实施例中设置TH₁＝15，如果是，进入步骤S107，否则丢弃当前帧，返回步骤S102。

S107：红外特征点匹配与数据库更新：

将当前帧的红外特征点与红外特征数据库中的红外特征点进行匹配，获得匹配特征点对集合。将当前帧的红外特征点加入红外特征数据库中，对红外特征数据库进行更新。

S108：外点去除：

对于匹配特征点对集合中的每个特征点对(I_t,I_*)，其中I_t表示当前帧红外图像的红外特征点，I_*表示红外特征点I_t在红外特征数据库中的匹配特征点，根据当前帧的深度图像获取红外特征点I_t对应的3D点X，利用匹配特征点I_*对应帧的投影矩阵P_*对3D点X进行投影得到对应的二维坐标x′＝aP_*X，其中a表示尺度因子。然后计算二维坐标x′与红外特征点I_t在当前帧红外图像中的二维坐标x的距离，如果该距离小于预设阈值TH₂，则保留，否则将该匹配特征点对作为外点去除。阈值TH₂是根据实际情况来设置的，本实施例中设置TH₂＝20。

S109：获取旋转矩阵和平移矩阵：

根据步骤108外点去除处理后的匹配特征点对集合，获取当前帧对应的旋转矩阵R_t和平移矩阵T_t，也就是当前帧的相机姿态，显然根据旋转矩阵R_t和平移矩阵T_t就可以获得当前帧对应的投影矩阵P_t＝[R_t|T_t]。本实施例中采用BundleAdjustment束调整优化方法来获取旋转矩阵R_t和平移矩阵T_t，该旋转矩阵R_t和平移矩阵T_t即为机器人当前的绝对坐标。

S110：3D地图扩展：

根据旋转矩阵R_t和平移矩阵T_t对当前帧的点云与现有3D地图进行对齐，对当前帧3D点云与现有3D地图进行拼接，实现3D地图扩展，然后返回步骤S102。通过3D地图扩展，从而随着机器人的前进，逐渐形成整个运动区域的3D地图，直到机器人停止导航。

为了更好地说明本发明的技术效果，在本实施例中采用本发明与普通有光情况下基于彩色图像的室内视觉导航方法进行对比实验验证。图4是本实施例中采用本发明得到的3D地图与机器人运动路径图。图5是本实施例中有光情况下基于彩色图像得到的3D地图与机器人运动路径图。如图4和图5所示，图中的白色点为3D地图，黑色曲线为机器人运动路径。对比图4和图5可知，采用本发明在室内夜间环境下所得到的3D地图和机器人运动路径，其效果和准确度已经非常接近普通有光情况下基于采用彩色图像的室内视觉导航所得到的结果，可见本发明通过结合红外图像和深度图像，能够在室内夜间环境下得到较为准确的导航信息，实现可靠性较高的机器人室内夜间视觉导航。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于Kinect2传感器的室内夜间视觉导航方法，其特征在于，包括以下步骤：

S1：在室内运动区域的机器人视野范围内搜索夜间红外特征缺乏处，如果存在，则补充红外特征图案，否则不作任何操作；

S2：机器人在运动过程中，采用Kinect2传感器获取红外图像和深度图像序列，并分别对红外图像和深度图像进行预处理，其中红外图像采用图像增强处理，深度图像的预处理方法为：对深度图像进行深度判断，如果尝试超过Kinect2传感器的有效距离，将深度图像中与Kinect2传感器距离大于有效距离的点删除，仅保留有效距离范围内的点；

S3：如果当前图像序号t＝1，进入步骤S4，否则进入步骤S5；

S4：对首帧红外图像进行红外特征提取，得到红外特征点，将各个红外特征点信息放入红外特征数据库；记首帧的投影矩阵P₁为：

$P_1=\[R_1|T_1\]=\[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\left|\begin{array}{c}0\\ 0\\ 0\end{array}\right.\]$

其中，R₁表示首帧的旋转矩阵，T₁表示首帧的平移矩阵；

采用首帧深度图像初始化3D点云数据库，形成3D地图，将首帧所对应的机器人位置坐标作为坐标原点，然后返回步骤S2；

S5：对当前帧红外图像中进行红外特征提取，得到红外特征点，根据当前帧的深度图像获取红外特征点对应的3D点，如果对应3D点存在，则不作任何操作，否则删除该红外特征点；

S6：如果步骤S5得到的红外特征点数量大于预设阈值TH₁，进入步骤S7，否则丢弃当前帧返回步骤S2；

S7：将当前帧的红外特征点与红外特征数据库中的红外特征点进行匹配，获得匹配特征点对集合；并将当前帧的红外特征点加入红外特征数据库中，对红外特征数据库进行更新；

S8：对于匹配特征点对集合中的每个特征点对(I_t,I_*)，其中I_t表示当前帧红外图像的红外特征点，I_*表示红外特征点I_t在红外特征数据库中的匹配特征点，根据当前帧的深度图像获取红外特征点I_t对应的3D点X，利用匹配特征点I_*对应帧的投影矩阵P_*对3D点X进行投影得到对应的二维坐标x′＝aP_*X，其中a表示尺度因子；计算二维坐标x′与红外特征点I_t在当前帧红外图像中的二维坐标x的距离，如果该距离小于预设阈值TH₂，则保留，否则将该匹配特征点对作为外点去除；

S9：根据步骤8得到的匹配特征点对集合，获取当前帧对应的旋转矩阵R_t和平移矩阵T_t，获得当前帧对应的投影矩阵P_t＝[R_t|T_t]；

S10：根据旋转矩阵R_t和平移矩阵T_t对当前帧的点云与现有3D地图进行对齐，对当前帧3D点云与现有3D地图进行拼接，实现3D地图扩展，然后返回步骤S2。

2.根据权利要求1所述的室内夜间视觉导航方法，其特征在于，所述步骤S2中图像增强处理采用幂律函数或指数函数。

3.根据权利要求1所述的室内夜间视觉导航方法，其特征在于，所述步骤S9中采用Bundle Adjustment束调整优化方法来获取旋转矩阵R_t和平移矩阵T_t。