CN100487568C - 具有视线跟踪功能的增强现实自然交互式头盔 - Google Patents

Abstract

一种具有视线跟踪功能的增强现实自然交互式头盔，属于人机自然交互式头盔，该头盔包括场景摄像机(1)、耳机和话筒(2)、电磁式位置跟踪器发射器(3)、瞳孔间距调节旋钮(4)、头盔垂直调节旋钮(5)、头盔水平调节旋钮(6)、头盔内衬(7)、头盔光路盒(8)。本发明与现有技术相比，增加了视线跟踪功能，三维立体视觉效果较好，具有双通道自然交互功能，应用于设备维修、医疗诊断等技术领域。

Description

具有视线跟踪功能的增强现实自然交互式头盔

技术领域

本发明通过跟踪用户视线方向，获得用户在场景感兴趣区域，对目标区域的物体进行识别，利用增强现实技术，对当前用户区域进行信息增强。属于视线跟踪、虚拟重建和增强现实技术领域。

背景技术

增强现实系统利用附加的图形或文字信息对周围真实世界的场景动态地进行增强，期望用户能够像在现实世界一样在增强信息空间中自由活动^[1]。目前国内外研究人员采用的注册方法无论是基于方位跟踪设备，基于计算机视觉，还是基于视觉—方位跟踪器混合跟踪，都是仅仅跟踪用户头部方位，利用头部位置信息的变化来实现虚拟信息的叠加^[2]。在复杂机电维修设备军用飞机导航、武器瞄准、医疗手术等特殊的应用领域，视觉通道是人类与外部环境之间最重要的信息接口，人在增强信息空间中活动除了头部运动外，眼睛也在转动，以头部位置去近似视线方向，不考虑入眼运动，虚拟信息的注册误差最大有20度。因此，增强现实系统必须能够实时地检测出用户的头部位置和视线方向，跟踪使用人员视线的变化，根据这些信息实时确定所要添加的虚拟信息在真实空间坐标中的映射位置，将虚拟信息显示在正确的位置。目前，美国的Nvis公司的视频透视式增强现实头盔已经配备有视线跟踪功能，日本的ISCAN公司也在进行类似的研究。光学透视式头盔中集成视线跟踪功能因其易受环境光照影响，硬件加工难度加大，研究较少。

发明内容

本发明的目的是针对上述现有技术的现状，提出一种具有视线跟踪功能和双通道自然交互能力的结构简单的头盔。

具有视线跟踪功能的增强现实系统既要能够跟踪用户视线方向，获得用户在场景的感兴趣区域，同时又要根据视线跟踪系统反映的注视点的变化，体现增强现实系统三维注册、实时交互和虚实融合的特点。基于视线跟踪的增强现实系统，首先需要实时跟踪用户注视点在真实场景中的位置；然后根据预先保存在数据库里的场景先验知识，由注视点在场景中的真实坐标结合场景摄像机获得的场景图像判断用户的感兴趣区域和具体目标，从而得到需要显示增强信息的被增强对象；最后，依据当前识别的目标信息去查询虚拟对象数据库，获得与真实场景匹配的虚拟增强信息，采用增强现实三维注册和虚实融合技术，对当前用户感兴趣区域目标进行信息增强。具有视线跟踪功能的增强现实系统既要能够跟踪用户视线方向，获得用户在场景的感兴趣区域，同时又要根据视线跟踪系统反映的注视点的变化，体现增强现实系统三维注册、实时交互和虚实融合的特点，不是两者功能的简单相加。集成系统需满足以下原则：①不能降低两者性能；②不能干扰用户注意力，给使用人员增加额外负担。

本发明具有视线跟踪功能的增强现实自然交互式头盔的具体组成包括场景摄像机、耳机和话筒、电磁式位置跟踪器发射器、瞳孔间距调节旋钮、头盔垂直调节旋钮、头盔水平调节旋钮、头盔内衬、头盔光路盒。其中，场景摄像机安装在头盔前端，耳机和话筒通过支架安装在头盔左内壁或者右内壁上，电磁式位置跟踪器发射器安装在头盔后部的头盔内壁上，头盔内衬与头盔内壁相连接。头盔光路盒置于头盔前端接收场景摄像机传来的真实场景和计算机生成的虚拟信息。瞳孔间距调节旋钮安装在头盔前部左右侧的头盔上并与头盔光路盒相连接。头盔垂直调节旋钮和头盔水平调节旋钮分别安装在头盔的垂直方向和水平方向，两者均与头盔内衬相连。头盔光路盒内的光路，包括微型显示器，红外高反滤光片，半透半反组合光镜、红外高透滤光片、眼摄像机、红外光源。其中，红外光源安装在头盔光路盒上靠近半透半反组合光镜，该半透半反组合光镜由两块三角形透镜组成一个方形透镜。红外高反滤光片与半透半反组合光镜呈45°斜角安放在半透半反组合光镜的上方。微型显示器与红外高反滤光片同样呈45°斜角水平方向安放。红外高透滤光片置于眼摄像机摄像头的前端，眼摄像机水平方向放置在半透半反组合光镜与红外高反滤光片呈45°斜角的空间位置。

本发明与现有技术相比具有如下特点：在光学透视式头盔的基础上，增加了视线跟踪功能，利用视线方向完成感兴趣区域的目标选取，通过计算机进行三维数字重建，利用左右双屏显示器的双目成像系统看到三维物体与真实场景虚实融合的三维立体视觉效果；通过增加视线跟踪和语音功能，使增强现实头盔具有双通道自然交互功能，通过双通道自然交互，可以使增强现实技术在设备维修、医疗诊断等“手忙”条件下具有更加广阔的用途。

附图说明

图1是具有视线跟踪功能的增强现实自然交互式头盔结构示意图

图2是头盔光路盒内的光路示意图

图1与图2的标号名称：

1场景摄像机、2耳机和话筒、3电磁式位置跟踪器发射器、4瞳孔间距调节旋钮、5头盔垂直调节旋钮、6头盔水平调节旋钮、7头盔内衬、8头盔光路盒、9微型显示器、10红外高反滤光片、11半透半反组合光镜、12红外高透滤光片、13眼摄像机、14红外光源。

图3是具有视线跟踪功能的增强现实自然交互式头盔的工作原理图

具体实施方式

图1和图2所示的具有视线跟踪功能的增强现实自然交互式头盔，包括场景摄像机1、耳机和话筒2、电磁式位置跟踪器发射器3、瞳孔间距调节旋钮4、头盔垂直调节旋钮5、头盔水平调节旋钮6、头盔内衬7等组成。基本光路包括微型显示器9、红外高反滤光片10、半透半反组合光镜11、红外高透滤光片12、眼摄像机13、红外光源14，主要完成使用人员视线跟踪和虚拟物体显示功能。

在图1中，场景摄像机1完成自然场景采集，耳机和话筒2完成语音交互，电磁式位置跟踪器发射器3采用电磁式跟踪，内置于头盔上，完成头部位置跟踪。当不同的使用人员佩戴此头盔时，由于每个人的头部大小和瞳孔间距不同，可以通过头盔垂直调节旋钮5和头盔水平调节旋钮6调节头盔内衬7的大小，通过瞳孔间距调节旋钮4调节光路之间的距离，使虚拟图像显示效果最佳。

头盔内部光路置于头盔光路盒内，由两套独立的光路设备组成，分别对应人的左右眼。光路设备之间的距离可由瞳孔间距调节旋钮4进行调节。图2为集成系统光路图，视线跟踪系统的光路为放置在眼睛斜上方的红外光源14发出的红外光照射到人眼，人眼反射的红外光穿过其前方的半透半反组合光镜11之后被红外高反片10反射改变方向平行传播，经红外高透片12进入红外眼摄像机13成像；光学透视式头盔光路为显示在微型显示器9上的虚拟信息发出的光线经透镜之后照射到半透半反组合光镜11上，从该组合器反射的光线被人眼接收，使人眼能够感知虚拟信息，加上场景光线，用户能够同时感知真实场景和虚拟信息，获得真实场景的增强效果。

以下结合图3叙述本发明的工作原理

基于视线跟踪的增强现实系统，首先需要实时跟踪用户注视点在真实场景中的位置；然后根据预先保存在数据库里的场景先验知识，由注视点在场景中的真实坐标结合场景摄像机获得的场景图像判断用户的感兴趣区域和具体目标，从而得到需要显示增强信息的被增强对象；最后，依据当前识别的目标信息去查询虚拟对象数据库，获得与真实场景匹配的虚拟增强信息，采用增强现实三维注册和虚实融合技术，对当前用户感兴趣区域目标进行信息增强。其中，视线跟踪部分用于跟踪用户的注视点，对应于

的求解过程；虚拟增强信息显示部分完成对用户的感兴趣区域进行增强，对应于

的求解过程，其原理如图3所示。

视线跟踪

的计算

注视点在眼坐标系E的坐标为F_e＝(x_e，y_e，z_e，1)^T，在屏幕坐标系O下的坐标F_o＝(x_o，y_o，z_o，1)^T，由图2描述的关系可知

$F_o=\underset{O\←B}{\mathrm{\τ}}\·\underset{B\←S}{\mathrm{\τ}}\·\underset{S\←R}{\mathrm{\τ}}\·\underset{R\←E}{\mathrm{\τ}}\·F_e---\left(1\right)$

其中：

由位置跟踪器实时得到；

可由头部静止的视线跟踪系统得到；

和

由系统标定技术得到。

和

的标定

采用欧拉角和平移向量描述

和

参数可减少到12个，其中前6个参数描述后6个参数描述

标定时，用户始终注视眼睛前方透明玻片的中央圆点，那么眼坐标系E在位置跟踪器感应坐标系S是不变的，眼坐标系E与眼主视坐标系R重合，且注视点在E的x轴上。其中(x_o，y_o，0，1)^T为注视点的屏幕坐标，(x_e，0，0，1)^T为注视点的眼坐标系坐标，I为单位矩阵，反映了标定时眼坐标系E与眼主视坐标系R重合的事实。

$\left[\begin{array}{c}{x}_o\\ y_o\\ 0\\ 1\end{array}\right]=\underset{O\←B}{\mathrm{\τ}}\·\underset{B\←S}{\mathrm{\τ}}\·\underset{S\←R}{\mathrm{\τ}}\·I\·\left[\begin{array}{c}{x}_e\\ 0\\ 0\\ 1\end{array}\right]---\left(2\right)$

将式(2)展开可以消去x_e改写为

g_xy＝F(P，M_B←S)            (3)

其中：g_xy为由注视点计算算法计算得到的二维屏幕坐标，P为12个模型参数集合，M_B←S为位置跟踪器读数校准后的值，F是注视点计算函数。定义平均注视点误差D_mean为

$D_{\mathrm{mean}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|a-b\left|\right|,(a\∈g_{\mathrm{xy}},b\∈G_{\mathrm{xy}})---\left(4\right)$

其中：G_xy为标定过程中采集的实际注视点屏幕坐标，n为注视点的总个数，由(2)和(3)

和

的标定是一个迭代优化求解过程，不断调整P的各个参数，使得D_mean最小。

$\underset{R\←E}{\mathrm{\τ}}$ 的标定

由于眼当前坐标系E与眼主视坐标系R的坐标原点均为眼球旋转中心，因此

只包含反映旋转的分量。此步标定要求用户头部保持静止且要求眼主视坐标系R的x轴与屏幕平面近似保持垂直。假设标定时主视注视点的屏幕坐标为C(x_c，y_c)，眼睛旋转中心距离屏幕的距离为D，位置跟踪器的读数为眼睛注视屏幕任意点时由视线跟踪系统计算得到的屏幕坐标为P(x_g，y_g)。从眼主视坐标系R变换到注视P(x_g，y_g)时的眼坐标系E可分解为：绕R的z轴旋转β角度到临时坐标系；绕临时坐标系y轴旋转α角度到E，由α和β可得

β＝arg tan(|x_c-x_g|/D)

$\mathrm{\α}=\arg \tan (|y_g-y_c|/\sqrt{D^2+|x_g-{x_c}^2|})---\left(5\right)$

注视点计算

系统标定完成后，可通过公式(6)计算用户注视点在屏幕坐标系下的坐标(X，Y，0，1)^T

$\left\{\begin{array}{c}X=-\frac{r_1\·t_z}{r_7}+t_x\\ Y=-\frac{r_4\·t_z}{r_7}+t_y\end{array}\right.---\left(6\right)$

式中r₁、r₄、r₇、t_x、t_y、t_z为

的元素。

虚拟信息注册的计算

为了将虚拟增强信息准确放置在场景中，需要获得当前场景与光学透视式头盔显示器之间的变换关系，即求解世界坐标系与光学透视式头盔显示器的相对变换关系。

$\underset{H\←O}{\mathrm{\τ}}=\underset{H\←S}{\mathrm{\τ}}\·{\underset{B\←S}{\mathrm{\τ}}}^{-1}\·{\underset{O\←B}{\mathrm{\τ}}}^{-1}---\left(7\right)$

其中：

可由视线跟踪系统的标定得到，

可由位置跟踪读数计算得到。

的标定步骤为：

佩戴光学透视式头盔显示器，来自周围真实场景中的图像直接成像于用户视网膜上。光学透视式头盔显示器的标定采用SPAAM单点对准算法，把人眼和光学透视式头盔显示器看作一个虚拟摄像机，通过摄像机针孔模型来对它进行标定，基本步骤如下：

①在显示器任意位置显示一真实标志点，并记录该点的世界坐标坐标(x_w，y_w，z_w，1)^T；

②计算机生成n(n≥6)个虚拟标志点，按等间距排列显示在光学透视式头盔显示器上，记录该n个点的在头盔显示器坐标系下的坐标(x_i，y_i，1)^T。用户移动头部，使得虚拟标志点与眼睛看到的屏幕上标志点完全重合，每对准一个标志点，记录一次位置跟踪器读数；

③依据

由视线跟踪系统标定，

由位置跟踪器实时读出，计算真实标志点在位置跟踪器接收器坐标系下的坐标(X_Mi，Y_Mi，Z_Mi，1)^T；

④将(x_i，y_i，1)^T和(X_Mi，Y_Mi，Z_Mi，1)^T代入公式(8)用SVD分解法求解

Claims (1)

1.一种具有视线跟踪功能的增强现实自然交互式头盔，包括场景摄像机(1)、耳机和话筒(2)、电磁式位置跟踪器发射器(3)、瞳孔间距调节旋钮(4)、头盔垂直调节旋钮(5)、头盔水平调节旋钮(6)、头盔内衬(7)、头盔光路盒(8)，其中，场景摄像机(1)安装在头盔前端，耳机和话筒(2)通过支架安装在头盔左内壁或者右内壁上，电磁式位置跟踪器发射器(3)安装在头盔后部的头盔内壁上，头盔内衬(7)与头盔内壁相连接，头盔光路盒(8)置于头盔前端接收场景摄像机(1)传来的真实场景和计算机生成的虚拟信息，瞳孔间距调节旋钮(4)安装在头盔前部左侧或者右侧的头盔上并与头盔光路盒(8)相连接，头盔垂直调节旋钮(5)和头盔水平调节旋钮(6)分别安装在头盔的垂直方向和水平方向，两者均与头盔内衬(7)相连，所述的头盔光路盒(8)内的光路，包括微型显示器(9)，红外高反滤光片(10)，半透半反组合光镜(11)、红外高透滤光片(12)、眼摄像机(13)、红外光源(14)，其中，红外光源(14)安装在头盔光路盒(8)上靠近半透半反组合光镜(11)，该半透半反组合光镜(11)由两块三角形透镜组成一个方形透镜，红外高反滤光片(10)与半透半反组合光镜(11)呈45°斜角安放在半透半反组合光镜(11)的上方，微型显示器(9)与红外高反滤光片(10)同样呈45°斜角水平安放在红外高反滤光片(10)的上方，红外高透滤光片(12)置于眼摄像机(13)摄像头的前端，眼摄像机(13)水平方向放置在半透半反组合光镜(11)与红外高反滤光片呈45°斜角的空间位置。

Images