CN108196681A - 根据人脸识别和激光影像实现空中成像的实时触控系统 - Google Patents

根据人脸识别和激光影像实现空中成像的实时触控系统 Download PDF

Info

Publication number
CN108196681A
CN108196681A CN201810080354.XA CN201810080354A CN108196681A CN 108196681 A CN108196681 A CN 108196681A CN 201810080354 A CN201810080354 A CN 201810080354A CN 108196681 A CN108196681 A CN 108196681A
Authority
CN
China
Prior art keywords
touch
aerial
face
image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810080354.XA
Other languages
English (en)
Inventor
洪增辉
李俊
张兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xianghang Shanghai Technology Co ltd
Original Assignee
Xianghang Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xianghang Shanghai Technology Co ltd filed Critical Xianghang Shanghai Technology Co ltd
Priority to CN201810080354.XA priority Critical patent/CN108196681A/zh
Priority to CN202210033534.9A priority patent/CN114356099A/zh
Publication of CN108196681A publication Critical patent/CN108196681A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种根据人脸识别和激光影像实现空中成像的实时触控系统，该实时触控系统包括激光影像系统、空中成像系统、空中触控反馈系统和人脸识别系统。本发明通过人脸识别技术保障了设备的安全性和保密性，并根据人脸识别技术来控制空中成像的画面角度和空中触控面，能够满足不同用户的需求，使不同用户可以舒适地观看空中成像画面并实时触控空中成像画面。本发明结合人脸识别和激光影像技术的软件与硬件来实现触控空中无介质浮空成像画面。本发明实现了识别不同用户的身份，根据用户的身高来自动调节成像画面角度，同时空中的触控面跟随着成像画面变化，让用户在最舒适的角度观看空中成像画面并可对空中成像画面进行触控。

Description

根据人脸识别和激光影像实现空中成像的实时触控系统
技术领域
本发明属于空中成像技术领域，具体的说是涉及一种根据人脸识别和激光影像实现空中成像的实时触控系统。
背景技术
随着科技的发展，空中成像技术的应用越来越多。目前现有技术中已有的采用DCRA光学成像元件实现空中成像，空中成像无需介质，因此不能采用目前常用的触摸平板或手机的触控方式。不同身高的用户观看空中成像合适的成像画面角度也是不同的，如果能够提供一种根据人脸识别来和激光影像技术来实现空中成像的实时触控系统将更加方便用户的使用。
发明内容
本发明为了克服现有技术存在的不足，提供一种无需介质、节省空间、可以直接触摸的根据人脸识别和激光影像实现空中成像的实时触控系统。
本发明是通过以下技术方案实现的：一种根据人脸识别和激光影像实现空中成像的实时触控系统，该触控系统包括激光影像系统、空中成像系统、空中触控反馈系统和人脸识别系统；
激光影像系统是在光学成像元件上安装一个红外激光模块，在浮空影像平面形成一个高于图像1～3mm、厚度约1mm的不可见光膜，摄像头通过定位软件在空中获取画面的坐标点定位空中成像画面，当手指或任何不透明的物体接触空中成像画面时，光线被反射到的一个信号接收器，再通过对光电位置的精确计算，得到手势的坐标，在空中进行触控；
空中成像系统是利用一种使入射图像的光线产生弯曲的光学成像元件，使光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像，空中成像技术不需要任何介质，能够在不存在任何事物的空中出现正视的映像，便于实现崭新的空中成像人机交互系统；
空中触控反馈系统使用换能器阵列板、闰秒运动相机和独特的IP，实现用超声波给予用户触觉上的反馈，允许用户在半空中感受物体，用户能够创建按钮、开关和拨号，或与3D对象交互，并在虚拟世界中操作；
人脸识别系统包括人脸的检测和定位、特征提取和识别共三部分：（1）人脸的检测和定位：检测图中有没有人脸，将人脸从背景中分割出来，获取人脸或人脸上的某些器官在图像上的位置；（2）特征提取：提取特征点，构造特征矢量，多个样本图像的空间序列训练出一个模型，它的参数就是特征值，模版匹配法用相关系数做特征；（3）识别；将带识别的图像或特征与人脸数据库里的特征进行匹配，进而将给出的人脸图像与数据库中的某一个人脸图像及其名字的相关性对应起来。
在第一次使用激光影像系统时，需要计算光笔亮斑的坐标到计算机屏幕坐标的关系，由于借助了光学成像元件，空中没有介质，因此要用手动校正来实现；在手动校正前，要在软件中自动屏蔽干扰光源，在自动屏蔽后，使用光笔进行手动校正，在手动校正后，用户手持光笔代替鼠标操控计算机，定位分析程序实时分析 USB 摄像头摄取的图像中光笔亮斑的位置，用坐标转化方程计算出对应的鼠标的屏幕坐标，并模拟产生鼠标事件；调节手动校正好以后，接上激光发射器，便能够实现在无介质的成像画面上进行触控，形成一种全新的人机交互。使用激光影像系统时鼠标事件与光笔的状态定义为：光笔按下发光，触发鼠标左键按下事件；光笔的光斑移动，触发鼠标移动事件；光笔停止发光，触发鼠标左键弹起事件；光笔的光斑在同一位置做长时间停留，触发鼠标右键事件；光笔连续两次短促的闪灭，触发双击事件。
空中触控反馈系统中超声波振子从格状多位排列的超声波换能器中发出，以空中任意位置的超声波振子为焦点相结合，形成超声波，产生了被称为回声放射压的压力，如果用人类手指在此位置表面进行按压，就能产生触觉刺激，空中触控反馈就是利用此现象增加触觉而产生的。
人脸识别系统中包括通过人脸识别实现空中成像实时触控的一体机，一体机包括箱体、触控模组、光学成像元件和显示屏，触控模组激光发射器和摄像头，将显示屏放置到箱体合适的内部隐藏，并在上方安装光学成像元件，在光学成像元件上安装触控模组。在实际应用中，可以按需求构建显示装置与光学成像元件之间的位置。其中触控模组中的摄像头连接显示屏，电脑与触控模组中的激光发射器一同连接电路，就构建成一体机，实现根据人脸识别转动空中成像画面并实时触控。
本发明实时触控系统中的光学成像元件是一种能够使入射图像的光线产生弯曲的光学元件，本发明中使用的光学元件可以是现有技术中用于大型空中成像展示平台的DCRA光学元件或SMA光学元件，其中DCRA光学元件与SMA光学元件的区别在于制作材料，一种是由亚克力材料制成，另一种是玻璃材料制成。本发明中使用的光学成像元件还可以是其它能够实现相应功能的适用于所有空中成像技术的光学元件。
本发明的有益效果是：本发明结合人脸识别来控制空中成像的画面角度，并结合激光影像技术的软件与硬件来实现触控空中无介质浮空成像画面。本发明实现了识别不同用户的身份，根据用户的身高来自动调节成像画面角度，同时空中的触控面跟随着成像画面变化，让用户在最舒适的角度观看空中成像画面并可对空中成像画面进行触控。本发明在空中成像无需介质、节省空间，可以直接触摸；视线可穿越，不会遮挡住视线。
本发明空中成像对主机的系统及内容无要求，系统可以是Windows、Android、Ios等，内容可以是2D或者3D的，兼容性强；人脸识别最大限度的保证了用户的安全性及保密性；富有科技感，给不同用户提供最舒适的空中成像画面，带来全新的视觉以及交互的体验；系统可安装的位置可根据所需行业及场景变化。本发明通过人脸识别技术保障了设备的安全性和保密性，并根据人脸识别技术来控制空中成像的画面角度和空中触控面，能够满足不同用户的需求，使不同用户可以舒适地观看空中成像画面并实时触控空中成像画面。
附图说明
图1是本发明实时触控系统的人脸识别过程示意图；
图2是本发明实时触控系统的光学成像元件原理示意图；
图3是本发明实时触控系统中软件实现的功能流程图；
图4是本发明实时触控系统中具体软件流程图；
图5是本发明实时触控系统的交互示意图；
图6是本发明实时触控系统中一体机的整体结构示意图；
在图6中：1-机箱；2-显示屏；3-激光发射器；4-摄像头；5-光学成像元件；6-空中成像画面；
图7是本发明实时触控系统人脸与光学成像元件之间的正视触控示意图；
图8是本发明实时触控系统人脸与光学成像元件之间的俯视触控示意图；
图9是本发明实时触控系统人脸与光学成像元件之间的仰视触控示意图；
图10是本发明实时触控系统人脸与光学成像元件间的侧面触控示意图；
图11是本发明实时触控系统人脸与光学成像元件间的地面触控示意图。
具体实施方式
以下结合附图和具体实施方式对本发明作详细描述。
如图1至图11所示，本发明公开了一种根据人脸识别和激光影像实现空中成像的实时触控系统，其包括激光影像系统、空中成像系统、空中触控反馈系统和人脸识别系统；
激光影像（LICT）系统：在光学成像元件上安装一个红外激光模块，在浮空影像平面形成一个高于图像1～3mm、厚度约1mm的不可见光膜，摄像头通过定位软件在空中获取画面的坐标点定位空中成像画面。当手指或任何不透明的物体接触空中成像画面时，光线被反射到的一个信号接收器，再通过对光电位置的精确计算，得到手势的坐标，在空中进行触控。
在第一次使用时，需要计算光笔亮斑的坐标到计算机屏幕坐标的关系。而由于借助了光学成像元件，空中没有介质，因此需要用手动校正来实现。在手动校正前，我们需要在软件中自动屏蔽干扰光源。
在自动屏蔽后，使用光笔进行手动校正，手动校正的方法包括如下步骤：
a、在计算机屏幕坐标i∈ [1，N]处输出校正标识图案，N为校正点个数；
b、人工持光笔在校正图案处点击校正标识图案，一点击光笔即发光，定位分析程序分析得出USB 摄像头摄取到的图象中亮斑的图像坐标(Ui,Vi)；
c、重复步骤 a、b，校正第i+1点，最后一个校正点点击完毕后转步骤d；
d、根据校正步骤a、b、c得到校正图案的图像坐标到屏幕坐标的映射关系；{<Xi，Yi>}→{<Ui，Vi>}，根据这些校正数据求解下面的转化方程的系数 C11，C12…C33，；
在手动校正后，用户手持光笔代替鼠标操控计算机。定位分析程序实时分析 USB 摄像头摄取的图像中光笔亮斑的位置，用坐标转化方程计算出对应的鼠标的屏幕坐标，并模拟产生鼠标事件。
鼠标事件与光笔的状态定义如下：光笔按下发光，触发鼠标左键按下事件；光笔的光斑移动，触发鼠标移动事件；光笔停止发光，触发鼠标左键弹起事件；光笔的光斑在同一位置做长时间停留(大约1.5秒)，触发鼠标右键事件；光笔连续两次短促的闪灭，触发双击事件。调节手动校正好以后，接上激光发射器，便可以实现在无介质的成像画面上进行触控，这是一种全新的人机交互。
空中成像系统：空中成像技术是利用一种使入射图像的光线产生弯曲的光学成像元件，使光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像。应用空中成像技术，不需要任何介质，可在不存在任何事物的空中出现正视的映像，便于实现崭新的空中成像人机交互系统，图2是空中成像技术的光学成像元件原理示意图。
空中触控反馈系统：使用换能器阵列板、闰秒运动相机和独特的IP，实现用超声波给予用户触觉上的反馈，允许用户在半空中感受物体，即用户可以创建按钮、开关和拨号，或与3D对象交互，并在虚拟世界中操作。超声波振子从格状多位排列的超声波换能器中发出，以空中任意位置的超声波振子为焦点相结合，形成超声波，产生了被称为回声放射压的压力。如果用人类手指在此位置表面进行按压，就能产生触觉刺激，空中触控反馈技术就是利用此现象增加触觉而产生的。
将250个格状排列的超声波振子作为一个单元，个别控制每个超声波振子发生的声波位相。一旦以空中任意位置的超声波振子为焦点相结合，就会产生被称为回声放射压的压力，用人的身体遮挡这个位置，皮肤就会有被按压的感觉。平均1单元压力分布在1平方厘米上，重1.6克，这是充分具备获得触觉的数值，另外，使用复数单元可产生大约10克重量的压力。
人脸识别系统：人脸识别技术的核心有人脸的检测和定位、特征提取和识别共三部分：（1）人脸的检测和定位：检测图中有没有人脸，将人脸从背景中分割出来，获取人脸或人脸上的某些器官在图像上的位置。（2）特征提取：提取特征点，构造特征矢量；多个样本图像的空间序列训练出一个模型，它的参数就是特征值；模版匹配法用相关系数做特征；而大部分神经网络方法则直接使用归一化后的灰度图像作为输入，网络的输出就是识别结果，没有专门的特征提取过程。（3）识别：将带识别的图像或特征与人脸数据库里的特征进行匹配，进而将给出的人脸图像与数据库中的某一个人脸图像及其名字的相关性对应起来。
本发明提供了一种人脸识别实现空中成像实时触控的一体机，其包括机箱1、触控模组、光学成像元件5和显示屏2，触控模组包括激光发射器3和摄像头4，将显示屏2放置到箱体1合适的内部隐藏，并在上方安装光学成像元件5，在光学成像元件5上安装触控模组。如图7至图11所示，在实际应用中，可以按需求构建显示屏2与光学成像元件5之间的位置。其中触控模组中的摄像头4连接显示屏2，电脑与触控模组中的激光发射器3一同连接电路，就可以构建成一体机，实现根据人脸识别转动空中成像画面6并实时触控。
本发明根据激光影像、空中成像和人脸识别这三种技术，编写了以空中成像技术为基础，结合激光影像技术形成的空中触控面随着人脸识别技术变换的软件，并适配了对应的机械转动结构和硬件，图3是软件实现的功能流程图，图4是具体软件流程图。
人脸识别系统：特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点，也称为基于主成分分析(PCA)的人脸识别方法。特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像，这些特征向量称为特征脸(Eigenface)。
实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。
使用特征脸方法（Eigenface或PCA）是基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。现在Eigenface(PCA)算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET'96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。
该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置和距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。其技术的核心实际为“局部人体特征分析”和“图形/神经识别算法”,这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。
Turk和Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸,识别时将测试图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。Pentland等报告了相当好的结果，在200个人的3000幅图像中得到95%的正确识别率，在FERET数据库上对150幅正面人脸图像中只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。在传统特征脸的基础上，研究者注意到特征值大的特征向量(即特征脸并不一定是分类性能好的方向，据此发展了多种特征(子空间)选择方法，如Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模、一些线性自联想和线性压缩型BP网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valentin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。
基于KL变换（卡洛南-洛伊变换）的特征人脸识别方法的基本原理为：KL变换是图象压缩中的一种最优正交变换，人们将它用于统计特征提取，从而形成了子空间法模式识别的基础，若将KL变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可分性，由于高维图象空间KL变换后可得到一组新的正交基，因此可通过保留部分正交基，以生成低维人脸空间，而低维空间的基则是通过分析人脸训练样本集的统计特性来获得，KL变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集的类间散布矩阵，即可采用同一人的数张图象的平均来进行训练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不会下降，图1是人脸识别的过程示意图。
最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，本发明并不限于上述实施方式，采用与本发明上述实施例相同或近似的结构而得到的车内或应用到其它多种行业中的无介质空中成像系统，均在本发明的保护范围之内。本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种根据人脸识别和激光影像实现空中成像的实时触控系统，其特征在于：所述实时触控系统包括激光影像系统、空中成像系统、空中触控反馈系统和人脸识别系统；
所述激光影像系统是在光学成像元件上安装一个红外激光模块，在浮空影像平面形成一个高于图像1～3mm、厚度约1mm的不可见光膜，摄像头通过定位软件在空中获取画面的坐标点定位空中成像画面，当手指或任何不透明的物体接触空中成像画面时，光线被反射到的一个信号接收器，再通过对光电位置的精确计算，得到手势的坐标，在空中进行触控；
所述空中成像系统是利用一种使入射图像的光线产生弯曲的光学成像元件，使光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像，空中成像技术不需要任何介质，能够在不存在任何事物的空中出现正视的映像，便于实现崭新的空中成像人机交互系统；
空中触控反馈系统使用换能器阵列板、闰秒运动相机和独特的IP，实现用超声波给予用户触觉上的反馈，允许用户在半空中感受物体，用户能够创建按钮、开关和拨号，或与3D对象交互，并在虚拟世界中操作；
所述人脸识别系统包括人脸的检测和定位、特征提取和识别共三部分：
（1）人脸的检测和定位：检测图中有没有人脸，将人脸从背景中分割出来，获取人脸或人脸上的某些器官在图像上的位置；（2）特征提取：提取特征点，构造特征矢量，多个样本图像的空间序列训练出一个模型，它的参数就是特征值，模版匹配法用相关系数做特征；
（3）识别；将带识别的图像或特征与人脸数据库里的特征进行匹配，进而将给出的人脸图像与数据库中的某一个人脸图像及其名字的相关性对应起来。
2.根据权利要求1所述的根据人脸识别和激光影像实现空中成像的实时触控系统，其特征在于：在第一次使用激光影像系统时，需要计算光笔亮斑的坐标到计算机屏幕坐标的关系，由于借助了光学成像元件，空中没有介质，因此要用手动校正来实现；在手动校正前，要在软件中自动屏蔽干扰光源，在自动屏蔽后，使用光笔进行手动校正，在手动校正后，用户手持光笔代替鼠标操控计算机，定位分析程序实时分析 USB 摄像头摄取的图像中光笔亮斑的位置，用坐标转化方程计算出对应的鼠标的屏幕坐标，并模拟产生鼠标事件；调节手动校正好以后，接上激光发射器，便能够实现在无介质的成像画面上进行触控，形成一种全新的人机交互。
3.根据权利要求1或2所述的根据人脸识别和激光影像实现空中成像的实时触控系统，其特征在于：使用激光影像系统时鼠标事件与光笔的状态定义为：光笔按下发光，触发鼠标左键按下事件；光笔的光斑移动，触发鼠标移动事件；光笔停止发光，触发鼠标左键弹起事件；光笔的光斑在同一位置做长时间停留，触发鼠标右键事件；光笔连续两次短促的闪灭，触发双击事件。
4.根据权利要求1所述的根据人脸识别和激光影像实现空中成像的实时触控系统，其特征在于：空中触控反馈系统中超声波振子从格状多位排列的超声波换能器中发出，以空中任意位置的超声波振子为焦点相结合，形成超声波，产生了被称为回声放射压的压力，如果用人类手指在此位置表面进行按压，就能产生触觉刺激，空中触控反馈就是利用此现象增加触觉而产生的。
5.根据权利要求1所述的根据人脸识别和激光影像实现空中成像的实时触控系统，其特征在于：所述人脸识别系统中包括通过人脸识别实现空中成像实时触控的一体机，所述一体机包括箱体、触控模组、光学成像元件和显示屏，所述触控模组激光发射器和摄像头，将显示屏放置到箱体合适的内部隐藏，并在上方安装光学成像元件，在光学成像元件上安装触控模组，其中触控模组中的摄像头连接显示屏，电脑与触控模组中的激光发射器一同连接电路，就构建成所述一体机，实现根据人脸识别转动空中成像画面并实时触控。
CN201810080354.XA 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统 Pending CN108196681A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810080354.XA CN108196681A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统
CN202210033534.9A CN114356099A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810080354.XA CN108196681A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210033534.9A Division CN114356099A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统

Publications (1)

Publication Number Publication Date
CN108196681A true CN108196681A (zh) 2018-06-22

Family

ID=62591525

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810080354.XA Pending CN108196681A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统
CN202210033534.9A Pending CN114356099A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210033534.9A Pending CN114356099A (zh) 2018-01-27 2018-01-27 根据人脸识别和激光影像实现空中成像的实时触控系统

Country Status (1)

Country Link
CN (2) CN108196681A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451291A (zh) * 2018-12-29 2019-03-08 像航（上海）科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
CN109634431A (zh) * 2019-01-22 2019-04-16 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
CN112037373A (zh) * 2020-08-10 2020-12-04 国网上海市电力公司 一种基于人脸识别的五防安全辅助装置
CN112084873A (zh) * 2020-08-10 2020-12-15 国网上海市电力公司 一种基于人脸识别的“五防”安全辅助方法
CN113208270A (zh) * 2021-04-15 2021-08-06 北京牡丹电子集团有限责任公司数字科技中心 一种空中悬浮成像智能演讲辅助装置
CN113885701A (zh) * 2021-09-29 2022-01-04 安徽省东超科技有限公司 空中成像触控反馈的控制方法、触控反馈子系统和装置
CN113906372A (zh) * 2021-05-20 2022-01-07 深圳盈天下视觉科技有限公司 一种空中成像交互系统
WO2022148382A1 (zh) * 2021-01-06 2022-07-14 安徽省东超科技有限公司 生物特征采集识别系统及方法、终端设备
CN116157328A (zh) * 2020-08-20 2023-05-23 株式会社大福 行李寄存机
WO2023236716A1 (zh) * 2022-06-10 2023-12-14 上海丹诺西诚智能科技有限公司 一种空中像成像投影图案的位置调节方法及系统
WO2024036782A1 (zh) * 2022-08-19 2024-02-22 张毅学 一种基于光通道的输入设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331884A (zh) * 2010-07-13 2012-01-25 华宝通讯股份有限公司 具有可触控投影画面的投影系统
CN202167002U (zh) * 2011-06-16 2012-03-14 上海易视计算机科技有限公司 一种具有自动校正功能的多点触控光学电子白板
CN202267785U (zh) * 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
US20160275884A1 (en) * 2015-03-17 2016-09-22 Samsung Display Co., Ltd. Optical device including optical modulation device, and driving method thereof
CN106004735A (zh) * 2016-06-27 2016-10-12 京东方科技集团股份有限公司 车载系统及车辆设施的调整方法
CN106560733A (zh) * 2016-06-01 2017-04-12 张兵 一种空中成像元件、空中成像显示装置及其应用
CN106575161A (zh) * 2014-09-09 2017-04-19 超级触觉资讯处理有限公司 用于调制触觉反馈的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6405739B2 (ja) * 2014-06-20 2018-10-17 船井電機株式会社 画像表示装置
JPWO2017125984A1 (ja) * 2016-01-21 2018-06-14 パナソニックＩｐマネジメント株式会社 空中表示装置
CN105605644A (zh) * 2016-03-11 2016-05-25 浙江理工大学 一种根据人的身高可调升降的油烟机
CN112929618A (zh) * 2021-02-02 2021-06-08 安徽省东超科技有限公司 用于空中成像设备的成像调节装置、方法及空中成像设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331884A (zh) * 2010-07-13 2012-01-25 华宝通讯股份有限公司 具有可触控投影画面的投影系统
CN202167002U (zh) * 2011-06-16 2012-03-14 上海易视计算机科技有限公司 一种具有自动校正功能的多点触控光学电子白板
CN202267785U (zh) * 2011-08-30 2012-06-06 福州瑞芯微电子有限公司 一种自动跟踪人眼位置的裸眼三维显示结构
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
CN106575161A (zh) * 2014-09-09 2017-04-19 超级触觉资讯处理有限公司 用于调制触觉反馈的方法和装置
US20160275884A1 (en) * 2015-03-17 2016-09-22 Samsung Display Co., Ltd. Optical device including optical modulation device, and driving method thereof
CN106560733A (zh) * 2016-06-01 2017-04-12 张兵 一种空中成像元件、空中成像显示装置及其应用
CN106004735A (zh) * 2016-06-27 2016-10-12 京东方科技集团股份有限公司 车载系统及车辆设施的调整方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451291A (zh) * 2018-12-29 2019-03-08 像航（上海）科技有限公司 无介质浮空投影声源定向语音交互系统、智能汽车
CN109634431A (zh) * 2019-01-22 2019-04-16 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
CN109634431B (zh) * 2019-01-22 2024-04-26 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
CN112037373A (zh) * 2020-08-10 2020-12-04 国网上海市电力公司 一种基于人脸识别的五防安全辅助装置
CN112084873A (zh) * 2020-08-10 2020-12-15 国网上海市电力公司 一种基于人脸识别的“五防”安全辅助方法
CN116157328A (zh) * 2020-08-20 2023-05-23 株式会社大福 行李寄存机
US12344400B2 (en) 2020-08-20 2025-07-01 Daifuku Co., Ltd. Baggage deposit machine
CN116157328B (zh) * 2020-08-20 2025-09-16 株式会社大福 行李寄存机
WO2022148382A1 (zh) * 2021-01-06 2022-07-14 安徽省东超科技有限公司 生物特征采集识别系统及方法、终端设备
CN113208270A (zh) * 2021-04-15 2021-08-06 北京牡丹电子集团有限责任公司数字科技中心 一种空中悬浮成像智能演讲辅助装置
CN113906372A (zh) * 2021-05-20 2022-01-07 深圳盈天下视觉科技有限公司 一种空中成像交互系统
WO2022241714A1 (zh) * 2021-05-20 2022-11-24 深圳盈天下视觉科技有限公司 一种空中成像交互系统
CN113885701A (zh) * 2021-09-29 2022-01-04 安徽省东超科技有限公司 空中成像触控反馈的控制方法、触控反馈子系统和装置
WO2023236716A1 (zh) * 2022-06-10 2023-12-14 上海丹诺西诚智能科技有限公司 一种空中像成像投影图案的位置调节方法及系统
WO2024036782A1 (zh) * 2022-08-19 2024-02-22 张毅学 一种基于光通道的输入设备

Also Published As

Publication number Publication date
CN114356099A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN108196681A (zh) 根据人脸识别和激光影像实现空中成像的实时触控系统
Yang et al. Gesture interaction in virtual reality
Sagayam et al. Hand posture and gesture recognition techniques for virtual reality applications: a survey
Kaur et al. A review: Study of various techniques of Hand gesture recognition
US8751215B2 (en) Machine based sign language interpreter
KR101184170B1 (ko) 볼륨 인식 방법 및 시스템
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
CN101952818B (zh) 基于姿态的用户交互的处理
US8837780B2 (en) Gesture based human interfaces
Kjeldsen Visual interpretation of hand gestures as a practical interface modality
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN106708270B (zh) 一种虚拟现实设备的显示方法、装置以及虚拟现实设备
JP2014501011A5 (zh)
JP2014501011A (ja) 手のジェスチャによるヒューマンマシンインターフェースのための方法、回路、及び、システム
CN107450714A (zh) 基于增强现实和图像识别的人机交互支撑测试系统
CN108334203A (zh) 一种用于虚拟现实的虚实融合键盘系统
CN108267862A (zh) 根据激光影像技术实现空中成像的实时触控系统
CN109145802A (zh) 基于Kinect的多人手势人机交互方法及装置
CN119002689A (zh) 基于无介质全息技术的人机交互方法、装置、设备及介质
CN117435055A (zh) 基于空间立体显示器的手势增强眼球追踪的人机交互方法
CN119248106B (zh) 虚拟现实交互方法及视听设备
CN103995586B (zh) 基于虚拟触摸屏的非穿戴指势人机交互方法
Annabel et al. Design and Development of Multimodal Virtual Mouse
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras
Verma et al. 7. Machine vision for human–machine interaction using hand gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180622

RJ01 Rejection of invention patent application after publication