CN105320249A - 一种现实增强的交互方法 - Google Patents
一种现实增强的交互方法 Download PDFInfo
- Publication number
- CN105320249A CN105320249A CN201410261455.9A CN201410261455A CN105320249A CN 105320249 A CN105320249 A CN 105320249A CN 201410261455 A CN201410261455 A CN 201410261455A CN 105320249 A CN105320249 A CN 105320249A
- Authority
- CN
- China
- Prior art keywords
- reality
- strengthens
- images
- thermal infrared
- app
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 17
- 230000002708 enhancing effect Effects 0.000 claims description 17
- 239000002918 waste heat Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 5
- 230000014759 maintenance of location Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000000567 combustion gas Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提出一种现实增强的交互方法，基于热敏现实增强互动装置捕获可见光图像；捕获热红外图像；根据可见光图像和热红外图像计算获取操作指令实现现实增强。本发明实施例提供的现实增强的交互方法，能够利用人体与现实世界物体触碰后残留的热量来实现对现实世界物体的操作指令，从而使现实增强的互动操作更加简单和有效。
Description
技术领域
本发明涉及物联网现实增强领域，尤其是一种现实增强的交互方法。
背景技术
物联网技术的实践最早可以追溯到1990年施乐公司的网络可乐贩售机，随着互联网技术的发展和各种硬件、应用软件的极大丰富，物联网技术也得到了极大的发展。物联网被视为互联网的应用拓展，物联网的本质概括起来主要体现在三个方面：一是互联网特征，即对需要联网的物一定要能够实现互联互通的互联网络；二是识别与通信特征，即纳入物联网的“物”一定要具备自动识别与物物通信的功能；三是智能化特征，即网络系统应具有自动化、自我反馈与智能控制的特点。
目前，对物联网技术的具体应用化非常多，例如智能家居技术，通过网络把家庭内的各个系统关联管理，统一控制；又例如车联网技术，通过网络把一个区域内的车辆关联起来，实现监控、调度、追踪等等应用。目前提出来很多未来发展方向，大的如智慧地球、智慧城市，小到智慧水务、智慧燃气等等，可以预见，以物联网技术为核心的新一代互联网技术将会极大的改变人们的工作和生活。
物联网技术的要义就是物物相连，信息互通。目前在物联网中应用到虚拟化技术，产生了一些新的现实增强应用，著名的例如谷歌公司推出的谷歌眼镜，通过小型投影机将虚拟数据投影到眼镜镜片上，实现了佩戴眼镜的现实增强，从而使得虚拟技术和现实增强技术可以随身应用，克服了固定位置和设备沉重的负担，使得现实增强技术得到了更大的应用空间。但是谷歌眼镜在输入和控制上仍有问题，尽管谷歌眼镜可以通过手势、语音的方式进行输入，但是精度和操作相对而言仍然不能满足要求，这也是现实增强技术小型化和便携化后必须考虑的问题，如何在目前的条件下，实现更加简单、可靠的现实增强输入方式。
发明内容
本发明实施例提出一种现实增强的交互方法，基于热敏现实增强互动装置捕获可见光图像；捕获热红外图像；根据可见光图像和热红外图像计算获取操作指令实现现实增强。
更进一步，所述基于热敏现实增强互动装置，包括，红外热敏摄像头，用于捕获环境的热红外图像；可见光摄像头，用于捕获环境的可见光图像；现实增强APP，用于接收所述热红外图像和所述可见光图像，并计算获取操作指令；计算机，用于提供现实增强APP的运算；所述基于热敏现实增强互动装置通过所述红外热敏摄像头获取环境的热红外图像，通过光摄像头获取环境的可见光图像，将所述热红外图像和可见光图像传输到安装在所述计算机上的所述现实增强APP，由所述现实增强APP计算出操作指令并执行。
更进一步，所述现实增强APP安装在所述计算机上。
更进一步，所述现实增强APP获取所述热红外图像中人体触碰产生的余热信号，转化为操作指令。
更进一步，所述现实增强APP执行操作指令，将操作叠加在所述可见光图像上。
本发明实施例提供的现实增强的交互方法，能够利用人体与现实世界物体触碰后残留的热量来实现对现实世界物体的操作指令，从而使现实增强的互动操作更加简单和有效。
附图说明
图1展示基于热敏现实增强互动装置结构图；
图2展示现实增强的交互方法流程图；
图3是现实增强的交互方法另一种流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本发明实例在附图中示出，尽管将结合这些实施例来描述本发明，应该理解其并非要将本发明限制为这些实施例。相反，本发明意欲覆盖可包括在所附权利要求所限定的精神和范围内的替换、修改和等效形式。另外，在对本发明实施例的以下详述中，提出了很多具体细节以使本发明得到彻底理解。然而，本领域普通技术人员将认识到，没有这些具体细节也可实施本发明。在其它实例中，为了不必要地模糊本发明的方面，未详细描述公知的方法、过程、部件和电路。
以下详细描述的一些部分是按照过程、步骤、逻辑块、处理及对可在计算机存储器上执行的数据位的操作的其它符号表示来提出的。这些描述和表示是数据处理领域的技术人员所使用的、为了将其工作的实质最有效地传达给该领域其它技术人员的手段。这里，过程、计算机执行的步骤、逻辑块、进程等通常设想为导致期望结果的步骤或指令的自洽序列。所述步骤是需要对物理量的物理操纵的步骤。通常，尽管不必要，这些量采用能够在计算机系统中存储、传递、组合、比较或另外操纵的电或磁信号的形式。已经证明，主要是为了公共使用的原因，将这些信号称作位、值、元素、符号、字符、项目、数字等有时是方便的。
然而，应牢记的是，所有这些和相似的术语应与适当的物理量相关联并且仅仅是适用于这些量的方便标记。除非特别指明，否则如以下描述中所显而易见的，应理解在整个本发明中，讨论所用的术语，如“关联”或“识别”或“再现”或“需要”或“确定”或“重复”或“执行”或“检测”或“引导”等，指的是电子系统或类似电子计算设备的动作和过程，其将电子设备的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成电子设备存储器或寄存器或者其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
图1说明根据本发明的各种例示性实施例的展示基于热敏现实增强互动装置结构图。
图1中，基于热敏现实增强互动装置100处于真实环境中，真实环境中还包括处于真实环境中的人和处于真实环境中的物体300。其中，在本实施例中，设定人采用手来进行操作互动，因此人手200可与真实环境物体300之间发生接触从而产生热量的传递，即，人手200可与真实环境物体300之间发生热量交换，从而使人手200触摸真实环境物体300的部位产生瞬间的热印记，该热印记通过热敏装置可以感知。
基于热敏现实增强互动装置100包括可见光摄像头101，红外热敏摄像头102，计算机104，以及安装在计算机上的现实增强APP103。
可见光摄像头101，用于捕获环境的可见光图像。可见光摄像头101对真实环境的问题进行摄像，获取实时的真实环境可见光图像，尤其是包含人手200和人手200进行操作的真实环境物体300。
红外热敏摄像头102，用于捕获环境的热红外图像，红外热敏摄像头102对真实环境的问题进行摄像，获取实时的真实环境可见光图像，尤其是包含人手200和人手200进行操作的真实环境物体300。
现实增强APP103，用于接收所述红外热敏摄像头102捕获的热红外图像和所述可见光摄像头101捕获的可见光图像，并计算获取操作指令。该计算过程包括，对热红外图像进行分析，获取图像上人手200在真实环境物体300上留有的热印记。该热印记由于人手200与真实环境物体300之间发生接触从而产生热量的传递，即，人手200可与真实环境物体300之间发生热量交换所产生的瞬间热量明显区域，并根据该热印记保留的时间和区域大小获取相应的操作指令。
在其中一个实施例中，该热印记保留时间小于等于0.5秒，对应的操作指令为单击操作，该热印记保留时间大于0.5秒，对应的操作指令为双击操作。
现实增强APP103在可见光图像完成操作指令，实现现实增强。
计算机104，用于安装现实增强APP103并提供计算资源。
在其中一个实施例中，计算机104可以是便携式电子设备，例如智能手机，智能眼镜等可以安装软件并提供计算资源的电子设备。
图2展示了其中一种实施例现实增强的交互方法流程图。
201，可见光摄像头捕获可见光图像。可见光摄像头101对真实环境的问题进行摄像，获取实时的真实环境可见光图像，尤其是包含人手200和人手200进行操作的真实环境物体300。
202，红外热敏摄像头捕获热红外图像。红外热敏摄像头102对真实环境的问题进行摄像，获取实时的真实环境可见光图像，尤其是包含人手200和人手200进行操作的真实环境物体300。
203，现实增强APP接收可见光图像和热红外图像。现实增强APP103接收所述红外热敏摄像头102捕获的热红外图像和所述可见光摄像头101捕获的可见光图像。
204，现实增强APP计算获取操作指令。该计算过程包括，对热红外图像进行分析，获取图像上人手200在真实环境物体300上留有的热印记。该热印记由于人手200与真实环境物体300之间发生接触从而产生热量的传递，即，人手200可与真实环境物体300之间发生热量交换所产生的瞬间热量明显区域，并根据该热印记保留的时间和区域大小获取相应的操作指令。
205，现实增强APP完成指令动作。现实增强APP103在可见光图像完成操作指令，实现现实增强。
图3展示了另外一种实施例现实增强的交互方法流程图。
301，红外热敏摄像头初始化。红外热敏摄像头102开机，并捕获当前环境的热红外图像，并计算出当前环境的热度环境值，即当前操作环境温度，作为环境初始化温度值。
302，操作人操作部位定位。可见光摄像头101和红外热敏摄像头102分别获取含有操作人操作部位的可见光图像和热红外图像，并进行图像识别该操作部位，例如人手200，热红外图像对人手200的热度值进行标记，对应为操作部位温度值。
303，现实增强APP初始化。现实增强APP根据环境初始化温度值、操作部位温度值建立识别模型，即，根据这两个温度的差值，计算操作部位与周围环境接触后留下热印记的温度特征值，和热印记存留时间特征值。
304，现实增强APP获取可见光图像和热红外图像。现实增强APP103，连续不停接收所述红外热敏摄像头102捕获的热红外图像和所述可见光摄像头101捕获的可见光图像。
305，现实增强APP计算操作指令并执行。该计算过程包括，对热红外图像进行分析，获取图像上人手200在真实环境物体300上留有的热印记。该热印记由于人手200与真实环境物体300之间发生接触从而产生热量的传递，即，人手200可与真实环境物体300之间发生热量交换所产生的瞬间热量明显区域，并根据该热印记保留的时间和区域大小获取相应的操作指令。
在其中一个实施例中，该热印记保留时间小于等于0.5秒，对应的操作指令为单击操作，该热印记保留时间大于0.5秒，对应的操作指令为双击操作。
现实增强APP103在可见光图像完成操作指令，实现现实增强。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (4)
1.一种现实增强的交互方法，其特征在于，基于热敏现实增强互动装置捕获可见光图像；捕获热红外图像；根据可见光图像和热红外图像计算获取操作指令实现现实增强。
2.如权利要求1所述的现实增强的交互方法，其特征在于，基于热敏现实增强互动装置包括，红外热敏摄像头，用于捕获环境的热红外图像；可见光摄像头，用于捕获环境的可见光图像；现实增强APP，用于接收所述热红外图像和所述可见光图像，并计算获取操作指令；计算机，用于提供现实增强APP的运算；所述现实增强的交互方法通过所述红外热敏摄像头获取环境的热红外图像，通过光摄像头获取环境的可见光图像，将所述热红外图像和可见光图像传输到安装在所述计算机上的所述现实增强APP，由所述现实增强APP计算出操作指令并执行
如权利要求2所述的现实增强的交互方法，其特征在于，所述现实增强APP安装在所述计算机上。
3.如权利要求2所述的现实增强的交互方法，其特征在于，所述现实增强APP获取所述热红外图像中人体触碰产生的余热信号，转化为操作指令。
4.如权利要求2所述的现实增强的交互方法，其特征在于，所述现实增强APP执行操作指令，将操作叠加在所述可见光图像上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410261455.9A CN105320249A (zh) | 2014-06-13 | 2014-06-13 | 一种现实增强的交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410261455.9A CN105320249A (zh) | 2014-06-13 | 2014-06-13 | 一种现实增强的交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105320249A true CN105320249A (zh) | 2016-02-10 |
Family
ID=55247797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410261455.9A Pending CN105320249A (zh) | 2014-06-13 | 2014-06-13 | 一种现实增强的交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105320249A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109621401A (zh) * | 2018-12-29 | 2019-04-16 | 广州明朝互动科技股份有限公司 | 一种互动游戏系统及控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101945224A (zh) * | 2009-07-01 | 2011-01-12 | 弗卢克公司 | 热成像方法 |
| US20120056847A1 (en) * | 2010-07-20 | 2012-03-08 | Empire Technology Development Llc | Augmented reality proximity sensing |
| CN105992988A (zh) * | 2014-02-17 | 2016-10-05 | Metaio有限公司 | 用于检测第一对象与第二对象之间的触摸的方法和设备 |
-
2014
- 2014-06-13 CN CN201410261455.9A patent/CN105320249A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101945224A (zh) * | 2009-07-01 | 2011-01-12 | 弗卢克公司 | 热成像方法 |
| US20120056847A1 (en) * | 2010-07-20 | 2012-03-08 | Empire Technology Development Llc | Augmented reality proximity sensing |
| CN105992988A (zh) * | 2014-02-17 | 2016-10-05 | Metaio有限公司 | 用于检测第一对象与第二对象之间的触摸的方法和设备 |
Non-Patent Citations (1)
| Title |
|---|
| DAISUKE IWAI等: "Document search support by making physical documents transparent in projection-based mixed reality", 《VIRTUAL REALITY》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109621401A (zh) * | 2018-12-29 | 2019-04-16 | 广州明朝互动科技股份有限公司 | 一种互动游戏系统及控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dubey et al. | A comprehensive survey on human pose estimation approaches | |
| CN111694429B (zh) | 虚拟对象驱动方法、装置、电子设备及可读存储 | |
| CN111949111B (zh) | 交互控制方法、装置、电子设备及存储介质 | |
| Betancourt et al. | The evolution of first person vision methods: A survey | |
| KR102764617B1 (ko) | 액티브 이미지 깊이 예측 | |
| CN112001248B (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| TW201947452A (zh) | 車輛定損的資料處理方法、裝置、處理設備及客戶端 | |
| CN113537374B (zh) | 一种对抗样本生成方法 | |
| EP3123283A1 (en) | Eye gaze tracking based upon adaptive homography mapping | |
| CN107194968B (zh) | 图像的识别跟踪方法、装置、智能终端和可读存储介质 | |
| EP2974509A1 (en) | Personal information communicator | |
| CN115061577B (zh) | 手部投影交互方法、系统及存储介质 | |
| CN115049819A (zh) | 注视区域识别方法及装置 | |
| Song et al. | Joint estimation of 3D hand position and gestures from monocular video for mobile interaction | |
| CN202159302U (zh) | 具有用户交互和输入功能的增强现实系统 | |
| CN109656363A (zh) | 一种用于设置增强交互内容的方法与设备 | |
| CN118377372A (zh) | 基于视线的注视点实时追踪方法、装置、设备及存储介质 | |
| CN113359995B (zh) | 人机交互方法、装置、设备以及存储介质 | |
| CN109725722B (zh) | 有屏设备的手势控制方法和装置 | |
| CN112486394A (zh) | 信息处理方法、装置、电子设备及可读存储介质 | |
| CN112488126A (zh) | 特征图处理方法、装置、设备以及存储介质 | |
| CN112241704A (zh) | 一种判定肖像侵权的方法、装置、电子设备及存储介质 | |
| CN107479715A (zh) | 利用手势控制实现虚拟现实交互的方法和装置 | |
| CN105278658A (zh) | 一种基于热敏的显示增强方法 | |
| CN116311358A (zh) | 一种双手三维姿态估计方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160210 |