WO2024140417A1 - 可穿戴扩展现实设备的人机交互采集方法、装置和系统 - Google Patents

可穿戴扩展现实设备的人机交互采集方法、装置和系统 Download PDF

Info

Publication number
WO2024140417A1
WO2024140417A1 PCT/CN2023/140683 CN2023140683W WO2024140417A1 WO 2024140417 A1 WO2024140417 A1 WO 2024140417A1 CN 2023140683 W CN2023140683 W CN 2023140683W WO 2024140417 A1 WO2024140417 A1 WO 2024140417A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
human
perception
individual
collected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/140683
Other languages
English (en)
French (fr)
Inventor
赵起超
王清菊
杨苒
迟茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to EP23910343.5A priority Critical patent/EP4528660A4/en
Publication of WO2024140417A1 publication Critical patent/WO2024140417A1/zh
Priority to US18/970,972 priority patent/US20250095292A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to the technical field of wearable extended reality devices, and in particular to a human-computer interaction acquisition method, device and system for wearable extended reality devices.
  • wearable smart devices including physiological parameter sensors such as eye trackers, electroencephalograms, heart rate/respiration monitors, and/or behavioral observation systems, can detect the status of people based on multimodal data such as physiological status data, eye movement data, and electroencephalogram data; cameras, laser radars, and other such devices can be used to perceive objects or spatial information in the environment, so as to obtain real-time information about the environment in which people are located.
  • physiological parameter sensors such as eye trackers, electroencephalograms, heart rate/respiration monitors, and/or behavioral observation systems
  • multimodal data such as physiological status data, eye movement data, and electroencephalogram data
  • cameras, laser radars, and other such devices can be used to perceive objects or spatial information in the environment, so as to obtain real-time information about the environment in which people are located.
  • existing extended reality (XR) technologies include AR (augmented reality), VR (virtual reality) and MR (mixed reality), which allow users to obtain more information and interact with others and the environment on the basis of reality, or allow users to obtain information and interact with others and the environment in the process of combining reality and virtual space.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • AR augmented reality technology some products using AR augmented reality technology adopt wearable design. Users can see additional virtual information on the basis of the real world through wearable AR glasses and other products. For example, users can see the superposition scene of the real world and virtual information through AR glasses.
  • there are methods and technologies for digital modeling of the real world Relevant technologies and scientific researchers can digitize the real world through modeling, and others can browse scenes around the world through digital results.
  • Existing technologies can meet people's single needs, including digital modeling of the physical world, real-time collection of data information such as people's physiological status and eye movements, HUD (head-up display information), etc.
  • existing AR ⁇ VR devices cannot perceive the human body and the real environment at the same time and model the real environment, making it impossible for users to interact in real time with environmental models based on the real environment.
  • embodiments of the present invention provide a method, apparatus and system for collecting human-computer interaction of a wearable extended reality device to eliminate or improve one or more defects existing in the prior art.
  • One aspect of the present invention provides a human-computer interaction acquisition method for a wearable extended reality device, the method comprising the following steps:
  • Acquire synchronously collected data including virtual reality basic signals collected by an extended reality device, human body perception data collected by a human body parameter perception device, and environmental perception data collected by an environmental parameter perception device, the human body perception data including at least one of eye movement data, physiological state parameters, and electroencephalogram data; provide an extended reality scene based on the virtual reality basic signals collected by the extended reality device, obtain individual human body state information based on the human body perception data collected by the human body parameter perception device, perform three-dimensional modeling based on the environmental perception data collected by the environmental parameter perception device, and obtain a three-dimensional environmental scene at the individual's location; display the extended reality scene, human body state information, and the three-dimensional environmental scene on a display unit of the extended reality device; and upload the individual human body state information and the three-dimensional environmental scene to a cloud server.
  • the method also includes: obtaining the individual's movement intention based on human perception data collected by a human parameter sensing device, and converting the human perception data on which the movement intention is based into a control command for the collaborative device and transmitting the control command to the collaborative device, so as to interact with the collaborative device through changes in the human perception data.
  • the method further includes: generating relevant evaluation information based on the human perception data and the environmental perception data, wherein the relevant evaluation information includes three-dimensional environmental scene evaluation information and/or individual behavior decision information.
  • the method further includes: after receiving team behavior decision information generated by the cloud server based on physical condition information and environmental perception data of multiple individuals in the team, generating team behavior recommendations based on the team behavior decision information.
  • the human body parameter sensing device and the environmental parameter sensing device are integrated into the extended reality device.
  • the human perception data includes eye movement data; the step of obtaining the human state information of an individual based on the human perception data collected by the human parameter sensing device includes: using the pupil diameter, number of blinks, blink frequency and/or eye saccade behavior in the eye movement data to evaluate the individual's physical state information, and the physical state information includes fatigue and/or cognitive load state information; and/or using the individual's gaze point, gaze point duration and gaze point trajectory in the eye movement data to evaluate the individual's mental state information, and the mental state information includes attention distribution and/or attention state.
  • the human perception data includes electroencephalogram data; the step of obtaining the individual's human state information based on the human perception data collected by the human parameter perception device includes: evaluating the individual's physical state, mental state information and/or emotional state information based on the electroencephalogram data collected by the human parameter perception device.
  • the step of obtaining individual human body state information based on human body perception data collected by a human body parameter sensing device includes: obtaining a training data set based on historically collected human body perception data and corresponding human body state information labels to train a machine model; inputting the currently collected human body perception data into the trained machine model, so as to output the human body state information corresponding to the currently collected human body perception data via the trained machine model.
  • the environmental perception data includes positioning data and image data;
  • the environmental parameter perception device includes a camera and a radar; and the three-dimensional modeling based on the environmental perception data collected by the environmental parameter perception device includes using real-time positioning and mapping technology or three-dimensional reconstruction technology to perform digital three-dimensional modeling on the environmental data.
  • the method further includes: obtaining a training data set based on historically collected data to train a machine model, and inputting currently collected data into the trained machine model to output the relevant evaluation information via the trained machine model.
  • the three-dimensional modeling is performed by edge computing.
  • Another aspect of the present invention provides a human-computer interaction acquisition device for a wearable extended reality device, comprising:
  • the extended reality device integrated with a human parameter sensing device and an environmental parameter sensing device is used to collect virtual reality basic signals; the human parameter sensing device is used to sense and collect human perception data; the environmental parameter sensing device is used to collect environmental perception data; the data processing module is used to convert the virtual reality basic signals into an extended reality scene corresponding to the real scene; convert the collected human perception data into individual human body state information; The collected environmental perception data is converted into a three-dimensional environmental scene at the individual's location; the display module is used to realize the extended reality scene, human body state information and three-dimensional environmental scene obtained by the data processing module; the data transmission module is used to upload the individual's human body state information and the three-dimensional environmental scene at the individual's location to the cloud server.
  • Another aspect of the present invention provides a human-computer interaction acquisition system based on an extended reality device, comprising a processor and a memory, characterized in that computer instructions are stored in the memory, and the processor is used to execute the computer instructions stored in the memory.
  • the device implements the steps of the above-mentioned human-computer interaction acquisition method based on the extended reality device.
  • Another aspect of the present invention provides a computer-readable storage medium having a computer program stored thereon, which, when executed by a processor, implements the steps of the above-mentioned human-computer interaction acquisition method based on an extended reality device.
  • the wearer of the extended reality device can simultaneously obtain his own human body state information, the three-dimensional environmental scene of his location, the extended reality scene and the real environment, and can always understand his own state and changes in the surrounding environment; in addition, the obtained human body state information and three-dimensional environmental scene are transmitted to the cloud center, so that the human body state information and three-dimensional environmental scene of the partner can be understood at all times through data sharing, which facilitates the realization of human-computer collaborative work.
  • FIG1 is a flow chart of human-computer interaction acquisition of an extended reality device in an embodiment of the present invention.
  • FIG. 2 is a signal transmission flow chart of a human-computer interaction acquisition device of an extended reality device in an embodiment of the present invention.
  • FIG. 3 is a diagram showing the information transmission interaction structure of a cloud server augmented reality device in an embodiment of the present invention.
  • FIG4 is a schematic structural block diagram of a human-computer interaction acquisition device of a wearable extended reality device in an embodiment of the present invention.
  • step S110 synchronously collected data is obtained, and the synchronously collected data includes virtual reality basic signals collected by the extended reality device, human body perception data collected by the human body parameter perception device, and environmental perception data collected by the environmental parameter perception device.
  • step S110 clock synchronization is based on NTP (Network Time Protocol)
  • NTP Network Time Protocol
  • the technology uses an extended reality device, a human parameter sensing device and an environmental parameter sensing device to simultaneously collect virtual reality basic data, human perception data and environmental perception data, and collects the virtual reality basic data, human perception data and environmental perception data on the same time axis, so as to understand in real time the human perception data of an individual over time, as well as the virtual reality basic data and environmental parameter perception data of the individual's location.
  • the human parameter sensing device and the environmental parameter sensing device can be integrated into the extended reality device, or of course, they can be not integrated into the extended reality device.
  • the virtual reality basic signal collected by the extended reality device provides an extended reality scene, including: based on the collected virtual reality basic signal, adding virtual extended information in the real environment according to actual needs to form an extended reality scene, for example, adding attention marks and additional items and other information in the real environment.
  • the extended reality device can prompt possible dangerous information in the current environment, such as hidden spaces that are difficult to observe with the naked eye, creatures hidden in the space (information that can be obtained by thermal infrared and other methods) or special terrain that has been marked, and/or the device can prompt the current user's status, such as the user's emotional tension, fatigue, distraction, etc., and feedback warnings can be given when a certain value is exceeded, including vibration feedback, visual feedback, and auditory feedback.
  • possible dangerous information in the current environment such as hidden spaces that are difficult to observe with the naked eye, creatures hidden in the space (information that can be obtained by thermal infrared and other methods) or special terrain that has been marked
  • the device can prompt the current user's status, such as the user's emotional tension, fatigue, distraction, etc.
  • feedback warnings can be given when a certain value is exceeded, including vibration feedback, visual feedback, and auditory feedback.
  • the method of obtaining the human body state information of an individual based on the human body perception data collected by the human body parameter perception device includes: using the collected eye movement data such as pupil diameter, number of blinks, blink frequency and/or eye saccade behavior of the individual to evaluate
  • the physical state information such as individual fatigue and/or cognitive load can be evaluated;
  • the mental state information such as individual attention distribution and attention state can be evaluated by using the collected eye movement data such as individual gaze point, gaze point duration and gaze point trajectory;
  • the emotional state of an individual can be evaluated by using the changes in the collected HRV (Heart Rate Variability) SDNN (Standard Diviation of NN intervals, the standard deviation of all sinus heart beat intervals), LF/HF (i.e., sympathetic and vagal nerve dynamic balance index) and other indicators, as well as the changes in EDA (skin conductance) SC (skin conductance) and other indicators, such as excitement, calmness, tension and excitement;
  • the collected EEG signals can be used to evaluate the physical state information, mental state information and emotional state information
  • the three-dimensional modeling is performed based on the environmental perception data collected by the environmental parameter perception device to obtain the three-dimensional environmental scene of the individual's location, including: using simultaneous positioning and mapping technology (SLAM) or three-dimensional reconstruction technology (3D Reconstruction) to perform digital three-dimensional modeling on the environmental perception data to obtain the three-dimensional environmental scene, wherein the three-dimensional modeling is performed by edge computing to ensure that data transmission is not slow or congested due to excessive data volume.
  • SLAM simultaneous positioning and mapping technology
  • 3D Reconstruction three-dimensional reconstruction technology
  • the task execution device when the personal state information obtained based on the EEG data is in a state of low fatigue, the task execution device is determined to take over the current task; when the personal state information obtained based on the EEG data is in a state of high fatigue, the task execution device is determined not to take over the current task.
  • the human perception data such as eye movement data, physiological state parameters and/or EEG data collected by the human parameter perception device can be combined with the predetermined artificial intelligence algorithm in the data processing and analysis module to convert the human perception data into command signals for specific collaborative devices, thereby completing the communication with the specific collaborative device, and interacting with the specific collaborative device through changes in multimodal human perception data such as eye movement behavior, physiological state changes, and EEG changes, to achieve human-machine collaborative operations between personnel and machine systems such as drones, as well as collaborative operations between personnel.
  • the steps of converting EEG signals into control commands for collaborative devices include: collecting EEG data by using EEG dry electrodes; processing the collected EEG data and extracting feature data by using algorithms such as power spectrum analysis, wavelet transform, autoregressive model (AR), sample entropy (SampEn) or common spatial pattern (CSP); classifying the extracted feature data by using algorithms such as linear discriminant analysis (LDA), support vector machines (SVM), artificial neural networks (ANN) or Bayesian classifier to obtain a variety of classified feature data; a brain-computer interaction system based on motor imagery (MI), a brain-computer interaction system based on steady-state visual evoked potential (SSVEP) or a brain-computer interaction system based on P300 converts the classified feature data into control commands for collaborative devices, thereby completing human-computer interaction.
  • LDA linear discriminant analysis
  • SVM support vector machines
  • ANN artificial neural networks
  • Bayesian classifier Bayesian classifier
  • the wearable extended reality device collects the EEG data of the individual, and by analyzing and processing the changes in the EEG, the interaction between the person and the auxiliary operation equipment is realized to complete the collaborative operation; for example, by collecting and analyzing With the changes in personnel's brain waves, auxiliary work equipment can perform corresponding tasks according to the personnel's brain wave information, including controlling the direction of the work equipment, executing the task status, etc.
  • the eye tracker (including infrared light source and camera) required for collecting eye movement data, the light source and electrodes required for collecting physiological state parameters, the EEG device (including EEG dry electrodes) for collecting EEG data, and the camera and radar for collecting environmental perception data can all be integrated in the wearable extended reality device, and data collection is not limited by the environment and conditions.
  • the human body parameter sensing device, the environmental parameter sensing device and the extended reality device may be provided separately, or the human body parameter sensing device and the environmental parameter sensing device may be integrated into the extended reality device.
  • the display module 50 is used to display the extended reality scene, human body status information and three-dimensional environment scene obtained by the data processing module; it is also used to display the human body status information and three-dimensional environment scene of other extended reality devices from the cloud server.
  • the data transmission module 60 is used to upload the individual's body state information and the three-dimensional environment scene where the individual is located to the cloud server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)

Abstract

本发明提供一种可穿戴扩展现实设备的人机交互采集方法、装置和系统，通过采集到的人体感知数据分析得到人体状态信息，通过采集到的环境感知数据建模得到对应的三维环境场景，并利用扩展现实设备进行集中显示，使得个体同时获取本人的人体状态信息、所处位置的三维环境场景以及扩展现实场景，可以时刻了解自身状态和周围环境变化；将得到的人体状态信息和三维环境场景传输至云端中心，从而通过数据共享时刻了解合作伙伴的人体状态信息和三维环境场景，方便实现人机协同工作。

Description

可穿戴扩展现实设备的人机交互采集方法、装置和系统
相关申请
本公开要求于2022年12月30日提交中国专利局、申请号为CN202211742603.X、发明名称为“可穿戴扩展现实设备的人机交互采集方法、装置和系统”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及可穿戴扩展现实设备技术领域，尤其涉及一种可穿戴扩展现实设备的人机交互采集方法、装置和系统。
背景技术
随着时代发展，信息获取的方法与效率往往决定着一件事情的成败，尤其在一些需要时刻掌握最新信息变化以及个人变化的场合。现有技术中，通过可穿戴式智能设备，包括眼动仪、脑电仪、心率/呼吸监测仪等生理参数传感器和/或行为观察系统等依托于人员生理状态数据、眼动数据、脑电数据等多模态数据可检测人员状态；通过摄像头、激光雷达等等这类设备可用于感知环境的物体或空间信息，以便实时获取人员所处环境信息。
此外，现有扩展现实(Extended Reality，XR)技术包括AR(增强现实技术)、VR(虚拟现实技术)和MR(混合现实技术)，这些技术可以让用户在现实基础上，获取更多的信息并与他人、环境等交互，或者让用户在现实以及虚拟空间相互结合过程内获取信息并与他人、环境等交互。以AR增强现实技术为例，采用AR增强现实技术的部分产品采用可穿戴式设计，用户可通过可穿戴式的AR眼镜等产品，在现实世界的基础之上看到额外的虚拟信息，例如，用户可通过AR眼镜看到现实世界与虚拟信息的叠加场景。目前具有可对现实世界进行数字化建模的方法与技术，相关技术与科研人员可以通过建模的方式将现实世界数字化，其他人可通过数字化成果浏览世界各地的景象。
现有技术能够满足人们单一方面的需求，包括物理世界进行数字化建模、实时采集人员生理状态及眼动等数据信息、HUD(抬头显示信息)等，然而现有的AR\VR设备无法同时感知人体和真实环境，并对真实环境进行建模，从而无法使用户与基于真实环境的环境模型进行实时交互。
发明内容
鉴于此，本发明实施例提供了一种可穿戴扩展现实设备的人机交互采集方法、装置和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种可穿戴扩展现实设备的人机交互采集方法，该方法包括以下步骤：
获取同步采集的数据，所同步采集的数据包括扩展现实设备采集的虚拟现实基础信号、人体参数感知设备采集的人体感知数据和环境参数感知设备采集的环境感知数据，所述人体感知数据包括眼动数据、生理状态参数和脑电数据中的至少一种；基于扩展现实设备采集的虚拟现实基础信号提供扩展现实场景，基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息，基于环境参数感知设备采集的环境感知数据进行三维建模，得到个体所处位置的三维环境场景；在扩展现实设备的显示单元上显示所述扩展现实场景、人体状态信息以及所述三维环境场景；以及将个体的人体状态信息和所述三维环境场景上传至云端服务器。
在本发明的一些实施例中，所述方法还包括：基于人体参数感知设备采集的人体感知数据获得个体的运动意图，并将获得该运动意图所基于的人体感知数据转化为针对协同装置的控制命令并向协同装置传输所述控制命令，以通过人体感知数据的变化与协同装置进行交互。
在本发明的一些实施例中，所述方法还包括：基于所述人体感知数据和环境感知数据生成相关评价信息，所述相关评价信息包括三维环境场景评价信息和/或个体行为决策信息。
在本发明的一些实施例中，所述方法还包括：接收由所述云端服务器基于团队中多个个体的身体状态信息和环境感知数据生成团队行为决策信息后，基于所述团队行为决策信息生成的团队行为建议。
在本发明的一些实施例中，所述人体参数感知设备和环境参数感知设备集成于所述扩展现实设备中。
在本发明的一些实施例中，所述人体感知数据包括眼动数据；所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：利用眼动数据中的瞳孔直径、眨眼次数、眨眼频率和/或眼跳行为，评估个体的身体状态信息，所述身体状态信息包括疲劳度和/或认知负荷状态信息；和/或利用眼动数据中的个体的注视点、注视点时长和注视点轨迹，评估个体的精神状态信息，所述精神状态信息包括注意力分布和/或注意力状态。
在本发明的一些实施例中，所述人体感知数据包括脑电数据；所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：基于人体参数感知设备采集的脑电数据，评估个体的身体状态、精神状态信息和/或情绪状态信息。
在本发明的一些实施例中，所述人体感知数据包括生理状态参数；所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：基于人体参数感知设备采集的生理状态参数，评估个体的情绪状态信息。
在本发明的一些实施例中，所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：基于历史采集的人体感知数据以及对应的人体状态信息标签获得训练数据集对机器模型进行训练；将当前采集的人体感知数据输入训练好的机器模型中，以经由训练好的机器模型输出当前采集的人体感知数据对应的人体状态信息。
在本发明的一些实施例中，所述环境感知数据包括定位数据和图像数据；所述环境参数感知设备包括摄像头和雷达；所述基于环境参数感知设备采集的环境感知数据进行三维建模包括采用即时定位与地图构建技术或三维重建技术对环境数据进行数字化三维建模。
在本发明的一些实施例中，所述方法还包括：基于历史采集的数据获得训练数据集对机器模型进行训练，并将当前采集的数据输入训练好的机器模型中，以经由训练好的机器模型输出所述相关评价信息。
在本发明的一些实施例中，所述三维建模通过边缘计算的方式进行。
本发明的另一方面提供了一种可穿戴扩展现实设备的人机交互采集装置，包括：
集成有人体参数感知设备和环境参数感知设备的扩展现实设备，用于采集虚拟现实基础信号；所述人体参数感知设备用于感知用于采集人体感知数据；所述环境参数感知设备用于采集环境感知数据；数据处理模块，用于将虚拟现实基础信号转化为与现实场景相对应的扩展现实场景；将采集的人体感知数据转化为个体的人体状态信息；将采 集的环境感知数据转化为个体所处位置的三维环境场景；显示模块，用于现实数据处理模块得到的扩展现实场景、人体状态信息和三维环境场景；数据传输模块，用于将个体的人体状态信息以及个体所处位置的三维环境场景上传至云端服务器。
本发明的另一方面提供了一种基于扩展现实设备的人机交互采集系统，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述基于扩展现实设备的人机交互采集方法的步骤。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于扩展现实设备的人机交互采集方法的步骤。
本发明的一种基于扩展现实设备的人机交互采集方法、装置和系统，通过人体参数感知设备、环境参数感知设备和扩展现实设备，或者，将人体参数感知设备和环境参数感知设备集成于扩展现实设备中，同步采集扩展现实设备的佩戴者的人体感知数据、所在位置的环境感知数据和虚拟现实基础数据，并将得到的人体状态信息、三维环境场景和扩展现实场景同步呈现于显示单元。扩展现实设备的佩戴者可以同时获取本人的人体状态信息、所处位置的三维环境场景、扩展现实场景以及现实环境，可以时刻了解自身状态和周围环境变化；此外将得到的人体状态信息和三维环境场景传输至云端中心，从而通过数据共享时刻了解合作伙伴的人体状态信息和三维环境场景，方便实现人机协同工作。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明实施例中扩展现实设备的人机交互采集流程图。
图2为本发明实施例中扩展现实设备的人机交互采集装置的信号传输流程图。
图3为本发明实施例中云端服务器扩展现实设备的信息传输交互结构图。
图4为本发明实施例中可穿戴扩展现实设备的人机交互采集装置的示意性结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了使用户能够基于真实环境的环境模型时刻了解自身状态和周围环境变化，基于用户状态和环境变化进行实时交互，本发明实施例提供了一种扩展现实设备的人机交互采集方法，如图1所示，该方法包括步骤S110-S140；对应的信号传输流程如图2所示。
步骤S110中，获取同步采集的数据，所同步采集的数据包括扩展现实设备采集的虚拟现实基础信号、人体参数感知设备采集的人体感知数据和环境参数感知设备采集的环境感知数据。
其中，所述人体感知数据包括眼动数据、生理状态参数和脑电数据中的至少一种。在本发明实施例中，生理状态参数(或称为生理状态数据)表示眼动数据和脑电数据之外的指示人体生理状态的参数，包括但不限于以下指标中的一种或多种：心率指标、心电指标、皮肤温度指标、皮肤电活性、呼吸指标和/或血氧指标等等，但本发明并不限于此。
上述步骤S110中，基于NTP(Network Time Protocol，网络时间协议)时钟同步 技术，利用扩展现实设备、人体参数感知设备和环境参数感知设备同时采集虚拟现实基础数据、人体感知数据和环境感知数据，将虚拟现实基础数据、人体感知数据和环境感知数据在同一个时间轴上进行采集，从而实时了解随着时间的推移个体的人体感知数据，以及个体所处位置的虚拟现实基础数据和环境参数感知数据。在本发明一实施例中，所述人体参数感知设备和环境参数感知设备可集成于所述扩展现实设备中，当然也可以不集成于扩展现实设备。其中，虚拟现实基础数据可包括通过摄像头和/或雷达等采集设备采集到的现实环境中的各类事物的位置和/或外观等信息；人体感知数据可包括通过眼动设备、脑电设备和/或生理状态参数传感器等人体生理信号采集设备采集到的眼动数据、生理状态数据和/或脑电数据等生理信号；环境感知数据可包括通过摄像头和/或雷达等环境采集设备采集的现实环境中特征点的位置、外观、结构和/或尺寸等数据。
一个实施例中，眼动数据的采集可采用瞳孔-角膜反射的方式，采集个体的瞳孔直径、眨眼次数、眨眼频率和/或眼跳行为等眼睛的动作和变化数据，还可以采集个体的注视点、注视点时长和注视点轨迹等眼动数据；生理状态数据的采集例如通过采集相关电信号或者通过光电容积描记技术，采集心率(Heart Rate，HR)、皮肤电活性(Electrodermal Activity，EDA)、皮肤温度(skin temperature，SKT)等生理信号，脑电数据的采集采用脑电干电极的方式，采集脑电图谱等生理信号。所述环境感知数据包括定位数据和图像数据；所述环境参数感知设备包括摄像头和雷达。
步骤S120中，基于扩展现实设备采集的虚拟现实基础信号提供扩展现实场景，基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息，基于环境参数感知设备采集的环境感知数据进行三维建模，得到个体所处位置的三维环境场景。
上述步骤S120中，所述基于扩展现实设备采集的虚拟现实基础信号提供扩展现实场景，包括：在采集到的虚拟现实基础信号的基础上，根据实际需求在现实环境中添加虚拟的扩展信息，形成的扩展现实场景，例如，在现实环境中添加注意力标识和额外物品等信息，基于注意力标识和额外物品等信息，扩展现实设备能够提示当前所处环境中可能存在的危险信息，例如肉眼难以观察到的隐藏空间、隐蔽在空间内的生物(可通过热红外等方式获取到的信息)或者曾被标记过的特殊地形等信息，和/或，设备能够提示当前用户的状态，例如用户的情绪紧张程度、疲劳程度、分心程度等，超过一定值能够进行反馈预警，包括振动反馈、视觉反馈还有听觉反馈等。
所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息，包括：利用采集到的个体的瞳孔直径、眨眼次数、眨眼频率和/或眼跳行为等眼动数据，评估 个体的疲劳度和/或认知负荷等身体状态信息；利用采集到的个体的注视点、注视点时长和注视点轨迹等眼动数据，可评估个体的注意力分布和注意力状态等精神状态信息；利用采集到的HRV(Heart Rate Variability，心率变异性)的SDNN(Standard Diviation of NN intervals，全部窦性心搏间期的标准差)、LF/HF(即交感与迷走神经动态平衡指标)等指标的变化，以及EDA(皮肤电活性)的SC(皮肤电导)等指标的变化，可评估个体的情绪状态，如兴奋、平静、紧张和激动等情绪状态；采集到的脑电信号通过频域分析、时域分析和PSD(Power Spectral Density，功率谱密度)脑电信号功率谱分析等，可评估个体的疲劳、兴奋、平静、愤怒和/或认知负荷等身体状态信息、精神状态信息和情绪状态信息等。
生理信号与人体外围自主神经活动相关，能够反映人员的身体状态、精神状态和情绪状态等的变化。上述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：基于历史采集的人体感知数据以及对应的人体状态信息标签获得训练数据集对机器模型进行训练，并将当前采集的人体感知数据输入训练好的机器模型中，以经由训练好的机器模型输出当前采集的人体感知数据对应的人体状态信息。其中机器模型基于可穿戴的扩展现实设备采集到的各类人体感知数据中的历史采集数据以及对应的人体状态信息标签获得训练数据集，得到的经训练的机器模型以可穿戴的扩展现实设备实时采集到的人体感知数据作为输入值，对应的输出每一时刻的人体状态信息。其中基于包括眼动数据、生理状态参数和/或脑电数据在内的人体感知参数获得个体的人体状态信息的步骤，包括：采集用于识别人体状态信息所需的人体感知数据，如眼动数据、生理状态参数和/或脑电数据；对采集到的各类人体感知数据分别进行预处理以便于进行特征提取并进一步提取特征数据。采集到的历史人体感知数据和对应的人体状态信息可分别作为训练样本的标签，用来生成训练数据集；基于训练数据集中的各类人体感知数据和对应的标签可分别采用对应的机器学习模型利用提取的特征数据进行训练，基于眼动数据、脑电数据和生理状态参数等不同类型的生理信号和对应的人体状态信息可训练出不同的机器模型；然后利用当前采集的各类人体感知数据输入训练后的对应机器学习模型进行预测，得出当前个体的各种人体状态信息。例如，人员处于疲劳、紧张、压力或者兴奋状态时，其HRV信号相较于静息状态会产生较大变化，基于HRV信号获得个体的人体状态信息的步骤，包括：采集个体的PPG(脉搏)信号；通过对采集的PPG信号进行计算处理可得到HRV信号，然后，采用小波降噪、高/低通滤波、带阻滤波、异位间隔检测或异位间隔矫正等方式对HRV信号进行去噪处理；然后，通过时域分析、 频域分析和/或非线性分析等方式分析HRV信号，提取HRV时域、频域和/或非线性特征值；将提取的特征值等输入值SVM(Support Vector Machine，支持向量机)、随机森林等算法模型进行数据分类，从而得到对应的个体的人体状态信息，例如压力水平(低、中、高)等。
在本发明另一些实施例中，可穿戴的扩展现实设备可以是可穿戴的扩展现实眼镜，在可穿戴的扩展现实眼镜中可集成有多种人体参数感知设备，以实时监测用户人体感知数据变化，并通过内置算法与阈值标准来评估佩戴者的人体状态信息，将人体状态信息的评估结果实时显示在眼镜上，且允许人员依据自身实际状况对自己的行动进行评估更改。例如，在眼镜上显示佩戴者的疲劳状态、紧张状态、平静状态或愤怒状态等。
所述基于环境参数感知设备采集的环境感知数据进行三维建模，得到个体所处位置的三维环境场景，包括：采用即时定位与地图构建技术(Simultaneous Localization and Mapping，SLAM)或三维重建技术(3D Reconstruction)对环境感知数据进行数字化三维建模，得到三维环境场景，其中三维建模通过边缘计算的方式进行，从而确保不会因数据量过大而出现数据传输缓慢、数据传输拥堵等现象。
在本发明一些实施例中，步骤S120还可包括：基于所述人体感知数据和环境感知数据生成相关评价信息，所述相关评价信息包括三维环境场景评价信息和/或个体行为决策信息。
上述基于所述人体感知数据和环境感知数据生成相关评价信息的步骤，包括：基于历史采集的数据(人体感知数据和环境感知数据)和生成的相关评价信息(三维环境场景评价信息和/或个体行为决策信息，用于作为标签)获得训练数据集对机器模型进行训练，并将当前采集的数据输入至训练好的机器模型中，以经由训练好的机器模型输出当前采集的数据对应的相关评价信息。其中，针对三维环境场景评价信息和个体行为决策信息，可对应不同的训练好的机器模型。各机器模型基于可穿戴的扩展现实设备采集到的人体感知数据、环境感知数据的历史采集数据和对应的相关评价信息(作为标签)来获得训练数据集，得到的机器模型以可穿戴的扩展现实设备实时采集到的人体感知数据和环境感知数据作为输入值，对应的输出每一时刻的相关评价信息，所述相关评价信息包括：三维环境场景评价信息或个体行为决策信息。其中，环境场景评价信息例如可包括当前地形地貌的复杂程度、当前环境是否存在潜在危险、当前环境的温湿度等信息，个体行为决策信息例如可包括个体决策偏好、个体行为绩效等信息。
在本发明一些实施例中，在所述人体感知数据包括眼动数据的情况下，所述相关评 价信息为三维环境场景评价信息，所述基于所述人体感知数据和环境感知数据生成相关评价信息的步骤包括：基于所述眼动数据和环境感知数据确定眼睛在三维环境场景中的注视点，以基于确定的注视点来基于预定的评判策略生成三维环境场景评价信息。例如，扩展现实设备同步采集个体在环境中注视点的眼动数据以及个体所处位置的环境感知数据，进而同时获取个体所处位置的三维环境场景以及眼睛在三维环境场景中的注视点变化轨迹，形成个体的三维注视点，通过个体的三维注视点分析个体在环境中的关注点变化情况，是否是环境设计者所希望得到的效果，从而对该现实场景的设计进行评价分析。
在本发明另一些实施例中，在所述人体感知数据包括生理状态参数(例如心率指标、心电指标、皮肤电活性和/或皮肤温度等生理状态参数)的情况下，所述基于所述人体感知数据和环境感知数据生成相关评价信息的步骤包括：由云端中心服务器或扩展现实设备基于个体的人体状态信息和环境感知数据生成个体行为决策信息，并基于所述个体行为决策信息生成个体行为建议，并通过所述扩展现实设备输出所述个体行为建议。例如，扩展现实设备同时采集个体在环境中的生理状态参数以及个体所处位置的环境感知数据，进而同时获取个体的人体状态信息以及个体所处位置的三维环境场景，来辅助用户判断自身情况和环境情况，从而做出更加理性的决策。比如，显示用户自身的体能消耗情况，辅助用户判断自身行动能力，从而让用户更加理性地决定自己的行动范围和休息时机。
在本发明的另一些实施例中，在所述人体感知数据包括脑电数据的情况下，所述基于所述人体感知数据和环境感知数据生成相关评价信息包括：由所述云端中心服务器或扩展现实设备基于个体的人体状态信息和环境感知数据生成个体行为决策信息，并基于所述个体行为决策信息生成个体行为建议，并通过所述扩展现实设备输出所述个体行为建议。例如，扩展现实设备同时采集个体的脑电数据以及个体所处位置的环境感知数据，进而同时获取个体的人体状态信息以及个体所处位置的三维环境场景，判断个体在当前脑电数据情况下是否可以执行相应的人机交互任务，判断任务执行设备是否要接下当前任务。例如，基于脑电数据获取的个人状态信息为疲劳程度较低的状态下，确定任务执行设备接下当前任务；基于脑电数据获取的个人状态信息为疲劳程度较高的状态下，确定任务执行设备不要接下当前任务。
在本发明一些实施例中，上述步骤S120还可包括：基于人体参数感知设备采集的人体感知数据获得个体的运动意图，并将得到该运动意图所基于的人体感知数据转化为 针对协同设备的控制命令；通过人体感知数据的变化与协同设备进行交互。
人体参数感知设备采集的眼动数据、生理状态参数和/或脑电数据等人体感知数据，可结合数据处理分析模块中的预定人工智能算法，将人体感知数据转换成针对特定的协同设备的命令信号，进而完成与特定的协同设备之间的通讯，通过眼动行为、生理状态变化、脑电变化等多模态人体感知数据的变化情况与特定的协同设备进行交互，实现人员与无人机等机器系统的人机协同作业以及人员之间协同作业。
在本发明一些实施例中，上述将人体感知数据转换成针对特定的协同装置的命令信号的步骤，包括：采集生成命令信号所需的人体感知数据；对人体感知数据进行预处理以便于进行特征提取，并进一步提取特征数据；对提取的特征数据进行分类，使得不同的分类特征数据指向针对协同设备的不同的运动意图；将每一种分类特征数据转换为针对该协同设备的控制指令。例如，人在想象自己肢体运动或肌肉运动但没有实际运动输出时，人的特定脑区仍会有激活。通过分析脑电信号，检测识别不同脑区的激活效果来判断用户意图，进而实现人脑与外部设备之间的直接通信与控制。其中，通过脑电信号转化为针对协同设备的控制命令的步骤，包括：利用采用脑电干电极的方式采集脑电数据；采用功率谱分析、小波变换、自回归模型(AR)、样本熵(SampEn)或共空间模式(CSP)等算法处理采集的脑电数据并提取特征数据；采用线性判别式分析(Linear Discriminant Analysis,LDA)、支持向量机(Support Vector Machines,SVM)、人工神经网络(Artificial Neural Network,ANN)或贝叶斯分类器(Bayes Classifier)等算法对提取出的特征数据进行分类，得到多种分类特征数据；基于运动想象(MI)的脑机交互系统、基于稳态视觉诱发电位(SSVEP)的脑机交互系统或基于P300的脑机交互系统将分类特征数据转化为针对协同设备的控制命令，从而完成人机交互。
在本发明的一些实施例中，可穿戴的扩展现实设备采集个体的生理状态参数，通过分析处理用户生理状态的变化，实现人员与辅助作业设备的交互，完成协同作业；例如，通过采集分析个体的心率变化，对于个体当下的情绪状态进行识别，通过判断个体当下是否适合执行作业，判断辅助作业设备是否需要接管当下任务。
另一个实施例中，可穿戴的扩展现实设备采集个体的眼动数据，通过分析处理眼动数据变化情况，与特定的协同设备进行通讯，实现人员与辅助作业设备的人机协同作业；例如，识别眼睛注视时长与注视位置数据，对该点位进行相关操作。
另一个实施例中，可穿戴的扩展现实设备采集个体的脑电数据，通过分析处理脑电波的变化情况，实现人员与辅助作业设备的交互，完成协同作业；例如，通过采集分析 人员脑电波的变化，辅助作业设备可根据人员脑电信息执行相应任务，包括控制作业设备的方向、执行任务状态等。
步骤S130中，在扩展现实设备的显示单元上显示所述扩展现实场景、人体状态信息以及所述三维环境场景。
扩展现实设备的显示单元采用透光的画面呈现介质，扩展现实设备的佩戴者可以透过显示单元观察到现实环境且可以在特定的地点进行自由活动。将扩展现实场景、人体状态信息以及三维环境场景中的一种或一种以上选择性的呈现于显示单元，其中扩展显示场景预三维环境场景根据其中对应标志点的位置和固定形态进行重合，同时基于标志点在现实环境中的位置和固定形态，使得现实单元中的显示画面与现实环境进行重合。扩展现实设备的佩戴者可以同时看到扩展现实场景、三维环境场景以及现实场景中的一种或一种以上画面，从而帮助佩戴者更清晰、深刻的了解自身的周围环境，将人体状态信息呈现于现实单元，从而帮助佩戴者更清楚的了解自身状态，及时合理的调节自己的运动、精神、情绪等状态，调整自己的行动计划。例如，依托采集的扩展现实设备的佩戴者的多模态数据进行人员状态识别，例如疲劳、高负荷、兴奋、愤怒等，并将状态识别结果实时反映在扩展现实设备中，包括显示单元的成像展示、语音提醒、振动提醒等。
上述步骤S130中，扩展现实设备的显示单元上还可以显示来自于云端服务器的其他扩展现实设备的人体状态信息和三维环境场景。
步骤S140中，将个体的人体状态信息和所述三维环境场景上传至云端服务器。
将扩展现实设备的佩戴者的人体状态信息和所述三维环境场景上传至云端服务器，所有的协同作业人员以及指挥人员通过云端服务器均可以获取其他每个人的人体状态信息和三维环境场景，从而方便团队消息协作共享、策略实时更新、团队人员分工调整等工作；还可以通过人体感知数据远程控制设备，实现远程人机交互。其中，对于作业人员众多的应用场景，云端服务器与每一个扩展现实设备的信息传输交互结构如图3所示。
在本发明的一些实施例中，扩展现实设备1,2,3和4等能够实时获取佩戴者注视方位的物理世界三维数据坐标，对物理世界进行实时数字化建模，并实时上传至云端服务器，使得远端指挥人员及其他使用该设备的人员能够共享这些地理信息。
在本发明的一些实施方式中，上述步骤S140还可包括：由所述云端服务器基于团队中多个个体的身体状态信息和环境感知数据生成团队行为决策信息，并基于所述团队行为决策信息生成团队行为建议，该团队行为建议可以发送至扩展现实设备1,2,3和4 等。
在本发明的一些实施例中，获取可穿戴扩展现实设备的用户的人体状态数据，并将该数据发送给该用户所属的团队领导，让团队领导实时掌握团队成员的身体状况，从而辅助团队领导做出更加科学理性的决策。例如，让团队领导实时掌握所有团队成员的体能消耗情况，如果大部分团队成员的体能消耗量已经达到80％，则让团队停止行动，寻找地点休息。
本发明的基于扩展现实设备的人机交互采集方法，通过将人体参数感知设备和环境参数感知设备集成于扩展现实设备中，同步采集扩展现实设备的佩戴者的人体感知数据、所在位置的环境感知数据和虚拟现实基础数据，并将得到的人体状态信息、三维环境场景和扩展现实场景同步呈现于显示单元。扩展现实设备的佩戴者可以同时获取本人的人体状态信息、所处位置的三维环境场景、扩展现实场景以及现实环境，可以时刻了解自身状态和周围环境变化；此外将得到的人体状态信息和三维环境场景传输至云端中心，从而通过数据共享时刻了解合作伙伴的人体状态信息和三维环境场景，方便实现人机协同工作。
与上述方法相应的，本发明还提供了一种可穿戴扩展现实设备的人机交互采集装置，该人机交互采集装置为集成式设备，优选为眼镜式形态，但本发明并不限于此。如图4所示，该人机交互采集装置包括：扩展现实设备10、人体参数感知设备20、环境参数感知设备30、数据处理模块40、显示模块50和数据传输模块60。扩展现实设备10用于采集虚拟现实基础信号；人体参数感知设备20用于感知用于采集人体感知数据；环境参数感知设备30用于采集环境感知数据；所述人体感知数据包括眼动数据、生理状态参数和脑电数据中的至少一种。其中，采集眼动数据所需的眼动仪(含红外光源和摄像头)、采集生理状态参数的所需的光源和电极、采集脑电数据的脑电设备(含脑电干电极)、采集环境感知数据的摄像头和雷达均可集成在可穿戴扩展现实设备中，数据采集不受环境以及条件限制。在本发明实施例中，人体参数感知设备、环境参数感知设备和扩展现实设备可以单独设置，也可以将人体参数感知设备和环境参数感知设备集成于扩展现实设备中。
数据处理模块40用于将虚拟现实基础信号转化为与现实场景相对应的扩展现实场景；将采集的人体感知数据转化为个体的人体状态信息；将采集的环境感知数据转化为个体所处位置的三维环境场景；还用于将采集的人体感知数据转化为针对协同设备的控制命令；根据所述人体感知数据和环境感知数据生成相关评价信息，所述相关评价信息 包括三维环境场景评价信息和/或个体行为决策信息。
显示模块50用于显示数据处理模块得到的扩展现实场景、人体状态信息和三维环境场景；还用于显示来自于云端服务器的其他扩展现实设备的人体状态信息和三维环境场景。
数据传输模块60用于将个体的人体状态信息以及个体所处位置的三维环境场景上传至云端服务器。
与上述方法相应地，本发明还提供了一种可穿戴扩展现实设备的人机交互采集系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前述可穿戴扩展现实设备的人机交互采集方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述可穿戴扩展现实设备的人机交互采集方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其 他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

  1. 一种可穿戴扩展现实设备的人机交互采集方法，其特征在于，包括以下步骤：
    获取同步采集的数据，所同步采集的数据包括扩展现实设备采集的虚拟现实基础信号、人体参数感知设备采集的人体感知数据和环境参数感知设备采集的环境感知数据，所述人体感知数据包括眼动数据、生理状态参数和脑电数据中的至少一种；
    基于扩展现实设备采集的虚拟现实基础信号提供扩展现实场景，基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息，基于环境参数感知设备采集的环境感知数据进行三维建模，得到个体所处位置的三维环境场景；
    在扩展现实设备的显示单元上显示所述扩展现实场景、人体状态信息以及所述三维环境场景；以及
    将个体的人体状态信息和所述三维环境场景上传至云端服务器。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    基于人体参数感知设备采集的人体感知数据获得个体的运动意图，并将获得该运动意图所基于的人体感知数据转化为针对协同装置的控制命令并向协同装置传输所述控制命令，以通过人体感知数据的变化与协同装置进行交互。
  3. 根据权利要求1所述的方法，其特征在于，所述方法还包括：基于所述人体感知数据和环境感知数据生成相关评价信息，所述相关评价信息包括三维环境场景评价信息和/或个体行为决策信息。
  4. 根据权利要求3所述的方法，其特征在于，所述方法还包括：接收由所述云端服务器基于团队中多个个体的身体状态信息和环境感知数据生成团队行为决策信息后，基于所述团队行为决策信息生成的团队行为建议。
  5. 根据权利要求1所述的方法，其特征在于，所述人体参数感知设备和环境参数感知设备集成于所述扩展现实设备中。
  6. 根据权利要求1所述的方法，其特征在于，所述人体感知数据包括眼动数据；
    所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：
    利用眼动数据中的瞳孔直径、眨眼次数、眨眼频率和/或眼跳行为，评估个体的身体状态信息，所述身体状态信息包括疲劳度和/或认知负荷状态信息；和/或
    利用眼动数据中的个体的注视点、注视点时长和注视点轨迹，评估个体的精神状 态信息，所述精神状态信息包括注意力分布和/或注意力状态。
  7. 根据权利要求1所述的方法，其特征在于，所述人体感知数据包括脑电数据；
    所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：基于人体参数感知设备采集的脑电数据，评估个体的身体状态、精神状态信息和/或情绪状态信息。
  8. 根据权利要求1所述的方法，其特征在于，所述人体感知数据包括生理状态参数；
    所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：基于人体参数感知设备采集的生理状态参数，评估个体的情绪状态信息。
  9. 根据权利要求1所述的方法，其特征在于，所述基于人体参数感知设备采集的人体感知数据获得个体的人体状态信息的步骤，包括：
    基于历史采集的人体感知数据以及对应的人体状态信息标签获得训练数据集对机器模型进行训练；
    将当前采集的人体感知数据输入训练好的机器模型中，以经由训练好的机器模型输出当前采集的人体感知数据对应的人体状态信息。
  10. 根据权利要求1所述的方法，其特征在于，所述环境感知数据包括定位数据和图像数据；所述环境参数感知设备包括摄像头和雷达；所述基于环境参数感知设备采集的环境感知数据进行三维建模包括采用即时定位与地图构建技术或三维重建技术对环境数据进行数字化三维建模。
  11. 根据权利要求3所述的方法，其特征在于，所述基于所述人体感知数据和环境感知数据生成相关评价信息包括：
    基于历史采集的人体感知数据和环境感知数据和对应的相关评价信息生成训练数据集对机器模型进行训练；
    将当前采集的人体感知数据和环境感知数据输入训练好的机器模型中，以经由训练好的机器模型输出当前采集的数据对应的相关评价信息。
  12. 根据权利要求1所述的方法，其特征在于，所述三维建模通过边缘计算的方式进行。
  13. 根据权利要求1所述的方法，其特征在于，所述可穿戴扩展现实设备为可穿戴的扩展现实眼镜。
  14. 一种可穿戴扩展现实设备的人机交互采集装置，其特征在于，包括：
    扩展现实设备，用于采集虚拟现实基础信号；
    人体参数感知设备用于感知用于采集人体感知数据，所述人体感知数据包括眼动数据、生理状态参数和脑电数据中的至少一种；
    环境参数感知设备用于采集环境感知数据；
    数据处理模块，用于将虚拟现实基础信号转化为与现实场景相对应的扩展现实场景；将采集的人体感知数据转化为个体的人体状态信息；将采集的环境感知数据转化为个体所处位置的三维环境场景；
    显示模块，用于现实数据处理模块得到的扩展现实场景、人体状态信息和三维环境场景；
    数据传输模块，用于将个体的人体状态信息以及个体所处位置的三维环境场景上传至云端服务器。
  15. 一种可穿戴扩展现实设备的人机交互采集系统，其特征在于，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至13中任一项所述方法的步骤。
  16. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至13中任一项所述方法的步骤。
PCT/CN2023/140683 2022-12-30 2023-12-21 可穿戴扩展现实设备的人机交互采集方法、装置和系统 Ceased WO2024140417A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23910343.5A EP4528660A4 (en) 2022-12-30 2023-12-21 METHOD, APPARATUS AND SYSTEM FOR COLLECTING HUMAN-MACHINE INTERACTION DATA FOR A WEARABLE EXTENDED REALITY DEVICE
US18/970,972 US20250095292A1 (en) 2022-12-30 2024-12-06 Human-machine interaction collection method, apparatus, and system for wearable extended reality device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211742603.XA CN116597119B (zh) 2022-12-30 2022-12-30 可穿戴扩展现实设备的人机交互采集方法、装置和系统
CN202211742603.X 2022-12-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/970,972 Continuation US20250095292A1 (en) 2022-12-30 2024-12-06 Human-machine interaction collection method, apparatus, and system for wearable extended reality device

Publications (1)

Publication Number Publication Date
WO2024140417A1 true WO2024140417A1 (zh) 2024-07-04

Family

ID=87594276

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/140683 Ceased WO2024140417A1 (zh) 2022-12-30 2023-12-21 可穿戴扩展现实设备的人机交互采集方法、装置和系统

Country Status (4)

Country Link
US (1) US20250095292A1 (zh)
EP (1) EP4528660A4 (zh)
CN (1) CN116597119B (zh)
WO (1) WO2024140417A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119376326A (zh) * 2024-12-30 2025-01-28 浙江大学 基于动态环境感知建模的多类型机器人协同作业方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597119B (zh) * 2022-12-30 2025-06-24 北京津发科技股份有限公司 可穿戴扩展现实设备的人机交互采集方法、装置和系统
CN119791599A (zh) * 2024-12-31 2025-04-11 北京津发科技股份有限公司 基于扩展现实的多模态生理数据采集装置及其使用方法
CN120862689B (zh) * 2025-08-21 2026-03-27 广州里工实业有限公司 一种人形机器人的控制方法、系统、设备及介质
CN120814966B (zh) * 2025-09-15 2026-01-06 天津市为爱得科技有限公司 一种基于多场景体位转换的卒中老人助起控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943282A (zh) * 2017-11-06 2018-04-20 上海念通智能科技有限公司 一种基于增强现实和可穿戴设备的人机交互系统及方法
US20210263585A1 (en) * 2018-06-29 2021-08-26 Rama Krishna Aravind BOTTA A system and a method to create extended reality using wearables and virtual environment set
CN114327065A (zh) * 2021-12-29 2022-04-12 中国电子科技集团公司第三十八研究所 一种用于人机交互感知的数据采集系统及方法
CN115346413A (zh) * 2022-08-19 2022-11-15 南京邮电大学 一种基于虚实融合的装配指导方法及系统
CN116597119A (zh) * 2022-12-30 2023-08-15 北京津发科技股份有限公司 可穿戴扩展现实设备的人机交互采集方法、装置和系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300759A1 (en) * 2012-05-08 2013-11-14 Nokia Corporation Method and apparatus for modifying the presentation of information based on the attentiveness level of a user
WO2014015378A1 (en) * 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
CN105302434B (zh) * 2015-06-16 2019-03-26 深圳市腾讯计算机系统有限公司 游戏场景中锁定目标的方法和装置
CN105608746B (zh) * 2016-03-16 2019-10-11 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
CN105807931B (zh) * 2016-03-16 2019-09-17 成都电锯互动科技有限公司 一种虚拟现实的实现方法
CN105797378A (zh) * 2016-03-16 2016-07-27 成都电锯互动科技有限公司 一种基于虚拟现实技术的游戏视频实现方法
CN105824417B (zh) * 2016-03-16 2019-12-10 成都电锯互动科技有限公司 一种采用虚拟现实技术的人与物的结合方法
CN105824416B (zh) * 2016-03-16 2019-09-17 成都电锯互动科技有限公司 一种将虚拟现实技术与云服务技术结合的方法
US20170315825A1 (en) * 2016-05-02 2017-11-02 John C. Gordon Presenting Contextual Content Based On Detected User Confusion
US10691220B2 (en) * 2017-02-14 2020-06-23 Samsung Electronics Co., Ltd. Method for display of information from real world environment on a virtual reality (VR) device and VR device thereof
CN107168537B (zh) * 2017-05-19 2020-07-07 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及系统
WO2019217531A1 (en) * 2018-05-08 2019-11-14 Facet Labs, Llc Interactive multimedia projector and related systems and methods
US10860103B2 (en) * 2018-09-19 2020-12-08 Dell Products, L.P. Enhancing virtual reality with physiological sensing
CN109828658B (zh) * 2018-12-17 2022-03-08 彭晓东 一种人机共融的远程态势智能感知系统
CN110362209B (zh) * 2019-07-23 2023-08-11 辽宁向日葵教育科技有限公司 一种mr混合现实智能感知交互系统
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
KR102358997B1 (ko) * 2020-08-10 2022-02-08 주식회사 토즈 다자간 확장현실 체험을 위한 서비스 플랫폼
CN115268646B (zh) * 2022-08-02 2024-07-19 清华大学 一种人机协同建造过程感知系统、装置、分析方法和介质
CN115407750B (zh) * 2022-08-12 2023-11-21 北京津发科技股份有限公司 人机协同智能系统决策能力的测评方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943282A (zh) * 2017-11-06 2018-04-20 上海念通智能科技有限公司 一种基于增强现实和可穿戴设备的人机交互系统及方法
US20210263585A1 (en) * 2018-06-29 2021-08-26 Rama Krishna Aravind BOTTA A system and a method to create extended reality using wearables and virtual environment set
CN114327065A (zh) * 2021-12-29 2022-04-12 中国电子科技集团公司第三十八研究所 一种用于人机交互感知的数据采集系统及方法
CN115346413A (zh) * 2022-08-19 2022-11-15 南京邮电大学 一种基于虚实融合的装配指导方法及系统
CN116597119A (zh) * 2022-12-30 2023-08-15 北京津发科技股份有限公司 可穿戴扩展现实设备的人机交互采集方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4528660A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119376326A (zh) * 2024-12-30 2025-01-28 浙江大学 基于动态环境感知建模的多类型机器人协同作业方法

Also Published As

Publication number Publication date
EP4528660A4 (en) 2025-11-05
CN116597119B (zh) 2025-06-24
US20250095292A1 (en) 2025-03-20
EP4528660A1 (en) 2025-03-26
CN116597119A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
EP4528660A1 (en) Human-machine interaction collection method, apparatus and system for wearable extended reality device
Zhu et al. A human-centric metaverse enabled by brain-computer interface: A survey
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
US20190239795A1 (en) Emotion estimation apparatus, method, and program
CN112120716A (zh) 一种可穿戴式多模态情绪状态监测装置
CN115407872B (zh) 一种智能人机协同系统测评方法、装置及存储介质
CN114999237A (zh) 一种智慧教育互动教学方法
CN113035000A (zh) 一种面向中枢整合康复治疗技术的虚拟现实训练系统
CN106681509A (zh) 界面操作的方法和系统
Tavares et al. Physiologically attentive user interface for improved robot teleoperation
CN120824031B (zh) 一种多模态数据融合的情绪识别方法及系统
CN117218698B (zh) 一种心理压力识别方法、装置、计算机设备及存储介质
CN113138668B (zh) 自动驾驶轮椅目的地选择方法、装置及系统
CN113995411A (zh) 一种小型便携式多模态鉴赏评估系统及方法
Vartak et al. Cognitive state estimation for adaptive learning systems using wearable physiological sensors
CN121533737B (zh) 基于中医数据的ai心理健康监控方法、装置及电子设备
Rao et al. A reliable eye blink based home automation system using false free detection algorithm
Liu et al. Modeling and Recognition of Movement-Inducing Fatigue State Based on ECG Signal
CN119969959B (zh) 可穿戴式麻醉深度监测设备及其监测方法
Antão Cooperative human-machine interaction in industrial environments
CN119344665B (zh) 脑神经疲劳评估方法、装置、设备及介质
Yang et al. Design and Implementation of Human Intention Estimation System Based on Eye Movement Tracking
CN121533720A (zh) 一种基于非视觉感知的桌面健康监测系统及方法
CN121189822A (zh) 基于多模态感知的多人协同人因风险监测方法与装置
CN118295533A (zh) 一种面向ar眼镜的ssvep脑机接口与眼动追踪跨模态融合感知方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23910343

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023910343

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023910343

Country of ref document: EP

Effective date: 20241216

NENP Non-entry into the national phase

Ref country code: DE