KR20240062017A - 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법 - Google Patents

촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20240062017A
KR20240062017A KR1020220144020A KR20220144020A KR20240062017A KR 20240062017 A KR20240062017 A KR 20240062017A KR 1020220144020 A KR1020220144020 A KR 1020220144020A KR 20220144020 A KR20220144020 A KR 20220144020A KR 20240062017 A KR20240062017 A KR 20240062017A
Authority
KR
South Korea
Prior art keywords
user
body part
brain
training
brain signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020220144020A
Other languages
English (en)
Inventor
김래현
하지현
박상인
김다혜
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020220144020A priority Critical patent/KR20240062017A/ko
Priority to US18/326,242 priority patent/US20240138748A1/en
Publication of KR20240062017A publication Critical patent/KR20240062017A/ko
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analogue processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dermatology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)

Abstract

본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치는 사용자가 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 측정부, 상기 뇌신호에 대해 전처리를 수행하는 전처리부, 상기 전처리된 뇌신호에서 운동상상과 관련된 정보를 포함하는 시구간을 선택하고, 상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하는 특징 추출부, 및 상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하는 분류부를 포함하되, 상기 운동상상 훈련은 상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련 또는 상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련 중 어느 하나이다.

Description

촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법{APPARATUS FOR MOTOR IMAGERY TRAINING COMBINED WITH SOMATOSENSORY STIMULI AND OPERATION METHOD THEREOF}
본 개시는 뇌신호 측정 및 분석 장치에 관한 것으로, 좀 더 상세하게는 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법에 관한 것이다.
신경공학에서는 뇌-컴퓨터 인터페이스(brain-computer interface; BCI)를 통해 움직이지 못하는 사지마비 환자들이 생각만으로 로봇 팔과 같은 외부 구동장치를 제어할 수 있는 기술이 연구되어 왔다. 뇌-컴퓨터 인터페이스는 인간의 뇌신호를 취득, 분석하여 컴퓨터 및 이와 연결된 외부기기를 제어하는 것을 통칭한다. 뇌신호 취득은 주로 비침습적인 방법인 뇌파(electroencephalogram; EEG) 측정을 통해 이루어질 수 있다. 환자가 뇌-컴퓨터 인터페이스를 이용하여 구동장치를 제어함으로써 유의미한 동작을 할 수 있으려면, 원하는 위치 또는 원하는 방향으로 구동장치를 제어할 수 있어야 한다.
이러한 연구에 있어서 가장 중요한 것은 사용자의 운동상상(motor imagery)을 분석하여 제어 신호로 변환하는 신호처리 기술이다. 신호처리가 잘 이루어질 경우 사용자가 의도하는 움직임을 구동장치에 전달하여 사용자의 생각대로 움직이도록 제어할 수 있다. 따라서, 사용자가 의도하는 다양한 움직임을 구현하기 위해, 사용자가 움직임을 상상할 때의 운동상상 뇌신호를 정확하게 분석할 수 있는 시스템이 필수적이다. 기존의 운동상상 기반 뇌-컴퓨터 인터페이스는 높지 않은 정확도를 보이며, 이로 인한 낮은 신뢰도 또한 문제이다. 최근 시각, 촉각, 전기 및 청각 피드백을 사용하여 정확도 및 신뢰도를 개선하기 위한 연구들이 진행되고 있으며, 운동상상과 감각 자극 피드백을 결합한 혼합(hybrid) 훈련을 통해 운동상상의 성능을 개선하기 위한 연구들도 진행되고 있다.
본 개시는 유형의 물체의 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법을 제공한다.
본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치는 사용자가 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 측정부, 상기 뇌신호에 대해 전처리를 수행하는 전처리부, 상기 전처리된 뇌신호에서 운동상상과 관련된 정보를 포함하는 시구간을 선택하고, 상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하는 특징 추출부, 및 상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하는 분류부를 포함하되, 상기 운동상상 훈련은 상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련 또는 상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련 중 어느 하나이다.
본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치의 동작 방법은 사용자가 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 단계, 상기 뇌신호에 대해 전처리를 수행하는 단계, 상기 전처리된 뇌신호에서 상기 운동상상과 관련된 정보를 포함하는 시구간을 선택하는 단계, 상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하는 단계, 및 상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하는 단계를 포함하되, 상기 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 단계는 상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련을 수행하는 동안 뇌신호를 측정하는 단계, 및 상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련을 수행하는 동안 뇌신호를 측정하는 단계를 포함한다.
본 개시의 실시 예에 따른 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 프로세서에 의해 상기 프로그램 코드가 실행될 때, 상기 프로세서는 사용자가 운동상상을 수행하는 동안 뇌신호를 측정하고, 상기 뇌신호에 대해 전처리를 수행하고, 상기 전처리된 뇌신호에서 상기 운동상상과 관련된 정보를 포함하는 시구간을 선택하고, 상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하고, 그리고 상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하되, 상기 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 것은 상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련을 수행하는 동안 뇌신호를 측정하고, 그리고 상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련을 수행하는 동안 뇌신호를 측정하는 것을 포함한다.
본 개시의 실시 예에 따르면, 운동상상과 관련된 양질의 데이터를 취득할 수 있다. 또한 본 개시의 실시 예에 따르면, 촉각 자극을 결합함으로써 운동상상 분류의 정확도를 향상시킬 수 있다.
도 1은 본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치의 구성의 예를 나타내는 블록도이다
도 2a는 촉각 자극이 없는 운동상상 훈련의 과정의 예를 나타낸다.
도 2b는 촉각 자극이 결합된 운동상상 훈련의 과정의 예를 나타낸다.
도 3은 촉각 자극이 결합된 운동상상 훈련에서 사용되는 유형의 물체의 예를 나타낸다.
도 4는 뇌신호를 측정할 때 부착되는 전극들의 위치의 예를 나타낸다.
도 5는 본 개시의 실시 예에 따른 운동상상 뇌신호의 분류 정확도를 나타낸다.
도 6a는 도 5의 우수 집단의 뇌신호로부터 계산된 공분산 행렬에 대응하는 히트맵의 예를 나타낸다.
도 6b는 도 5의 우수하지 않은 집단의 뇌신호로부터 계산된 공분산 행렬에 대응하는 히트맵의 예를 나타낸다.
도 7은 본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치의 동작 방법의 예를 나타내는 흐름도이다.
이하에서, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 용이하게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.
상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.
도 1은 본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치(100)의 구성의 예를 나타내는 블록도이다. 장치(100)는 사용자가 운동상상을 수행할 때의 뇌신호를 측정하고, 뇌신호로부터 움직임과 관련된 특징을 추출한 후, 추출된 특징에 기반하여 사용자가 의도하는 움직임을 분류함으로써 운동상상 훈련을 수행할 수 있다. 예를 들어, 본 개시의 운동상상은 왼손을 움직이는 상상, 오른손을 움직이는 상상, 및 오른발을 움직이는 상상을 포함할 수 있으며, 장치(100)는 어떤 신체 부위의 움직임을 의도한 것인지를 분류할 수 있다. 이하의 설명들에서 신체 부위는 왼손, 오른손, 및 오른발을 포함하는 것으로 가정한다.
예를 들어, 장치(100)의 기능들은 예를 들어, 인공지능 장치(100)의 기능들은, 임의의 유형의 메모리(예를 들어, NAND 플래시 메모리, 로우-레이턴시 NAND 플래시 메모리와 같은 플래시 메모리, 크로스-그리드 불휘발성 메모리와 같은 PMEM(persistent memory), 대량 저항 변화가 있는 메모리, PCM(phase change memory) 등 또는 이들의 결합)에 저장된 명령들을 실행하는 결합 로직, 순차 로직, 하나 이상의 타이머들, 카운터들, 레지스터들, 및/또는 상태 머신들, 하나 이상의 CPLD(complex programmable logic device), FPGA(field programmable gate array), ASIC(application specific integrated circuit), x86 프로세서들과 같은 CSIC(complex instruction set computer) 프로세서들 및/또는 ARM 프로세서들과 같은 RISC(reduced instruction set computer)과 같은 CPU(central processing unit), GPU(graphics processing unit), NPU(neural processing unit), TPU(tensor processing unit), APU(accelerated processing unit) 등 또는 이들의 결합을 포함하는 하드웨어, 소프트웨어 또는 이들의 결합을 이용하여 구현될 수 있다.
장치(100)는 측정부(110), 전처리부(120), 특징 추출부(130), 및 분류부(140)를 포함할 수 있다. 예를 들어, 장치(100)의 분석 대상이 되는 뇌신호는 뇌파(electroencephalography; EEG) 측정을 통해 취득될 수 있다. 뇌파는 두피에 전극을 부착하여 두피 상의 전기적 신호를 측정하는 것으로, 비침습적(non-invasive)이고 간편하며 시간 해상도(temporal resolution)가 높다. 이하 명확한 설명을 위해, 본 개시의 실시 예에 따른 장치(100)의 분석 대상이 되는 뇌신호는 뇌파인 것으로 가정하지만, 본 개시는 이에 한정되지 않으며, 뇌신호는 뇌피질전도(electrocorticography; ECoG), 또는 뇌자도(magnetic encephalography; MEG) 측정을 통해 취득될 수도 있다. 특히, 본 개시의 실시 예에 따르면 운동상상 훈련을 수행하기 위해 촉각 자극(somatosensory stimuli)이 함께 사용될 수 있다. 즉, 본 개시의 실시 예에 따른 운동상상은 왼손, 오른손, 및 오른발을 움직이는 상상뿐만 아니라, 왼손, 오른손, 및 오른발로 유형의 물체의 촉감을 느끼는 상상(예를 들어, 물체를 쥐는 상상 또는 물체의 진동을 느끼는 상상)을 더 포함할 수 있다. 본 개시의 실시 예에 따른 구체적인 운동상상 훈련의 과정은 도 2a 내지 도 2b를 참조하여 더 상세히 설명된다.
측정부(110)는 사용자가 위와 같은 운동상상 훈련을 수행하는 동안 뇌신호를 측정할 수 있고, 측정된 뇌신호를 전처리부(120)로 제공할 수 있다. 예를 들어, 측정부(110)는 사용자의 뇌파를 측정하기 위한 회로 또는 소프트웨어 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자의 뇌파를 측정하기 위해, 측정부(110)는 사용자의 두피에 부착된 전극과 유선 또는 무선으로 연결될 수 있다.
측정부(110)에서 측정된 뇌신호는 사용자의 운동상상 수행 도중 시간에 따른 신호의 레벨을 나타내는 시계열(time series) 데이터일 수 있다. 예를 들어, 측정된 뇌신호의 시간 구간들은 사용자의 운동상상을 구성하는 요소들(예를 들어, 신체 부위를 움직이는 행위 또는 신체 부위를 이용하여 유형의 물체를 쥐는 행위 등)에 대응할 수 있다. 시계열 데이터의 시간 간격은 측정된 뇌신호의 1초당 샘플링 수(예를 들어, 2048Hz)에 따라 결정될 수 있다.
뇌신호의 측정을 위해, 사용자의 두피에 전극들(예를 들어, 64개의 전극들)이 부착될 수 있다. 전극을 부착하는 위치에 따라, 측정되는 뇌신호로부터 얻을 수 있는 정보는 달라질 수 있다. 예를 들어, 두피 상의 운동피질(motor cortex) 또는 전운동피질(premotor cortex)에 대응하는 위치에 부착된 전극들에서 측정된 뇌신호는 사용자의 움직임에 대한 정보를 포함할 수 있다. 또한, 두피 상의 감각피질(somatosensory cortex)에 대응하는 위치에 부착된 전극들에서 측정된 뇌신호는 신체 부위로 물체를 쥘 때 느껴지는 촉각 자극과 관련된 정보를 포함할 수 있다.
전처리부(120)는 측정부(110)로부터 제공된 사용자의 뇌신호에 대한 전처리(preprocessing)를 수행할 수 있고, 전처리된 뇌신호를 특징 추출부(130)로 제공할 수 있다. 전처리부(120)는 사용자의 뇌신호에 대해 디지털 필터링(예를 들어, 무한 임펄스 반응(infinite impulse response) 디지털 필터링)을 수행할 수 있다. 이로써, 뇌신호에 포함된 전선 잡음, 전극 간 신호 간섭, 형광등에 의한 잡음, 및 기타 고주파 대역의 잡음이 제거될 수 있다. 예를 들어, 전처리부(120)는 상술한 필터링을 수행하기 위한 회로 또는 소프트웨어 중 적어도 하나를 포함할 수 있다.
나아가, 전처리부(120)는 뇌신호 측정 도중 사용자의 머리 움직임, 뒤척임, 또는 전극의 부실 부착으로 인해 발생하는 다수의 아티팩트(artifact)들을 확인할 수 있고, 확인된 아티팩트들을 뇌신호로부터 제거할 수 있다. 그리고, 전처리부(120)는 기준 전극의 위치에 따른 영향을 제거하기 위해, 뇌신호에 대해 재기준(re-referencing) 방법(예를 들어, 공통 평균 기준(common average reference) 방법)을 적용할 수 있다. 또한, 전처리부(120)는 효율적인 뇌신호 분석을 위해 다운샘플링(예를 들어, 1초당 샘플링 수를 2048Hz에서 256Hz로 다운샘플링)을 수행할 수도 있다.
특징 추출부(130)는 전처리부(120)로부터 제공된 전처리된 뇌신호로부터 사용자의 운동상상과 관련된 특징 데이터(feature data)를 계산할 수 있다. 구체적으로, 본 개시의 특징 추출부(130)는 특징 데이터로서 공분산 행렬(covariance matrix)을 계산할 수 있다. 예를 들어, 특징 추출부(130)는 운동피질, 전운동피질, 및 감각피질에 대응하는 위치에 부착된 전극들에서 측정된 뇌신호들로부터 공분산 행렬을 계산할 수 있다.
먼저, 특징 추출부(130)는 전처리된 뇌신호에서 사용자의 운동상상 수행에 대응하는 시구간(예를 들어, 신체 부위를 움직이는 상상 또는 물체를 쥐는 상상을 수행하는 시구간)을 선택할 수 있고, 선택된 시구간에 대응하는 뇌신호를 양의 정부호 대칭(symmetric positive-definite; SPD) 행렬로 변환할 수 있다. 예를 들어, 선택된 시구간에 대응하는 사용자의 뇌신호를 X라고 하면, X는 n개의 행들과 t개의 열들로 이루어진 행렬(n은 특징 데이터가 계산되는 전극들의 수, t는 선택된 시구간에 포함된 데이터의 수)일 수 있다. 여기서, t는 다운샘플링된 뇌신호의 1초당 샘플링 수에 따라 달라질 수 있다. 뇌신호 X에 대응하는 정규화된 공분산 행렬 C는 아래의 수학식 1과 같이 계산될 수 있다.
공분산 행렬 C는 n개의 행들과 n개의 열들로 이루어지고, 양의 고유값들을 갖는 정규화된 SPD 행렬이다. 그 후, 특징 추출부(130)는 공분산 행렬 C에 대해 절대편차 중앙값(median absolute deviation; MAD)을 사용하여, 운동상상들 각각에 대응하는 공분산 행렬 C를 리만 다양체(Riemannian manifold) 상에 배열할 수 있다. 리만 다양체는 유클리드 공간에 국부적으로 위상 동형이며 충분히 일정한 스칼라 곱이 정의되고, 리만 기하학이 적용될 수 있는 위상 공간을 지칭한다. 여기서, 리만 다양체의 차원은 m=n(n+1)/2이며, 차원 m인 리만 다양체 상에는 m개의 점들 P1, …Pm이 존재할 수 있다.
리만 다양체에서 두 점 Pi, Pj 사이의 지오데식(geodesic; 두 점을 잇는 최소 거리의 곡선) 거리 Pdistance,i,j는 아래의 수학식 2와 같이 계산될 수 있다.
여기서 ||A||F는 와 같이 계산되는 프로베니우스 놈(Frobenius norm)이다. 이와 같은 두 점 사이의 지오데식 거리를 이용하여, 공분산 행렬들의 리만 평균 Pmean은 아래의 수학식 3과 같이 계산될 수 있다.
수학식 3을 검토하면, 리만 평균 Pmean은 리만 다양체 상의 점들 P1, …Pm과의 지오데식 거리의 제곱의 합이 최소가 되는 임의의 점 P와 같다. 다시 말해, 리만 평균 Pmean은 리만 다양체 상의 질량 중심에 대응할 수 있다.
즉, 특징 추출부(130)는 사용자의 운동상상 수행에 대응하는 시구간의 뇌신호로부터 특징 데이터로서 공분산 행렬들을 계산할 수 있고, 공분산 행렬들의 리만 평균을 계산할 수 있다. 구체적으로, 본 개시의 운동상상은 왼손, 오른손, 및 오른발을 각각 이용한 움직임 또는 촉각 상상을 포함하므로, 사용자에 대해 신체 부위의 종류 별로 공분산 행렬들 및 대응하는 리만 평균들이 계산될 수 있다. 특징 추출부(130)는 계산된 리만 평균들을 분류부(140)로 제공할 수 있다.
분류부(140)는 특징 추출부(130)로부터 제공받은 리만 평균들에 기반하여 측정된 뇌신호를 분류할 수 있다. 예를 들어, 분류부(140)는 리만 평균에 기초하여 사용자의 뇌신호를 3개의 운동상상의 클래스들(왼손의 운동상상인지, 오른손의 운동상상인지, 또는 오른발의 운동상상인지) 중 하나로 분류할 수 있다. 분류부(140)는 이와 같은 분류 동작을 수행하기 위한 리만 기하학 분류기(Riemannian geometry-based classifier)를 포함할 수 있다.
공분산 행렬 C에 대응하는 리만 평균 Pmean은 공분산 행렬 C가 속하는 클래스(예를 들어, 왼손의 운동상상, 오른손의 운동상상, 및 오른발의 운동상상)의 중심에 해당할 수 있는데, 리만 기하학 분류기는 리만 다양체 상에 배열된 공분산 행렬들의 중심과, 미리 결정된 각 클래스의 기준 중심과의 거리를 계산할 수 있다. 즉, 리만 평균과 기준 중심 사이의 거리는 리만 평균에 대응하는 사용자의 뇌신호가 어떤 클래스와 가장 가까운 뇌신호인지를 반영할 수 있다.
구체적으로, 분류부(140)는 피셔 지오데식 평균 최소 거리(Fisher geodesic minimum distance to the mean; FgMDM)를 사용함으로써, 사용자의 뇌신호를 리만 평균과의 거리가 최소가 되는 기준 중심에 대응하는 클래스로 분류할 수 있다. 예를 들어, 각 클래스의 기준 중심은 리만 기하학 분류기를 훈련시킴으로써 결정될 수 있다. 분류부(140)에 의한 분류 결과에 따라, 분류의 정확도도 평가될 수 있다. 특히, 본 개시의 실시 예에 따른 촉각 자극이 결합된 운동상상 뇌신호의 분류 정확도는 촉각 자극이 없는 운동상상 뇌신호의 분류 정확도에 비해 높을 수 있다.
도 2a는 촉각 자극이 없는 운동상상 훈련의 과정의 예를 나타내고, 도 2b는 촉각 자극이 결합된 운동상상 훈련의 과정의 예를 나타낸다. 도 2a 및 도 2b에 나타난 운동상상 훈련 도중, 사용자의 뇌신호가 측정(예를 들어, 도 1의 측정부(110)에 의해)될 수 있다. 도 2a 및 도 2b 모두에서, 사용자는 운동상상 훈련을 수행하기 전에, 운동상상을 용이하게 하기 위해 실제로 신체 부위(왼손, 오른손, 및 오른발)를 움직이는 운동 실행 과제(motor execution task; MET)를 수행할 수 있다.
먼저 도 2a를 참조하면, 운동 실행 과제에서 사용자는 모니터에 표시된 화살표에 따라 신체 부위를 실제로 움직일 수 있다. 예를 들어, 모니터에는 2초 동안 십자 표시(fixation cross)가 출력될 수 있고, 이 동안 사용자의 뇌신호는 휴지 상태(resting state)에 대응할 수 있다. 그 후, 모니터에 왼쪽 화살표(사용자의 왼손에 대응), 오른쪽 화살표(사용자의 오른손에 대응), 및 정면 화살표(사용자의 오른발에 대응) 중 하나가 표시되고, 사용자는 화살표가 표시된 후 3초 이내에 대응하는 신체 부위를 움직일 수 있다. 사용자가 신체 부위를 움직이고 나면, 해당하는 움직임과 관련된 뇌 활동(brain activity)이 뉴로피드백(neurofeedback)으로서 출력되며, 이러한 과정은 운동 실행 과제가 끝날 때까지 정해진 수만큼 반복된다.
운동 실행 과제가 종료된 후 사용자는 운동상상 과제(motor imagery task; MIT)를 수행할 수 있다. 운동상상 과제는 상술한 운동 실행 과제와 유사하게 진행된다. 모니터에 2초 동안 십자 표시가 출력된 후 왼쪽 화살표, 오른쪽 화살표, 및 정면 화살표 중 하나가 표시되면, 사용자는 3초 이내에 대응하는 신체 부위를 움직이는 상상(예를 들어, 사용자의 왼손을 움직이는 상상, 사용자의 오른손을 움직이는 상상, 사용자의 오른발을 움직이는 상상)을 할 수 있다.
이제 도 2b를 참조하면, 운동 실행 과제는 촉각 자극과 결합될 수 있다. 구체적으로 본 개시에서 이용되는 촉각 자극은 신체 부위를 이용하여 유형의 물체를 쥘 때 발생하는 촉각 자극 또는 신체 부위를 통해 물체의 진동을 느낄 때 발생하는 촉각 자극 중 하나일 수 있다. 비록 도 2b는 물체를 쥘 때 발생하는 촉각 자극을 이용하여 운동 실행 및 운동 상상이 수행되는 것으로 나타나 있으나, 본 개시는 이에 한정되지 않으며, 도 2b에 나타난 운동 실행 및 운동상상은 진동을 느낄 때 발생하는 촉각 자극을 이용하여 진행될 수도 있다. 이하 편의를 위해, 본 명세서에서 운동 실행 및 운동상상은 물체를 쥘 때 발생하는 촉각 자극을 이용하여 수행되는 것을 기준으로 설명되지만, 물체의 진동을 느낄 때 발생하는 촉각 자극을 이용하는 경우도 동일한 방법으로 수행될 수 있다.
도 2b의 운동 실행 과제에서, 모니터에 2초 동안 십자 표시가 출력된 후, 왼쪽 화살표, 오른쪽 화살표, 및 정면 화살표 중 하나가 출력되면, 사용자는 3초 이내에 대응하는 신체 부위를 사용하여 물체를 쥘 수 있다. 사용자가 물체를 쥐고 나면, 해당하는 촉각과 관련된 뇌 활동이 뉴로피드백으로서 출력되며, 이러한 과정은 운동 실행 과제가 끝날 때까지 정해진 수만큼 반복된다.
도 2a와 마찬가지로, 운동 실행 과제가 종료된 후 사용자는 운동상상 과제를 수행할 수 있다. 도 2b의 운동상상 과제 또한 촉각 자극과 결합될 수 있는데, 사용자는 화살표가 표시된 후 3초 이내에 대응하는 신체 부위로 유형의 물체를 쥐는 상상을 할 수 있다.
도 2a 및 도 2b에 나타난 운동상상 과제를 수행하는 동안 측정된 각 뇌신호에서, 운동상상 수행과 관련된 정보는 십자 표시가 출력된 후 2초~5초 이내에 포함될 수 있다. 따라서, 도 1의 특징 추출부(130)는 사용자의 뇌신호 중 2초~5초 이내의 임의의 시구간(예를 들어, 2.4초~4.4초 시구간)을 선택하여 상술한 리만 기하학 분석을 수행할 수 있다.
구체적으로, 도 2a에 나타난 운동상상 과제를 수행하는 동안 측정된 뇌신호의 2초~5초 시구간에는 신체 부위를 움직이는 상상을 하는 것과 관련된 정보가 포함될 수 있고, 도 2b에 나타난 운동상상 과제를 수행하는 동안 측정된 뇌신호의 2초~5초 시구간에는 신체 부위를 움직이는 상상을 하는 것과 관련된 정보뿐만 아니라 신체 부위를 사용하여 물체를 쥐는 상상을 하는 것과 관련된 정보가 모두 포함될 수 있다. 즉, 도 2a의 과제를 수행하는 동안 측정된 뇌신호와 도 2b의 과제를 수행하는 동안 측정된 뇌신호를 비교함으로써 촉각 자극이 운동상상의 정확도에 미치는 효과를 알 수 있다. 이와 같이 측정된 운동상상 뇌신호는 외부 기기를 구동하기 위해 사용될 수 있다.
도 3은 촉각 자극이 결합된 운동상상 훈련에서 사용되는 유형의 물체의 예를 나타낸다. 왼손 및 오른손으로 쥐는 물체는 지름 5.8cm의 단단하고 거친(hard & rough) 공이고, 오른발로 쥐는 물체는 지름 16.5cm의 단단하고 거친 공이다. 오른발로 쥐는 물체의 경우 공의 절반만이 이용되었다.
도 4는 뇌신호를 측정할 때 부착되는 전극들의 위치의 예를 나타낸다. 도 4는 뇌파 측정에 사용되는 일반적인 64채널 10-20 시스템을 나타낸다. 64개의 전극들 중, 본 개시의 실시 예에 따른 분석 과정에서는 두피 상의 운동피질(motor cortex), 전운동피질(premotor cortex), 및 감각피질(somatosensory cortex)에 대응하는 위치에 부착된 전극들이 선택되었다. 구체적으로, 중심영역의 전극들(C1~C6) 및 중심영역 전후의 전극들로부터 측정된 뇌신호는 운동 및 촉각과 관련된 정보를 포함할 수 있다. 예를 들어, 선택된 전극들은 FCz, C1, C3, C5, T7, Cz, C2, C4, C6, T8, 및 CPz(빨간 점선으로 표시)일 수 있다. 그러나, 본 개시는 이에 한정되지 않으며, 상술한 전극들과 다른 전극들이 분석을 위해 선택될 수도 있고, 도 4의 전극들과 다른 개수를 갖는 전극들이 다른 위치들에 부착될 수도 있다.
도 5는 본 개시의 실시 예에 따른 운동상상 뇌신호의 분류 정확도를 나타낸다. 도 5를 참조하면, 14명의 사용자들(S1~S14)에 대해 운동상상(MI) 및 촉각 자극이 결합된 운동상상(SMI)의 분류 정확도가 나타나 있다. 여기서, 촉각 자극이 없는 운동상상(MI)의 분류 정확도가 미리 정해진 임계값(예를 들어, 70%) 이상인 사용자들(S3, S5, S7, S11, S14)은 우수 집단(good-performer)으로 분류되고, 미리 정해진 임계값(예를 들어, 70%) 미만인 사용자들(S1, S2, S4, S6, S8, S9, S10, S12, S13)은 우수하지 않은 집단(poor-performer)으로 분류되었다. 모든 피험자들의 분류 정확도의 평균을 계산한 결과, 촉각 자극이 결합된 운동상상(SMI)의 정확도가 촉각 자극이 없는 운동상상(MI)에 비해 높게 나타났다. 특히, 촉각 자극이 결합된 운동상상(SMI)의 정확도가 높게 나타난 정도는 우수하지 않은 집단에 대해 더 크게 나타났다. 다시 말해, 기존의 운동상상에 익숙하지 않은 사용자일수록 촉각 자극이 결합된 운동상상 훈련의 효과가 더 크다. 따라서, 촉각 자극이 결합된 운동상상 훈련은 운동상상 정확도가 낮은 사용자의 운동상상 정확도를 높일 수 있는 효과가 있다.
도 6a는 도 5의 우수 집단의 뇌신호로부터 계산된 공분산 행렬에 대응하는 히트맵의 예를 나타내고, 도 6b는 도 5의 우수하지 않은 집단의 뇌신호로부터 계산된 공분산 행렬에 대응하는 히트맵의 예를 나타낸다. 도 6a 및 도 6b를 참조하면, 왼손, 오른손, 오른발의 운동상상(촉각 자극이 없는 운동상상(MI) 및 촉각 자극이 결합된 운동상상(SMI)을 모두 포함) 뇌신호에 대응하는 공분산 행렬들 각각은 히트맵으로 표현될 수 있는데, 도 1을 참조하여 설명한 바와 같이 각 공분산 행렬은 양의 정부호 대칭(SPD) 행렬이므로, 대응하는 각 히트맵도 대각선을 중심으로 대칭인 형태로 나타난다.
또한, 촉각 자극이 없는 운동상상(MI) 뇌신호의 공분산 행렬과, 촉각 자극이 결합된 운동상상(SMI) 뇌신호의 공분산 행렬의 차이(MI-SMI)가 계산될 수 있다. MI-SMI 히트맵을 참조하면, 촉각 자극의 유무에 따른 뇌 활동의 차이를 알아볼 수 있고, 그 차이가 유의미하게 나타나는 전극들(significant components)을 알아볼 수 있다. 도 5를 참조하여 설명한 바와 같이, 도 6a 및 도 6b를 비교하면 우수하지 않은 집단의 경우 우수 집단에 비해 MI 히트맵과 SMI 히트맵의 차이가 더 크게 나타난다.
도 7은 본 개시의 실시 예에 따른 운동상상 훈련을 위한 장치의 동작 방법의 예를 나타내는 흐름도이다. 이하 도 7과 함께, 도 1을 참조하여 설명한다.
단계 S110에서, 측정부(110)는 사용자가 운동상상을 수행하는 동안 뇌신호를 측정할 수 있다. 단계 S120에서, 전처리부(120)는 측정된 뇌신호에 대해 전처리를 수행할 수 있다. 단계 S130에서, 특징 추출부(130)는 전처리된 뇌신호에서 운동상상과 관련된 정보를 포함하는 시구간을 선택하고, 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산할 수 있다. 예를 들어, 특징 추출부(130)는 선택된 시구간의 뇌신호에 대응하는 공분산 행렬을 계산하고, 공분산 행렬을 리만 다양체 상에 배열하고, 공분산 행렬에 대응하는 리만 평균을 계산할 수 있다. 예를 들어, 공분산 행렬의 계산은 수학식 1에 따라, 리만 평균의 계산은 수학식 2 및 수학식 3에 따라 수행될 수 있다. 단계 S140에서, 분류부(140)는 특징 데이터(예를 들어, 리만 평균)에 기반하여 사용자가 수행한 운동상상의 클래스를 분류할 수 있다.
나아가, 본 개시의 실시 예에 따른 운동상상 훈련 방법은 비일시적(non-transistory) 컴퓨터 판독 가능 매체에 저장되는 프로그램 코드로서 구현될 수 있다. 예를 들어, 비일시적 컴퓨터 판독 가능 매체는 자기 매체, 광학 매체, 또는 이들의 결합(예를 들어, CD-ROM, 하드 드라이브, 읽기 전용 메모리, 플래시 드라이브 등)에 포함될 수 있다.
예를 들어, 비일시적 컴퓨터 판독 가능 매체는 실행될 때 프로세서로 하여금 사용자가 운동상상을 수행하는 동안 뇌신호를 측정하고, 뇌신호에 대해 전처리를 수행하고, 전처리된 뇌신호에서 운동상상과 관련된 정보를 포함하는 시구간을 선택하고, 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하고, 그리고 특징 데이터에 기반하여 사용자가 수행한 운동상상의 클래스를 분류할 수 있도록 하는 프로그램 코드를 포함할 수 있다.
상술된 내용은 본 개시를 실시하기 위한 구체적인 실시 예들이다. 본 개시는 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 개시는 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 상술된 실시 예들에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
110: 측정부
120: 전처리부
130: 특징 추출부
140: 분류부

Claims (20)

  1. 사용자가 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 측정부;
    상기 뇌신호에 대해 전처리를 수행하는 전처리부;
    상기 전처리된 뇌신호에서 운동상상과 관련된 정보를 포함하는 시구간을 선택하고, 상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하는 특징 추출부; 및
    상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하는 분류부를 포함하되,
    상기 운동상상 훈련은:
    상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련 또는 상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련 중 어느 하나인 장치.
  2. 제 1 항에 있어서,
    상기 신체 부위는 상기 사용자의 왼손, 오른손, 및 오른발을 포함하고,
    상기 복수의 클래스들은 왼손의 운동상상, 오른손의 운동상상, 및 오른발의 운동상상을 포함하는 장치.
  3. 제 1 항에 있어서,
    상기 촉감은 상기 유형의 물체를 쥘 때 발생하는 촉감 또는 상기 유형의 물체의 진동을 느낄 때 발생하는 촉감 중 어느 하나인 장치.
  4. 제 1 항에 있어서,
    상기 제 1 훈련은:
    상기 사용자가 신체 부위를 움직이는 제 1 단계; 및
    상기 사용자가 신체 부위를 움직이는 상상을 하는 제 2 단계를 포함하는 장치.
  5. 제 4 항에 있어서,
    상기 제 1 단계는 상기 사용자의 뇌신호가 휴지 상태에 대응하는 구간, 상기 사용자가 상기 신체 부위를 움직이는 구간, 및 상기 신체 부위의 움직임과 관련된 뉴로피드백을 상기 사용자에게 제공하는 구간을 포함하고,
    상기 제 2 단계는 상기 사용자의 뇌신호가 휴지 상태에 대응하는 구간, 상기 사용자가 상기 신체 부위를 움직이는 상상을 하는 구간, 및 상기 상상과 관련된 뉴로피드백을 상기 사용자에게 제공하는 구간을 포함하는 장치.
  6. 제 1 항에 있어서,
    상기 제 2 훈련은:
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 제 1 단계; 및
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 단계를 포함하는 장치.
  7. 제 6 항에 있어서,
    상기 제 1 단계는 상기 사용자의 뇌신호가 휴지 상태에 대응하는 구간, 상기 사용자가 상기 신체 부위를 이용하여 상기 유형의 물체의 촉감을 느끼는 구간, 및 상기 촉감과 관련된 뉴로피드백을 상기 사용자에게 제공하는 구간을 포함하고,
    상기 제 2 단계는 상기 사용자의 뇌신호가 휴지 상태에 대응하는 구간, 상기 사용자가 상기 신체 부위를 이용하여 상기 유형의 물체의 촉감을 느끼는 상상을 하는 구간, 및 상기 상상과 관련된 뉴로피드백을 상기 사용자에게 제공하는 구간을 포함하는 장치.
  8. 제 1 항에 있어서,
    상기 측정부는 상기 사용자의 상기 제 1 훈련에 대응하는 제 1 뇌신호 및 상기 사용자의 상기 제 2 훈련에 대응하는 제 2 뇌신호를 모두 측정하고,
    상기 분류부가 상기 사용자의 상기 제 1 뇌신호를 상기 복수의 클래스들로 분류하는 제 1 정확도가 미리 정해진 임계값 미만인 경우, 상기 분류부가 상기 사용자의 상기 제 2 뇌신호를 상기 복수의 클래스들로 분류하는 제 2 정확도는 상기 제 1 정확도보다 높은 장치.
  9. 제 1 항에 있어서,
    상기 전처리부는 상기 뇌신호에 대해 디지털 필터링을 수행하고, 재기준 방법을 적용하고, 다운샘플링을 수행하고, 상기 뇌신호의 아티팩트들을 제거하는 장치.
  10. 운동상상 훈련을 위한 장치의 동작 방법에 있어서,
    사용자가 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 단계;
    상기 뇌신호에 대해 전처리를 수행하는 단계;
    상기 전처리된 뇌신호에서 상기 운동상상과 관련된 정보를 포함하는 시구간을 선택하는 단계;
    상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하는 단계; 및
    상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하는 단계를 포함하되,
    상기 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 단계는:
    상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련을 수행하는 동안 뇌신호를 측정하는 단계; 및
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련을 수행하는 동안 뇌신호를 측정하는 단계를 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 신체 부위는 상기 사용자의 왼손, 오른손, 및 오른발을 포함하고,
    상기 복수의 클래스들은 왼손의 운동상상, 오른손의 운동상상, 및 오른발의 운동상상을 포함하는 방법.
  12. 제 10 항에 있어서,
    상기 촉감은 상기 유형의 물체를 쥘 때 발생하는 촉감 또는 상기 유형의 물체의 진동을 느낄 때 발생하는 촉감 중 어느 하나인 방법.
  13. 제 10 항에 있어서,
    상기 제 1 훈련을 수행하는 동안 뇌신호를 측정하는 단계는:
    상기 사용자가 신체 부위를 움직이는 동안 뇌신호를 측정하는 단계; 및
    상기 사용자가 신체 부위를 움직이는 상상을 하는 동안 뇌신호를 측정하는 단계를 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 사용자가 신체 부위를 움직이는 동안 뇌신호를 측정하는 단계는:
    상기 사용자의 뇌신호가 휴지 상태에 대응하도록 조절하는 단계;
    상기 사용자가 상기 신체 부위를 움직이는 단계; 및
    상기 신체 부위의 움직임과 관련된 뉴로피드백을 상기 사용자에게 제공하는 단계를 포함하고,
    상기 사용자가 신체 부위를 움직이는 상상을 하는 동안 뇌신호를 측정하는 단계는:
    상기 사용자의 뇌신호가 휴지 상태에 대응하도록 조절하는 단계;
    상기 사용자가 상기 신체 부위를 움직이는 상상을 하는 단계; 및
    상기 상상과 관련된 뉴로피드백을 상기 사용자에게 제공하는 단계를 포함하는 방법.
  15. 제 10 항에 있어서,
    상기 제 2 훈련을 수행하는 동안 뇌신호를 측정하는 단계는:
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 동안 뇌신호를 측정하는 단계; 및
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 동안 뇌신호를 측정하는 단계를 포함하는 방법.
  16. 제 15 항에 있어서,
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 동안 뇌신호를 측정하는 단계는:
    상기 사용자의 뇌신호가 휴지 상태에 대응하도록 조절하는 단계;
    상기 사용자가 상기 신체 부위를 이용하여 상기 유형의 물체의 촉감을 느끼는 단계; 및
    상기 촉감과 관련된 뉴로피드백을 상기 사용자에게 제공하는 단계를 포함하고,
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 동안 뇌신호를 측정하는 단계는:
    상기 사용자의 뇌신호가 휴지 상태에 대응하도록 조절하는 단계;
    상기 사용자가 상기 신체 부위를 이용하여 상기 유형의 물체의 촉감을 느끼는 상상을 하는 단계; 및
    상기 상상과 관련된 뉴로피드백을 상기 사용자에게 제공하는 단계를 포함하는 방법.
  17. 제 10 항에 있어서,
    상기 사용자의 상기 제 1 훈련에 대응하는 제 1 뇌신호를 상기 복수의 클래스들로 분류하는 제 1 정확도가 미리 정해진 임계값 미만인 경우, 상기 사용자의 상기 제 2 훈련에 대응하는 제 2 뇌신호를 상기 복수의 클래스들로 분류하는 제 2 정확도는 상기 제 1 정확도보다 높은 방법.
  18. 제 10 항에 있어서,
    상기 전처리를 수행하는 단계는:
    상기 뇌신호에 대해 디지털 필터링을 수행하는 단계;
    상기 뇌신호에 대해 재기준 방법을 적용하는 단계;
    상기 뇌신호에 대해 다운샘플링을 수행하는 단계; 및
    상기 뇌신호의 아티팩트들을 제거하는 단계를 포함하는 방법.
  19. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 프로세서에 의해 상기 프로그램 코드가 실행될 때, 상기 프로세서는:
    사용자가 운동상상을 수행하는 동안 뇌신호를 측정하고,
    상기 뇌신호에 대해 전처리를 수행하고,
    상기 전처리된 뇌신호에서 상기 운동상상과 관련된 정보를 포함하는 시구간을 선택하고,
    상기 선택된 시구간의 뇌신호에 대응하는 특징 데이터를 계산하고, 그리고
    상기 특징 데이터에 기반하여 상기 뇌신호를 복수의 클래스들 중 하나로 분류하되,
    상기 운동상상 훈련을 수행하는 동안 뇌신호를 측정하는 것은:
    상기 사용자가 신체 부위를 움직이는 상상을 하는 제 1 훈련을 수행하는 동안 뇌신호를 측정하고, 그리고
    상기 사용자가 신체 부위를 이용하여 유형의 물체의 촉감을 느끼는 상상을 하는 제 2 훈련을 수행하는 동안 뇌신호를 측정하는 것을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제 19 항에 있어서,
    상기 사용자의 상기 제 1 훈련에 대응하는 제 1 뇌신호를 상기 복수의 클래스들로 분류하는 제 1 정확도가 미리 정해진 임계값 미만인 경우, 상기 사용자의 상기 제 2 훈련에 대응하는 제 2 뇌신호를 상기 복수의 클래스들로 분류하는 제 2 정확도는 상기 제 1 정확도보다 높은 비일시적 컴퓨터 판독 가능 매체.
KR1020220144020A 2022-11-01 2022-11-01 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법 Pending KR20240062017A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220144020A KR20240062017A (ko) 2022-11-01 2022-11-01 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법
US18/326,242 US20240138748A1 (en) 2022-11-01 2023-05-31 Apparatus for motor imagery training combined with somatosensory stimuli and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220144020A KR20240062017A (ko) 2022-11-01 2022-11-01 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20240062017A true KR20240062017A (ko) 2024-05-08

Family

ID=90835573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220144020A Pending KR20240062017A (ko) 2022-11-01 2022-11-01 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US20240138748A1 (ko)
KR (1) KR20240062017A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970631B (zh) * 2022-06-02 2025-07-08 浙江大学 一种基于触觉感受校准的想象运动解码方法
US20250348146A1 (en) * 2024-05-12 2025-11-13 Board Of Regents, The University Of Texas System Integrated smart system controllable by asynchronous eeg based braincomputer interface using riemannian geometry using embedded robotoperating system
US12468389B1 (en) * 2024-12-31 2025-11-11 Hooroo Network Pte. Ltd. Method for operating application program based on somatosensory
CN121101607A (zh) * 2025-10-17 2025-12-12 燕山大学 一种融合上肢肌肉振动刺激的运动想象脑机接口康复方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6234979B1 (en) * 1998-03-31 2001-05-22 Scientific Learning Corporation Computerized method and device for remediating exaggerated sensory response in an individual with an impaired sensory modality
WO2008008589A2 (en) * 2006-06-13 2008-01-17 Washington University Method for analyzing function of the brain and other complex systems
WO2008097200A1 (en) * 2007-02-09 2008-08-14 Agency For Science, Technology And Research A system and method for classifying brain signals in a bci system
WO2013177688A1 (en) * 2012-06-01 2013-12-05 Next Integrative Mind Life Sciences Holding Inc. Method, system and interface to facilitate change of an emotional state of a user and concurrent users
WO2017195903A1 (ja) * 2016-05-13 2017-11-16 学校法人慶應義塾 生体情報処理装置、生体情報処理方法及びプログラム
US10795441B2 (en) * 2017-10-23 2020-10-06 Korea University Research And Business Foundation Method of recognizing user intention by estimating brain signals, and brain-computer interface apparatus based on head mounted display implementing the method
US11847926B2 (en) * 2019-01-30 2023-12-19 Tarbiat Modares University Attention-based neurofeedback training
JP2024507172A (ja) * 2021-02-12 2024-02-16 センスフル テクノロジーズ アーベー 感覚運動障害による機能性リハビリテーションおよび／またはペインリハビリテーションのためのシステム
US20250355495A1 (en) * 2022-09-02 2025-11-20 The Regents Of The University Of California Systems, devices and methods for neurofeedback to promote brain coherence
US20240335311A1 (en) * 2023-04-07 2024-10-10 Kennesaw State University Research And Service Foundation, Inc. Mapping resting-state eeg onto motor imagery eeg signals via data clustering for reduced classifier training requirements

Also Published As

Publication number Publication date
US20240138748A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
KR20240062017A (ko) 촉각 자극이 결합된 운동상상 훈련을 위한 장치 및 그 동작 방법
Becker et al. Emotion recognition based on high-resolution EEG recordings and reconstructed brain sources
Han et al. Enhanced performance of a brain switch by simultaneous use of EEG and NIRS data for asynchronous brain-computer interface
Lee et al. Real-time “eye-writing” recognition using electrooculogram
Bi et al. EEG-based brain-controlled mobile robots: A survey
KR102143900B1 (ko) 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법
Elstob et al. A low cost EEG based BCI prosthetic using motor imagery
CN104182042B (zh) 一种多模态信号的脑机接口方法
Wei et al. Spatial component-wise convolutional network (SCCNet) for motor-imagery EEG classification
Carrino et al. A self-paced BCI system to control an electric wheelchair: Evaluation of a commercial, low-cost EEG device
Halme et al. Comparing features for classification of MEG responses to motor imagery
Elsayed et al. A deep learning approach for brain computer interaction-motor execution EEG signal classification
Narayan Motor-imagery eeg signals classificationusing svm, mlp and lda classifiers
KR20150028661A (ko) Bci를 위한 사용자 의도인지 분석 방법
AlQattan et al. Towards sign language recognition using EEG-based motor imagery brain computer interface
KR101740894B1 (ko) 공간필터를 이용한 뇌-기계 인터페이스 시스템 및 방법
Belhadj et al. CSP features extraction and FLDA classification of EEG-based motor imagery for Brain-Computer Interaction
Amin et al. Deep learning for EEG motor imagery-based cognitive healthcare
Moucek et al. Augmentation of Motor Imagery Data for Brain-Controlled Robot-Assisted Rehabilitation.
CN106725463A (zh) 应用皮层脑电信号对大脑皮层手部功能区定位的方法和系统
Abdurashidova et al. Visual-sensory information processing using multichannel EEG signals
Sutharsan et al. Electroencephalogram signal processing with independent component analysis and cognitive stress classification using convolutional neural networks
Soler et al. EEG Source Imaging Enhances Motor Imagery Classification.
Gupta et al. Improved classification of motor imagery datasets for BCI by using approximate entropy and WOSF features
Cai et al. Associating Endpoint Accuracy and Similarity of Muscle Synergies.

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D21 Rejection of application intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D21-EXM-PE0902 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000