KR20170052628A - 운동 과제 분석 시스템 및 방법 - Google Patents

운동 과제 분석 시스템 및 방법 Download PDF

Info

Publication number
KR20170052628A
KR20170052628A KR1020177009212A KR20177009212A KR20170052628A KR 20170052628 A KR20170052628 A KR 20170052628A KR 1020177009212 A KR1020177009212 A KR 1020177009212A KR 20177009212 A KR20177009212 A KR 20177009212A KR 20170052628 A KR20170052628 A KR 20170052628A
Authority
KR
South Korea
Prior art keywords
video
motion
task
disease
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020177009212A
Other languages
English (en)
Inventor
피터 콘트시더
다르코 지킥
안토니오 크리민시
조나스 도른
프랑크 쿠르트 달케
Original Assignee
노파르티스 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노파르티스 아게 filed Critical 노파르티스 아게
Publication of KR20170052628A publication Critical patent/KR20170052628A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G06F19/3431—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F17/30784—
    • G06F17/30887—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G06F19/345—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G06N99/005—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

운동 과제 분석을 위한 비디오 처리가 설명된다. 다양한 실시예에서, 검지를 코에 위치시키는 것과 같은 운동 과제를 수행하는 사람의 비디오가 운동 과제를 복수의 부류들 중 하나로 분류하기 위해 훈련된 기계 학습 시스템으로 입력된다. 하나의 예시에서, 광 흐름과 같은 움직임 디스크립터가 비디오의 프레임의 쌍으로부터 연산되고, 움직임 디스크립터는 기계 학습 시스템으로 입력된다. 운동 과제 분석은 다발성 경화증 및/또는 파킨슨병과 같은 신경학적 질환을 검정 또는 평가하기 위해 사용될 수 있다.

Description

운동 과제 분석 시스템 및 방법 {MOTOR TASK ANALYSIS SYSTEM AND METHOD}
공동 연구 협약문
본원에서 청구되는 본 발명은 마이크로소프트 리서치 리미티드(Microsoft Research Limited)와 노바티스 파마 아게(Novartis Pharma AG)의 공동 연구 협약 하의 공동 연구로부터 이루어졌다.
관련 출원에 대한 상호 참조
본 출원은 2014년 9월 9일자로 출원된, 발명의 명칭이 '운동 과제 분석을 위한 비디오 처리(Video Processing For Motor Task Analysis)'인 미국 가특허 출원 제62/048,132호에 기초하여 우선권을 주장하고, 이의 전체 개시내용은 본원에서 전체적으로 참조로 통합되었다.
팔을 들어올리고, 일어서고, 다리를 올리는 등과 같은 운동 과제의 수행은 전형적으로 개인 간에 상당히 다양하다. 예를 들어, 신체 구조, 체중, 및 개인의 전문 지식 및 기술, 경험, 강도, 및 신체 능력과 같은 다른 인자에 의존함. 운동 과제 수행의 기존의 분석 방법은 전형적으로 수동 관찰을 포함하고, 이와 같이 분석을 하는 데 있어서 관찰자의 기술에 의존하여 변동을 받으며 변동에 개방되어 있다.
아래에서 설명되는 실시예는 공지된 운동 과제 분석 시스템의 설명된 단점을 해결하는 구현예를 포함하지만 그로 제한되지 않는다.
본 발명의 실시예는 본원에서 때때로 사람 및/또는 대상으로도 지칭되는 환자로부터, 동작 및/또는 운동 조화 정보 및/또는 대응하는 활동 수준을 포착하여 분석하기 위한 시스템, 장치, 및 방법을 포함한다. 본 발명의 실시예는 대응하는 환자 또는 대상 활동 수준을 포함하는 동작 및 운동 동작 및/또는 조화 정보를 포착하여 분석하기 위한 시스템, 장치, 및 방법을 추가로 포함한다. 본 발명의 실시예는 데이터 포착, 저장, 교환, 또는 분석 중 적어도 하나를 용이하게 하도록 작용하는 생체 표지, 센서, 및/또는 환자 장치 또는 독립형 장치에 의해 또는 이들과 함께 맥락화되는 대응하는 환자 또는 대상 활동 수준을 포함하는 동작 및 운동 동작 및/또는 조화 정보를 포착하여 분석하기 위한 시스템, 장치, 및 방법을 추가로 포함한다.
시스템의 실시예는 환자 또는 대상 움직임, 신경 조화, 보행 및 운동 조화, 동작, 사지의 굴곡, 사지의 위치, 자극에 대한 반응, 신체 자세, 및 신체적 외모, 예컨대, 신경학적 평가의 주요 구성요소들을 포함하지만 이들로 제한되지 않는 하나 이상의 신체적 양태를 포착하여 점수화하는 자동화된 지능형 컴퓨터 시스템을 포함한다.
본 시스템의 일 실시예는 대상 또는 환자에 대한 점수화 또는 평가 도구로서 사용된다.
본 발명의 실시예는 운동 관련 신경학적 기능의 민감하고 관찰자-독립적인 검정을 제공한다.
본 발명의 실시예는 운동 기능장애 및/또는 정상 기능의 자동화된 무접촉식의 신뢰할 수 있는 검정을 제공한다.
몇몇 실시예에서, 비디오 처리가 운동 과제 분석을 위해 사용된다. 다양한 예에서, 검지를 코에 위치시키는 것과 같은 운동 과제를 수행하는 사람 또는 동물의 적어도 일부의 비디오가 운동 과제를 복수의 부류들 중 하나로 분류하기 위해 훈련된 기계 학습 시스템으로 입력된다. 하나의 예시에서, 광 흐름과 같은 움직임 디스크립터가 비디오의 프레임들의 쌍으로부터 연산되고, 움직임 디스크립터는 기계 학습 시스템으로 입력된다. 예를 들어, 훈련 중에, 기계 학습 시스템은 운동 과제의 부류들을 판별하는 시간 의존적 및/또는 위치 의존적 가속도 또는 속도 특징을 식별한다. 하나의 예시에서, 훈련된 기계 학습 시스템은 움직임 디스크립터로부터, 그가 우수한 판별자인 것으로 학습한 위치 의존적 가속도 또는 속도 특징을 연산한다. 다양한 예시에서, 특징은 비디오의 단일 하위 볼륨을 사용하여 또는 비디오의 2개의 하위 볼륨들을 비교함으로써 연산된다.
본 발명의 실시예는 움직임을 촬영함으로써 질병 또는 질환을 검정, 평가, 및/또는 진단하고, 이에 의해 환자의 움직임 및/또는 신체 활동에 대한 질병 또는 질환의 효과를 포착하는 장치, 시스템, 및 방법을 제공한다. 신경학적 효과를 보이는 것으로 공지되거나, 환자의 움직임 또는 동작의 몇몇 양태에 영향을 주거나 영향을 끼치는 다수의 질병 또는 질환이 있다. 그러한 질병 또는 질환은, 예를 들어, 파킨슨병, 헌팅턴병, 일반적으로 "루게릭병"으로 불리는 근위축성 측색 경화증(ALS: Amyotrophic Lateral Sclerosis), 및 뇌성 마비를 포함하며, 이들은 잘 알려진 예시이다. 류마티스성 관절염, 근육 위축, 또는 만성 폐쇄성 폐질환(COPD: Chronic Obstructive Pulmonary Disease)과 같은 움직임 및/활동을 손상시킬 수 있는 다른 질병 및 질환이 공지되어 있다. 또 다른 질병 및 질환, 예를 들어, 자폐증, 조현병, 및 알츠하이머병이 움직임 및 활동에 대해 일부 영향을 보일 수 있다. 추가의 예시로써, 질병은 환자가 활동하는 것을 방지함으로써 환자의 활동 수준 또는 활동 범위에 영향을 줄 수 있다. 예를 들어, 만성 통증은 환자가 특정 신체 활동 또는 일반적인 신체 활동을 회피하게 할 수 있고, 그러한 활동은 환자에 의해 경험되는 통증을 증가시킨다. 환자 활동에 영향을 줄 수 있는 다른 질병은 진전, 파킨슨병, 다발성 경화증, 및 경직과 같은 동작 장애를 포함하고, 이는 불규칙한 동작 또는 활동, 다른 신경학적 장애, 또는 전체적으로 감소된 활동 수준의 결과를 낳을 수 있다. 동작 장애가 있는 환자에 의해 경험되는 걷거나 달리 움직이는 데 있어서의 어려움은 그러한 환자가 동작을 가능한 정도로 회피하게 할 수 있다. 아울러, 우울증, 또는 치매, 우울증, 조증, 양극성 장애 및 강박 장애와 같은 다른 신경정신의학적 장애, 또는 울혈성 심부전, 심장 부정맥, 위장관 장애, 및 요실금과 같은 질환이 일반적으로 환자가 덜 활동적이게 할 수 있는 장애의 다른 예시이다. 환자가 비활동적이면, 환자는 기대는, 즉, 눕거나 앉는 등의 경향이 더 있을 수 있고, 자세를 덜 빈번하게 변화시킬 수 있다.
본 발명의 실시예는 환자 신경학적 거동, 보행, 및 운동 조화 및 활동 수준 중 하나 이상의 검정에 의해 운동 질병 및/또는 신경학적 질환에 대해 적합한 적절한 치료 약물 또는 다른 치료 형태의 선택 및/또는 투여를 허용한다. 또한, 이러한 지표는 장기간 기능 회복의 중요한 척도이다. 본 발명의 실시예는 새로운 의학적 치료, 예를 들어, 새로운 약물의 안전성 및 유효성을 결정하기 위한 임상 시험의 과정에서 환자 및/또는 대상의 테스트 그룹에 대한 운동 기능의 자동화된, 정확하고 반복 가능한 평가를 허용한다.
본 발명의 실시예는 운동 활동 및/또는 기능장애를 정확하게 결정할 수 있으며 운동 기능의 변화를 신뢰할 수 있게 검출할 수 있는 시스템, 장치, 및 방법을 제공한다. 본 발명의 실시예는 환자의 가정 또는 사무실에서 환자에 의해, 특수 또는 전용 센서 또는 컴퓨터 장비에 대한 필요가 없이 사용될 수 있으며, 저령 환자 및 고령 환자 모두에 의해 쉽게 사용 가능한 그러한 시스템, 장치, 및 방법을 제공한다. 본 발명의 일 실시예는 기계 학습 시스템을 제공하는 단계; 운동 과제의 복수의 부류들을 판별하는 비디오의 위치 의존적 국소 움직임 특징을 찾도록 기계 학습 시스템을 훈련시키는 단계; 운동 과제를 수행하는 사람 또는 동물의 적어도 일부를 도시하는 비디오를 수신하는 단계; 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계; 훈련된 기계 학습 시스템으로부터, 운동 과제가 복수의 부류들 중 어느 것에 속하는 것으로 예측되는 지에 관한 데이터를 수신하는 단계; 및 운동 과제를 수행하는 사람 또는 동물의 신경학적 질병 또는 질환을 평가하는 단계를 포함하는 컴퓨터 구현 방법을 포함한다.
본 발명의 실시예는 복수의 프레임 - 적어도 2개의 프레임이 운동 과제를 수행하는 사람의 디지털 표현을 포함함 - 을 포함하는 비디오 데이터를 수신하는 단계; 비디오 데이터의 적어도 2개의 프레임 각각에 대한 복수의 참조 지점을 비디오 데이터의 적어도 2개의 프레임 내의 사람의 디지털 표현에 대해 맵핑하는 단계; 비디오 데이터의 적어도 2개의 프레임에 대한 복수의 움직임 디스크립터 - 각각의 움직임 디스크립터는 참조 지점들 중 하나에 대응함 - 를 계산하는 단계; 및 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 상태 및 질병 심각도 중 하나 이상을 검정하는 단계를 포함하는 방법을 포함한다. 몇몇 실시예에서, 이러한 방법은 아울러 운동실조; 체간 운동실조; 보행 운동실조; 사지 운동실조; 경직; 진전; 무력증; 겨냥이상; 상지 운동 기능장애; 교치성; 운동성; 다리 기능, 및 이들의 조합으로부터 선택된 하나 이상의 증상을 표시하는 질병 심각도 하위 점수를 특징으로 한다.
시스템의 일 실시예는 신경학적 질환, 예를 들어, 다발성 경화증 또는 파킨슨병을 갖는 것으로 진단되거나 의심되는 환자를 평가 또는 검정하기 위해 사용된다.
본 발명의 실시예는 스마트폰, 또는 다른 개인용/휴대용/이동 연산 장치 상에서 전개되는 시스템과 같은, 환자에 의해 원격으로 사용될 수 있는 그러한 시스템, 장치, 및 방법을 제공한다.
수반되는 특징들 중 많은 것이 첨부된 도면과 관련하여 고려되는 다음의 상세한 설명을 참조함으로써 더 잘 이해되는 바와 같이 더 쉽게 이해될 것이다. 본원에서 사용되는 바와 같이, "운동 과제"는 운동 또는 근육 구성요소를 포함한, 사람 또는 동물의 해부학적 구조물의 몇몇 요소의 선택되거나 정의된 동작임을 알아야 한다.
본 설명은 첨부된 도면에 비추어 읽히는 다음의 상세한 설명으로부터 더 잘 이해될 것이다.
도 1은 운동 과제를 분석하기 위한 비디오의 처리를 도시하는, 운동 과제를 수행하는 사람의 비디오 포착의 개략도이다.
도 2는 운동 과제의 예시들의 개략도이다.
도 3은 도 1의 시나리오에서 사용될 수 있는 포착 장치의 개략도이다.
도 4는 도 1의 비디오의 프레임 및 프레임을 전처리한 결과와, 전처리 장치의 개략도이다.
도 5는 운동 과제의 비디오를 분석하도록 기계 학습 시스템을 훈련시키기 위한 시스템의 개략도이다.
도 6은 운동 과제의 비디오를 분류하도록 무작위 의사결정 숲을 훈련시키는 방법의 흐름도이다.
도 7은 무작위 의사결정 숲의 개략도이다.
도 8은 운동 과제 비디오를 분류하도록 훈련된 무작위 의사결정 숲을 사용하는 방법의 흐름도이다.
도 9는 비디오 처리 시스템의 실시예가 구현될 수 있는 예시적인 연산 기반 장치를 도시한다.
도 10은 하나의 실시예에 따른 방법의 흐름도를 도시한다.
도 11a - 도 11b는 하나의 실시예에 따른, 판별식 공간-시간 영역 학습을 도시하는 가속도의 그래프를 도시한다.
도 12는 운동 과제의 추가의 예시의 개략도이다.
유사한 도면 부호는 첨부된 도면에서 유사한 부분을 지시하도록 사용된다.
첨부된 도면과 관련하여 아래에서 제공되는 상세한 설명은 본 예시의 설명으로서 의도되고, 본 예시가 구성되거나 이용될 수 있는 형태만을 표현하도록 의도되지 않는다. 설명은 예시의 기능과, 예시를 구성하고 작동시키기 위한 단계들의 시퀀스를 설명한다. 그러나, 동일하거나 동등한 기능 및 시퀀스는 상이한 예시들에 의해 달성될 수 있다. "환자", "대상", 및 "사람"이라는 용어는 문맥으로부터 달리 명확하지 않으면, 상호 교환 가능하게 사용됨을 알아야 한다.
도 1은 (팔 위치(114)에 의해 표시된 바와 같이) 팔이 수평으로 뻗어 있는 위치로부터 시작한 후에 (팔 위치(112)에 의해 표시된 바와 같이) 검지를 코 위에 위치시키는 것과 같은 운동 과제를 수행하는 사람(101)의 개략도이다. 이는 운동 과제의 하나의 예시일 뿐이며, 더 많은 것이 도 2 및 도 12를 참조하여 아래에서 주어진다.
운동 과제를 분석하는 것은 이전에는 (예컨대, 시각적 관찰에 의해) 수동으로 달성되었고, 이는 관찰자의 성향, 관찰자 경험 수준, 및 관찰자 환경과 같은 변동성을 받는다. 아래에서 설명되는 다양한 예시에서, 운동 과제의 비디오는 운동 과제를 분석하기 위해 처리된다. 예를 들어, 운동 과제를 양호, 중간, 취약과 같은 2개 이상의 부류로 분류하기 위함(예를 들어, 운동 과제의 수행 수준을 표시하기 위함). 본원에서 설명되는 바와 같은 자동화된 비디오 처리 시스템을 사용함으로써, 신속하고 실질적인 방식으로 편향되지 않고 정확한 등급화/분류를 획득하는 것이 가능하다.
몇몇 예시에서, 제안된 시스템은 다음의 장점을 보인다: 검정은 의료인, 기술자, 간호사, 또는 환자 자신에 의해 수행될 수 있다. 검정은 설계에 있어서 일관되고, 이는 모든 검정이 동일한 알고리즘에 의해 수행되기 때문이다. 시스템은 사람의 지각력에 의해 제한되지 않으므로, 질환을 더 민감하게 검정할 수 있다. 마지막으로, 시스템은 환자에 의해 가정에서 또는 심지어 원격으로 사용될 수 있어서, 의료 기관을 방문하거나 방문을 계획할 필요가 없이 빈번한 검정을 허용한다.
비디오 포착 장치(100)는 도 1의 예시에서 벽의 그림(106), 소파(110), 및 벽에 걸린 옷(108)이 있는 방인 환경 내에서 운동 과제를 수행하는 사람(101)의 비디오를 포착한다. 그러나, 이는 예시일 뿐이고, 다른 환경이 사용될 수 있다. 비디오 포착 장치(100)는 사용자를 향하는 벽 상에 장착될 수 있거나, 연산 장치, 테이블, 또는 다른 구조물 상에서와 같이 다른 방식으로 지지될 수 있다. 비디오 포착 장치(100)는 도 2를 참조하여 더 상세하게 설명된다. 이는 초당 30개 이상의 프레임과 같은 프레임 속도로 포착되는 복수의 프레임을 포함하는 영상 스트림(116)을 포착한다. 다른 프레임 속도가 운동 과제 및 비디오 포착 장비의 유형에 의존하여 사용될 수 있다. 사람의 비디오가 적절한 동의에 의해 포착되고, 비디오 재료는 바람직하게는 안전한 비공개 방식으로 저장된다.
포착된 프레임은 비디오 포착 장치(100)와 일체일 수 있거나, 무선 통신, 유선 연결, 또는 다른 방식으로 비디오 포착 장치에 연결될 수 있는 연산 장치(104)로 입력될 수 있다. 연산 장치(104)는 클라우드 서비스로서 제공되는 클라우드 내에 있을 수 있다. 도 1의 예시는 단일 연산 장치(104)를 도시한다. 그러나, 기능을 함께 제공하는 복수의 분배식 연산 장치들을 사용하는 것도 가능하다.
도 1의 연산 장치(104)는 전처리된 영상(120)을 생성하기 위해 비디오를 전처리하는 전처리 구성요소(118)를 포함한다. 따라서, 몇몇 실시예에서, 전처리는, 예컨대, 공간 내에서 유사한 위치들이 유사한 의미를 갖도록 비디오를 표준화하기 위해 그리고/또는 실제 운동 기능 또는 기능장애가 검정될 때 하는 일이 거의 없는 정보를 제거하기 위해 사용된다. 연산 장치(104)는 무작위 의사결정 숲, 지지도 벡터 머신들의 집합체, 또는 운동 과제 분류 데이터(124)를 출력하는 다른 훈련된 기계 학습 시스템과 같은 훈련된 기계 학습 시스템(122)을 또한 포함한다.
기계 학습 시스템은 운동 과제 부류들의 우수한 판별자인 위치 의존적 국소 움직임 특징을 학습하도록 훈련된다. 예를 들어, 무작위로 선택된 국소 움직임 특징이 훈련 중에 검정될 수 있고, 우수한 판별을 수행하는 것이 선택된다. 위치 의존적 특징은 비디오의 하나 이상의 하위 볼륨의 특질이다. 비디오를 형성하는 프레임들의 시퀀스는 더 큰 볼륨의 연속 영역 내에서 볼륨 및 하위 볼륨을 형성하는 것으로 간주될 수 있다. 하위 볼륨의 특질은 하위 볼륨이 비디오의 시간 및 공간 내에서 특정 위치에 있기 때문에, 위치 의존적이다. 국소 움직임 특질은 하위 볼륨의 프레임 내의 영상 요소들이 어떻게 영상 프레임들 사이에서 위치를 변화시키는 지에 관련된 하나 이상의 하위 볼륨의 특징이다. 예를 들어, 국소 움직임 특징은 영상 요소의 속도 또는 가속도에 관련될 수 있다. 가속도라는 용어는 여기서 속도의 크기의 변화율, 또는 속도의 방향의 변화율, 또는 속도의 크기 및 방향의 변화율을 지칭하도록 사용된다. 위치 의존적 국소 움직임 특징은 본 문헌에서 더 상세하게 설명되는 바와 같이 운동 과제 부류에 대한 효과적인 판별자를 제공할 수 있음이 발견되었다.
도 2는 분석될 수 있는 운동 과제의 예시적인 유형의 개략도이다. 제1 운동 과제는 사람이 팔을 신체로부터 멀리 연장하는 수평 위치로 올려서 검지를 가리키는 것을 포함하는 손가락-코 과제(200)이고; 사람은 그 다음 팔이 수평 위치로부터 변하도록 허용하지 않고서 검지를 코에 위치시키도록 팔꿈치를 굽힘으로써 팔을 움직인다. 전형적으로, 테스트는 각각의 팔로 수행되고, 각각 3회 반복된다. 이러한 테스트는 대상의 눈을 뜬 채로, 눈을 감은 채로, 또는 이들 모두로 (즉, 적어도 각각 한 번씩) 수행될 수 있다.
손가락-손가락 과제(204)는 검지를 신체로부터 멀리 가리키면서, 양 팔을 신체로부터 멀리 연장하는 어깨 높이 수평 위치로 올리는 것을 포함한다. 사람은 그 다음 검지들이 신체의 전방에서 만나도록 양 팔을 움직이고, 팔이 수평으로 유지된 채로 검지들을 함께 접촉시킨다. 이러한 움직임은 3회 반복된다. 이러한 테스트는 대상의 눈을 뜬 채로, 눈을 감은 채로, 또는 이들 모두로 (즉, 적어도 각각 한 번씩) 수행될 수 있다.
정사각형 그리기 과제(202)로 지칭되는 다른 운동 과제에서, 사람은 각각의 검지로 하나씩, 눈높이에서 신체의 전방에서 허공에 2개의 가상의 동일한 크기의 정사각형을 그린다. 정사각형들은 눈높이로부터 아래로 가슴까지, 신체의 측면을 향해 외측으로, 다시 눈높이까지 위로, 그 다음 다시 신체를 향해 내측으로 이어진다. 정사각형들은 양 손으로 동시에 그려진다. 이러한 테스트는 대상의 눈을 뜬 채로, 눈을 감은 채로, 이들 모두로 (즉, 적어도 각각 한 번씩) 수행될 수 있다.
체간 운동실조 과제(206)는 사람이 앉은 위치에서 시작하여, 손바닥을 아래로 하여 양 팔을 신체의 측면으로 신체로부터 멀리 수평으로 뻗는 것을 포함한다. 동시에, 사람은 양 다리를 신체의 전방에서 신체로부터 멀리 벌리고, 그 위치를 적어도 5초 동안 유지하고, 그 다음 시작 위치로 복귀한다. 이러한 테스트는 대상의 눈을 뜬 채로, 눈을 감은 채로, 또는 이들 모두로 (즉, 적어도 각각 한 번씩) 수행될 수 있다.
운동 과제의 더 많은 예시가 도 12를 참조하여 설명된다.
컵으로 마시기 운동 과제(1200)는 앉아 있는 사람이 한 손으로 컵을 잡고, 컵을 집어 올려서, 컵으로 마시고, 그 다음 컵을 교체하고 다른 손을 사용하여 움직임을 반복하는 작용을 포함한다.
보통 걷기 운동 과제(1202)는 사람이 영상/비디오 포착 장치에 도달할 때까지 영상/비디오 포착 장치를 향해 정상적으로 걷는 것을 포함한다.
한 발로 뛰기 과제(1204)는 사람이 서 있다가, 지면에서 한 발을 올리고 (가능하게는 고정 물체 또는 다른 사람에게 손을 위치시킴으로써 균형 잡고), 영상/비디오 포착 장치에 가까운 다른 발로 힘차게 10회 뛰는 것을 포함한다.
롬버그(Romberg) 과제(1206)는 신체의 측면에 양 팔을 유지하고, 팔을 올려서 손바닥을 위로 하여 신체의 전방에서 수평 위치에서 어깨 높이까지 손을 올리는 것을 포함한다. 이러한 위치는 5초 동안 유지되고, 그 다음 눈을 감고, 위치는 신체의 측면으로 팔을 복귀시키기 전에 5초 동안 더 유지된다.
제자리 돌기 과제(1208)는 사람이 팔을 신체의 측면에 두고 서 있다가, 옆 걸음을 치지 않고 가능한 한 양호하게 360° 회전하는 것을 포함한다.
책장 넘기기 과제(1210)에서, 사람은 읽는 방향으로 (우측에서 좌측으로) 왼손을 사용하여 3장의 책장을 넘기고, 그 다음 오른손을 사용하여 반대 방향으로 3장을 넘긴다.
직선 걷기 과제(1212)는 사람이 영상/비디오 포착 장치에 도달할 때까지, 뒤꿈치를 발가락에 대고 한 발씩, 영상/비디오 포착 장치를 향해 직선을 따라 걷는 것을 포함한다.
도 2 및 도 12에 제공된 운동 과제의 예시는 가능한 운동 과제들의 예시의 한정 나열적인 목록이 아니고, 기술을 예시하기 위해 제공된다. 또한, 반복 횟수 및 과제 소요 시간은 단지 예시적이며, 본 기술 분야의 통상의 기술자에게 명백한 바와 같이 변형될 수 있다.
몇몇 실시예에서, 구체적인 운동 과제는 신뢰할 수 있는 촬영 결과를 제공하며 평가를 위한 신경학적 질환과 잘 상관되도록 선택된다. 이러한 목적에 대해 적합한 몇몇 운동 과제가 도 2 및 도 12에 도시되어 있으며, 이는 단독으로 또는 자동화된 검정을 하는 것을 보조하기 위해 다른 움직임 과제와 함께 사용될 수 있다.
도 1의 카메라 기반 시스템 내에서 사용될 수 있는 예시적인 비디오 포착 장치(100)의 개략도를 도시하는 도 3이 이제 참조된다. 도 3의 예시에서, 비디오 포착 장치(100)는 (깊이 카메라(302)를 사용하여) 깊이 비디오를 그리고 (RGB 카메라(306)를 사용하여) 컬러 비디오를 포착하도록 구성된다. 본 발명의 실시예는 컬러 비디오만을 또는 깊이 비디오만을 포착하도록 구성될 수 있다. 깊이 카메라(302)가 사용되는 경우에, 이는 임의의 적합한 유형, 예를 들어, 비과 시간, 구조 광, 입체, 또는 적합한 조합일 수 있다. 깊이 카메라는 몇몇 예시에서 스펙클(speckle) 비상관화를 사용할 수 있다. 컬러 비디오 카메라가 사용되는 경우에, 사람을 식별할 수 있는 안면 특징 또는 다른 시각적 특징이 컬러 비디오로부터 편집될 수 있다. 몇몇 실시예에서, 컬러 비디오는 깊이 비디오 및 연쇄 영상들과 함께 사용될 수 있다.
비디오 포착 장치(100)는 적어도 하나의 촬영 센서(300)를 포함한다. 도 3에 도시된 예시에서, 촬영 센서(300)는 장면의 깊이 영상을 포착하도록 배열된 깊이 카메라(302)를 포함한다. 포착된 깊이 영상은 포착된 장면의 2차원(2-D) 영역을 포함할 수 있고, 여기서 2-D 영역 내의 각각의 영상 요소는 깊이 카메라(302)로부터 포착된 장면 내의 물체의 길이 또는 거리와 같은 깊이 값을 표현한다.
포착 장치는 깊이 정보가 깊이 카메라(302)에 의해 확인될 수 있는 방식으로 장면을 조명하도록 배열된 발광기(304)를 또한 포함할 수 있다. 예를 들어, 깊이 카메라(302)가 적외선(IR) 비과 시간 카메라인 실시예에서, 발광기(304)는 장면 상으로 적외(IR) 광을 발산하고, 깊이 카메라(302)는 장면 내의 하나 이상의 목표물 및 물체의 표면으로부터 후방 산란되는 광을 검출하도록 배열된다. 몇몇 예시에서, 펄스형 적외 광이 진출하는 광 펄스와 대응하는 진입하는 광 펄스 사이의 시간이 깊이 카메라에 의해 검출되고 측정되어, 비디오 포착 장치(100)로부터 장면 내의 목표물 또는 물체 상의 위치까지의 물리적 거리를 결정하도록 사용될 수 있도록, 발광기(304)로부터 발산될 수 있다. 추가로, 몇몇 예시에서, 발광기(304)로부터의 진출 광파의 위상은 깊이 카메라(302)에서 진입하는 광파의 위상에 비교되어 위상차를 결정할 수 있다. 위상차는 그 다음 포착 장치(100)로부터 목표물 또는 물체 상의 위치까지의 물리적 거리를 결정하기 위해 사용될 수 있다. 추가의 예시에서, 비과 시간 분석은, 예를 들어, 셔터식 광 펄스 촬영을 포함한 다양한 기술에 의해 시간에 따른 반사 광선의 강도를 분석함으로써 포착 장치(100)로부터 목표물 또는 물체 상의 위치까지의 물리적 거리를 간접적으로 결정하기 위해 사용될 수 있다.
다른 실시예에서, 포착 장치(100)는 깊이 정보를 포착하기 위해 구조 광을 사용할 수 있다. 그러한 기술에서, 패턴화된 광(예컨대, 격자 패턴 또는 줄무늬 패턴과 같은 공지된 패턴으로서 디스플레이되는 광)이 발광기(304)를 사용하여 장면 상으로 투사될 수 있다. 장면 내의 하나 이상의 목표물 또는 물체의 표면에 부딪히면, 패턴은 변형된다. 패턴의 그러한 변형은 깊이 카메라(302)에 의해 포착되고, 그 다음 포착 장치(100)로부터 장면 내의 목표물 또는 물체 상의 위치까지의 물리적 거리를 결정하기 위해 분석될 수 있다.
몇몇 실시예에서, 깊이 카메라(302)는 깊이 정보를 발생시키기 위해 분해될 수 있는 시각 입체 데이터가 얻어지도록, 상이한 각도들로부터 장면을 관찰하는 2개 이상의 물리적으로 분리된 카메라들의 형태일 수 있다. 이러한 경우에, 발광기(304)는 장면을 조명하기 위해 사용될 수 있거나, 생략될 수 있다.
몇몇 실시예에서, 깊이 카메라(302)에 추가하여 또는 그 대신에, 포착 장치(100)는 RGB 카메라(306)를 포함할 수 있다. RGB 카메라(306)는 가시광 주파수에서 장면의 영상들의 시퀀스를 포착하도록 배열되고, 따라서 깊이 영상을 보강 및/또는 교체하기 위해 사용될 수 있는 영상을 제공할 수 있다. 몇몇 예시에서, 깊이는 깊이 카메라(306)가 필요 없이 RGB 카메라 영상으로부터 포착될 수 있다.
예를 들어, RGB 영상은 깊이 카메라를 사용하지 않고서 포착될 수 있고, 깊이는 깊이 영상과 유사한 방식으로 사용될 수 있는 데이터를 제공하기 위해, 예를 들어, 영상 재구성 기술에 의해, RGB 영상으로부터 연산될 수 있다.
도 3에 도시된 포착 장치(306)는 촬영 센서(300)(즉, 도 3의 예시에서 깊이 카메라(302) 및 RGB 카메라(306)) 및 발광기(304)와 통신하는 적어도 하나의 프로세서(308)를 추가로 포함한다. 프로세서(308)는 범용 마이크로 프로세서 또는 특수 신호/영상 프로세서일 수 있다. 프로세서(308)는 깊이 비디오 및/또는 RGB 비디오를 포착하기 위해 촬영 센서(300) 및 발광기(304)를 제어하기 위한 지시를 실행하도록 배열된다. 본 발명의 몇몇 실시예에서, 프로세서(308)는 선택적으로 이러한 비디오에 대해 처리를 수행하도록 배열될 수 있다.
도 3에 도시된 포착 장치(306)는 프로세서(308)에 의해 실행되는 지시, 깊이 카메라(302) 또는 RGB 카메라(306)에 의해 포착된 비디오 또는 비디오의 프레임, 또는 임의의 다른 적합한 정보, 영상 등을 저장하도록 배열된 메모리(310)를 추가로 포함할 수 있다. 몇몇 실시예에서, 메모리(310)는 임의 접근 메모리(RAM), 판독 전용 메모리(ROM), 캐시, 플래시 메모리, 하드 디스크, 또는 임의의 다른 적합한 저장 구성요소를 포함할 수 있다. 메모리(310)는 프로세서(308)와 통신하는 분리된 구성요소이거나, 프로세서(308) 내로 통합될 수 있다.
포착 장치(100)는 프로세서(308)와 통신하는 출력 인터페이스(312)를 또한 포함하고, 통신 링크를 거쳐 연산 장치(104)에 데이터를 제공하도록 배열된다. 통신 링크는, 예를 들어, (USB, 파이어와이어, 에더넷 등과 같은) 유선 연결, 및/또는 (와이파이, 블루투스 등과 같은) 무선 연결일 수 있다. 다른 예시에서, 출력 인터페이스(312)는 (인터넷과 같은) 하나 이상의 통신 네트워크와 접속하며, 이러한 네트워크를 거쳐 연산 장치(104)에 데이터를 제공할 수 있다.
도 4는 도 1의 비디오의 프레임(400) 및 프레임을 전처리한 결과(410)와, 전처리 장치(118)의 개략도이다. 비디오(400)의 프레임은 사람을 이러한 예시에서 중심에서 약간 벗어나서 포착 장치로부터의 임의의 깊이에서 도시한다. 전처리 장치(118)는 선택적으로 복원(402)을 수행하고, 전경 추출(404)을 수행하고, 센터링(406)하고, 깊이 정보가 이용 가능한 경우에, 전경을 정준 깊이(canonical depth)에 대해 맵핑한다. 이러한 방식으로, 전처리된 비디오의 프레임들 사이의 비교가 전처리가 발생하지 않은 때보다 더 간단하게 이루어질 수 있다. 복원(402)은 전경이, 예를 들어, 노이즈로 인해 결측값 또는 오류값을 갖는 영상 요소를 포함하는 경우에 사용될 수 있다. 이는 깊이 비디오 카메라가 사용되는 경우에 특히 유용하다. 복원은 소실 영상 요소의 최근접 이웃에 기초하여 또는 다른 공지된 방식으로 계산된 값으로 소실 영상 요소를 채우는 것을 포함할 수 있다.
전경 추출(404)은, 예를 들어, 깊이의 가우스 모델 및 이어지는 측지선 세분화 스테이지를 사용하여, (깊이 데이터가 이용 가능한 경우에) 깊이 데이터를 사용하여 수행될 수 있다. 깊이의 가우스 모델은 프레임 내에서 관찰되는 깊이의 히스토그램에 맞춰진 가우스 혼합 모델을 포함할 수 있다. 하나의 예시에서, 제1 가우스 모드는 전경에 대응하는 것으로 취해진다. 그러나, 다른 모드 또는 모드들의 조합이 사용될 수 있다. 측지선 세분화 스테이지는 시드(seed) 영역으로서 최빈 깊이 범위 내에 드는 깊이 값을 갖는 영상 요소들을 사용하는 단계 및 시드 영역으로부터의 각각의 다른 영상 요소의 측지 거리를 연산하는 단계를 포함할 수 있다. 측지 거리는 그 다음 임계화를 사용하여 전경 영역을 세분화하기 위해 사용될 수 있다.
컬러 비디오를 사용하는 실시예에서, 전경 추출(404)은 컬러 데이터를 사용함으로써, 영상 내의 에지를 식별함으로써, 또는 다른 방식으로 달성될 수 있다.
센터링 프로세스(406)는 프레임에 내에 도시된 사람의 머리 또는 다른 규정된 신체 부위를 검출하기 위해 템플릿-매칭을 사용하는 것을 포함할 수 있다. 검출되면, 이러한 신체 부위는 전처리된 영상(410) 내에서 센터링되어, (깊이 프레임이 포함되는 경우에) 정준 깊이에 대해 스케일링 또는 맵핑(408)될 수 있다. 다른 예시에서, 센터링 프로세스는 전경 영역의 질량 중심을 연산하는 단계 및 질량 중심을 전처리된 영상의 중심과 정렬시키는 단계를 포함한다. 컬러 비디오가 사용되는 경우에, 신체 부위는 정준 깊이에 대해 맵핑되기 보다는 규정된 크기로 스케일링된다.
기계 학습 시스템을 포함하는 본 발명의 실시예에서, 이는 운동 과제 부류의 양호한 판별자인 위치 의존적 국소 움직임 특징을 찾도록 훈련될 수 있다. 기계 학습 시스템은 운동 과제의 라벨링된 비디오(500)를 사용하여 훈련될 수 있다 (도 5 참조). 라벨은 도시된 운동 과제가 어떤 부류에 속하는 지를 표시한다. 라벨은 예를 들어 사람 판단에 의해 할당될 수 있다. 라벨링된 비디오는 상이한 길이일 수 있다. 라벨링된 비디오는 훈련 데이터(502)를 생성하기 위해 위에서 설명된 전처리 장치(118)를 사용하여 전처리된다. 움직임 디스크립터가 훈련 데이터 비디오로부터 연산(504)되고, 움직임 디스크립터는 훈련된 기계 학습 시스템(508)을 생성하기 위해 훈련기(506)에 의해 사용된다. 예를 들어, 훈련된 기계 학습 시스템은 무작위 의사결정 숲, 무작위화된 지지도 벡터 머신들의 집합체, 신경망, 또는 부스팅 시스템을 포함한다.
움직임 디스크립터(504)를 연산하는 프로세스의 실시예는 비디오들 중 하나로부터 (훈련 데이터(502)로부터) 비디오 프레임(510)의 쌍을 선택하는 단계, 및 "쌍별" 분석으로도 공지된, 비디오 프레임의 쌍들 사이에서 영상 요소들의 운동의 크기 및/또는 방향(또는 이러한 양의 변화)을 표시하는 움직임 디스크립터를 연산하는 단계를 포함할 수 있다. 한 쌍의 프레임은 2개의 연속 프레임일 수 있다. 예를 들어, 움직임 디스크립터는 훈련 비디오 내의 연속 프레임들의 각각의 쌍에 대해 연산되고 훈련기로 입력될 수 있다. 몇몇 실시예에서, 움직임 디스크립터(504)는 광 흐름 값을 포함한다. 광 흐름 값은 한 쌍의 비디오 프레임 내의 동일한 장면 요소를 도시하는 영상 요소의 수직 및 수평 변위 값이다. 움직임 디스크립터로서 광 흐름 값을 사용하는 것은 강건하고 정확한 결과를 제공하는 것으로 발견되었다. 본 발명의 실시예에서, 정확도는 적어도 80%, 또는 85%, 또는 90%, 또는 그 이상이다. 다른 예시에서, 움직임 디스크립터(504)는 비디오 프레임의 쌍들 사이에서의 신체 관절 위치의 변위를 포함한다. 다른 예시에서, 움직임 디스크립터(504)는 비디오 프레임의 쌍들 사이에서의 신체 부위 도심의 변위를 포함한다. 다른 예시에서, 움직임 디스크립터는 하나의 프레임의 전경 영역과 다른 프레임의 전경 영역 사이의 비중첩 영역을 포함한다.
도 5의 예시에서, 움직임 디스크립터는 훈련기로의 입력에 앞서 연산된다. 이는 또한 테스트 시점에서 행해질 수 있다. 비디오가 길고 영상 크기가 큰 경우에, 연산되는 움직임 디스크립터의 개수는 (예를 들어, 연속 프레임의 모든 쌍들에 대해) 잠재적으로 매우 크고, 따라서 움직임 디스크립터를 미리 연산하는 것이 유익할 수 있다. 그러나, 훈련 및/또는 테스트 시기의 일부로서 움직임 디스크립터를 연산하는 것도 가능하다. 테스트 시기는 훈련된 기계 학습 시스템이 이전에 보여지지 않은 비디오(즉, 기계 학습 시스템에 아직 제시되지 않은 비디오) 상에서 사용될 때이다.
몇몇 실시예에서, 기계 학습 시스템은 무작위 의사결정 숲을 포함한다. 무작위 의사결정 숲은 루트 노드, 복수의 분할 노드, 및 복수의 리프 노드를 각각 갖는 하나 이상의 의사결정 트리를 포함한다. 비디오가 프로세스에서 루트 노드로부터 리프 노드까지 무작위 의사결정 숲의 트리를 통해 통과되고, 이에 의해 의사결정이 각각의 분할 노드에서 이루어진다. 의사결정은 아래에서 더 상세하게 설명되는 바와 같이 위치 의존적 국소 움직임 특징에 따라 이루어진다. 분할 노드에서, 비디오는 의사결정의 결과에 따라 선택된 브랜치를 따라 트리의 다음 수준으로 진행한다. 무작위 의사결정 숲은 아래에서 더 상세하게 설명되는 바와 같이 회귀 또는 분류를 사용할 수 있다. 훈련 중에, (위치 의존적 국소 움직임 특징을 규정하는) 파라미터 값이 분할 노드에서 사용하기 위해 학습되고, 데이터(라벨링된 비디오)는 리프 노드에서 축적된다. 리프 노드에 축적된 비디오의 라벨은 히스토그램으로서, 또는 평균값, 중앙값, 또는 모드값을 사용하여 또는 히스토그램에 확률 분포를 적용하고 확률 분포를 설명하는 통계치를 저장함으로써와 같은 합산 방식으로 저장될 수 있다.
시스템 테스트에서, 이전에 보여지지 않은 비디오가 시스템으로 입력되어 하나 이상의 운동 과제 부류가 예측되게 한다. 이는 도 8을 참조하여 설명된다.
도 6을 참조하면, 의사결정 트리를 훈련시키기 위해, 위에서 설명된 훈련 세트가 먼저 수신된다(600). 무작위 의사결정 숲에서 사용되는 결정 트리의 개수가 선택된다(602). 무작위 의사결정 숲은 결정형 의사결정 트리들의 집합이다. 의사결정 트리는 분류 또는 회귀 알고리즘에서 사용될 수 있지만, 과적합, 즉 열악한 일반화를 겪을 수 있다. 그러나, 많은 무작위적으로 훈련된 의사결정 트리들의 집합체(무작위 숲)는 개선된 일반화를 산출한다. 훈련 프로세스 중에, 트리의 개수는 고정된다.
예시적인 무작위 의사결정 숲이 도 7에 도시되어 있다. 도 7의 예시적인 의사결정 숲은 3개의 의사결정 트리: 제1 트리(700); 제2 트리(702); 및 제3 트리(704)를 포함한다. 각각의 의사결정 트리는 루트 노드(예컨대, 제1 의사결정 트리(700)의 루트 노드(706)), 분할 노드(예컨대, 제1 의사결정 트리(700)의 분할 노드(708))로 불리는 복수의 내부 노드, 및 복수의 리프 노드(예컨대, 제1 의사결정 트리(700)의 리프 노드(710))를 포함한다.
의사결정 숲으로부터의 의사결정 트리가 선택되고(604)(예컨대, 제1 의사결정 트리(600)), 루트 노드(606)가 선택된다(606). 이후, 테스트 파라미터들의 무작위 세트는 후보 특징으로서 루트 노드에서 수행되는 2진 테스트에 의해 사용되도록 발생된다(610). 본원에서 설명되는 예시에서, 위치 의존적 국소 움직임 특징이 사용된다. 비디오 내의 위치들은, 프레임 내에서 2D에 있어서 그리고/또는 프레임들의 시퀀스 내에서 시간에 있어서, 무작위로 선택된다. 특징들은 복수의 상이한 유형의 특징들로부터 무작위로 발생된다. 예를 들어, 비디오의 하위 볼륨에 관련되는 다음의 4가지 유형의 특징이 사용된다. 비디오의 하위 볼륨은 비디오 내의 공간-시간 창을 선택하는 직육면체일 수 있다. 하위 볼륨은 부호 B에 의해 표시될 수 있고, 제1 프레임 내의 2D 수평 및 수직 영상 좌표, 및 제2 프레임 내의 2D 수평 및 수직 영상 좌표에 의해 규정될 수 있고, 여기서 제1 프레임과 제2 프레임 사이의 프레임의 개수가 규정된다. 예를 들어, B = (x1, y1, x2, y2, T'1, T'2). 그러나, 직육면체 형상의 하위 볼륨을 사용하는 것이 본질적은 아니다. 하위 볼륨의 다른 3D 형상이 사용될 수도 있다.
제1 유형의 특징은 단일 하위 볼륨의 함수이다. 제1 유형의 특징의 하나의 예시는 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수로서 말로 표현될 수 있는 f(d1, B1)에 의해 표시된다. 사용될 수 있는 예시적인 함수(f)에 대한 더 많은 세부가 아래에서 주어진다.
제2 유형의 특징은 2개의 하위 볼륨의 함수이다. 제2 유형의 특징의 하나의 예시는 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수, 및 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수의 합으로서 말로 표현될 수 있는 f(d1, B1) + f(d2, B2)에 의해 표시된다.
제3 유형의 특징은 2개의 하위 볼륨의 함수이다. 제3 유형의 특징의 하나의 예시는 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수, 및 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수의 차이로서 말로 표현될 수 있는 f(d1, B1) - f(d2, B2)에 의해 표시된다.
제4 유형의 특징은 2개의 하위 볼륨의 함수이다. 제4 유형의 특징의 하나의 예시는 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수, 및 하위 볼륨(B1) 내에서 연산하기 위한 국소 움직임 특징의 유형을 표시하는 파라미터(d1)의 함수의 절대차로서 말로 표현될 수 있는 │f(d1, B1) - f(d2, B2)│에 의해 표시된다.
함수(f)는 가속도 또는 속도 특징과 같은 국소 움직임 특징을 합산함으로써 연산될 수 있다. 가속도 특징이 연산되는 하나의 예가 이제 주어진다.
Figure pct00001
여기서, T(B)는 하위 볼륨의 프레임의 개수이고, 부호(
Figure pct00002
)는 하위 볼륨 내의 각각의 영상 요소 위치 (또는 이러한 위치들의 하위 세트)에 대해 아래에서 설명되는 바와 같이 연산될 수 있는 추정되는 가속도 특징(국소 움직임 특징의 하나의 예시)이다. 상기 함수는 주어진 국소 움직임 특징 유형의 함수(f)로서 말로 표현될 수 있고, 주어진 하위 볼륨은 하위 볼륨의 프레임당 가속도 특징의 평균으로서 연산된다.
추정되는 가속도 특징(
Figure pct00003
)은 광 흐름 벡터의 변화율이 방향을 변화시키는 횟수를 계수하지만, 광 흐름 벡터의 크기가 매우 작은 경우에 (헤비사이드(Heaviside) 계단 함수 또는 임계치를 사용함으로써 또는 다른 방식으로) 방향 변화를 무시함으로써, 계산될 수 있다.
다른 예시에서, 추정되는 속도 특징이 상기의 추정되는 가속도 특징 대신에 사용될 수 있다. 예를 들어, 광 흐름 벡터의 변화율을 고려하기보다는 광 흐름 벡터가 방향을 변화시키는 횟수를 계수함으로써.
도 6의 단계(610)에서, 테스트 파라미터들의 무작위 세트가 후보 특징으로서 분할 노드에서 수행되는 2진 테스트에 의해 사용되도록 발생된다(610). 하나의 예시에서, 이러한 파라미터는 (사용되는 하위 볼륨의 위치 및 소요 시간을 규정하는) 하위 볼륨(들)의 파라미터, (2진 테스트에서 특징들을 비교하기 위한) 임계치 파라미터, 연산하기 위한 국소 움직임 특징의 유형의 표시하는 파라미터(d)(예컨대, x 방향으로의 속도, y 방향으로의 속도, x 방향으로의 가속도, y 방향으로의 가속도), 및 상기 4개의 (또는 다른 개수의) 특징들 중 하나를 선택하는 변수(k)를 포함할 수 있다.
그 다음, 테스트 파라미터들의 모든 조합이 현재의 노드에 도달한 각각의 비디오에 적용될 수 있다(612). 각각의 조합에 대해, (목표로도 지칭되는) 기준이 계산된다(614). 하나의 예시에서, 계산된 기준은 (상대 엔트로피로도 공지된) 정보 게인을 포함한다. (정보 게인을 최대화하는 것과 같은) 기준을 최적화하는 파라미터들의 조합이 선택되고(614), 미래의 사용을 위해 현재의 노드에서 저장된다. 정보 게인에 대한 대안으로서, 지니(Gini) 엔트로피, 또는 'two-ing' 기준 등과 같은 다른 기준이 사용될 수 있다.
그 다음 계산된 기준에 대한 값이 임계치 미만 (또는 초과)인 지가 결정된다(616). 계산된 기준에 대한 값이 임계치 미만이면, 이는 트리의 추가의 확장이 현저한 유익을 제공하지 않음을 표시한다. 이는 추가의 노드가 유익하지 않을 때 자연적으로 성장을 멈추는 비대칭 트리를 발생시킨다. 그러한 경우에, 현재의 노드는 리프 노드로서 설정된다(618). 유사하게, 트리의 현재의 깊이 (즉, 얼마나 많은 노드 수준이 루트 노드와 현재의 노드 사이에 있는 지)가 결정된다. 이것이 미리 정의된 최대값을 초과하면, 현재의 노드는 리프 노드로서 설정된다(618). 각각의 리프 노드는 아래에서 설명되는 바와 같이 훈련 프로세스 중에 그러한 리프 노드에서 축적되는 라벨링된 비디오를 갖는다.
이미 언급된 것에 대한 대안으로서 또는 그와 조합하여 다른 멈춤 기준, 예를 들어, 노드에 도달하는 비디오의 개수의 검정을 사용하는 것도 가능하다. (예를 들어, 임계치와 비교하여) 너무 적은 예시가 있으면, 프로세스는 과적합을 회피하기 위해 멈추도록 배열될 수 있다. 그러나, 이러한 멈춤 기준을 사용하는 것이 본질적은 아니다.
계산된 기준에 대한 값이 임계치 이상이고, 트리 깊이가 최대값 미만이면, 현재의 노드가 분할 노드로서 설정된다(620). 현재의 노드가 분할 노드이므로, 이는 자식 노드를 갖고, 프로세스는 그 다음 이러한 자식 노드를 훈련시키는 것으로 이동한다. 각각의 자식 노드는 현재의 노드에서 훈련 비디오들의 하위 세트를 사용하여 훈련된다. 자식 노드로 보내지는 비디오들의 하위 세트는 기준을 최적화한 파라미터를 사용하여 결정된다. 이러한 파라미터는 2진 테스트에서 사용되고, 2진 테스트는 현재의 노드에서 모든 비디오에 대해 수행된다(622). 2진 테스트를 통과한 비디오는 제1 자식 노드로 보내지는 제1 하위 세트를 형성하고, 2진 테스트에서 탈락한 영상 요소는 제2 자식 노드로 보내지는 제2 하위 세트를 형성한다.
자식 노드 각각에 대해, 도 6의 블록(610 내지 622)에서 서술된 바와 같은 프로세스는 각각의 자식 노드에 관련된 비디오들의 하위 세트에 대해 재귀적으로 실행된다(624). 바꾸어 말하면, 각각의 자식 노드에 대해, 새로운 무작위 테스트 파라미터가 발생되어(610), 비디오들의 각각의 하위 세트, 선택(614)된 기준을 최적화하는 파라미터, 및 결정(616)된 노드의 유형(분할 또는 리프)에 적용된다(612). 이것이 리프 노드이면, 재귀의 현재의 브랜치는 중단된다. 이것이 분할 노드이면, 2진 테스트가 비디오의 추가의 하위 세트를 결정하기 위해 수행되고(622), 재귀의 다른 브랜치가 시작된다. 그러므로, 이러한 프로세스는 트리를 통해 재귀적으로 이동하여, 리프 노드가 각각의 브랜치에 도달될 때까지 각각의 노드를 훈련시킨다. 리프 노드가 도달되면, 프로세스는 모든 브랜치 내의 노드가 훈련될 때까지 대기한다(626). 다른 예시에서, 동일한 기능이 재귀에 대한 대안적인 기술을 사용하여 얻어질 수 있음을 알아야 한다.
트리 내의 모든 노드가 각각의 분할 노드에서 기준을 최적화하는 2진 테스트에 대한 파라미터를 결정하도록 훈련되고, 리프 노드가 각각의 브랜치를 종결하기 위해 선택되면, 비디오 라벨은 트리의 리프 노드에서 축적된다(628). 축적된 비디오 라벨의 표현이 다양한 상이한 방법을 사용하여 저장될 수 있다(630).
축적된 비디오 라벨이 저장되면, 더 많은 트리가 의사결정 숲 내에 존재하는 지가 결정된다(632). 그렇다면, 의사결정 숲 내의 다음의 트리가 선택되고, 프로세스는 반복된다. 숲 내의 모든 트리가 훈련되었고, 다른 트리가 남아 있지 않으면, 훈련 프로세스는 완료되고, 프로세스는 종결된다(634).
그러므로, 훈련 프로세스의 결과로서, 하나 이상의 의사결정 트리가 경험적 훈련 비디오를 사용하여 훈련된다. 각각의 트리는 최적화된 테스트 파라미터를 저장하는 복수의 분할 노드, 및 관련된 라벨링된 비디오 또는 합산된 비디오 라벨들의 표현을 저장하는 리프 노드를 포함한다. 각각의 노드에서 사용되는 제한된 하위 세트로부터의 파라미터의 무작위 발생으로 인해, 숲의 트리들은 서로로부터 구분된다 (즉, 상이하다).
훈련 프로세스는 비디오 내에서 운동 과제 부류를 식별하도록 훈련된 예측 시스템을 사용하기 전에 수행될 수 있다. 의사결정 숲 및 최적화된 테스트 파라미터는 이후의 시점에서 운동 과제 부류를 식별하는 데 사용하기 위해 저장 장치 상에 저장될 수 있다.
도 8은 위에서 설명된 바와 같이 훈련된 의사결정 숲을 사용하여 이전에 보여지지 않은 비디오 내에서 운동 과제 부류를 예측하기 위한 프로세스의 흐름도를 도시한다. 먼저, 보여지지 않은 비디오가 수신된다(800). 비디오는 규정된 운동 과제 부류를 갖는 훈련 비디오로부터 구분되도록 '보여지지 않음'으로서 지칭된다. 보여지지 않은 비디오는 도 4를 참조하여 위에서 설명된 바와 같이, 일정 정도로 전처리될 수 있음을 알아야 한다.
광 흐름 또는 다른 움직임 디스크립터가 연산된다(802). 의사결정 숲으로부터의 훈련된 의사결정 트리가 또한 선택된다(804). 선택된 비디오는 그가 노드에서 훈련된 파라미터에 대해 테스트된 다음 테스트의 결과에 의존하여 적절한 자식 노드로 통과되도록, (도 6 및 도 7을 참조하여 위에서 설명된 것과 유사한 방식으로) 선택된 의사결정 트리를 통해 통과되고(806), 프로세스는 비디오가 리프 노드에 도달할 때까지 반복된다. 비디오가 리프 노드에 도달하면, 이러한 리프 노드와 관련된 축적된 라벨이 이러한 비디오에 대해 저장된다(808).
숲 내에 더 많은 의사결정 트리가 있다고 결정되면(810), 새로운 의사결정 트리가 선택되고(804), 비디오는 트리를 통해 통과되고(806), 축적된 라벨은 저장된다(808). 이는 숲 내의 모든 의사결정 트리에 대해 수행될 때까지 반복된다. 의사결정 숲 내의 복수의 트리를 통해 비디오를 통과시키기 위한 프로세스는 도 8에 도시된 바와 같은 시퀀스 대신에, 병렬로 수행될 수도 있음을 알아야 한다.
인덱싱된 리프 노드로부터의 데이터는 평균화에 의해 또는 다른 방식으로 합산된다(814). 예를 들어, 부류 라벨의 히스토그램이 리프 노드에 저장되는 경우에, 인덱싱된 리프 노드들로부터의 히스토그램들은 조합되어, 비디오와 관련된 하나 이상의 운동 과제를 식별하기 위해 사용된다. 프로세스는 결과적으로 적어도 하나의 운동 과제 부류를 출력하고(816), 운동 과제 부류의 신뢰 가중치를 출력할 수 있다. 이는 임의의 이후의 알고리즘이 제안이 양호한 지의 여부를 검정하는 것을 돕는다. 예를 들어, 불확실성이 있는 경우에, 1개를 초과하는 운동 부류가 출력될 수 있다.
몇몇 실시예에서, 기계 학습 시스템은 지지도 벡터 머신들의 집합체를 포함한다. 지지도 벡터 머신은 분류를 달성하기 위해 특징 공간 내에서 하이퍼플레인을 사용하는 비확률적 2진 분류기이다.
하나의 예시에서, 지지도 벡터 머신은 도 6 내지 도 8을 참조하여 위에서 설명된 것과 같은 무작위 의사결정 숲의 분할 노드와 관련되거나 (이를 대체한다). 지지도 벡터 머신은 각각의 분할 노드에 도달한 훈련 비디오를 입력으로 취한다. 이러한 입력된 훈련 비디오는 그의 특징 공간을 형성하고, 특징 공간의 2진 분류를 이루기 위해 하나 이상의 하이퍼플레인을 계산한다. 이러한 방식으로, 지지도 벡터 머신은 무작위 의사결정 트리에 대해 위에서 설명된 바와 같이 정보 게인 또는 다른 기준을 검정하기보다는 2진 의사결정을 이루기 위해 사용된다. 이러한 방식으로, 무작위 의사결정 숲을 훈련시키기 위한 도 6의 프로세스는 각각의 분할 노드에서 지지도 벡터 머신을 사용함으로써 지지도 벡터 머신들의 집합체를 훈련시키도록 구성될 수 있다. 분할 노드들의 유형(무작위 의사결정 분할 노드 또는 지지도 벡터 머신 분할 노드)의 혼합체를 사용하는 것도 가능하다. 지지도 벡터 머신들의 결과적인 집합체 또는 지지도 벡터 머신/무작위 의사결정 노드의 혼합체는 도 8의 프로세스를 변형함으로써 테스트 시점에서 사용될 수 있다. 이러한 방식으로, 극도로 많은 가변적인 개수의 차원을 포함하는 과제에 대해 지지도 벡터 머신 기술을 실질적인 방식으로 사용하는 것이 가능하다. 훈련은 실질적인 시간 스케일로 달성되고, 이는 각각의 지지도 벡터 머신이 2진 트리 구조를 통해 그에 도달하는 훈련 비디오만을 수신하기 때문이다.
무작위화된 지지도 벡터 머신들의 집합체가 사용되는 다른 예시가 이제 주어진다. 무작위화된 지지도 벡터 머신들의 집합체를 훈련시키기 위해, 고정 길이 특징 벡터가 각각의 라벨링된 훈련 비디오로부터 계산된다. 고정 길이 특징 벡터는 비디오의 복수의 위치 의존적 국소 움직임 특징을 포함한다. 예를 들어, 무작위 의사결정 숲에 대한 설명에서 위에서 설명된 4개의 특징들 중 하나 이상의 임의의 조합이 사용될 수 있지만 (다른 특징이 사용될 수 있다). 벡터 또는 목록과 같은 고정 크기 특징 디스크립터를 생성함으로써, 결과적인 시스템은 비디오 길이와 독립적으로 작동 가능하다. 이는 시간 정규화 기술에 대조적으로, 비디오 내의 동작 특질의 손실이 없이 달성된다.
각각의 특징 디스크립터 내의 특징이 무작위로 선택된다. 특징 디스크립터는 지지도 벡터 머신이 학습을 수행하는 특징 공간을 정의한다. 하나의 예시에서, 집합체의 개별 지지도 벡터 머신은 상이한 부류들 내의 라벨링된 훈련 비디오들의 샘플들 사이의 차이를 최대화하는 하이퍼플레인을 찾도록 훈련된다. 지지도 벡터 머신 각각은 이러한 방식으로 훈련된다. 무작위화된 지지도 벡터 머신들의 결과적인 집합체는 도 8의 프로세스를 변형함으로써 테스트 시점에서 사용될 수 있다.
위에서 설명된 실시예 및 예시에서, 기계 학습 시스템은 운동 과제의 비디오를 부류 또는 등급으로 분류한다. 그러나, 대안적으로 또는 추가적으로, 본 발명의 실시예에서, 기계 학습 시스템은 이산된 부류 라벨과 대조적으로, 연속 값 출력들이 훈련된 기계 학습 시스템으로부터 얻어지도록 분류가 아닌 회귀를 사용할 수 있다. 예를 들어, 이러한 연속 값 출력들은 운동 과제 검정 스케일 상의 숫자 값일 수 있다.
도 9는 연산 및/또는 전자 장치의 임의의 형태로서 구현될 수 있으며, 운동 과제 분류 시스템의 실시예를 구현할 수 있는 예시적인 연산 기반 장치(104)의 다양한 구성요소들을 도시한다.
연산 기반 장치(104)는 마이크로 프로세서, 제어기, 그래픽 처리 유닛, 병렬 처리 유닛, 또는 비디오 내에서 운동 과제 부류를 예측하기 위해 장치의 작동을 제어하기 위한 연산 실행 가능 지시를 처리하기 위한 임의의 다른 적합한 유형의 프로세서일 수 있는 하나 이상의 프로세서(900)를 포함한다. 칩상 시스템(system on a chip) 아키텍처가 사용되는 팀과 같은 몇몇 예시에서, 프로세서(900)는 (소프트웨어 또는 펌웨어가 아닌) 하드웨어 내에서 운동 과제 분류의 방법의 일부를 구현하는 (가속기로도 불리는) 하나 이상의 고정 기능 블록을 포함할 수 있다.
연산 기반 장치(104)는 사용자 입력 장치(예컨대, 포착 장치(100), 키보드(906), 및/또는 마우스(908))와 같은 하나 이상의 장치로부터 입력을 수신하여 처리하도록 배열된 하나 이상의 입력 인터페이스(902)를 포함한다. 이러한 사용자 입력은 연산 장치(104) 상에서 실행되는 소프트웨어 응용 프로그램을 제어하기 위해 사용될 수 있다.
연산 기반 장치(104)는 연산 장치(104)로부터 분리되거나 그와 일체일 수 있는 디스플레이 장치(924)로 디스플레이 정보를 출력하도록 배열된 출력 인터페이스(910)를 또한 포함한다. 예를 들어, 중첩된 운동 과제 분류 데이터를 갖는 비디오들을 디스플레이하기 위함. 디스플레이 정보는 그래픽 사용자 인터페이스를 제공할 수 있다. 하나의 예시에서, 디스플레이 장치(924)는 그가 터치 감지 디스플레이 장치이면, 사용자 입력 장치로서 작용할 수도 있다. 출력 인터페이스는 디스플레이 장치 이외의 장치, 예컨대, 근거리 연결 인쇄 장치로 데이터를 출력할 수도 있다.
컴퓨터 실행 가능 지시는 연산 기반 장치(104)에 의해 접근 가능한 임의의 컴퓨터 판독 가능 매체를 사용하여 제공될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 메모리 및 통신 매체와 같은 컴퓨터 저장 매체를 포함할 수 있다. 메모리(912)와 같은 컴퓨터 저장 매체는 컴퓨터 판독 가능 지시, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성의, 제거 가능 및 제거 불가능 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 장치, 또는 연산 장치에 의해 접근되는 정보를 저장하기 위해 사용될 수 있는 임의의 다른 비전달 매체를 포함하지만 이들로 제한되지 않는다. 대조적으로, 통신 매체는 컴퓨터 판독 가능 지시, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 반송파 또는 다른 운반 메커니즘과 같은 변조된 데이터 신호로 실시할 수 있다. 본원에서 정의되는 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다. 그러므로, 컴퓨터 저장 매체는 그 자체로 전파 신호인 것으로 해석되지 않아야 한다. 전파 신호는 컴퓨터 저장 매체 내에 존재할 수 있지만, 전파 신호 자체는 컴퓨터 저장 매체의 예가 아니다. 컴퓨터 저장 매체의 하나의 예시(메모리(912))가 연산 기반 장치(104) 내에 도시되어 있지만, 저장소는 원격으로 분배되거나 위치되어, 네트워크 또는 다른 통신 링크를 거쳐 (예컨대, 통신 인터페이스(913)를 사용하여) 접근될 수 있음이 이해될 것이다.
운영 시스템(914)을 포함하는 플랫폼 소프트웨어 또는 임의의 다른 적합한 플랫폼 소프트웨어가 응용 프로그램 소프트웨어(916)가 장치 상에서 실행되는 것을 가능케 하도록 연산 장치(104)에 제공될 수 있다. 연산 장치(104) 상에서 실행될 수 있는 다른 소프트웨어는 훈련 로직(918)(예를 들어, 도 6 - 도 7 및 상기 설명 참조); 예측 로직(920)(예를 들어, 도 8 및 상기 설명 참조)을 포함한다. 데이터 저장소(922)가 이전에 수신된 비디오; 중간 함수 결과; 트리 훈련 파라미터, 확률 분포, 분류 라벨, 회귀 목적, 분류 목적, 및 다른 데이터와 같은 데이터를 저장하기 위해 제공된다.
입력 인터페이스(902), 출력 인터페이스(910), 디스플레이 장치(924), 및 사용자 입력 장치(906, 908) 중 하나는 마우스, 키보드, 원격 제어부 등과 같은 입력 장치에 의해 부여되는 인공적인 구속이 없이, 사용자가 자연스러운 방식으로 연산 기반 장치와 상호 작용하는 것을 가능케 하는 NUI(내추럴 사용자 인터페이스) 기술을 포함할 수 있다. 제공될 수 있는 NUI 기술의 예시는 음성 및/또는 대화 인식, 터치 및/또는 스타일러스 인식 (터치 감지 디스플레이), 스크린 상에서의 그리고 스크린에 인접한 제스처 인식, 허공 제스처, 머리 및 눈 추적, 음성 및 대화, 시선, 터치, 제스처, 및 기계 지능을 포함하지만 이들로 제한되지 않는다. 사용될 수 있는 NUI 기술의 다른 예시는 의도 및 목적 이해 시스템, (입체 카메라 시스템, 적외선 카메라 시스템, RGB 카메라 시스템, 및 이들의 조합과 같은) 깊이 카메라를 사용하는 움직임 제스처 검출 시스템, 가속도계/자이로스코프를 사용하는 움직임 제스처 검출, 안면 인식, 3D 디스플레이, 머리, 눈, 및 시선 추적, 전기장 감지 전극(EEG 및 관련 방법)을 사용하여 뇌 활동을 감지하기 위한 몰입형 증강 현실 및 가상 현실 시스템 및 기술을 포함한다.
이제 도 10을 참조하면, 질병, 상황 또는 질환, 또는 질병, 상황, 또는 질환의 부재를 검정 또는 평가하기 위한 방법(1000)이 하나의 실시예에 따라 도시되어 있다. 방법(1000)은 다양한 실시예에서 무엇보다도 도 1 - 도 9에 도시된 환경들 중 임의의 것에서 본 발명에 따라 수행될 수 있다. 당연히, 도 10에서 구체적으로 설명되는 것보다 더 많거나 더 적은 작업이 본 설명을 읽을 때 본 기술 분야의 통상의 기술자가 이해하는 바와 같이, 방법(1000) 내에 포함될 수 있다. 본원에서 사용되는 바와 같이, "질병" 또는 "질환"은 동작, 운동 조화, 활동, 신경학적 거동 또는 상황 등과 같은 생리학적 기능의 임의의 외부 발현에 영향을 끼칠 수 있거나 영향을 끼치는 상황을 지칭하는 것으로 의미된다. 문맥으로부터 달리 명확하지 않으면, "질병"과 "질환"은 상호 교환 가능하게 사용된다.
방법(1000)의 단계 각각은 작동 환경의 임의의 적합한 구성요소에 의해 수행될 수 있다. 예를 들어, 하나의 실시예에서, 방법(1000)은 제어기, 프로세서, 개인용 컴퓨터 시스템, 랩탑 컴퓨터, 엑스박스 키넥트(XBOX Kinect) 시스템 등에 의해 부분적으로 또는 전체적으로 수행될 수 있다.
작업(1002)에서, 복수의 프레임을 포함하는 비디오 데이터가 비디오/영상 포착 장치로부터와 같이 수신된다. 적어도 2개의 프레임은 사람의 디지털 표현을 포함한다. 사람의 디지털 표현은 본원에서 설명된 비디오/영상 포착 장치, 또는 본원에서 구체적으로 설명되지 않았지만 본 기술 분야에 공지된, 즉, 사람이 사람의 동작을 기록하기 위해 위치되는 곳에 위치되는 다른 장치 중 임의의 것을 사용하여 포착될 수 있다. 사람의 디지털 표현은 비디오, 일련의 그림 또는 프레임, 깊이 데이터, 또는 본 기술 분야에 공지된 임의의 다른 유형의 디지털 표현을 포함할 수 있다.
작업(1004)에서, 비디오 데이터의 적어도 2개의 프레임 각각에 대한 복수의 참조 지점이 비디오 데이터의 적어도 2개의 프레임 내의 사람의 디지털 표현에 대해 맵핑된다. 이러한 맵핑은 본원에서 설명되는 다양한 분석 방법, 또는 본원에서 구체적으로 설명되지 않는 다른 방법 중 임의의 것을 사용하여 수행될 수 있다.
하나의 실시예에서, 맵핑은 광 흐름 분석을 포함할 수 있고, 여기서 각각의 픽셀의 이웃의 프레임-프레임 변위가 사람의 동작을 향한 관찰을 제공하도록 이용된다. 광 흐름은 신체 부위의 확실한 식별을 요구하지 않고서 동작이 특징화되도록 허용한다.
작업(1006)에서, 복수의 움직임 디스크립터가 비디오 데이터의 적어도 2개의 프레임에 대해 계산된다. 각각의 움직임 디스크립터는 각각의 움직임 디스크립터가 기초로 하는 참조 지점이 있도록 참조 지점들 중 하나에 대응한다.
작업(1008)에서, 질병 또는 질환 상태 및 질병 또는 질환 심각도 중 하나 이상이 움직임 디스크립터들 중 적어도 하나에 기초하여 검정된다. 질병 또는 질환 상태는 본원에서 사용되는 바와 같이, 질병의 유형, 사람에게서의 질병의 존재, 사람에게서의 질병의 부재, 질병의 상태, 전파, 단계 등, 또는 질병 또는 질병 유형에 관련된 본 기술 분야에 공지된 임의의 다른 상태 표지자를 지칭할 수 있다.
질병 상태는 사람이 질병을 가지고 있는 지의 여부의 단순한 2진 검정을 포함할 수 있거나, 더 포괄적이며 질병의 뉘앙스, 질병의 전파 등을 설명할 수 있다.
그러므로, 질병 상태는 사람이 미리 결정된 상태, 즉, 질병 또는 단계의 진단, 검정, 또는 평가를 충족시키는 지의 여부의 정성적 결정일 수 있다.
질병 심각도는 질병을 앓고 있는 사람이 겪는 것으로 공지된 특정 상태의 정량적 측정이다.
그러나, 이들 2가지 개념들에 대해 상호 배타적인 것은 없다. 질병 심각도 점수가 정량화될 수 있고, 그 다음 질병 및 사람의 동작/운동성의 품질을 더 완전히 검정하기 위해 정량적 점수에 기초하여 사람이 특정 기준/상태를 만족시키는 지가 정성적으로 결정될 수 있다.
맵핑은 동작 서명을 제공할 수 있고, 동작 서명으로부터, 각각의 픽셀의 국소 주변 내에서의 동작 방향성의 역전의 횟수를 계수하는 "가속도 특징"이 계산될 수 있다. 주변의 위치(2D + t) 및 크기는 본원에서 더 상세하게 설명되는 바와 같은 알고리즘에 의해 학습될 수 있고, 서명 추출 단계에서, 주요 동작 특질은 이후의 맵핑 단계에서 컴퓨터에 대해 관리 가능한 개수의 세트로 비디오 데이터를 감소시키기 위해 비디오로부터 추출된다. 몇몇 실시예에서, 비디오에 의해 이송되는 관련 정보는 동작 패턴을 포함한다. 서명 추출은 동작의 각각의 유형에 대해 서명을 도출함으로써 동작 서명의 정보 내용을 최대화할 수 있다. 몇몇 실시예에서, 동작의 서명은 동작 세부의 최대 커버리지를 제공하기 위해, 보완적인 (직교) 양태만을 포함한다.
하나의 실시예에서, 비디오 데이터는 각각의 픽셀의 주변의 프레임-프레임 변위와 같은, 본 기술 분야에 공지된 유형의 광 흐름 정보를 포함할 수 있다.
본원에서 설명되는 실시예에 따르면, 비디오 데이터의 적어도 2개의 프레임들이 서로로부터 시간적으로 변위된다. 추가의 실시예에서, 사람의 디지털 표현의 적어도 일 부분이 비디오 데이터의 적어도 2개의 프레임들 사이에서 공간적으로 변위될 수 있다. 공간적 및 시간적 변위는 비디오 데이터 내에서의 사람의 동작이 시간에 따라 포착되는 것을 의미한다. 이는 복수의 움직임 디스크립터가 비디오 데이터의 적어도 2개의 프레임을 가로질러 계산될 수 있도록, 비디오 내의 사람의 동작이 인식 및 분석되도록 허용한다.
다른 실시예에 따르면, 비디오 데이터는 필드의 깊이, 깊이 스캐너로부터의 깊이 정보 등과 같은 비접촉 능동 3차원(3D) 스캔 정보를 포함할 수 있다.
다른 실시예에서, 비디오 데이터는 2D 비디오 카메라로부터 생성된 일련의 정지 프레임을 포함할 수 있다. 추가의 실시예에서, 비디오 데이터의 프레임 각각은 16비트 그레이스케일 영상일 수 있고, 각각의 픽셀은 0 - 65,536에 의해 표현되는 범위 내의 휘도 값을 특징으로 한다. 다른 실시예에 따르면, 비디오 데이터의 프레임은 16비트, 32비트, 64비트, 128비트 등의 컬러 영상일 수 있고, 각각의 픽셀은 0 - 65,536에 의해 표현되는 범위 또는 본 기술 분야에 공지된 휘도를 표시하는 몇몇 다른 범위 내의 휘도 값을 특징으로 한다.
방법(1000)은 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 심각도 점수를 계산하는 단계를 또한 포함할 수 있다. 질병 심각도는 질병 심각도 점수에 적어도 부분적으로 기초하여 검정될 수 있다. 하나의 실시예에서, 질병 심각도 점수는 신경 상태 점수, 장애 상태 스케일, 및/또는 확장된 장애 상태 스케일을 표시하는 약 0.0 내지 약 12.0의 범위 내의 값을 가질 수 있다. 몇몇 실시예에서, 질병 심각도 점수는 0과 100 사이, 0과 10 사이, 1과 10 사이 등과 같은, 임의의 원하는 값의 범위를 갖도록 스케일링될 수 있다.
질병 심각도 점수는 복수의 질병 심각도 하위 점수들 중 하나 이상에 적어도 부분적으로 기초할 수 있다. 질병 심각도 하위 점수 각각은 운동 과제에 대응한다. "과제"라는 용어의 사용은 본원에서 규정되는 사람의 동작으로 제한되지 않고, 대상(사람 또는 동물)이 할 수 있으며 정의되고 반복될 수 있는 거의 모든 동작일 수 있음을 알아야 한다.
본원에서 설명되는 운동 과제들 중 하나는 본원에서 구체적으로 설명되지 않는 것들과 함께 선택될 수 있다. 예를 들어, 운동 과제는 체간 운동실조 과제, 손가락-코 과제, 손가락-손가락 과제, 롬버그 과제, 직선 걷기 과제, 보통 걷기 과제, 제자리 돌기 과제, 한 발로 뛰기 과제, 손가락으로 정사각형 그리기 과제, 컵으로 마시기 과제, 및 책장 넘기기 과제 중 임의의 것으로부터 선택될 수 있다.
질병 심각도 점수는 복수의 질병 심각도 하위 점수에 대응할 수 있고, 각각의 질병 심각도 하위 점수는 하나 이상의 증상을 표시할 수 있다. 질병 심각도 하위 점수는 본원에서 설명되는 증상, 및/또는 본원에서 구체적으로 설명되지 않는 다른 증상 중 임의의 것을 표시할 수 있다. 예를 들어, 각각의 질병 심각도 하위 점수는 운동실조, 체간 운동실조, 보행 운동실조, 사지 운동실조, 경직, 진전의 존재 유무, 증가 또는 감소된 진전, 무력증의 존재 유무, 증가 또는 감소된 무력증, 겨냥이상, 상지 운동 기능장애, 증가 또는 감소된 교치성, 증가 또는 감소된 운동성, 증가 또는 감소된 다리 기능, 근육 위축, 근육 무력증 등으로부터 선택된 하나 이상의 증상을 표시할 수 있다.
다른 실시예에서, 방법(1000)은 움직임 디스크립터들 중 적어도 2개에 기초하여 사람의 디지털 표현의 적어도 일 부분 내에서 진전을 검출하는 단계를 포함할 수 있다. 이는 디지털 표현 내에서 사람의 가속도 및/또는 속도를 검출함으로써 달성될 수 있다.
검출, 검정, 평가, 분석, 정량, 또는 기록될 수 있는 질병은 다발성 경화증, 헌팅턴병, 파킨슨병, 루게릭병(ALS), 및 동작 및/또는 운동성에 영향을 주는 다른 질병 및/또는 질환으로부터 선택될 수 있다.
질병 상태 및 질병 심각도 중 하나 이상의 검정은 비디오 데이터 내에서 디지털로 표현되는 사람에 대응하는 이전에 결정된 질병 상태, 및/또는 비디오 데이터 내에서 디지털로 표현되는 사람에 대응하는 이전에 결정된 질병 심각도 중 하나 이상에 적어도 부분적으로 기초할 수 있다.
이전에 결정된 질병 상태 및/또는 질병 심각도는 질병 또는 질환에 직면한 사람의 개선 또는 퇴행을 결정하기 위해 현재 검정된 질병 상태 및/또는 질병 심각도와 비교하기 위해 사용될 수 있다.
비디오 데이터는 질병 상태 및/또는 질병 심각도를 표시하는 신체 동작을 수행하는 사람을 도시한다. 신체 동작은 본원에서 설명되는 하나 이상의 운동 과제, 또는 본 기술 분야에 공지된 몇몇 다른 운동 과제를 포함한다. 추가의 실시예에서, 비디오 데이터는 사람의 동작 및/또는 운동성의 1개를 초과하는 양태를 검정하기 위해, 운동 과제들 중 적어도 2개를 수행하는 사람을 도시할 수 있다.
움직임 디스크립터 각각은 몇몇 접근에서, 신체 동작에 대응하는 가속도 및/또는 신체 동작에 대응하는 속도를 표현한다. 신체 동작은 비디오 데이터 내에서 디지털로 표현되는 사람에 의해 수행된다.
속도는 하나의 실시예에서, 신체 동작의 크기를 통계적으로 표시할 수 있다. 가속도, 즉, 움직임 벡터의 방향 및/또는 크기의 시간적 변화는 하나의 실시예에서, 신체 동작의 떨림을 표시할 수 있다. 가속도는 일상적인 의미(시간에 따른 속력 크기의 변화)에서가 아닌, 물리학의 의미(시간에 따른 속력 디스크립터의 변화, 예컨대, 원을 따른 일정한 속력 크기를 갖는 동작은 일정한 내향 가속도를 갖는 동작임)에서의 가속도인 방향성 변화를 지칭할 수 있다. 그러므로, 가속도는 다양한 실시예에서, 물리학의 의미 및 일상적인 의미에서의 가속도의 정의를 지칭할 수 있다.
움직임 디스크립터 각각은 참조 지점들 중 하나에 대응하는 동작의 크기를 표현할 수 있다. 크기는 본 기술 분야에 공지된 유형의 스칼라 움직임 디스크립터를 포함할 수 있다. 다른 실시예에서, 움직임 디스크립터 각각은 동작의 방향을 추가로 표현할 수 있다. 방향은 본 기술 분야에 공지된 유형의 벡터 움직임 디스크립터를 포함할 수 있다.
바람직한 접근에서, 현재 개시되는 질병 상태 및/또는 심각도 검정(들)은 하나 이상의 판별 공간-시간(DST: Discriminative Spatio-Temporal) 영역을 보이는 영상 데이터에 적어도 부분적으로 기초할 수 있다. 본원에서 지칭되는 바와 같이, DST 영역은 특정 증상 또는 상태를 보이는 환자를 그러한 특정 증상 또는 상태를 보이지 않는 환자로부터 구분할 목적으로 특히 유용한 정보를 주는 영상 데이터의 부분이다. 예를 들어, 다시 다발성 경화증(MS: Multiple Sclerosis)을 참조하면, 상대적으로 심각하거나 진행된 형태의 MS를 앓는 환자는 예를 들어 그의 지골을 그의 코/하악에 물리적으로 매우 근접하게 가져가기를 시도할 때, 목표화된 동작 시에 "기도 진전"을 보이는 것으로 공지되어 있고, MS를 앓지 않는 환자는 그러한 진전을 보이지 않는다. 결과적으로, MS 상태 및/또는 심각도 검정의 목적으로, 도 2에 도시된 바와 같은 손가락-코 테스트에 따르면, 환자의 안면을 실질적으로 둘러싸는 영역이 DST 영역으로 간주될 수 있다.
따라서, 본 설명을 읽는 본 기술 분야의 통상의 기술자는 DST 영역은 여러 인자에 대해 정의됨을 이해할 것이다. 대체로, DST 영역은 (예컨대, 일반적인 질병 상태 또는 심각도를 모두 보이는 상이한 환자들의 독자성에 대해 판별적이거나, 일반적인 질병 상태 또는 심각도를 생성하는 상태를 획득하는 방식에 대해 판별적인 등에 대조적으로) 특정 질병 상태 또는 심각도에 대해 판별적이다.
첫째로, DST 영역은 특정 질병 또는 증상에 대해 1차적으로 유의미하다. 하나의 질병(질병 상태, 질병 심각도 점수 등)에 대해 개인들의 카테고리들을 구분하기 위해 특히 유용한 정보를 주는 비디오의 영역이 다른 질병에 대해 개인들의 카테고리들을 구분하기 위해서는 반드시 유용한 정보를 주지 않을 수 있다. 예를 들어, MS 및 손가락-코 과제에 대해 위에서 설명된 안면 한정 DST 영역은 트레드밀 상에서 걷기를 시도하는 환자의 비디오를 분석함으로써 화상 환자에 대한 신경 손상의 정도를 검정할 때 유용한 정보를 주지 않거나 (심지어 불량하거나, 오해의 소지가 있다).
둘째로, 그리고 유사하게, DST 영역은 질병 상태 및/또는 심각도를 검정하기 위해 수행되는 특정 과제에 대해 가장 유의미하다. 다시, DST 영역이 손가락-코 테스트에 의해 MS 상태/심각도를 검정할 목적으로 환자의 안면을 포함하는 상기 예시에서, 동일한 영역은 상이한 과제(예컨대, 본원에서 전체적으로 설명되고 도 2에 도시된 바와 같은, 책장 넘기기, 정사각형 그리기 등)를 수행하는 환자를 도시하는 비디오에 대해 판별적이지 않다.
셋째로, 본 기술 분야의 통상의 기술자는 또한 본원에서 설명되는 DST 영역은 추가로 시간, 즉 질병 상태 및/또는 심각도 판별을 위한 유용한/유의미한 정보를 도시하는 비디오 피드의 시간 부분에 대해 유의미한 것을 이해할 것이다. 다시, 위에서 참조된 손가락-코 테스트를 고려하면, DST는 환자의 안면 및 주위 영역을 포함할 뿐만 아니라, 유용한 정보를 주는 동작, 예컨대, 진전을 도시하는 비디오 피드의 그러한 프레임(들)과 일치하도록 정의된다. DST 영역 정의의 시간 성분은 임의의 적합한 방식으로 (예컨대, 특정 프레임을 식별하거나, 비디오의 타임 스탬프 또는 소요 시간을 식별하는 등) 정의될 수 있고, 검토되는 질병 상태/심각도에 대해 비디오 데이터의 가장 판별력 있는 시간 영역을 본질적으로 표시한다.
본 설명을 읽을 때 통상의 기술자에 의해 이해될 바와 같이, DST 영역은 따라서 적어도 2개의 질병 상태 상황(예컨대, 감염/비감염; 만성/급성; 타입 Ⅰ/타입 Ⅱ; 전염성/비전염성 등) 및/또는 질병 심각도 상황(예컨대, 경도/중도/고도/최고도; 말기; 수치 점수에 의해 표시되는 바와 같은 질병 진행 상황 등) 사이에서 구분되는, 판별 특질을 표현하는 정보를 포함하도록 임의의 적합한 방식으로 정의될 수 있다.
현재 개시되는 본 발명의 개념은 기계 학습 기술, 특히 지지도 벡터 머신(SVM: Support Vector Machine) 기술, 훨씬 더 특별하게는 선형 SVM 및 커넬 SVM 기술 중 하나 이상의 사용을 또한 포함한다. 특히, 본 발명의 개념은 이전에 알려지지 않은 용도에 적용되는 공지된 SVM 기술의 사용, 예컨대, 비디오 데이터 내에서 DST 영역을 찾고, 환자 집단들을 판별하기 위한 이후의 SVM 분석에서 그러한 DST 영역들을 활용하는 것을 포함한다.
SVM 원리의 현재 개시되는 사용은 지금까지는 불가능했던 충실도 및 해상도를 달성할 수 있는 질병 검정을 가능케 한다. 예시적인 기술은 대응하는 특징 공간 내에서 하이퍼플레인을 정의하기 위해 지지도 벡터 머신이 이후에 이용하는 "훈련 세트"를 정의하기 위해 상이한 질병 상태/심각도를 보이는 것으로 공지된 환자들의 하나 이상의 특질적인 특징을 활용할 수 있다. 하이퍼플레인은 훈련 세트(들)을 발생시킬 때 수행되는 질병 검정과 유사한 방식으로 질병 상태를 검정할 목적으로 이후의 데이터 세트가 평가될 때 하나의 질병 상황을 보이는 환자를 다른 환자로부터 정확하고 일관되게 구분한다.
예를 들어, 하나의 접근에서, 질병 상태/심각도는 진전, 흔들림, 떨림과 같은 동작을 이용하여 검정된다. 환자는 신체 동작을 수행하는 동안 비디오 기록되고, 결과적인 비디오 데이터가 동작 방향 역전의 빈도를 결정하기 위해 분석된다. 동작 방향 역전이 임의의 적합한 방식으로 표시될 수 있을 때, 바람직한 실시예에서, 운동 방향 역전은 가속도 움직임 디스크립터에 의해, 특히 바람직하게는 하나는 운동의 Y-성분에 대응하고 하나는 운동의 X-성분에 대응하는, 적어도 2개의 가속도 움직임 디스크립터에 의해 표시된다. 각각의 가속도 움직임 디스크립터는 시간의 함수(즉, 비디오 데이터 내의 시간적 위치)로서 역전의 빈도에 대해 분석될 수 있고, 이러한 함수는, 실질적으로 도 11a - 도 11b에 도시된 바와 같이 플로팅될 수 있다.
상기 또는 유사하게 유도된 분석은 2개의 환자 집단: 특정 질병 상태/심각도 특질을 보이는 하나의 환자 집단 및 질병 상태/심각도 특질을 보이지 않는 다른 환자 집단에 대해 수행될 수 있다. 각각의 집단으로부터의 데이터는, 전체가 환자 집단들 중 하나와 고유하게 관련되는 하나 이상의 특징을 정의하는 "훈련 세트"를 형성하도록 합성된다 (예컨대, 손가락-코 과제를 수행하는 MS 환자는 위에서 설명된 안면 DST 영역 내에서 진전을 독특하게 보이고, MS를 앓지 않는 개인들은 그러한 진전을 보이지 않는다). SVM은 질병 상태/심각도 특질을 보이는 환자를 상태/심각도 특징을 보이지 않는 환자로부터 구분하기 위해 (특정 정량적 가속도 움직임 디스크립터 데이터의 형태로 훨씬 더 높은 해상도로 표현되는) 이러한 구분되는 특질을 이용한다.
이러한 방식으로, 분석이 사실상 정량적이며, 동일한 과제들 중 하나에 의해 환자를 평가하는 내과의 또는 신경의에 의해 전형적으로 고려되는 것보다 훨씬 더 많은 개수의 개인 특징을 분석하므로, 환자들은 그들의 질병의 특정 상태/심각도에 대한 훨씬 더 높은 해상도의 관찰을 제공받을 수 있다. 유사하게, 내과의 및 신경의는 치료 결과, 환자 만족도, 또는 더 높은 해상도의 질병 상태/심각도 상태에 대한 임의의 다른 치료 관련 정보를 추적하여, 실질적인 데이터 세트에 의한 작업에 대한 체계적인 접근만을 사용하여 달성 가능한 고해상도 데이터를 활용하여 기존의 치료 프로토콜을 평가하며 새로운 치로 프로토콜을 개발할 수 있다.
임상적으로, 쿠르츠케 확장형 장애 상태 스케일(EDSS: Expanded Disability Status Scale)은 다발성 경화증과 같은 신경학적 질환에서 움직임 능력을 검정 및 정량하는 방법이다. EDSS는 수동 (사람이 검정하고 점수를 매기는) 시스템이다. 여러 결점이 EDSS에서 고유하다. 우선적으로 훈련된 신경의가 검정을 하기 위해 요구된다. 시간에 따라, 측정자 판단 및 신경학적 검사에서의 차이가 부정확성을 생성할 수 있다. 카테고리화 및 사람의 인지력의 한계가 또한 질환 진행 추적을 어렵게 만들 수 있다. 환자 수행력의 매일의 변동은 1회 방문 검정을 부정확하게 만들 수 있다.
임상적 판단에 기초한 조치는 정성적 카테고리화를 이룰 수 있는 사람의 제한된 능력으로 인해 감수성이 제한된다. 따라서, 동일한 조치에 대한 더 높은 감수성의 접근을 개발할 때, 원래의 조치는 검증을 위해 사용될 수 없다.
본 발명자는 본원에서 일반적으로 제시되는 본 발명의 개념을 실제 적용되도록 개발하는 과정 전반에 걸쳐, 현재 개시되는 본 발명이 개념을 채용한 (질병 상태 및/또는 질병 심각도를 표시할 수 있는) 운동 과제들의 쌍별 비교가 강건한 측정자 내 및 측정자 간 신뢰성을 보이는 것을 일반적으로 관찰하였다.
따라서, 본 발명의 실시예는 검정 신뢰도가 대상 움직임의 쌍을 이룬 비디오를 제시함으로써 향상될 수 있는 방법 또는 프로세스를 제공한다. 하나의 예시에서, 2명의 환자가, 이러한 경우에 다발성 경화증 진단, 예방, 및 치료에 있어서 경험이 있는 의료인인 "측정자"의 패널에 대해 동일한 운동 과제들을 수행하였다. 의료인은 쌍을 이룬 환자들이 동일하게 수행했는 지, 또는 그렇지 않다면 질병 상태/심각도의 상대적인 판단을 제공하기 위해 어떤 환자가 쌍 중에서 더 나쁘게 수행했는 지 (즉, 더 심각한 증상을 보였는 지)를 식별하도록 요청받았다.
이러한 상대적인 의료인 검정은 본원에서 설명되는 영상 분석 및 기계 학습 기반 기술을 사용하여 수행되는 질병 상태 및/또는 질병 심각도 검정에 대해 비교되었다. 모든 결과는 측정자 간 신뢰도 및 측정자 내 신뢰도를 조사하기 위해 "측정자" 신원에 대해 분석되었고, 결과는 여러 측정자 신원에 대해서도 기술의 높은 충실도를 표시하고; 즉, 본 방법을 사용하여 결정된 정량적 값들은 의료 전문인들의 패널에 의해 동일한 환자에게 할당된 등급에 비교해서도 실질적으로 일관되었다. 구체적으로, 손가락-코 테스트(FNT) 및 컵으로 마시기 테스트(CUP)의 비교 장애 등급은 대응하는 확장형 장애 상태 스케일(EDSS) 하위 점수와 상당히 상관되었다.
임의의 특정 이론에 구속되도록 의도하지 않으면서, 본 발명자는 다음과 같이 설명될 수 있는 이러한 유리한 결과들을 이론화한다. MS 환자의 비디오 포착된 정의된 동작의 쌍별 비교는 운동 기능장애의 신경학적 판단을 신뢰할 수 있게 포착하는 것으로 보인다. 유익하게는, 더 세밀한 등급의 (더 높은 해상도의) 구분을 제공하는 것이 가능하고, 이때 쌍별 비교에 기초한 그러한 세밀한 등급은 더 민감한 (예컨대, 자동화된) 성과 지표의 개발 시에 개선된 외부 검증으로서 역할할 수 있다.
방법(1000)은 본 기술 분야에 공지된 유형의 하나 이상의 프로세서, 예컨대, 마이크로 프로세서, CPU, ASIC, FPGA 등과 같은, 본 기술 분야에 공지된 시스템, 장치, 또는 몇몇 다른 적합한 장치 또는 구성요소에 의해 실행될 수 있다. 하나의 그러한 실시예에서, 장치는 하나 이상의 프로세서, 및 하나 이상의 프로세서와 통합되고 그리고/또는 그에 의해 실행 가능한 로직을 포함할 수 있다. 로직은 복수의 프레임 - 적어도 2개의 프레임이 사람의 디지털 표현을 포함함 - 을 포함하는 비디오 데이터를 수신하고; 비디오 데이터의 적어도 2개의 프레임 각각에 대한 복수의 참조 지점을 비디오 데이터의 적어도 2개의 프레임 내의 사람의 디지털 표현에 대해 맵핑하고; 비디오 데이터의 적어도 2개의 프레임에 대한 복수의 움직임 디스크립터 - 각각의 움직임 디스크립터는 참조 지점들 중 하나에 대응함 - 를 계산하고; 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 상태 및 질병 심각도 중 하나 이상을 검정하도록 구성될 수 있다.
다른 실시예에서, 컴퓨터 프로그램 제품은 본 기술 분야에 공지된 유형의 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 컴퓨터 판독 가능 저장 매체는 프로세서가 컴퓨터 판독 가능 프로그램 코드를 실행 및/또는 판독하면, 복수의 프레임 - 적어도 2개의 프레임이 사람의 디지털 표현을 포함함 - 을 포함하는 비디오 데이터를 수신하고; 비디오 데이터의 적어도 2개의 프레임 각각에 대한 복수의 참조 지점을 비디오 데이터의 적어도 2개의 프레임 내의 사람의 디지털 표현에 대해 맵핑하고; 비디오 데이터의 적어도 2개의 프레임에 대한 복수의 움직임 디스크립터 - 각각의 움직임 디스크립터는 참조 지점들 중 하나에 대응함 - 를 계산하고; 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 상태 및 질병 심각도 중 하나 이상을 검정하게 하도록 구성된 컴퓨터 판독 가능 프로그램 코드를 포함할 수 있다.
하나의 실시예에서, 본 발명의 방법(1000)은 스마트폰, 태블릿, 시계 또는 신체 착용 장치, 또는 충분한 비디오 포착 및 연산 능력을 갖는 다른 장치와 같은 개인용 휴대 장치에 의해 구현될 수 있다.
방법(1000)에 관련하여 설명되는 다양한 다른 실시예들 중 하나는 본 설명을 읽을 때 본 기술 분야의 통상의 기술자에 의해 이해되는 바와 같이, 장치 및/또는 컴퓨터 프로그램 제품 내에서 구현될 수 있다.
이러한 예시 1은 깊이 감지 카메라의 용이한 위치 설정을 가능케 하는 물리적 장치, 검정의 각각의 단계에서 보건 의료인에게 통지하는 인터페이스, 동작 수행 중인 환자를 유도하기 위한 지시 시스템, 및 데이터의 품질을 관리하는 데 있어서 보건 의료인을 지원하기 위한 도구의 세트를 포함하는 검정 도구를 형성한다. 따라서, 기록 도구는 신경 검정 동작 중인 환자를 지시하기 위해 사용되는 환자 대면 스크린을 포함한다. 지시 비디오가 요청된 동작을 정확히 어떻게 수행하는 지에 있어서 환자 및 보건 의료인을 안내하기 위해 제공된다. 이들은 문자 및/또는 음성 설명이 수반되는 단순한 선 그림 애니메이션을 포함한다. 위치 설정 스크린은 환자의 정밀한 위치 설정을 지원하기 위해 중심 크로스바를 갖는 깊이 영상 스트림의 화면을 제공하고, 환자가 카메라로부터 적절한 거리인 지를 표시한다. 0의 값을 일관되게 보고하는 영상 내의 임의의 영역을 강조하는 초기 전환 스크린이 있다. 그러한 영역은 보통 깊이 카메라의 적외선 신호를 왜곡하는 고반사성 표면이다. 기록 도구는 보건 의료인 및 환자 모두에 의해 허용 가능한 것이 발견되었다. 환자는 기록 도구로 무엇을 해야 할 지를 이해하였고, 보건 의료인은 사용이 용이함을 발견하였다.
이러한 예시 2에서, 본원의 하나 이상의 실시예에서 설명된 바와 같은 운동 과제 분석 시스템이 채용되었다. 상지 및 하지와 몸통을 커버하는, 표준화된 신경학적 검정으로부터 미리 정의된 동작과, 일상 생활의 활동(ADL: Activities of Daily Living)에서 전형적인 동작이 72명의 MS 환자 및 102명의 건강한 지원자(HV: Healthy Volunteer)에게서 기록되었다. 모든 환자에 대해, 표준화된 EDSS 검정이 수행되었고 완전히 문서화되었다.
기록된 비디오의 세그먼트화 후에, 분류를 위해 사용된 정보가 적외선 깊이 센서 기록으로부터 직접 추출되어, 본 발명의 실시예에 따른 자동화된 영상 분석 알고리즘을 훈련시키기 위해 사용되었다. 따라서, 시스템은 소뇌 기능 시스템(카포스(Kappos 등)로부터, 0, 1, 및 ≥2의 손가락-코 테스트의 신경 상태 하위 점수에 따라 환자들을 정확하게 분류할 수 있다. 집합체 기반 기계 학습 알고리즘이 시스템을 훈련시키기 위해 사용되었다.
동작은 기계 학습 알고리즘에 의해, 소뇌 기능 체계의 표준화된 EDSS 검정 하위 점수에 기초하여 상지 진전/겨냥이상에 관하여 2개의 부류: (1) (MS 환자 및 HV를 포함한) 무증상 및 (2) 유증상으로 분류되었다.
결과는 아래의 표 1에서 보여진다:
Figure pct00004
여기서, 감수성 = TP(TP+FN) 및 특이성 = FP(FP+FN). TP = 진양성; TN = 진음성; FN = 위음성; FP = 위양성. FTN = 손가락-코; FTF = 손가락-손가락; DS = 사각형 그리기; TA = 체간 운동실조.
정확한 분류의 백분율은 기계 학습 알고리즘에 의해 무증상 또는 유증상으로서 정확하게 예측된 기록의 비율을 표현한다. 실제 분류는 표준화된 EDSS 검정에 기초한다.
결과는 본 발명의 시스템 및 방법이 유용한 감수성 및 특이성으로 MS 환자에서의 운동 기능장애의 자동화된 정량적 검정을 가능케 함을 보여주었다. 예시는 본 발명의 시스템 및 방법이 운동 기능장애의 정도의 신뢰할 수 있는 분류를 허용하고, 본원에서 채용되는 알고리즘이 대상의 동작의 어떤 성분이 각각의 기능장애의 임상적 분류에 대해 관련될 수 있는 지에 관한 정보를 제공함을 보여준다.
따라서, 본 발명의 실시예는 적어도 85%, 또는 90%, 또는 95%, 또는 그 이상의 분류의 정확도를 제공한다. 본 발명의 실시예는 적어도 75%, 또는 80%, 또는 85%, 또는 90%, 또는 그 이상의 감수성을 제공한다. 본 발명의 실시예는 적어도 85%, 또는 90%, 또는 95%, 또는 그 이상의 특이성을 제공한다.
예시 3에서, 컴퓨터 구현 방법이 제공되고, 방법은,
운동 과제를 수행하는 사람 또는 동물의 적어도 일부를 도시하는 비디오를 수신하는 단계;
운동 과제의 복수의 부류들을 판별하는 비디오의 위치 의존적 국소 움직임 특징을 찾도록 훈련된, 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계; 및
훈련된 기계 학습 시스템으로부터, 운동 과제가 복수의 부류들 중 어느 부류에 속하는 것으로 예측되는 지에 관한 데이터를 수신하는 단계
를 포함한다.
이러한 방식으로, 사람에 의해 수행되는 운동 과제는 자동화되어 객관적인, 정확하고 반복 가능한 방식으로 분석 및 검정될 수 있다.
많은 예시에서, 국소 움직임 특징은 속도 또는 가속도 특징을 포함한다. 이러한 유형의 특징은 정확하고 효율적으로 연산될 수 있고, 기계 학습 훈련 및 테스트 시기에 앞서 연산될 수 있다. 이는 기계 학습 시스템으로부터 얻어진 운동 과제 데이터의 품질 및 그러한 데이터를 얻는 속도를 개선한다.
많은 예시에서, 상기 방법은 비디오의 프레임의 쌍에 대해, 움직임 디스크립터를 계산하는 단계를 포함하고, 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계는 움직임 디스크립터를 입력하는 단계를 포함한다.
예를 들어, 움직임 디스크립터는 광 흐름 값이다. 광 흐름 값이 사용되는 경우에, 결과적인 시스템은 비디오 내의 노이즈 또는 오류에 대해 매우 강건한 것으로 발견된다.
몇몇 예시에서, 상기 방법은 기계 학습 시스템에서, 복수의 움직임 디스크립터를 사용하여 국소 움직임 특징을 계산하는 단계를 포함한다. 예를 들어, 비디오의 적어도 하나의 하위 볼륨 내의 움직임 디스크립터를 고려함으로써. 예를 들어, 비디오의 2개의 하위 볼륨 내의 움직임 디스크립터를 고려함으로써 국소 움직임 특징을 계산함. 예를 들어, 비디오의 하위 볼륨 내의 움직임 디스크립터들 사이의 차이를 고려함으로써 국소 움직임 특징을 계산함. 이러한 방식으로 비디오의 하위 볼륨을 사용하는 것은 운동 과제 부류들을 판별하는 데 있어서 특히 효과적인 것으로 발견된다.
몇몇 예시는 비디오의 하위 볼륨의 광 흐름 값의 변화율의 방향 변화의 빈도를 고려함으로써 가속도 특징을 계산하는 단계를 포함한다. 방향성 가속도 특징을 사용하는 것은 운동 과제 부류들을 판별하는 데 있어서 매우 효과적인 것으로 발견된다.
몇몇 예시는 광 흐름의 크기가 임계치 아래에 있는 경우에, 광 흐름 값의 변화율의 방향 변화를 무시하는 단계를 포함한다. 이는 노이즈로 인한 움직임과 사람의 실제 움직임을 구분하는 것을 돕는다.
몇몇 예시는 스케일링, 센터링, 및 전경 추출 수행에 의해, 훈련된 기계 학습 시스템으로 비디오를 입력하기 전에 비디오를 전처리하는 단계를 포함한다. 이는 테스트 시점에서 훈련된 기계 학습 시스템의 사용을 단순화하고, 테스트 시점 처리 소요 시간을 감소시킨다.
몇몇 예시에서, 비디오는 임의의 길이이고, 국소 움직임 특징은 비디오의 길이를 고려하는 방식으로 계산된다. 이는 운동 과제가 개인들 사이에서 소요 시간의 큰 가변성을 보이는 경우에 매우 유용하다.
몇몇 예시는 운동 과제가 복수의 가능한 부류들 중 어느 것에 속하는 지를 표시하는 라벨로 비디오가 라벨링되고, 비디오가 상이한 길이인 경우에, 운동 과제를 수행하는 사람의 비디오를 사용하여 기계 학습 시스템을 훈련시키는 단계를 포함한다.
많은 예시는 본 설명을 읽을 때 본 기술 분야의 통상의 기술자에 의해 이해되는 바와 같이, 무작위 의사결정 숲, 유도식 비순환형 그래프들의 정글, 선형 SVM, 커넬 SVM 등과 같은 지지도 벡터 머신들의 집합체 중 임의의 것을 포함하는 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계를 포함할 수 있다.
몇몇 예시는 지지도 벡터 머신들의 집합체를 포함하는 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계를 포함하고, 각각의 지지도 벡터 머신은 2진 의사결정 트리의 분할 노드이다. 이는 비디오 데이터의 많은 가변적인 개수의 차원에도 불구하고 지지도 벡터 머신을 사용하는 실질적인 방식을 제공한다.
몇몇 예시는 지지도 벡터 머신들의 집합체를 포함하는 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계를 포함하고, 개별 지지도 벡터 머신들은 라벨링된 훈련 비디오로부터 연산된 무작위화된 위치 의존적 국소 움직임 특징을 포함하는 고정 길이 특징 디스크립터를 사용하여 훈련되었다. 지지도 벡터 머신들의 결과적인 집합체는 지지도 벡터 머신들의 무작위화된 집합체로 지칭될 수 있다.
예시 4는 운동 과제를 수행하는 사람 또는 동물의 적어도 일부를 도시하는 비디오를 저장하는 메모리; 운동 과제의 복수의 부류들을 판별하는 비디오의 위치 의존적 국소 움직임 특징을 찾도록 훈련된, 훈련된 기계 학습 시스템; 및 비디오로부터 움직임 디스크립터를 연산하고, 움직임 디스크립터를 훈련된 기계 학습 시스템에 적용하고, 이에 응답하여 운동 과제가 복수의 부류들 중 어느 것에 속하는 것으로 예측되는 지에 관한 데이터를 수신하도록 배열된 프로세서를 포함하는 운동 과제 분류기를 제공한다.
예시 5는 복수의 프레임 - 적어도 2개의 프레임이 사람의 디지털 표현을 포함함 - 을 포함하는 비디오 데이터를 수신하는 단계; 비디오 데이터의 적어도 2개의 프레임 각각에 대한 복수의 참조 지점을 비디오 데이터의 적어도 2개의 프레임 내의 사람의 디지털 표현에 대해 맵핑하는 단계; 비디오 데이터의 적어도 2개의 프레임에 대한 복수의 움직임 디스크립터 - 각각의 움직임 디스크립터는 참조 지점들 중 하나에 대응함 - 를 계산하는 단계; 및 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 상태 및 질병 심각도 중 하나 이상을 검정하는 단계를 포함한다.
예를 들어, 비디오 데이터는 광 흐름 정보를 포함한다.
하나의 예시에서, 비디오 데이터의 적어도 2개의 프레임들은 서로로부터 시간적으로 변위되고, 사람의 디지털 표현의 적어도 일 부분은 비디오 데이터의 적어도 2개의 프레임들 사이에서 공간적으로 변위된다.
예를 들어, 비디오 데이터는 비접촉 능동 3차원(3D) 스캔 정보를 포함한다.
예를 들어, 비디오 데이터의 적어도 2개의 프레임 각각은 16비트 그레이스케일 영상이고, 각각의 픽셀은 0 - 65,536에 의해 표현되는 범위 내의 휘도 값을 특징으로 한다.
예를 들어, 방법은 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 심각도 점수를 계산하는 단계를 추가로 포함하고, 질병 심각도는 질병 심각도 점수에 적어도 부분적으로 기초하여 검정된다.
예를 들어, 질병 심각도 점수는 약 0.0 내지 약 12.0의 범위 내의 값을 갖는다.
하나의 예시에서, 질병 심각도 점수는 복수의 질병 심각도 하위 점수에 적어도 부분적으로 기초하고, 질병 심각도 하위 점수 각각은 다음으로부터 선택된 운동 과제에 대응한다:
체간 운동실조 과제;
손가락-코 과제;
손가락-손가락 과제;
롬버그 과제;
직선 걷기 과제;
보통 걷기 과제;
제자리 돌기 과제;
한 발로 뛰기 과제;
손가락으로 정사각형 그리기 과제;
컵으로 마시기 과제; 및
책장 넘기기 과제.
하나의 예시에서, 질병 심각도 점수는 복수의 질병 심각도 하위 점수에 대응하고, 각각의 질병 심각도 하위 점수는 다음으로부터 선택된 하나 이상의 증상을 표시한다:
운동실조;
체간 운동실조;
보행 운동실조;
사지 운동실조;
경직;
진전;
무력증;
겨냥이상;
상지 운동 기능장애;
교치성;
운동성; 및
다리 기능.
하나의 예시는 움직임 디스크립터들 중 적어도 2개에 기초하여 사람의 디지털 표현의 적어도 일 부분 내에서 진전을 검출하는 것을 추가로 포함한다.
하나의 예시에서, 질병은 다발성 경화증, 헌팅턴병, 및 파킨슨병으로부터 선택된다.
다양한 예시에서, 검정은 비디오 데이터 내에서 디지털로 표현되는 사람에 대응하는 이전에 결정된 질병 상태; 및 비디오 데이터 내에서 디지털로 표현되는 사람에 대응하는 이전에 결정된 질병 심각도 중 하나 이상에 적어도 부분적으로 추가로 기초한다.
하나의 예시에서, 비디오 데이터는 질병 상태 및 질병 심각도 중 적어도 하나를 표시하는 신체 동작을 수행하는 사람을 도시한다.
하나의 예시에서, 신체 동작은 다음으로부터 선택된 하나 이상의 운동 과제를 포함한다:
체간 운동실조 과제;
손가락-코 과제;
손가락-손가락 과제;
롬버그 과제;
직선 걷기 과제;
보통 걷기 과제;
제자리 돌기 과제;
한 발로 뛰기 과제;
손가락으로 정사각형 그리기 과제;
컵으로 마시기 과제; 및
책장 넘기기 과제.
상기 예시에서, 비디오 데이터는 운동 과제들 중 적어도 2개를 수행하는 사람을 도시할 수 있다.
하나의 예시에서, 움직임 디스크립터 각각은 신체 동작에 대응하는 가속도; 및 신체 동작에 대응하는 속도 중 하나 이상을 표현하고, 신체 동작은 비디오 데이터 내에서 디지털로 표현되는 사람에 의해 수행된다.
하나의 예시에서, 속도는 신체 동작의 크기를 실질적으로 표시한다.
하나의 예시에서, 가속도는 신체 동작의 떨림을 표시한다.
하나의 예시에서, 움직임 디스크립터 각각은 참조 지점들 중 하나에 대응하는 동작의 크기를 표현한다.
하나의 예시에서, 움직임 디스크립터 각각은 동작의 방향을 추가로 표현한다.
본 발명의 실시예에서, 운동 과제 분석 시스템 및/또는 그의 구성요소들은 질병, 상황, 또는 질환에 대한 치료와 관련하여 사용된다. 따라서, 질병, 상황, 또는 질환의 평가 또는 진행 모니터링은 운동 과제 분석 시스템 및/또는 그의 구성요소들에 의해 보조될 수 있다. 예를 들어, 본 발명의 실시예는 다발성 경화증, 파킨슨병 등과 같은 신경학적 질병 또는 질환을 가지고 있거나 갖는 것으로 예상되었던 환자 또는 대상을 평가하기 위해 사용된다. 따라서, 본 발명의 실시예는 운동 과제 분석 시스템이 치료 과정 전에, 치료 과정 중에, 그리고 치료 과정 후에 환자의 신체 동작을 주기적으로 모니터링, 검정, 및 평가하기 위해 사용되는 경우에 고려된다.
치료는 핑골리모드, 시포니모드, 또는 2-아미노-2-[2-[4-[3-(벤질옥시)페닐설파닐]-2-클로로페닐]에틸]프로페인-1,3-다이올 하이드로클로라이드와 같은 인터페론 베타-1b 또는 S1P 수용체 항진제와 같은 면역 조절 약물의 투여를 포함할 수 있다. 파킨슨병 치료는 레보도파, 카비도파, 및 엔타카폰의 그룹으로부터 선택된 약물의 투여를 포함할 수 있다. 바람직하게는, 상기 파킨슨병 치료는 레보도파, 카비도파, 및 엔타카폰의 조합을 포함한다.
다수의 약물이 운동 질병의 치료에 대해 이용 가능하고, 면역 조절 약물 및 S1P 수용체 항진제의 부류로부터 선택될 수 있다. 근육 위축 및 근육 무력증과 같은 본원에서 기술되는 바와 같은 다른 질병은 다음의 부류의 약물: 비마그루맙과 같은 항 ActRII 수용체 항체와 같은 마이오스타틴 길항제에 의해 치료될 수 있다.
따라서, 본 발명의 실시예는 핑골리모드와 같은 치료를 위한 적절한 약물과 함께, 병원 또는 의료인의 연산 시스템 내에 설치될 수 있는 소프트웨어 내에서 실시되는 운동 과제 분석 시스템을 포함하는 키트를 포함한다. 소프트웨어 및 약물 치료법을 포함하는 키트는 또한 마이크로소프트 키넥트(Microsoft Kinect) 시스템과 같은 적절한 비디오 포착 시스템을 추가로 포함할 수 있다.
운동 과제 분석 시스템의 실시예는 사용법과 함께, 개인용 스마트폰 또는 휴대용 연산 장치 상에, 앱스토어에 의해서와 같이, 설치될 수 있는 소프트웨어를 포함할 수 있다.
본 발명의 실시예는 약물 개발 연구자들이 질병 및 질환에 대한 (기존의 약물을 포함하며 새로운 적응증에 대해 평가되는) 개발 중인 약물을 더 양호하게 검정, 정제, 모니터링, 정량, 또는 평가하는 것을 가능케 하기 위해 본원에서 설명되는 운동 과제 분석 시스템을 사용하는 방법을 포함하고, 질병 및 질환은 환자 운동 기능 또는 운동 기능의 변화에 있어서 일부 발현을 일으킨다.
복수의 부류의 운동 과제들을 판별하는 비디오의 위치 의존적 국소 움직임 특징을 찾도록 훈련된, 훈련된 기계 학습 시스템이 추가로 제공되고, 비디오는 질병 또는 질환 관련 운동 과제를 수행하는 사람 또는 동물의 적어도 일부를 도시하고, 상기 비디오는 상기 훈련된 기계 학습 시스템으로 입력되고, 상기 훈련된 기계 학습 시스템은 운동 과제가 복수의 부류들 중 어느 것에 속하는 것으로 예측되는 지에 관한 데이터를 전달한다.
다발성 경화증의 치료 시에 사용하기 위한 핑골리모드가 추가로 제공되고, 상기 치료는 청구항 제1항 내지 제17항 중 어느 한 항에 따른 컴퓨터 구현 방법을 포함한다.
다발성 경화증의 치료 시에 사용하기 위한 시포니모드가 추가로 제공되고, 상기 치료는 청구항 제1항 내지 제17항 중 어느 한 항에 따른 컴퓨터 구현 방법을 포함한다.
다발성 경화증의 치료 시에 사용하기 위한 레보도파가 추가로 제공되고, 상기 치료는 청구항 제1항 내지 제17항 중 어느 한 항에 따른 컴퓨터 구현 방법을 포함한다.
다발성 경화증의 치료 시에 사용하기 위한 비마그루맙이 추가로 제공되고, 상기 치료는 제1항 내지 제17항 중 어느 한 항에 따른 컴퓨터 구현 방법을 포함한다.
다발성 경화증의 치료 시에 사용하기 위한 2-아미노-2-[2-[4-[3-(벤질옥시)페닐설파닐]-2-클로로페닐]에틸]프로페인-1,3-다이올 하이드로클로라이드가 추가로 제공되고, 상기 치료는 청구항 제1항 내지 제17항 중 어느 한 항에 따른 컴퓨터 구현 방법을 포함한다.
'컴퓨터' 또는 '연산 기반 장치'라는 용어는 본원에서 지시를 실행할 수 있도록 처리 능력을 갖는 임의의 장치를 지칭하도록 사용된다. 본 기술 분야의 통상의 기술자는 그러한 처리 능력이 많은 상이한 장치들 내에 통합되는 것을 인식할 것이고, 그러므로 '컴퓨터' 및 '연산 기반 장치'라는 용어는 각각 PC, 서버, (스마트폰을 포함한) 이동 전화, 태블릿 컴퓨터, 셋탑 박스, 미디어 플레이어, 게임 콘솔, 개인용 정보 단말기, 및 많은 다른 장치를 포함한다.
본원에서 설명되는 방법은, 예컨대, 프로그램이 컴퓨터 상에서 실행될 때 그리고 컴퓨터 프로그램이 컴퓨터 판독 가능 매체 상에서 실시될 수 있는 경우에, 본원에서 설명되는 방법들 중 임의의 것의 모든 단계를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램의 형태인, 유형의 저장 매체 상의 기계 판독 가능 형태의 소프트웨어에 의해 수행될 수 있다. 유형의 저장 매체의 예시는 디스크, 썸드라이브, 메모리 등과 같은 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 저장 장치를 포함하고, 전파 신호는 포함하지 않는다. 전파 신호는 유형의 저장 매체 내에 존재할 수 있지만, 전파 신호 자체는 유형의 저장 매체의 예시가 아니다. 소프트웨어는 방법 단계들이 임의의 적합한 순서로 또는 동시에 실행될 수 있도록, 병렬 프로세서 또는 직렬 프로세서 상에서 실행되기에 적합할 수 있다.
이는 소프트웨어가 가치가 있는 별도로 판매 가능한 상품일 수 있음을 확인한다. 원하는 기능을 실행하기 위해, "덤(dumb)" 또는 표준 하드웨어 상에서 실행되거나 그를 제어하는 소프트웨어를 포함하도록 의도된다. 원하는 기능을 실행하기 위해, 실리콘 칩을 설계하기 위해 또는 범용 프로그램 가능 칩을 구성하기 위해 사용되는 바와 같이, HDL(하드웨어 설명어) 소프트웨어와 같은 하드웨어의 구성을 "설명" 또는 정의하는 소프트웨어를 포함하도록 또한 의도된다.
본 기술 분야의 통상의 기술자는 프로그램 지시를 저장하기 위해 이용되는 저장 장치가 네트워크를 가로질러 분포될 수 있음을 인식할 것이다. 예를 들어, 원격 컴퓨터가 소프트웨어로서 설명되는 프로세스의 하나의 예시를 저장할 수 있다. 로컬 또는 단말 컴퓨터가 원격 컴퓨터에 접근하여, 프로그램을 실행하기 위한 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 로컬 컴퓨터는 필요한 대로 소프트웨어를 다운로드하거나, 일부 소프트웨어 지시를 로컬 단말기에서 그리고 일부를 원격 컴퓨터 (또는 컴퓨터 네트워크)에서 실행할 수 있다. 본 기술 분야의 통상의 기술자는 또한 본 기술 분야의 통상의 기술자에게 공지된 종래의 기술을 이용함으로써, 소프트웨어 지시의 그러한 전부 또는 일부는 DSP, 프로그램 가능 로직 어레이 등과 같은 전용 회로에 의해 실행될 수 있음을 인식할 것이다.
본원에서 주어지는 임의의 범위 또는 장치 값은 통상의 기술자에게 명백할 바와 같이, 추구하는 효과를 소실하지 않고서 확장 또는 변경될 수 있다.
보호 대상이 구조적 특징 및/또는 방법적 작용에 특이적인 언어로 설명되었지만, 첨부된 청구범위에서 한정되는 보호 대상은 위에서 설명된 구체적인 특징 또는 작용으로 반드시 제한되지는 않음을 이해하여야 한다. 오히려, 위에서 설명된 특정 특징 및 작용은 청구범위를 구현하는 예시적인 형태로서 개시된다.
위에서 설명된 이점 및 장점은 하나의 실시예에 관련될 수 있거나 여러 실시예에 관련될 수 있음이 이해될 것이다. 실시예는 기술된 문제점들 중 임의의 또는 모두를 해결하는 것 또는 기술된 이점 및 장점들 중 하나 또는 모두를 갖는 것으로 제한되지 않는다. '하나의' 항목에 대한 참조는 그러한 항목들 중 하나 이상을 참조함이 추가로 이해될 것이다.
본원에서 설명되는 방법의 단계들은 임의의 적합한 순서로 또는 적절한 경우에 동시에, 수행될 수 있다. 또한, 개별 블록들은 본원에서 설명되는 보호 대상의 사상 및 범주로부터 벗어남이 없이 방법들 중 임의의 것으로부터 생략될 수 있다. 위에서 설명된 예시들 중 임의의 태양은 설명된 다른 예시들 중 하나의 태양과 조합되어 추구하는 효과를 소실하지 않고서 추가의 예시를 형성할 수 있다.
'포함하는'이라는 용어는 본원에서 식별된 방법 블록 또는 요소를 포함하는 것을 의미하도록 사용되지만, 그러한 블록 또는 요소는 한정 나열적인 목록을 포함하지 않고, 방법 또는 장치는 추가의 블록 또는 요소를 포함할 수 있다.
'하위 세트'라는 용어는 본원에서 세트의 하위 세트가 세트의 모든 요소들을 포함하지는 않도록 (즉, 세트의 요소들 중 적어도 하나가 하위 세트로부터 빠지도록) 적절한 하위 세트를 지칭하도록 사용된다.
상기 설명은 단지 예시로써 주어지고, 다양한 변형이 본 기술 분야의 통상의 기술자에 의해 이루어질 수 있음이 이해될 것이다. 상기 명세서, 예시, 및 데이터는 예시적인 실시예의 구조 및 사용의 완전한 설명을 제공한다. 다양한 실시예가 소정의 구체도로 또는 하나 이상의 개별 실시예를 참조하여 위에서 설명되었지만, 본 기술 분야의 통상의 기술자는 본 명세서의 사상 또는 범주로부터 벗어남이 없이 개시된 실시예에 대해 많은 변경을 만들 수 있다.

Claims (38)

  1. 컴퓨터 구현 방법이며,
    기계 학습 시스템을 제공하는 단계;
    복수의 부류의 운동 과제들을 판별하는 비디오의 위치 의존적 국소 움직임 특징을 찾도록 기계 학습 시스템을 훈련시키는 단계;
    운동 과제를 수행하는 사람 또는 동물의 적어도 일부를 도시하는 비디오를 수신하는 단계;
    훈련된 기계 학습 시스템으로 비디오를 입력하는 단계;
    훈련된 기계 학습 시스템으로부터, 운동 과제가 복수의 부류들 중 어느 것에 속하는 것으로 예측되는 지에 관한 데이터를 수신하는 단계; 및
    운동 과제를 수행하는 사람 또는 동물의 신경학적 질병 또는 질환을 평가하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 국소 움직임 특징은 속도 또는 가속도 특징을 포함하는, 방법.
  3. 제2항에 있어서, 비디오의 하위 볼륨의 광 흐름 값의 변화율의 방향 변화의 빈도를 고려함으로써 가속도 특징을 계산하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 광 흐름의 크기가 임계치 아래에 있는 경우에, 광 흐름 값의 변화율의 방향 변화를 무시하는 단계를 포함하는, 방법.
  5. 제3항에 있어서, 움직임 디스크립터는 광 흐름 값인, 방법.
  6. 제3항에 있어서, 기계 학습 시스템에서, 복수의 움직임 디스크립터를 사용하여 국소 움직임 특징을 계산하는 단계를 포함하는, 방법.
  7. 제3항에 있어서, 비디오의 적어도 하나의 하위 볼륨 내의 움직임 디스크립터를 고려함으로써 국소 움직임 특징을 계산하는 단계를 포함하는, 방법.
  8. 제3항에 있어서, 비디오의 2개의 하위 볼륨 내의 움직임 디스크립터를 고려함으로써 국소 움직임 특징을 계산하는 단계를 포함하는, 방법.
  9. 제8항에 있어서, 비디오의 하위 볼륨 내의 움직임 디스크립터들 사이의 차이를 고려함으로써 국소 움직임 특징을 계산하는 단계를 포함하는, 방법.
  10. 제1항에 있어서, 비디오의 프레임의 쌍에 대해, 움직임 디스크립터를 계산하는 단계를 포함하고, 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계는 움직임 디스크립터를 입력하는 단계를 포함하는, 방법.
  11. 제1항에 있어서, 스케일링, 센터링, 및 전경 추출 수행에 의해, 훈련된 기계 학습 시스템으로 비디오를 입력하기 전에 비디오를 전처리하는 단계를 포함하는, 방법.
  12. 제1항에 있어서, 비디오는 임의의 길이이고, 국소 움직임 특징은 비디오의 길이를 고려하는 방식으로 계산되는, 방법.
  13. 제1항에 있어서, 운동 과제를 수행하는 사람의 비디오를 사용하여 기계 학습 시스템을 훈련시키는 단계를 포함하고, 비디오는 운동 과제가 복수의 가능한 부류들 중 어느 것에 속하는 지를 표시하는 라벨로 라벨링되고, 비디오는 상이한 길이인, 방법.
  14. 제1항에 있어서, 무작위 의사결정 숲, 유도식 비순환형 그래프들의 정글, 지지도 벡터 머신들의 집합체 중 임의의 것을 포함하는 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계를 포함하는, 방법.
  15. 제1항에 있어서, 지지도 벡터 머신들의 집합체를 포함하는 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계를 포함하고, 각각의 지지도 벡터 머신은 2진 의사결정 트리의 분할 노드인, 방법.
  16. 제1항에 있어서, 지지도 벡터 머신들의 집합체를 포함하는 훈련된 기계 학습 시스템으로 비디오를 입력하는 단계를 포함하고, 개별 지지도 벡터 머신은 라벨링된 훈련 비디오로부터 연산된 무작위화된 위치 의존적 국소 움직임 특징을 포함하는 고정 길이 특징 디스크립터를 사용하여 훈련되는, 방법.
  17. 방법이며,
    복수의 프레임 - 적어도 2개의 프레임이 사람의 디지털 표현을 포함함 - 을 포함하는 비디오 데이터를 수신하는 단계;
    비디오 데이터의 적어도 2개의 프레임 각각에 대한 복수의 참조 지점을 비디오 데이터의 적어도 2개의 프레임 내의 사람의 디지털 표현에 대해 맵핑하는 단계;
    비디오 데이터의 적어도 2개의 프레임에 대한 복수의 움직임 디스크립터 - 각각의 움직임 디스크립터는 참조 지점들 중 하나에 대응함 - 를 계산하는 단계; 및
    움직임 디스크립터들 중 적어도 하나에 기초하여 질병 상태 및 질병 심각도 중 하나 이상을 검정하는 단계
    를 포함하는, 방법.
  18. 제17항에 있어서, 비디오 데이터는 광 흐름 정보를 포함하는, 방법.
  19. 제17항에 있어서, 비디오 데이터의 적어도 2개의 프레임들은 서로로부터 시간적으로 변위되고, 사람의 디지털 표현의 적어도 일 부분은 비디오 데이터의 적어도 2개의 프레임들 사이에서 공간적으로 변위되는, 방법.
  20. 제17항에 있어서, 비디오 데이터는 비접촉 능동 3차원(3D) 스캔 정보를 포함하는, 방법.
  21. 제17항에 있어서, 비디오 데이터의 적어도 2개의 프레임 각각은 16비트 그레이스케일 영상이고, 각각의 픽셀은 0 - 65,536에 의해 표현되는 범위 내의 휘도 값을 특징으로 하는, 방법.
  22. 제17항에 있어서, 움직임 디스크립터들 중 적어도 하나에 기초하여 질병 심각도 점수를 계산하는 단계를 추가로 포함하고, 질병 심각도는 질병 심각도 점수에 적어도 부분적으로 기초하여 검정되는, 방법.
  23. 제22항에 있어서, 질병 심각도 점수는 약 0.0 내지 약 12.0의 범위 내의 값을 갖는, 방법.
  24. 제23항에 있어서, 질병 심각도 점수는 복수의 질병 심각도 하위 점수에 적어도 부분적으로 기초하고, 질병 심각도 하위 점수 각각은 다음으로부터 선택된 운동 과제에 대응하는, 방법.
    a. 체간 운동실조 과제;
    b. 손가락-코 과제;
    c. 손가락-손가락 과제;
    d. 롬버그 과제;
    e. 직선 걷기 과제;
    f. 보통 걷기 과제;
    g. 제자리 돌기 과제;
    h. 한 발로 뛰기 과제;
    i. 손가락으로 정사각형 그리기 과제;
    j. 컵으로 마시기 과제; 및
    k. 책장 넘기기 과제.
  25. 제23항에 있어서, 질병 심각도 점수는 복수의 질병 심각도 하위 점수에 대응하고,
    각각의 질병 심각도 하위 점수는 다음으로부터 선택된 하나 이상의 증상을 표시하는, 방법.
    l. 운동실조;
    m. 체간 운동실조;
    n. 보행 실조;
    o. 사지 운동실조;
    p. 경직;
    q. 진전;
    r. 무력증;
    s. 겨냥이상;
    t. 상지 운동 기능장애;
    u. 교치성;
    v. 운동성; 및
    w. 다리 기능.
  26. 제17항에 있어서, 움직임 디스크립터들 중 적어도 2개에 기초하여 사람의 디지털 표현의 적어도 일 부분 내에서 진전을 검출하는 단계를 추가로 포함하는, 방법.
  27. 제26항에 있어서, 질병은 다발성 경화증, 헌팅턴병, 및 파킨슨병으로부터 선택되는, 방법.
  28. 제27항에 있어서, 환자에게 치료제를 투여하는 단계를 추가로 포함하는, 방법.
  29. 제28항에 있어서, 치료제는 핑골리모드인, 방법.
  30. 제17항에 있어서, 검정은 추가로,
    비디오 데이터 내에서 디지털로 표현되는 사람에 대응하는 이전에 결정된 질병 상태; 및
    비디오 데이터 내에서 디지털로 표현되는 사람에 대응하는 이전에 결정된 질병 심각도
    중 하나 이상에 적어도 부분적으로 기초하는, 방법.
  31. 제17항에 있어서, 비디오 데이터는 질병 상태 및 질병 심각도 중 적어도 하나를 표시하는 신체 동작을 수행하는 사람을 도시하는, 방법.
  32. 제31항에 있어서, 신체 동작은 다음으로부터 선택된 하나 이상의 운동 과제를 포함하는, 방법.
    x. 체간 운동실조 과제;
    y. 손가락-코 과제;
    z. 손가락-손가락 과제;
    aa. 롬버그 과제;
    bb. 직선 걷기 과제;
    cc. 보통 걷기 과제;
    dd. 제자리 돌기 과제;
    ee. 한 발로 뛰기 과제;
    ff. 손가락으로 정사각형 그리기 과제;
    gg. 컵으로 마시기 과제; 및
    hh. 책장 넘기기 과제.
  33. 제32항에 있어서, 비디오 데이터는 운동 과제들 중 적어도 2개를 수행하는 사람을 도시하는, 방법.
  34. 제17항에 있어서,
    움직임 디스크립터 각각은,
    신체 동작에 대응하는 가속도; 및
    신체 동작에 대응하는 속도
    중 하나 이상을 표현하고,
    신체 동작은 비디오 데이터 내에서 디지털로 표현되는 사람에 의해 수행되는, 방법.
  35. 제34항에 있어서, 속도는 신체 동작의 크기를 통계적으로 표시하는, 방법.
  36. 제35항에 있어서, 가속도는 신체 동작 내의 떨림을 표시하는, 방법.
  37. 제17항에 있어서, 움직임 디스크립터 각각은 참조 지점들 중 하나에 대응하는 동작의 크기를 표현하는, 방법.
  38. 제37항에 있어서, 움직임 디스크립터 각각은 동작의 방향을 추가로 표현하는, 방법.
KR1020177009212A 2014-09-09 2015-09-03 운동 과제 분석 시스템 및 방법 Ceased KR20170052628A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462048132P 2014-09-09 2014-09-09
US62/048,132 2014-09-09
PCT/IB2015/056719 WO2016038516A2 (en) 2014-09-09 2015-09-03 Motor task analysis system and method

Publications (1)

Publication Number Publication Date
KR20170052628A true KR20170052628A (ko) 2017-05-12

Family

ID=54145968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177009212A Ceased KR20170052628A (ko) 2014-09-09 2015-09-03 운동 과제 분석 시스템 및 방법

Country Status (10)

Country Link
US (2) US10083233B2 (ko)
EP (3) EP3191986A2 (ko)
JP (1) JP2017533790A (ko)
KR (1) KR20170052628A (ko)
CN (1) CN106663126A (ko)
AU (2) AU2015313891A1 (ko)
BR (1) BR112017004663A2 (ko)
CA (1) CA2960584A1 (ko)
IL (1) IL250855A0 (ko)
WO (2) WO2016038516A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052121A (ko) 2018-11-06 2020-05-14 부산가톨릭대학교 산학협력단 스마트폰에 설치된 6분보행검사앱을 통한 건강관리시스템
KR20220051939A (ko) * 2020-10-20 2022-04-27 (주) 로완 인공지능 기반의 그림 테스트를 이용한 인지장애 판별 방법 및 장치

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900092B (zh) * 2014-03-26 2019-05-14 株式会社日立制作所 时序数据管理方法以及时序数据管理系统
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US11013451B2 (en) * 2014-09-19 2021-05-25 Brigham Young University Marker-less monitoring of movement disorders
KR20180111872A (ko) * 2016-02-12 2018-10-11 에이엘에스 테라피 디벨럽먼트 인스티튜트 동역학 데이터에 기초한 als 진행의 측정
JP6583537B2 (ja) * 2016-03-14 2019-10-02 オムロン株式会社 動作情報生成装置
JP6975952B2 (ja) * 2016-07-08 2021-12-01 国立大学法人岩手大学 生体の動作識別システム及び生体の動作識別方法
US10019651B1 (en) * 2016-12-25 2018-07-10 Facebook, Inc. Robust shape prediction for face alignment
WO2018144674A1 (en) * 2017-02-02 2018-08-09 BeCare Link LLC System and method for remote diagnosis of disease progression
CN108229284B (zh) * 2017-05-26 2021-04-09 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
US11253173B1 (en) * 2017-05-30 2022-02-22 Verily Life Sciences Llc Digital characterization of movement to detect and monitor disorders
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
FR3067496B1 (fr) * 2017-06-12 2021-04-30 Inst Mines Telecom Procede d'apprentissage de descripteurs pour la detection et la localisation d'objets dans une video
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10489654B1 (en) * 2017-08-04 2019-11-26 Amazon Technologies, Inc. Video analysis method and system
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
US11263230B2 (en) * 2017-09-29 2022-03-01 Koninklijke Philips N.V. Method and system of intelligent numeric categorization of noisy data
JPWO2019097784A1 (ja) * 2017-11-16 2020-10-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10521704B2 (en) * 2017-11-28 2019-12-31 Motorola Solutions, Inc. Method and apparatus for distributed edge learning
CN107862387B (zh) * 2017-12-05 2022-07-08 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
EP3786882A4 (en) * 2018-04-26 2022-01-19 Nippon Telegraph And Telephone Corporation MOTION STATE RECOGNITION MODEL LEARNING DEVICE, MOTION STATE RECOGNITION DEVICE, METHOD AND PROGRAM
EP3909504B1 (en) 2018-05-28 2025-04-09 Kaia Health Software GmbH Monitoring the performance of physical exercises
CN109902547B (zh) * 2018-05-29 2020-04-28 华为技术有限公司 动作识别方法和装置
JP6939998B2 (ja) * 2018-06-04 2021-09-22 日本電信電話株式会社 移動状況解析装置、移動状況解析方法及びプログラム
US20200098339A1 (en) * 2018-09-20 2020-03-26 Ca, Inc. Panning displayed information to compensate for parkinson's disease induced motion of electronic devices
JP2020077388A (ja) * 2018-09-28 2020-05-21 医療法人社団皓有会 運動解析装置
US10991122B2 (en) 2018-11-13 2021-04-27 Google Llc Processing images to localize novel objects
US11093886B2 (en) * 2018-11-27 2021-08-17 Fujifilm Business Innovation Corp. Methods for real-time skill assessment of multi-step tasks performed by hand movements using a video camera
US11423564B2 (en) * 2018-11-30 2022-08-23 Healthreel, Inc. Body modeling using mobile device
US11426114B2 (en) * 2018-12-21 2022-08-30 Metal Industries Research & Development Centre Method and system for measuring spasticity
WO2020205661A1 (en) * 2019-03-29 2020-10-08 University Of Southern California System and method for determining quantitative health-related performance status of a patient
CN110176023B (zh) * 2019-04-29 2023-06-02 同济大学 一种基于金字塔结构的光流估计方法
TWI721533B (zh) * 2019-08-19 2021-03-11 國立中央大學 抖動辨識方法及其系統
US11037670B2 (en) * 2019-09-17 2021-06-15 Battelle Memorial Institute Activity assistance system
US11798272B2 (en) * 2019-09-17 2023-10-24 Battelle Memorial Institute Activity assistance system
CN114503209A (zh) * 2019-09-30 2022-05-13 豪夫迈·罗氏有限公司 用于评定多发性硬化症(ms)的工具和方法
US11335063B2 (en) * 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
GB2587248B (en) * 2020-02-27 2021-12-08 Imagination Tech Ltd Analysing objects in a set of frames
CN111695404B (zh) * 2020-04-22 2023-08-18 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质
CN115668390A (zh) 2020-05-29 2023-01-31 美敦力公司 用于心脏分流手术的扩展现实(xr)应用
CN111753795B (zh) * 2020-06-30 2024-12-10 北京爱奇艺科技有限公司 一种动作识别方法、装置、电子设备及存储介质
US11817201B2 (en) 2020-09-08 2023-11-14 Medtronic, Inc. Imaging discovery utility for augmenting clinical image management
US11351861B2 (en) * 2020-09-10 2022-06-07 Automotive Research & Testing Center Driver status monitor test method and test system
CN116114028A (zh) * 2020-09-29 2023-05-12 田边三菱制药株式会社 神经肌肉疾病评估系统
US11734453B2 (en) * 2021-02-22 2023-08-22 International Business Machines Corporation Privacy-preserving motion analysis
WO2022183017A1 (en) * 2021-02-25 2022-09-01 The Regents Of The University Of California Pose-based identification of weakness
EP4327336A4 (en) * 2021-04-22 2025-03-12 Verily Life Sciences LLC Systems and methods for remote clinical examinations and automated signal data labeling
US20240221959A1 (en) * 2021-04-29 2024-07-04 UCB Biopharma SRL Method and system for predicting individualized binary response to a treatment
US12558167B2 (en) 2021-05-12 2026-02-24 Medtronic, Inc. Extended intelligence for cardiac implantable electronic device (CIED) placement procedures
US20230053982A1 (en) 2021-08-18 2023-02-23 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
US12223017B2 (en) * 2021-08-27 2025-02-11 Rapsodo Pte. Ltd. Self-organized learning of three-dimensional motion data
US12246452B2 (en) * 2021-10-08 2025-03-11 Sanctuary Cognitive Systems Corporation Systems, robots, and methods for selecting classifiers based on context
WO2023195995A1 (en) * 2022-04-08 2023-10-12 Magic Leap, Inc. Systems and methods for performing a motor skills neurological test using augmented or virtual reality
US11482048B1 (en) 2022-05-10 2022-10-25 INSEER Inc. Methods and apparatus for human pose estimation from images using dynamic multi-headed convolutional attention
CN115937895B (zh) * 2022-11-11 2023-09-19 南通大学 一种基于深度相机的速度与力量反馈系统
JP2024111558A (ja) * 2023-02-06 2024-08-19 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法、及び、プログラム
JPWO2024252442A1 (ko) * 2023-06-05 2024-12-12
DE102023129563A1 (de) 2023-10-26 2025-04-30 Ottobock Se & Co. Kgaa Verfahren, Vorrichtung und Computerprogramm zum Bewerten eines Bewegungsablaufes

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618672B2 (en) * 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
ES2467154T3 (es) * 2000-05-18 2014-06-12 Commwell, Inc. Método para la monitorización médica remota que incorpora procesamiento de video
US7643655B2 (en) * 2000-11-24 2010-01-05 Clever Sys, Inc. System and method for animal seizure detection and classification using video analysis
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7330566B2 (en) 2003-05-15 2008-02-12 Microsoft Corporation Video-based gait recognition
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
US8724891B2 (en) 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US7583819B2 (en) * 2004-11-05 2009-09-01 Kyprianos Papademetriou Digital signal processing methods, systems and computer program products that identify threshold positions and values
WO2007020568A2 (en) * 2005-08-19 2007-02-22 Philips Intellectual Property & Standards Gmbh System and method of analyzing the movement of a user
GB0518480D0 (en) * 2005-09-09 2005-10-19 Ntnu Technology Transfer As Categorising movement data
US7881537B2 (en) * 2006-01-31 2011-02-01 Honeywell International Inc. Automated activity detection using supervised learning
CN101489481A (zh) * 2006-07-12 2009-07-22 皇家飞利浦电子股份有限公司 健康管理设备
US20110044501A1 (en) * 2006-07-14 2011-02-24 Ailive, Inc. Systems and methods for personalized motion control
US20120164613A1 (en) 2007-11-07 2012-06-28 Jung Edward K Y Determining a demographic characteristic based on computational user-health testing of a user interaction with advertiser-specified content
US20090024050A1 (en) 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
DE102007056620A1 (de) 2007-07-24 2009-01-29 Alexander Brandt Verfahren zur Situationsadaptiven Dokumentation strukturierter Daten
US9301679B2 (en) * 2007-11-01 2016-04-05 Dignity Health Method of detecting neurological disease
US8189866B1 (en) * 2008-08-26 2012-05-29 Adobe Systems Incorporated Human-action recognition in images and videos
US20100208063A1 (en) 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
WO2011133799A1 (en) 2010-04-21 2011-10-27 Northwestern University Medical evaluation system and method using sensors in mobile devices
US20110263946A1 (en) 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
KR20130141657A (ko) * 2010-12-29 2013-12-26 톰슨 라이센싱 제스처 인식을 위한 시스템 및 방법
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US10146329B2 (en) * 2011-02-25 2018-12-04 Nokia Technologies Oy Method and apparatus for providing different user interface effects for different motion gestures and motion properties
US9189068B2 (en) * 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
US9486161B2 (en) * 2011-06-07 2016-11-08 Hitachi, Ltd. Information processing system and method
WO2013027091A1 (en) 2011-07-28 2013-02-28 Arb Labs Inc. Systems and methods of detecting body movements using globally generated multi-dimensional gesture data
CN102368297A (zh) * 2011-09-14 2012-03-07 北京英福生科技有限公司 一种用于识别被检测对象动作的设备、系统及方法
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US9078598B2 (en) * 2012-04-19 2015-07-14 Barry J. French Cognitive function evaluation and rehabilitation methods and systems
US20140024971A1 (en) 2012-07-17 2014-01-23 Frank E. Bunn Assessment and cure of brain concussion and medical conditions by determining mobility
KR101450586B1 (ko) * 2012-11-28 2014-10-15 (주) 미디어인터랙티브 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
AU2014207265B2 (en) 2013-01-21 2017-04-20 Cala Health, Inc. Devices and methods for controlling tremor
WO2014127065A2 (en) * 2013-02-12 2014-08-21 Emotient Facial expression measurement for assessment, monitoring, and treatment evaluation of affective and neurological disorders
EP2973215B1 (en) * 2013-03-15 2023-05-17 NIKE Innovate C.V. Feedback signals from image data of athletic performance
US9858678B2 (en) * 2013-06-12 2018-01-02 Agency For Science, Technology And Research Method and system for human motion recognition
US20150157202A1 (en) 2013-12-09 2015-06-11 Alexander Ulrich Brandt Method and System for Optic Nerve Head Shape Quantification
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052121A (ko) 2018-11-06 2020-05-14 부산가톨릭대학교 산학협력단 스마트폰에 설치된 6분보행검사앱을 통한 건강관리시스템
KR20220051939A (ko) * 2020-10-20 2022-04-27 (주) 로완 인공지능 기반의 그림 테스트를 이용한 인지장애 판별 방법 및 장치

Also Published As

Publication number Publication date
BR112017003220A2 (pt) 2017-11-28
EP3191989B1 (en) 2021-12-29
WO2016038516A3 (en) 2016-06-23
AU2018250385A1 (en) 2018-11-08
CN106663126A (zh) 2017-05-10
BR112017004663A2 (pt) 2017-12-05
IL250855A0 (en) 2017-04-30
US10083233B2 (en) 2018-09-25
US20170293805A1 (en) 2017-10-12
US20160071284A1 (en) 2016-03-10
JP2017533790A (ja) 2017-11-16
EP4002385A3 (en) 2022-08-03
EP3191989A1 (en) 2017-07-19
CA2960584A1 (en) 2016-03-17
US10776423B2 (en) 2020-09-15
BR112017003220A8 (pt) 2023-03-07
AU2018250385B2 (en) 2020-10-15
WO2016038516A2 (en) 2016-03-17
AU2015313891A1 (en) 2017-03-23
EP3191986A2 (en) 2017-07-19
EP4002385A2 (en) 2022-05-25
WO2016040207A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
AU2018250385B2 (en) Motor task analysis system and method
Micó-Amigo et al. Assessing real-world gait with digital technology? Validation, insights and recommendations from the Mobilise-D consortium
US10262423B2 (en) Disease and fall risk assessment using depth mapping systems
JP7473355B2 (ja) 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム
CN102438519B (zh) 通过运动分析来表征身体能力
CN112438723B (zh) 认知功能评估方法、认知功能评估装置以及存储介质
WO2019079489A1 (en) MEASUREMENT OF BODY MOVEMENT IN A DISEASE OF MOVEMENT DISORDERS
Leightley et al. Benchmarking human motion analysis using kinect one: An open source dataset
JP7473354B2 (ja) サルコペニア評価方法、サルコペニア評価装置及びサルコペニア評価プログラム
Tao et al. A comparative home activity monitoring study using visual and inertial sensors
Jeyasingh-Jacob et al. Markerless motion capture to quantify functional performance in neurodegeneration: Systematic review
Liu et al. Depression risk recognition based on gait: A benchmark
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
US20240315637A1 (en) System and method for whole-body balance assessment
Ng Vision based human pose estimation for gait assessment of older adults with dementia
WO2022249746A1 (ja) 身体機能推定システム、身体機能推定方法、及び、プログラム
US20250366711A1 (en) Systems and methods for identifying eye gaze pattern with respect to visual stimulus
Vanmechelen et al. Markerless motion capture to assess upper extremity movements in individuals with dyskinetic cerebral palsy: an accuracy and validity study
Ramli Applied Machine Learning in Healthcare Systems: Classical and Deep Learning Approach for Gait Analysis and Activity Recognition
TW396032B (en) Method for applying an eye vision test and evaluating an eyeball exercise
JP2024024307A (ja) 画像処理装置、画像処理方法およびプログラム
Clark et al. New Perspectives Through Emerging Technologies
Dave Automated BESS test for diagnosis of post-concusive symptoms using Microsoft Kinect®
Nerino et al. Steps toward Automatic Assessment of Parkinson’s Disease at Home
da Rocha Sistema para Análise Automatizada de Movimento Durante a Marcha Usando uma Câmara RGB-D

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20170405

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200813

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220428

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220714

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220428

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I