KR20160093741A - 사용자 활동 추적 시스템 및 장치 - Google Patents

사용자 활동 추적 시스템 및 장치 Download PDF

Info

Publication number
KR20160093741A
KR20160093741A KR1020167020801A KR20167020801A KR20160093741A KR 20160093741 A KR20160093741 A KR 20160093741A KR 1020167020801 A KR1020167020801 A KR 1020167020801A KR 20167020801 A KR20167020801 A KR 20167020801A KR 20160093741 A KR20160093741 A KR 20160093741A
Authority
KR
South Korea
Prior art keywords
activity
sensor
mobile communication
communication device
sensor signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020167020801A
Other languages
English (en)
Other versions
KR101799474B1 (ko
Inventor
유호 펜나넨
아포 퀴롤라
주카 파르타넨
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/930,347 external-priority patent/US9125015B2/en
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20160093741A publication Critical patent/KR20160093741A/ko
Application granted granted Critical
Publication of KR101799474B1 publication Critical patent/KR101799474B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H04L67/22—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G01S19/19—Sporting applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N99/005—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H04W4/005—
    • H04W4/028—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 명세서는 하나 이상의 동작 센서를 포함하는 모바일 통신 장치의 동작을 추적하고 기록하기 위한 시스템을 제공한다. 모바일 통신 장치는 센서 신호를 시스템으로 통신하며, 센서 신호는 모바일 통신 장치가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타낸다. 센서 신호는 중간 데이터를 생성하도록 사전-분류되며, 중간 데이터는 센서 신호와 연관된 가능한 활동의 표시를 생성하도록 하나 이상의 프로세서에서 처리되며, 표시의 총계는 센서 신호와 연관된 활동의 분석을 제공하도록 계산된다. 시스템은 센서 신호를 분석하여 이들을 하나 이상의 시간대로 분류하고 소정의 시간대와 연관된 가장 가능성이 있는 활동 타입을 결정한다. 가장 가능성이 있는 활동 타입을 표시하는 정보가 모바일 통신 장치로 송신된다.

Description

사용자 활동 추적 시스템 및 장치{USER ACTIVITY TRACKING SYSTEM AND DEVICE}
본 명세서는 일반적으로 사용자 활동의 추적, 기록 및 분석에 관한 것이며, 더 상세하게는 사용자의 모바일 통신 장치에 의해 수집된 센서 데이터에 기반하여 사용자 활동을 식별하는 시스템 및 해당 방법에 관한 것입니다. 게다가, 본 명세서의 태양들은 또한 비-일시적 기계-판독가능한 데이터 저장매체에 기록된 소프트웨어 제품에 관한 것이며, 이런 소프트웨어 제품은 본 명세서의 방법을 구현하도록 컴퓨팅 하드웨어에서 실행가능하다.
사용자 활동, 특히 스포츠 활동을 감지하고 추적하는 추적 장치들이 있다. 공지된 활동 추적 장치의 예는 해당 사용자의 "달리기" 활동을 추적하고 분석하는 GPS 수신기를 가진 착용가능한 손목시계 장치이다. 또 다른 예는 사용자가 운동하는 동안 사용자의 동작을 기록하기 위한 개별 모바일 전화의 GPS 시스템을 이용하는 모바일 애플리케이션이다. 또 다른 예는 사용자가 걸은 걸음의 수를 수집하도록 신발에서 사용되거나 사용자의 옷에 부착되는 걸음 계수기(step counter)이다. 그러나, 기존의 어떠한 추적 장치도 가령 걷기, 달리기, 조깅, 사이클링, 노 젓기, 차로 운전하기, 버스로 이동하기, 기차로 이동하기, 계단을 걷기, 계단을 뛰기, 점프하기, 수영하기, 축구하기 및 스키타기와 같이 모든 타입의 사용자 활동을 자동으로 감지, 기록, 분석 및 식별하지 못한다.
최근, 스마트폰은 GPS(Global Positioning System) 수신기, 가속도계 및 근접 센서와 같이 증가하는 수의 센서를 구비하며, 스마트폰 사용자는 그들의 활동을 자동으로 기록, 감지, 분석 및 식별할 수 있는 모바일 애플리케이션을 소지하는 것에 관심을 가질 수 있다. 그러나, 활동 타입을 분석하기 위해 사용자의 동작을 자동으로 추적함에 있어서 핵심 과제 중 하나는 활동 타입의 분류이다. 예컨대, 걷기 대 달리기 활동은 수집된 센서 데이터에서 단지 작은 차이만이 있을 수 있다. 게다가, 동일한 활동에 대하여, 센서 데이터는 사용자가 스마트폰을 어떻게 운반하고 있는지에 따라 변할 수 있다. 예컨대, 사용자는 그/그녀의 손으로 또는 주머니에서 또는 배낭에서 스마트폰을 운반할 수 있다.
따라서, 모든 종류의 사용자 활동을 정확히 감지 및 분석하고 기존의 활동 추적의 해결책의 한계를 처리하는 활동 추적 해결책에 대한 요구가 존재한다.
본 명세서는 모바일 통신 장치의 동작을 추적하고 기록하기 위한 시스템 및 이를 사용하는 방법을 제공하려고 한다.
일 태양으로, 본 명세서의 실시예들은 하나 이상의 동작 센서 및 무선 인터페이스를 포함하는 모바일 통신 장치의 동작을 추적하고 기록하는 시스템을 제공한다. 이 시스템은 모바일 통신 장치와 통신하기 위한 통신 네트워크 및 모바일 통신 장치로부터 작동시 공급되는 데이터를 처리하기 위한 컴퓨팅 하드웨어를 포함한다. 모바일 통신 장치는 예컨대 센서 데이터의 형태로 센서 신호를 시스템으로 통신하는데, 이때 센서 신호는 모바일 통신 장치가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타낸다.
특정 실시예로, 컴퓨팅 하드웨어는 센서 신호를 분석하여 이런 신호를 하나 이상의 시간대로 분류하기 위한 그리고 각각의 소정의 시간대 내 신호들을 분석하여 소정의 시간대와 연관된 하나 이상의 가장 가능성이 있는 활동 타입을 결정하기 위한 소프트웨어 제품을 실행한다. 컴퓨팅 하드웨어는 시간대와 연관된 가장 가능성이 있는 활동 타입을 표시하는 정보를 모바일 통신 장치로 또한 송신한다. 이후, 모바일 통신 장치는 그 사용자에게 시간대와 연관된 가장 가능성이 있는 활동 타입을 표시하는 정보가 정확한 분석을 나타내는지 여부의 확인을 제공하도록 요청하며, 이후 센서 신호의 분석을 실행하여 정확성을 향상시키는 소프트웨어 제품에서 이용되는 파라미터 및/또는 알고리즘을 수정하도록 상기 확인을 컴퓨팅 하드웨어로 다시 통신한다.
특정 실시예로, 컴퓨팅 하드웨어는 센서 신호를 분석하여 중간 데이터(intermediate data)를 생성하도록 센서 신호를 사전-분류(pre-classify)하기 위한 소프트웨어 제품을 생성한다. 이후 중간 데이터는 센서 신호와 연관된 가능한 활동의 표시를 생성하도록 하나 이상의 프로세서에서 처리된다. 컴퓨팅 하드웨어는 센서 신호와 연관된 하나 이상의 활동의 분석을 제공하기 위해 표시의 총계(aggregate)를 또한 계산하며, 이후 가장 가능성이 있는 활동 타입을 표시하는 정보를 모바일 통신 장치을 송신한다.
프로세서는 센서 신호를 실질적으로 병렬로 처리하도록 구성되며, 프로세서는 프로세서의 전용인 하나 이상의 활동에 대응하는 신호의 특성을 식별하도록 상호 특화(mutually specialized)된다.
시스템은 모바일 통신 장치가 겪은 활동의 시간 로그를 생성하며, 타임라인 포맷으로 사용자의 그래픽 사용자 인터페이스에서 활동을 제시한다.
모바일 통신 장치는: 랩톱과 같은 휴대용 컴퓨터, 스마트폰, 손목-착용형 폰, 패블릿(phablets), 모바일 전화, 태블릿 컴퓨터, 휴대용 미디어 장치 또는 사용자가 착용할 수 있고 데이터를 처리하고 디스플레이할 수 있는 임의의 다른 컴퓨팅 장치 중 적어도 하나를 통해 구현된다. 게다가, 모바일 통신 장치의 하나 이상의 센서는: 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치 센서, 자력계, 마이크로폰, 카메라, 온도 센서 중 적어도 하나를 사용하여 구현된다. 모바일 통신 장치의 위치 및 동작을 결정하는 것이 셀룰러 네트워크에 관한 정보, 무선 기지국에 관한 정보 및 그들의 신호를 사용하여 도출/분석/측정될 수 있음을 셀룰러 위치 센서란 용어가 나타낼 수 있다.
컴퓨팅 하드웨어에서 실행될 때, 소프트웨어 제품은 센서 신호에 포함된 정보의 분석을 위해 가령 신경 네트워크, 결정 포레스트(decision forest) 및 서포트 벡터 머신(support vector machines)과 같은 지도형(supervised) 또는 준-지도형(semisupervised) 분류 알고리즘을 구현하도록 동작한다. 입력으로서, 지도형 또는 준-지도형 분류 알고리즘은 예컨대 하나 이상의 센서 신호에 포함된 정보의 주파수 성분의 진폭을 사용할 수 있고, 분류 알고리즘의 출력은 센서 신호에 따른 조건부의 각기 다른 활동의 추정 확률이다.
또 다른 태양으로, 모바일 통신 장치는 모바일 소프트웨어 애플리케이션을 실행하기 위한 데이터 프로세서를 포함하며, 모바일 소프트웨어 애플리케이션은 실행시 모바일 통신 장치의 그래픽 사용자 인터페이스가 타임라인의 형태로 컴퓨팅 하드웨어로부터 제공되는 분석된 활동 결과를 제시하게 하도록 동작하며, 각기 다른 분석된 활동은 타임라인에 대한 복수의 서로 다른 기호로 표현된다.
또 다른 태양으로, 본 명세서의 실시예들은 모바일 통신 장치의 동작을 추적하고 기록하기 위한 시스템을 사용하는 방법을 제공한다.
또 다른 태양으로, 본 명세서의 실시예들은 사용자의 동작을 추적하고 기록하기 위한 시스템을 구현하기 위한 모바일 통신 장치를 제공한다.
또 다른 태양으로, 본 명세서의 실시예들은 소프트웨어 제품이 모바일 통신 장치의 동작을 추적하고 기록하기 위한 시스템을 사용하는 방법을 구현하기 위한 컴퓨팅 하드웨어에서 실행할 수 있도록 비-일시적 기계-판독가능한 데이터 저장매체에서 기록된 소프트웨어 제품을 제공한다. 소프트웨어 제품은 소프트웨어 애플리케이션 스토어로부터 모바일 통신 장치로 다운로드될 수 있다.
본 명세서의 실시예들은 사용자의 모바일 통신 장치의 하나 이상의 센서로부터 수집된 데이터를 분석하여 모든 타입의 사용자 활동을 감지, 분석 및 식별한다. 센서 데이터는 분류 알고리즘의 독립된 인스턴스들의 세트에 의해 처리되며, 각각의 인스턴스는 특정 타입의 활동을 식별하도록 선택적으로 전용된다. 분류 알고리즘의 세트의 출력은 모바일 통신 장치와 연관된 가장 가능성이 있는 사용자 활동을 생성하도록 집계되고 분석된다. 식별된 활동은 타임라인 포맷으로 모바일 통신 장치의 그래픽 사용자 인터페이스에 디스플레이된다. 사용자가 식별된 활동을 동의하거나 동의하지 않는다면, 이들은 그들의 피드백을 제공할 수 있고 피드백은 다음을 위해 활동의 분석 및 식별을 향상시키는데 사용될 수 있다. 따라서, 사용자 활동의 분석 및 식별의 정확성은 시간이 지남에 따라 최적화된다.
대안으로, 본 명세서의 실시예들은 사용자의 모바일 통신 장치의 하나 이상의 센서로부터 수집된 데이터를 분석하여 사용자 활동을 정확히 감지, 분석 및 식별한다. 센서 데이터는 한 세트의 병렬 프로세서에 의해 처리되며, 병렬 프로세서는 분류 알고리즘의 병렬 인스턴스이며 각각의 프로세서는 특정 타입의 활동을 식별하도록 선택적으로 전용된다. 병렬 프로세서의 세트의 출력은 모바일 통신 장치와 연관된 가장 가능성이 있는 사용자 활동을 생성하도록 집계되고 분석된다. 이후, 식별된 활동은 타임라인 포맷으로 모바일 통신 장치의 그래픽 사용자 인터페이스에 디스플레이된다. 본 명세서에서 병렬 프로세서는 소프트웨어의 일부가 각기 다른 중앙 처리 유닛(즉, 마이크로프로세서) 및/또는 분류 알고리즘의 병렬 인스턴스, 즉 병렬 소프트웨어 프로세스로 실행되는 구현 아키텍처를 가리킬 수 있다. 병렬은 실질적으로 동시에 실행되는 계산 프로세스를 가리킬 수 있지만 이런 방법에 제한되지 않는다. 인스턴스의 실행은 일대일 또는 동시에 실질적으로 실행되는 일부의 프로세스 및 일대일로 실행되는 일부의 프로세스의 조합으로서 발생할 수 있다.
본 명세서의 추가 태양, 이점, 특징 및 객체는 하기의 첨부된 청구항들과 함께 구성되는 예시적인 실시예들의 도면 및 상세한 설명으로부터 명백해질 것이다.
본 발명의 특징은 첨부된 청구항들에 의해 정의되는 바와 같이 본 발명의 범위를 벗어나지 않고 다양한 조합이 가능하다고 이해될 것이다.
특히, 본 발명에 따른 실시예들은 방법, 저장매체 및 시스템에 관한 첨부된 청구항들에 개시되며, 예컨대 방법과 같은 하나의 청구항 카테고리로 언급되는 임의의 특징은 또한 예컨대 시스템과 같은 또 다른 청구항 카테고리로 청구될 수 있다. 첨부된 청구항들에서 종속항들이나 재-참조(references back)가 단지 형식적인 이유로 선택된다. 그러나, 임의의 이전의 청구항들에 대한 의도적인 재-참조(특히, 다수의 종속항들)로부터 생성된 임의의 발명의 내용은 청구항들과 이들의 특징들의 임의의 조합이 개시되고 첨부된 청구항들에서 선택된 종속항들에 관계없이 청구될 수 있도록 또한 청구될 수 있다.
본 발명에 따른 한 실시예에서, 하나 이상의 동작 센서 및 무선 인터페이스를 포함하는 적어도 하나의 모바일 통신 장치의 동작을 추적하고 기록하는 시스템을 사용하는 방법으로서, 상기 시스템은 적어도 하나의 모바일 통신 장치와 통신하기 위한 통신 네트워크 및 적어도 하나의 모바일 통신 장치로부터 작동시 공급되는 데이터를 처리하기 위한 컴퓨팅 하드웨어를 포함하며, 상기 방법은: 하나 이상의 센서 신호를 상기 시스템으로 통신하도록 적어도 하나의 모바일 통신 장치를 작동하는 단계; 하나 이상의 센서 신호를 분석하기 위한 하나 이상의 소프트웨어 제품을 실행하도록 상기 시스템의 컴퓨팅 하드웨어를 작동하는 단계; 및 가장 가능성이 있는 하나 이상의 활동 타입을 나타내는 정보를 적어도 하나의 모바일 통신 장치로 송신하도록 컴퓨팅 하드웨어를 작동하는 단계를 포함하며, 하나 이상의 센서 신호는 적어도 하나의 모바일 통신 장치가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타내며, 컴퓨팅 하드웨어는 중간 데이터(intermediate data)를 생성하기 위해 하나 이상의 센서 신호를 사전-분류(pre-classify)하도록 동작하며, 이후 중간 데이터는 하나 이상의 센서 신호와 연관된 가능한 활동의 하나 이상의 표시를 생성하도록 하나 이상의 프로세서에서 처리되며, 컴퓨팅 하드웨어는 하나 이상의 신호와 연관된 하나 이상의 활동의 분석을 제공하기 위해 하나 이상의 표시의 총계(aggregate)를 계산하도록 동작한다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은: 하나 이상의 센서 신호를 분석하여 센서 신호를 하나 이상의 시간대(temporal zones)로 분류하기 위해 그리고 각각의 소정의 시간대 내의 하나 이상의 센서 신호를 분석하여 소정의 시간대와 연관된 가장 가능성이 있는 활동 타입을 결정하기 위해 하나 이상의 소프트웨어 제품을 실행하도록 상기 시스템의 컴퓨팅 하드웨어를 작동하는 단계; 하나 이상의 시간대와 연관된 하나 이상의 가장 가능성이 있는 활동 타입을 나타내는 정보를 적어도 하나의 모바일 통신 장치로 송신하도록 컴퓨팅 하드웨어를 작동하는 단계; 및 하나 이상의 시간대와 연관된 하나 이상의 가장 가능성이 있는 활동 타입을 나타내는 정보가 정확한 분석을 나타내는지 여부의 확인을 제공하도록 사용자에게 요청하기 위해 그리고 하나 이상의 센서 신호의 분석을 실행하여 정확성을 향상시키는 하나 이상의 소프트웨어 제품에서 이용되는 파라미터 및/또는 알고리즘을 수정하도록 상기 확인을 컴퓨팅 하드웨어로 다시 통신하기 위해 적어도 하나의 모바일 통신 장치를 작동하는 단계를 더 포함한다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은 하나 이상의 센서 신호를 실질적으로 병렬로 처리하도록 하나 이상의 프로세서를 구성하는 단계를 포함하며, 하나 이상의 프로세서는 하나 이상의 프로세서의 전용인 하나 이상의 활동에 대응하는 하나 이상의 신호의 특성을 식별하도록 상호 특화된다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은 적어도 하나의 모바일 통신 장치가 겪은 활동의 시간 로그를 생성하도록 상기 시스템을 작동하는 단계를 포함한다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은: 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿(phablets), 모바일 전화, 태블릿 컴퓨터 중 적어도 하나를 통해 적어도 하나의 모바일 통신 장치를 구현하는 단계를 포함한다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은: 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치 센서, 자력계, 마이크로폰, 카메라, 온도 센서 중 적어도 하나를 사용하여 적어도 하나의 모바일 통신 장치의 하나 이상의 센서를 구현하는 단계를 포함한다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은 하나 이상의 소프트웨어 제품이 컴퓨팅 하드웨어에서 실행될 때: 하나 이상의 센서 신호에 포함된 정보의 지도형(supervised) 또는 준-지도형(semisupervised) 분류 분석; 및 하나 이상의 센서 신호에 포함된 정보의 발견적(heuristics) 분석 중 적어도 하나를 구현하도록 동작한다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은 지도형 또는 준-지도형 분류 알고리즘이 하나 이상의 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용할 수 있고, 분류 알고리즘의 출력이 센서 신호에 따른 조건부의 각기 다른 활동의 추정 확률이라는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 상기 방법은 적어도 하나의 모바일 통신 장치에 대하여 적어도 하나의 모바일 소프트웨어 애플리케이션을 실행하기 위한 데이터 프로세서를 포함하도록 배열하는 단계를 포함하며, 적어도 하나의 모바일 소프트웨어 애플리케이션은 적어도 하나의 모바일 통신 장치의 그래픽 사용자 인터페이스가 적어도 하나의 타임라인의 형태로 컴퓨팅 하드웨어로부터 제공되는 분석된 활동 결과를 제시하게 하도록 동작하며, 각기 다른 분석된 활동은 적어도 하나의 타임라인에 대한 복수의 서로 다른 기호로 표현된다는 것을 특징으로 할 수 있다.
또한, 청구될 수 있는 본 발명에 따른 또 하나의 실시예에서, 하나 이상의 동작 센서 및 무선 인터페이스를 포함하는 적어도 하나의 모바일 통신 장치의 동작을 추적하고 기록하는 시스템으로서, 상기 시스템은 적어도 하나의 모바일 통신 장치와 통신하기 위한 통신 네트워크 및 적어도 하나의 모바일 통신 장치로부터 작동시 공급되는 데이터를 처리하기 위한 컴퓨팅 하드웨어를 포함하며, 적어도 하나의 모바일 통신 장치는 하나 이상의 센서 신호를 상기 시스템으로 통신하도록 작동하며; 상기 시스템의 컴퓨팅 하드웨어는 하나 이상의 센서 신호를 분석하기 위한 하나 이상의 소프트웨어 제품을 실행하도록 작동하며; 상기 컴퓨팅 하드웨어는 가장 가능성이 있는 하나 이상의 활동 타입을 나타내는 정보를 적어도 하나의 모바일 통신 장치로 송신하도록 작동하며, 하나 이상의 센서 신호는 적어도 하나의 모바일 통신 장치가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타내며, 컴퓨팅 하드웨어는 중간 데이터(intermediate data)를 생성하기 위해 하나 이상의 센서 신호를 사전-분류(pre-classify)하도록 동작하며, 이후 중간 데이터는 하나 이상의 센서 신호와 연관된 가능한 활동의 하나 이상의 표시를 생성하도록 하나 이상의 프로세서에서 처리되며, 컴퓨팅 하드웨어는 하나 이상의 신호와 연관된 하나 이상의 활동의 분석을 제공하기 위해 하나 이상의 표시의 총계(aggregate)를 계산하도록 동작한다.
본 발명에 따른 또 하나의 실시예에서, 시스템은 상기 시스템의 컴퓨팅 하드웨어가 하나 이상의 센서 신호를 분석하여 센서 신호를 하나 이상의 시간대로 분류하기 위해 그리고 각각의 소정의 시간대 내의 하나 이상의 센서 신호를 분석하여 소정의 시간대와 연관된 가장 가능성이 있는 활동 타입을 결정하기 위해 하나 이상의 소프트웨어 제품을 실행하도록 작동하며; 상기 컴퓨팅 하드웨어는 하나 이상의 시간대와 연관된 하나 이상의 가장 가능성이 있는 활동 타입을 나타내는 정보를 적어도 하나의 모바일 통신 장치로 송신하도록 작동하며; 적어도 하나의 모바일 통신 장치는 하나 이상의 시간대와 연관된 하나 이상의 가장 가능성이 있는 활동 타입을 나타내는 정보가 정확한 분석을 나타내는지 여부의 확인을 제공하도록 사용자에게 요청하기 위해 그리고 하나 이상의 센서 신호의 분석을 실행하여 정확성을 향상시키는 하나 이상의 소프트웨어 제품에서 이용되는 파라미터 및/또는 알고리즘을 수정하도록 상기 확인을 컴퓨팅 하드웨어로 다시 통신하기 위해 작동하는 것을 또한 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 하나 이상의 프로세서가 하나 이상의 센서 신호를 실질적으로 병렬로 처리하도록 구성되며, 하나 이상의 프로세서가 하나 이상의 프로세서의 전용인 하나 이상의 활동에 대응하는 하나 이상의 신호의 특성을 식별하도록 상호 특화되는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 적어도 하나의 모바일 통신 장치가 겪은 활동의 시간 로그를 생성하도록 작동하는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 적어도 하나의 모바일 통신 장치가: 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화, 태블릿 컴퓨터 중 적어도 하나를 통해 구현되는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 적어도 하나의 모바일 통신 장치의 하나 이상의 센서가: 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치 센서, 자력계, 마이크로폰, 카메라, 온도 센서 중 적어도 하나를 사용하여 구현되는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 하나 이상의 소프트웨어 제품이 컴퓨팅 하드웨어에서 실행될 때: 하나 이상의 센서 신호에 포함된 정보의 지도형(supervised) 또는 준-지도형(semisupervised) 분류 분석; 및 하나 이상의 센서 신호에 포함된 정보의 발견적(heuristics) 분석 중 적어도 하나를 구현하도록 동작하는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 지도형 또는 준-지도형 분류 알고리즘이 하나 이상의 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용할 수 있고, 분류 알고리즘의 출력이 센서 신호에 따른 조건부의 각기 다른 활동의 추정 확률인 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 본 시스템은 또한 적어도 하나의 모바일 통신 장치가 적어도 하나의 모바일 소프트웨어 애플리케이션을 실행하기 위한 데이터 프로세서를 포함하며, 적어도 하나의 모바일 소프트웨어 애플리케이션이 적어도 하나의 모바일 통신 장치의 그래픽 사용자 인터페이스가 적어도 하나의 타임라인의 형태로 컴퓨팅 하드웨어로부터 제공되는 분석된 활동 결과를 제시하게 하도록 동작하며, 각기 다른 분석된 활동이 적어도 하나의 타임라인에 대한 복수의 서로 다른 기호로 표현되는 것을 특징으로 할 수 있다.
또한, 청구될 수 있는 본 발명에 따른 또 하나의 실시예에서, 비-일시적 기계-판독가능한 데이터 저장매체에 저장된 소프트웨어 제품은 소프트웨어 제품이 본 발명에 따른 방법 또는 상술한 임의의 실시예들을 구현하기 위해 모바일 통신 장치의 컴퓨팅 하드웨어에서 실행가능하다는 것을 특징으로 할 수 있다.
본 발명에 따른 또 하나의 실시예에서, 소프트웨어 제품은 소프트웨어 애플리케이션 스토어에서 모바일 통신 장치로 다운로드가능하다는 것을 특징으로 할 수 있다.
또한, 청구될 수 있는 본 발명에 따른 또 하나의 실시예는 본 발명 또는 상술한 임의의 실시예들에 따라 시스템을 구현할 때 사용하기 위한 모바일 통신 장치일 수 있다.
본 발명에 따른 또 하나의 실시예는 상술한 시스템에서 구현되도록 구성되고 상술한 방법을 실행하기 위해 사용하는 모바일 통신일 수 있다.
본 발명에 따른 또 하나의 실시예에서, 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체는 본 발명 또는 상술한 임의의 실시예들에 따른 방법을 수행하도록 실행될 때 동작하는 소프트웨어를 포함한다.
본 발명에 따른 또 하나의 실시예에서, 하나 이상의 동작 센서 및 무선 인터페이스를 포함하는 적어도 하나의 모바일 통신 장치의 동작을 추적하고 기록하기 위한 시스템으로서, 상기 시스템은 적어도 하나의 모바일 통신 장치와 통신하기 위한 통신 네트워크 및 적어도 하나의 모바일 통신 장치로부터 작동시 공급되는 데이터를 처리하기 위한 컴퓨팅 하드웨어를 포함하며, 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 적어도 하나의 메모리를 포함하며, 상기 프로세서는 본 발명 또는 상술한 임의의 실시예들에 따른 방법을 수행하는 명령어를 실행할 때 동작한다.
본 발명의 내용 중에 포함되어 있다.
상술한 요약뿐 아니라 하기의 예시된 실시예들의 상세한 설명은 첨부도면과 함께 판독될 때 더 잘 이해된다. 본 명세서를 설명하기 위해, 본 명세서의 예시적인 구성들이 도면들에 도시된다. 그러나, 본 발명은 본 명세서에 개시된 특정한 방법 및 수단으로 제한되지 않는다. 게다가, 당업자는 도면이 일정한 비율로 되어 있지 않음을 이해할 것이다. 가능하면, 유사한 구성요소는 동일한 번호로 표시되었다.
도 1은 본 명세서의 다양한 구현을 실행하는데 적합한 시스템의 상위-계층 구조를 도시한다.
도 2는 본 명세서에 따라 도 1의 모바일 통신 장치와 컴퓨팅 하드웨어 사이의 정보의 교환을 도시한다.
도 3은 본 명세서에 따라 모바일 통신 장치의 그래픽 사용자 인터페이스(GUI)를 도시한다.
도 4는 본 명세서에 따라 모바일 통신 장치의 GUI의 대안적인 배치를 도시한다.
도 5는 본 명세서에 따라 모바일 통신 장치의 사용자의 활동을 결정하는 방법의 단계를 도시한다.
도 6은 본 명세서에 따라 모바일 통신 장치의 동작을 추적하고 기록하는 시스템을 사용하는 단계를 도시한다.
하기의 상세한 설명은 본 명세서의 실시예 및 그의 구현가능한 방법을 설명한다. 본 발명을 수행하는 최적의 방식이 개시되었지만, 당업자는 본 발명을 수행하거나 실행하는 다른 실시예들이 또한 가능하다는 점을 인식할 것이다.
본 명세서는 하나 이상의 동작 센서 및 무선 인터페이스를 포함하는 모바일 통신 장치의 동작을 추적하고 기록하기 위한 시스템을 제공한다. 시스템은 모바일 통신 장치와 통신하기 위한 통신 네트워크 및 모바일 통신 장치로부터 작동시 공급되는 데이터를 처리하기 위한 컴퓨팅 하드웨어를 포함한다. 모바일 통신 장치는 하나 이상의 센서 신호를 시스템으로 통신하며, 센서 신호는 모바일 통신 장치가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타낸다.
컴퓨팅 하드웨어는 센서 신호를 분석하여 하나 이상의 시간대로 분류하고, 각각의 소정의 시간대 내의 신호를 분석하여 소정의 시간대와 연관된 가장 가능성이 있는 활동 타입을 결정하기 위한 하나 이상의 소프트웨어 제품을 실행한다. 컴퓨팅 하드웨어는 시간대와 연관된 가장 가능성이 있는 활동 타입을 나타내는 정보를 모바일 통신 장치로 또한 송신한다. 이후, 모바일 통신 장치는 시간대와 연관된 가장 가능성이 있는 활동 타입을 나타내는 정보가 정확한 분석을 나타내는지의 확인을 제공하도록 사용자에게 요청하며, 이후 센서 신호의 분석을 실행하여 그 정확성을 향상시키는 소프트웨어 제품에서 이용되는 파라미터 및/또는 알고리즘을 수정하기 위해 그 확인을 컴퓨팅 하드웨어로 다시 통신한다.
컴퓨팅 하드웨어는 중간 데이터(intermediate data)를 생성하기 위해 센서 신호를 분석하여 센서 신호를 사전-분류(pre-classify)하기 위한 하나 이상의 소프트웨어 제품을 실행하며, 이후 중간 데이터는 센서 신호와 연관된 가능한 활동의 하나 이상의 표시를 생성하도록 하나 이상의 프로세서에서 처리된다. 컴퓨팅 하드웨어는 또한 신호와 연관된 하나 이상의 활동의 분석을 제공하기 위해 표시의 총계(aggregate)를 계산하고, 가장 가능성이 있는 활동 타입을 나타내는 정보를 모바일 통신 장치로 송신한다.
이제 도면들, 특히 참조번호들을 참조하면, 도 1은 본 명세서의 다양한 구현을 실행하는데 적합한 시스템(100)의 상위-계층 구조를 도시한다.
시스템(100)은 모바일 통신 장치(102) 및 통신 네트워크(106)를 통해 모바일 통신 장치(102)와 통신하도록 연결되는 서버 시스템(104)을 포함한다. 모바일 통신 장치(102)는 사용자의 휴대용 장치이며, 모바일 통신 장치(102)의 예는 가령 Android, Windows 및 iOS와 같은 운영 시스템을 실행하는 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화, 태블릿 컴퓨터를 포함하나 이에 국한되지 않는다. 서버 시스템(104)은 모바일 통신 장치(102)로부터 작동시 공급되는 데이터를 처리하기 위한 하나 이상의 소프트웨어 제품을 실행하는 컴퓨팅 하드웨어를 포함한다. 서버 시스템(104)은 하나의 사이트 또는 공간적으로 상호 분산된 복수의 사이트에 위치한 클라우드 서비스 또는 전용 서버로 배열될 수 있다. 게다가, 통신 네트워크(106)의 예는 통신 네트워크 및 WIFI 네트워크를 포함하나 이에 국한되지 않는다.
모바일 통신 장치(102)는 해당 사용자가 장치(102)를 운반하면서 하나 이상의 활동을 수행할 때 모바일 통신 장치(102)의 위치, 동작, 가속도 및/또는 환경을 결정하는 하나 이상의 센서(108) 및 하나 이상의 위치결정 시스템(110)을 포함한다. 이런 하나 이상의 활동의 예는 걷기, 달리기, 조깅, 사이클링, 노 젓기, 차로 운전하기, 버스로 이동하기, 기차로 이동하기, 계단을 걷기, 계단을 뛰기, 점프하기, 수영하기, 축구하기 및 스키타기를 포함하나 이에 국한되지 않는다. 센서(108)의 예는 직교좌표계의 xyz-방향으로 모바일 통신 장치(102)의 가속도를 측정하도록 구성된 움직임 센서(motion sensor)를 포함한다. 게다가, 센서(108)의 예는 자이로스코프식 각센서, 자력계, 마이크로폰, 카메라 및 온도 센서를 포함한다. 위치결정 시스템(110)은 GPS 위치결정 시스템, 셀룰러 네트워크용 셀 타워 정보, 실내 위치결정 시스템, WIFI 지문인식 및 근접 WiFi 네트워크 중 적어도 하나를 구현하여 모바일 통신 장치(102)의 위치를 결정하도록 구성된다. 본 발명의 한 실시예에서, 모바일 통신 장치(102)는 통신 네트워크(106)를 통해 주기적으로 센서(108)와 위치결정 시스템(110)에 의해 수집된 정보를 서버 시스템(104)으로 송신할 수 있다.
서버 시스템(104)은 수신 모듈(112), 제1 처리 모듈(114), 제2 처리 모듈(116) 및 출력 모듈(118)을 포함한다. 수신 모듈(112)은 모바일 통신 장치(102)로부터 센서 및 위치결정 데이터를 수신한다. 제1 처리 모듈(114)은 제1 프로세스를 실행하여 센서(108)로부터 수집된 센서 데이터를 분석하고, 제2 처리 모듈(116)은 제2 프로세스를 실행하여 위치결정 시스템(110)으로부터 수집된 위치결정 데이터를 분석한다. 본 명세서의 한 실시예로, 제1 및 제2 프로세스는 서로 통신하고 분석을 위해 데이터도 또한 교환할 수 있는 병렬 프로세스이다. 센서 데이터에 기반하여, 제1 처리 모듈(114)은 사용자의 활동 타입을 생성하고, 위치결정 데이터에 기반하여, 제2 처리 모듈(116)은 그 활동에 관한 위치 및 동작 정보를 생성한다. 출력 모듈(118)은 사용자의 활동의 요약/스케줄을 생성하도록 활동 타입 정보 및 활동의 동작/위치 정보를 처리한다. 이후, 출력 모듈(118)은 통신 네트워크(106)를 통해 활동의 요약을 모바일 통신 장치(102)로 송신한다.
모바일 통신 장치(102)는 모바일 소프트웨어 애플리케이션을 실행하기 위한 데이터 프로세서(미도시)를 포함하며, 모바일 소프트웨어 애플리케이션은 모바일 통신 장치의 그래픽 사용자 인터페이스(GUI)가 타임라인 포맷으로 서버 시스템(104)으로부터 제공된 활동의 요약을 제시하게 하도록 실행될 때 동작한다. 사용자는 활동의 요약에 대한 그들의 포지티브/네거티브(positive/negative) 피드백을 서버 시스템(104)으로 송신할 수 있고, 서버 시스템(104)은 그들의 활동 분석을 향상시키기 위해 그 피드백을 수신, 저장 및 구현할 수 있다.
본 발명의 한 실시예에서, 서버 시스템(104)의 단계들/분석의 일부 또는 전부는 모바일 통신 장치(102)에서 이용가능한 컴퓨팅 리소스에 기반하여 모바일 통신 장치(102)에서 구현될 수 있다.
도 1은 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 2는 본 명세서에 따라 모바일 통신 장치(202)의 사용자의 활동을 추적하고 분석하기 위한 모바일 통신 장치(202)와 서버 시스템(204) 사이의 정보의 교환을 도시한다. 모바일 통신 장치(202) 및 서버 시스템(204)은 각각 모바일 통신 장치(102) 및 서버 시스템(104)의 예이며, 도 1과 함께 설명되었다. 단계 206a는 모바일 통신 장치(202)에서 이루어지는데, 이때 해당 센서 및 위치결정 시스템은 해당 사용자가 활동을 수행할 때 센서 및 위치결정 데이터를 측정한다. 단계 206b는 사용자 활동의 분석을 위해 모바일 통신 장치(202)로부터 서버 시스템(204)으로 센서 및 위치결정 데이터를 전달하는 것을 나타낸다. 한 실시예로, 모바일 통신 장치(202)는 연속적으로 또는 버퍼링(buffered) 포맷으로 센서 및 위치결정 데이터를 송신할 수 있다. 또 다른 실시예로, 모바일 통신 장치(202)는 로우 포맷(raw format)으로 센서 및 위치결정 데이터를 서버 시스템(204)으로 송신할 수 있다. 또 다른 실시예로, 모바일 통신 장치(202)는 서버 시스템(204)으로 송신하기 전에 센서 및 위치결정 데이터를 처리할 수 있다. 단계 206c는 서버 시스템(204)에서 이루어지는데, 이때 서버 시스템(204)은 장치(202)로부터 수신된 센서 및 위치결정 데이터를 분석한다. 본 발명의 한 실시예로, 서버 시스템(204)은 지도형 분석 및/또는 다른 기계 학습 알고리즘에 기반하여 분석을 수행할 수 있고 사용자의 활동의 요약을 형성할 수 있다. 단계 206d는 서버 시스템(204)으로부터 모바일 통신 장치(202)로 활동의 요약을 통신하는 것을 나타낸다. 단계 206e는 모바일 통신 장치(202)에서 이루어지는데, 이때 활동의 요약은 모바일 통신 장치(202)의 그래픽 사용자 인터페이스(GUI)에 디스플레이된다. 단계 206f는 활동의 요약에 대한 사용자의 포지티브/네거티브 피드백을 서버 시스템(204)으로 전달하는 것을 나타낸다. 최종적으로, 단계 206g는 장래에 더 정확한 활동의 요약을 제공하기 위해 파라미터를 수정하고/하거나 기계 학습 알고리즘에 대한 훈련 데이터를 선택하여 서버 시스템(204)에 의해 피드백을 구현하는 것을 나타낸다. 활동 모니터링을 위한 기계 학습 알고리즘의 예는 가령 신경 네트워크, 결정 포레스트 및 서포트 벡터 머신과 같은 지도형 또는 준-지도형 분류 알고리즘을 포함하나 이에 국한되지 않는다. 피드백은 입력으로서 기계 학습 알고리즘에 제공되며, 파라미터를 수정하고 기계 학습 알고리즘에 대한 훈련 데이터를 선택하는데 사용된다.
도 2는 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 3은 본 명세서에 따라 모바일 통신 장치(200)의 그래픽 사용자 인터페이스(GUI)(302)를 도시하며, 도 2와 함께 설명되었다.
GUI(302)는 타임라인 포맷으로 (단계 206d에서 서버 시스템(204)으로부터 수신된) 사용자의 활동의 요약을 디스플레이한다. 예시적인 실시예로, GUI(302)는 사용자가 차례로 레스토랑, 카페테리아 및 집을 방문했다고 표시하는 3개의 위치 기호, 즉 레스토랑 기호(304), 카페테리아 기호(306) 및 집 기호(308)로 사용자의 위치를 디스플레이한다. 그래픽 기호들(304, 306 및 308)로 표현된 위치들은 모바일 통신 장치(202)의 GPS 시스템, 셀룰러 네트워크용 셀 타워 정보, 실내 위치결정 시스템, 근접 WiFi 및/또는 WiFi 지문인식에 기반하여 식별된다. GUI(302)는 각각의 그래픽 기호로 사용자에 의해 수행된 활동을 또한 디스플레이한다. 한 예로, 사용자가 레스토랑에서 카페테리아로 걸었음을 표시하는 "걷기" 활동 기호(310)는 레스토랑(304)과 카페테리아(306) 사이에 디스플레이된다. 게다가, 사용자가 카페테리아에서 집으로 사이클링했음을 표시하는 "사이클링" 활동 기호(312)는 카페테리아(306)와 집(308) 사이에 디스플레이된다.
소식 라인 디스플레이(302)는 터치 스크린 디스플레이일 수 있고, 사용자가 가령 "사이클링" 활동 기호(312)와 같은 활동 표시 기호 또는 그 기호(312) 위의 라인이나 그에 인접한 영역을 터치하거나 가리킬 때 팝-업 메뉴(314)가 제시되도록 구성될 수 있다. 팝-업 메뉴(314)는 사용자가 활동을 수정할 수 있게 하는 텍스트 필드(316) 및 사용자가 그 활동에 관한 그래픽 기호를 수정할 수 있게 하는 기호 필드(318)를 포함한다. 마찬가지로, 사용자가 가령 "레스토랑" 활동 기호(304)와 같은 위치 기호 또는 그 기호(304) 위의 라인이나 그에 인접한 영역을 터치하거나 가리킬 때, 팝-업 메뉴(미도시)는 그 위치를 수정하도록 제시될 수 있다. 사용자에 의한 위치/활동 기호의 수정은 피드백으로서 서버 시스템(204)으로 통신된다(단계 206f).
도 3은 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 4는 모바일 통신 장치(200)의 한 예인 모바일 통신 장치(400)의 그래픽 사용자 인터페이스(GUI)(402)를 도시하며, 도 2 및 3과 함께 설명되었다. GUI(402)는 GUI(302)의 대안적인 배치이다. GUI(402)는 하나 이상의 활동의 시작과 종료 시간에 기반하여 이후 일괄적으로 활동 지역(406)이라고 일컬어지는 "활동" 지역/기간(406a, 406b, 406c, 406d 및 406e)으로 분할되는 타임 라인(404)을 디스플레이한다. 각각의 활동 지역(406)은 활동 및 그 활동의 해당 위치를 나타낸다. 게다가, 각각의 활동 지역(406)은 해당 활동의 그래픽 기호(408) 또는 텍스트 설명(410)으로 나타날 수 있다.
예시적인 실시예로, 타임라인(404)은 오후 13:00에 사용자의 "사이클링" 활동이 종료하고 그/그녀는 오후 17:10까지 "직장"에 머무르며; 오후 17:10에 사용자는 집을 향해 "걷기" 활동을 시작하고; 오후 17:30에 사용자는 집에 도착하며 오후 18:30까지 집에 있고; 오후 18:30에 사용자는 "운전하기" 활동을 시작한다고 표시한다.
도 4는 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 5는 본 명세서에 따라 모바일 통신 장치(500)의 사용자의 활동을 결정하는 방법의 단계들을 도시한다. 사용자 활동은 모바일 통신 장치(500)에 의해 작동시 생성되는 센서 및 위치결정 데이터를 공급받는 분석 로직 모듈(미도시) 및 주석형 센서 데이터 데이터베이스(502)에 의해 결정된다. 분석 로직 모듈은 주석형 센서 데이터 데이터베이스(502)와 통신가능하게 연결된다. 본 발명의 한 실시예로, 분석 로직 모듈 및 주석형 센서 데이터 데이터베이스(502)는 원격 서버 시스템 내에 존재할 수 있다. 본 발명의 또 다른 실시예로, 분석 로직 모듈 및 주석형 센서 데이터 데이터베이스(502)는 모바일 통신 장치(500) 그 자체 내에 존재할 수 있다.
단계 504에서, 분석 로직 모듈은 모바일 통신 장치의 센서 및 위치결정 시스템으로부터 사용자의 센서 및 위치결정 데이터를 수신한다. 단계 506에서, 분석 로직 모듈은 주석형 센서 데이터 데이터베이스(502)에 타임 라인 포맷으로 센서 및 위치결정 데이터를 저장한다. 즉, 센서 및 위치결정 데이터는 수집된 데이터 아이템 각각 또는 그 일부의 시간 및 날짜를 기록하도록 시간-스탬프(time stamped)된다. 주석형 센서 데이터 데이터베이스(502)는 해당하는 이전에 식별된 활동에 대한 사용자 피드백으로부터의 정보로 주석화되는, 모바일 통신 장치(500)로부터 수신된 센서 및 위치결정 데이터를 포함한다.
단계 508에서, 분석 로직 모듈은 타임 라인을 분석하고 하나 이상의 활동 기간을 기술하며 주석형 센서 데이터 데이터베이스(502)에 저장된 데이터를 사용하여 훈련되는 각기 다른 타입의 기계 학습 알고리즘들을 사용하여 각각의 활동 기간 내 사용자 활동을 인식한다. 활동을 정확히 식별하기 위해, 분석 로직 모듈은 사용자의 개별 특성 및 환경을 참작하도록 사용자의 타입, 모바일 장치의 타입, 사용자 그룹의 타입, 모바일 장치 그룹의 타입 및 신상정보 인자 등에 기반하여 주석형 센서 및 위치결정 데이터를 분류할 수 있다. 예컨대, 장거리 달리기가 전문인 활동적인 운동선수에 대해 모바일 통신 장치(500)의 가속도계로 감지된 가속도 데이터는 거의 달리기를 하지 않는 평범한 러너(casual runner)에 대해 감지된 가속도 데이터와 다를 수 있다. 활동적인 운동선수는 평범한 러너보다 더 낮은 빈도 수의 변화를 가지는 걸음들 사이에서 더 예측가능한 빈도를 갖는 더 긴 걸음을 가질 수 있다. 따라서, 유사한 감지 데이터에 대하여, 활동 타입은 사용자 그룹의 타입에 기반하여 다를 수 있다. 게다가, 일부의 모바일 통신 장치는 다른 것들보다 더 높은 정확성을 가질 수 있으며, 따라서 유사한 감지 데이터에 대해, 활동 타입은 모바일 통신 장치의 타입에 기반하여 다를 수 있다. 신상정보 분류는 동일한 활동에 대한 센서 데이터가 사람에 따라 변할 수 있기 때문에 성별, 연령, 사는 곳 등에 기반하여 사용자들을 세분화하는 것을 말한다. 분석 로직 모듈은 사용자 특화된 특징을 참작하도록 분류된 센서 데이터를 또한 가중할 수 있다. 즉, 데이터는 사용 이력에 기반하여 특정 사용자로부터의 사용자 특화된 성분 및 모든 사용자로부터의 평균 데이터로 구성된 성분을 가중했을 수 있다.
단계 510에서, 분석 로직 모듈은 분류된 센서 데이터를 사용하여 사용자 활동의 타임 라인을 작성할 수 있고, 타임 라인을 모바일 통신 장치(500)로 통신할 수 있다. 모바일 통신 장치(500)는 장치(500)의 사용자 인터페이스에서 타임 라인을 디스플레이할 수 있다. 단계 512에서, 분석 로직 모듈은 타임라인에서 하나 이상의 사용자 활동을 정정하기 위한 제안을 모바일 통신 장치(500)로부터 수신할 수 있다. 사용자 활동을 정정하기 위한 제안은 기계 학습 알고리즘의 훈련을 위해 주석형 센서 데이터 데이터베이스(502)로 제공될 수 있다.
단계 514에서, 모바일 통신 장치(500)는 제안된 타임 라인이 사용자 인터페이스 분석을 사용하여 사용자에 의해 열람되었는지를 모니터할 수 있다. 사용자가 제안된 타임라인을 열람했으나 타임라인의 임의의 활동에 대한 임의의 정정을 제공하지 않았다면, 어떤 피드백도 포지티브 피드백으로 간주되지 않을 수 있고 하나 이상의 활동의 분석이 정확했다고 주석형 센서 데이터 데이터베이스(502)에 업데이트되지 않으며 알고리즘을 위한 훈련 데이터로서 사용될 수 없다. 게다가, 사용자가 특정일의 소식라인/타임라인을 열람했고 정정하는데 적극적이었다면, 사용자가 소식라인에서 변경하지 않은 인식된 활동은 대개는 정확한 것으로 간주된다고 결론지을 수 있고 알고리즘을 위한 훈련 데이터로 사용될 수 있다. 게다가, 사용자가 소식라인에서 변경한 인식된 활동은 대개 정확하지 않는 것으로 결론지을 수 있다. 특정 활동에 대해 사용자가 행한 정정의 양은 그 활동에 대한 인식의 정확성의 척도로 사용될 수 있다. 주석형 센서 데이터 데이터베이스(502)에서, 센서 데이터는 해당하는 제안된 활동에 대한 사용자 피드백에 관한 정보를 포함하는 주석들에 기반하여 특정 신뢰도의 라벨링(labeling)으로 라벨링될 수 있다.
본 발명의 한 실시예로, 분석 로직 모듈은 센서 및 위치결정 데이터에 기반하여 사용자 활동을 결정하기 위한 제1 기계 학습 알고리즘을 구현할 수 있고, 새롭게 제2 기계 학습 알고리즘을 도입할 수 있다. 그러나, 제2 알고리즘에 기반하여 분석된 데이터가 제1 알고리즘에 의해 분석된 데이터보다 더 정확하다면, 제2 알고리즘은 제1 알고리즘보다 우선순위의 알고리즘으로 결정될 수 있다. 이런 기능을 통해 다른 설정들이 테스트되며 기계 학습 알고리즘의 성능에 대해 "표(votes)"를 획득할 수 있다.
본 명세서에서 단계 504 내지 514는 단지 예로서 본 명세서의 청구범위를 벗어나지 않고 하나 이상의 단계가 추가되거나 하나 이상의 단계가 제거되거나 하나 이상의 단계가 다른 순서로 제공되는 다른 대안들도 또한 제공될 수 있음을 유의해야 한다.
도 6은 본 명세서에 따라 모바일 통신 장치(102)의 동작을 추적하고 기록하기 위한 시스템(100)을 사용하는 단계를 도시하며, 도 1 및 2와 함께 설명되었다. 이 방법은 논리적 흐름도의 단계들의 집합으로서 도시되며, 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있는 일련의 단계들을 나타낸다.
단계 602에서, 모바일 통신 장치(102)는 하나 이상의 센서 신호를 서버 시스템(104)으로 통신하도록 동작하며, 센서 신호는 모바일 통신 장치(102)가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타낸다. 센서 신호는 모바일 통신 장치(102)의 하나 이상의 센서의 출력이다.
단계 604에서, 서버 시스템(104)의 컴퓨팅 하드웨어는 센서 신호를 분석하여 이들을 이하에서 활동 지역이라고 하는 하나 이상의 시간대로 분류하며, 각각의 활동 지역 내 센서 신호를 분석하여 활동 지역과 연관된 가장 가능성이 있는 활동 타입을 결정하기 위한 하나 이상의 소프트웨어 제품을 실행하도록 동작한다.
단계 606에서, 컴퓨팅 하드웨어는 하나 이상의 활동 지역과 연관된 하나 이상의 가장 가능성이 있는 활동 타입을 표시하는 정보를 모바일 통신 장치(102)로 송신하도록 동작한다.
단계 608에서, 모바일 통신 장치(102)는 가장 가능성이 있는 활동 타입을 표시하는 정보가 정확한 분석을 나타내는지 여부의 확인을 제공하도록 사용자에게 요청하고, 센서 신호의 분석을 실행하여 정확성을 향상시키는 소프트웨어 제품에서 이용되는 파라미터 및/또는 알고리즘을 수정하기 위해 상기 확인을 컴퓨팅 하드웨어로 다시 통신하도록 동작한다.
본 명세서에서 단계 602 내지 608은 단지 예로서 본 명세서의 청구범위를 벗어나지 않고 하나 이상의 단계가 추가되거나 하나 이상의 단계가 제거되거나 하나 이상의 단계가 다른 순서로 제공되는 다른 대안들도 또한 제공될 수 있음을 유의해야 한다.
도 7은 모바일 통신 장치(102)의 한 예인 모바일 통신 장치(700)의 그래픽 사용자 인터페이스(GUI)(702)를 도시하며, 도 1과 함께 설명되었다. 도 7에 도시된 실시예는 도 4에 도시된 실시예와 유사하다. GUI(702)는 하나 이상의 활동의 시작과 종료 시간에 기반하여 이후 일괄적으로 활동 지역(706)이라고 일컬어지는 "활동" 지역/기간(706a, 706b, 706c, 706d 및 706e)으로 분할되는 타임 라인(704)을 디스플레이한다. 각각의 활동 지역(706)은 활동 및 그 활동의 해당 위치를 나타낸다. 게다가, 각각의 활동 지역(706)은 해당 활동의 그래픽 기호(708) 또는 텍스트 설명(710)으로 나타날 수 있다.
예시적인 실시예로, 타임라인(704)은 오후 13:00에 사용자의 "사이클링" 활동이 종료하고 그/그녀는 오후 17:10까지 "직장"에 머무르며; 오후 17:10에 사용자는 집을 향해 "걷기" 활동을 시작하고; 오후 17:30에 사용자는 집에 도착하며 오후 18:30까지 집에 있고; 오후 18:30에 사용자는 "운전하기" 활동을 시작한다고 표시한다.
도 7은 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 8은 본 명세서에 따라 도 1과 함께 설명되는 활동 분석 시스템(800)을 도시한다. 활동 분석 시스템(800)은 해당 모바일 통신 장치의 센서 데이터와 위치결정 데이터 및 사용자의 이력, 프로필, 신상정보 및 활동 타입에 기반하여 사용자 활동을 식별한다.
본 발명의 한 실시예에서, 활동 분석 시스템(800)은 원격 서버 시스템(104) 내에 존재할 수 있다. 본 발명의 또 다른 실시예에서, 활동 분석 시스템(800)은 모바일 통신 장치(102) 그 자체 내에 적어도 일부로 존재할 수 있다.
활동 분석 시스템(800)은 수신 모듈(802), 사전-처리 모듈(804), 사전-분류 모듈(806), 이하 분류기 노드(808)라고 하는 제1 내지 제n 분류기 노드(808a 내지 808n), 활동 결정 모듈(810) 및 출력 모듈(812)을 포함한다. 수신 모듈(802)은 모바일 통신 장치(102)의 센서(108)와 위치결정 시스템(110)으로부터 로우 데이터(raw data), 즉 미-처리 데이터를 수집한다. 사전-처리 모듈(804)은 수신 모듈(802)에 의해 수집된 로우 데이터를 사전-처리한다. 데이터의 사전-처리의 예는 데이터 필터링하기, FFT(Fast Fourier Transformation)을 사용한 시간 대 주파수 도메인 변환과 같은 도메인 전환 수행하기, 데이터 분류하기, 데이터를 평균화하고 결합하기, 다양한 타입의 사용자 활동을 나타내는 하나 이상의 기결정된 데이터 세트와의 상관(correlations)을 수행하기를 포함하나 이에 국한되지 않는다.
사전-분류 모듈(806)은 사전-처리 모듈(804)로부터 사전-처리된 데이터를 수신하고 이들을 하나 이상의 광범위한 카테고리로 사전-분류한다. 예컨대, 모바일 통신 장치(102)의 움직임 센서로부터 수신된 센서 데이터는 느린 움직임, 즉 계단 걷기 및 뛰기와 빠른 움직임, 즉 달리기와 사이클링 사이를 구별하고, 그 움직임 데이터를 가령 "느린 움직임" 및 "빠른 움직임"과 같은 광범위한 카테고리로 분류하도록, 기결정된 속도값과 비교된다. 한 실시예로, 사전-분류 모듈(806)은 사전-처리된 데이터를 사전-분류하기 위한 규칙 세트 및/또는 기정의된 결정론적 알고리즘을 포함한다.
각각의 분류기 노드(808)는 기정의된 활동에 해당하는 센서 데이터의 특성의 식별 전용 프로세서를 포함한다. 예컨대, 제1 분류기 노드 N1(808a)은 "사이클링" 활동에 관한 센서 데이터의 특성을 식별하도록 특화될 수 있고, 제2 분류기 노드 N2(808b)는 "걷기 활동"을 식별하도록 특화될 수 있으며, 제3 분류기 노드 N3(808c)은 "달리기" 활동을 식별하도록 특화될 수 있는 등이다.
분류기 노드(808)는 실질적으로 병렬로 사전-분류된 데이터를 처리하도록 구성되며, 이때 각각의 분류기 노드(808)는 사전-분류된 데이터에 대해 해당하는 기정의된 활동의 가능성을 생성한다. 예시적인 실시예에서, "사이클링" 활동의 식별 전용인 제1 분류기 노드 N1(808a)은 확률 값 "1"을 생성할 수 있고, 제2 분류기 노드 N2(808b)은 확률 값 "0.3"을 생성할 수 있으며, 제3 분류기 노드 N3(808c)은 사용자가 "사이클링" 활동을 수행할 때 확률 값 "0.8"을 생성할 수 있다.
활동 결정 모듈(810)은 수신 모듈(802)에 의해 수집된 센서 및 위치결정 데이터에 상응하는 "활동 타입"을 결정하도록 분류기 노드(808)에 의해 생성된 확률 값을 집계할 수 있다. 분류기 노드(808)의 확률을 집계하는 것 이외에, 활동 결정 모듈(810)은 가령 전환 윈도우(transition windows)와 같은 결정론적 규칙을 이용하여 "활동 타입"을 결정할 수 있다. 전환 윈도우는 활동을 너무 빈번히 토글(toggle)하지 않도록 활동에 비활성을 설정할 수 있다. 예컨대, 활동 타입이 "사이클링"에서 "걷기"로 그리고 다시 "사이클링"으로 매우 신속히 변할 가능성은 낮다. 전환 윈도우와 같은 결정론적 규칙은 HMM(hidden Markov models)과 같은 모델들 및 HMM에 기반한 더 복잡한 모델을 사용하여 구현될 수 있다.
출력 모듈(812)은 활동 결정 모듈(810)에 의해 결정된 하나 이상의 "활동 타입"을 모바일 통신 장치(102)로 제공한다. 한 실시예로, 출력 모듈(812)은 타임라인 포맷으로 모바일 통신 장치(102)의 그래픽 사용자 인터페이스(GUI)에서 결정된 활동 타입을 디스플레이할 수 있다.
도 8은 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 9는 본 명세서의 실시예에 따라 해당하는 모바일 통신 장치의 센서 및 위치결정 데이터에 기반하여 사용자의 "사이클링" 활동을 식별하는 방법의 단계들을 도시한다.
본 발명의 한 실시예에서, 사용자의 "사이클링" 활동을 식별하는 방법의 단계들은 도 8의 활동 분석 시스템(800)에 의해 실행될 수 있다. 활동 분석 시스템(800)은 원격 서버 시스템(104) 내에 존재할 수 있거나, 사용자의 모바일 통신 장치(102) 그 자체 내에 적어도 일부로 존재할 수 있다.
단계 900에서, 가속도 데이터의 세트는 모바일 통신 장치(102)의 가속도계 센서로부터 수신된다. 가속도 데이터의 세트는 로우 포맷, 즉 미처리되며, 가속도계 센서에 의해 30초마다 수집될 수 있다. 예시적인 실시예에서, 가속도 데이터의 세트는 3초의 지속시간을 가지며 1/20초마다 수집된 가속도 샘플을 포함한다. 따라서, 각각의 3초의 데이터 세트는 총 60개의 가속도 샘플을 포함하며 각각의 가속도 샘플은 모바일 통신 장치(102)를 중심으로 한 좌표계에서 x, y 및 z 방향으로 모바일 통신 장치(102)의 가속도를 포함한다. 따라서, 각각의 가속도 샘플은 3개의 값을 포함하며 3초의 데이터 세트는 총 180(3×60)개의 값을 포함한다.
단계 901에서, 위치 데이터의 세트는 모바일 통신 장치(102)의 위치결정 시스템으로부터 수신된다. 위치결정 데이터는 모바일 위치 서비스로부터의 추정된 수평 정확도(horizontal accuracy), 위치 좌표 및 시간스탬프를 포함할 수 있다. 예시적인 실시예에서, 위치 데이터는 수초 내지 수분의 범위의 간격으로 수신된다.
단계 902에서, 가속도 데이터의 세트는 각각의 가속도 샘플에 대해 새로운 변환된 샘플이 계산되는 중력 변환(gravity transformation)을 경험하는데, 이때 해당하는 z-성분은 가속도 벡터의 평균값에 따라 지향된다. 또 다른 실시예로, 가속도 데이터의 세트는 각각의 가속도 샘플에 대해 새로운 변환된 샘플이 계산되는 주성분 분석(PCA) 변환을 경험하는데, 이때 해당하는 z-좌표는 계속 동일하지만 해당하는 x 및 y 성분은 x 및 y 성분이 포함되는 경우에만 그 성분들이 가속도 샘플의 주성분을 따라 지향되도록 변환된다.
단계 904에서, 위치 데이터는 사전-처리될 수 있는데, 이때 데이터의 사전-처리의 예는 데이터 필터링하기, FFT(Fast Fourier Transformation)을 사용하는 시간 대 주파수 도메인 변환과 같은 도메인 전환 수행하기, 데이터를 분류하기, 데이터를 평균화하기, 데이터에 대한 하나 이상의 상관을 수행하기 및 데이터를 결합하기를 포함하나 이에 국한되지 않는다. 단계 906에서, 모바일 통신 장치(102)의 비-정밀한 속도는 사전-처리 위치 데이터에 기반하여 추정될 수 있다. 예컨대, 비-정밀한 속도는 연속하는 위치 좌표들 사이의 거리 및 연속하는 위치 좌표들 사이의 시간차에 기반하여 추정될 수 있다.
단계 908에서, 센서 및 위치 데이터의 하나 이상의 특징은 변환된 가속도 샘플 및 추정된 코스 속도에 기반하여 추정되며, 각각의 "특징"은 수치값을 가진다. 특징들의 예는 변환된 가속도 샘플의 각각의 (x, y, z) 성분에 대한 평균값, 분산값, 최소값 및 최대값, 가속도 샘플의 x, y, z 성분들의 푸리에 변환 버전의 성분들 등을 포함한다.
단계 908에서 획득된 데이터에 해당하는 사용자 활동은 제1 분류기를 사용하는 단계 910의 제1 분류 및 제2 분류기를 사용하는 단계 912의 제2 분류에 기반하여 인식될 수 있다. 한 실시예로, 제1 및 제2 분류기는 도 8의 분류기 노드(808)와 유사할 수 있다. 비록 2개의 분류기가 본 명세서에서 도시되지만, 2 이상의 분류기가 사용자 활동을 인식하는데 사용될 수 있음이 당업자에게 명백할 것이다.
단계 910 및 912에서 제1 및 제2 분류기는 가령 분류기에 대한 서포트 벡터 머신, 결정 포레스트 또는 신경 네트워크와 같은 표준 지도형 분류 알고리즘을 사용한다. 제1 분류기는 "사이클링" 또는 "비-사이클링(non-cycling)"으로 분류된 훈련 샘플로 큰 훈련 데이터 세트에서 훈련되는 이진 분류기(binary classifier)이며, 단계 908에서 획득된 데이터 샘플에 대한 활동 라벨 "사이클링" 또는 "비-사이클링"을 생성한다. 제2 분류기는 더 정확히 라벨링된 데이터의 더 작은 세트에서 훈련되는 멀티클래스 분류기(multiclass classifier)이며, 단계 908에서 획득된 데이터 샘플에 대하여 "사이클링", "달리기", "자동차", "기차", "걷기" 및 "그 외" 중 하나로부터 활동 라벨을 생성한다.
한 실시예로, 사용자 활동은 제1 및 제2 분류기 모두가 단계 908에서 획득된 데이터 샘플에 대해 "사이클링"으로 활동 라벨을 생성한다면 "사이클링"으로 인식된다. 또 다른 실시예로, 사용자 활동은 제1 분류기가 "사이클링 아님"으로서 활동 라벨을 생성하는 경우 제2 분류기에 의해 생성된 활동 라벨에 기반하여 인식된다. 또 다른 실시예에서, 사용자 활동은 제1 분류기가 "사이클링 아님"으로 활동 라벨을 생성하고 제2 분류기가 "사이클링"으로 활동 라벨을 생성하는 경우 "그 외(other)"로 인식된다. 또 다른 실시예로, 제1 분류기는 사용자 활동이 "사이클링 아님"일 확률을 생성할 수 있다. "사이클링 아님"의 확률이 높을 때, "사이클링"을 표시하는 다른 분류기 결과는 제외될 수 있다.
단계 913에서, 사용자의 걸음 수가 계산되며, 단계 914에서 메타-분류기는 하나 이상의 활동 기간을 형성하기 위해 단계 910 및 912에서 인식된 활동을 결합하도록 제1 및 제2 분류기에 의해 생성된 데이터 및 걸음 수 데이터를 이용한다. 한 실시예로, N개의 연속하는 가속도 샘플이 있을 때, 그들 중 첫번째 및 마지막이 소정의 활동으로 라벨링되고 대다수(또는 적어도 그들의 x %)가 그 활동에 속하도록, N개의 연속하는 샘플의 전체 기간은 활동 기간으로 식별된다.
단계 916에서, 하나 이상의 활동 기간은 위치 데이터 및 베이시안 "상호작용형 멀티 모델" 평활화 알고리즘(Bayesian 'interactive multiple models' smoothing algorithm)에 기반하여 각각의 위치와 연관될 수 있다. 단계 918에서, 하나 이상의 정지 세그먼트(stationary segments)는 모바일 통신 장치(102)가 고정되어 있고 거기서 어떤 활동도 수행되지 않을 때 위치 데이터에 기반하여 인식될 수 있다.
단계 920에서, 최종 활동 발견형(heuristics-type) 분석이 처리된 위치 및 가속도 데이터에 기반하여 이루어진다. 발견적 학습법(heuristics)은 규칙들이며, 규칙의 예는: 단계 918에서 인식된 정지 세그먼트가 x초보다 짧은 미-인식된 활동의 기간을 가지고 인접하는 활동 기간이 y초보다 더 긴 지속시간을 가진다면, 정지 세그먼트는 인접하는 활동/활동들로 라벨링하는 활동 기간으로 대체된다. 예컨대, 10분 사이클링 활동에서 사용자가 중간에 1분 동안 멈춘 것으로 여겨지면, 1분 정지 세그먼트는 무시되고 전체 10분이 사이클링 활동과 연관된다. 게다가, 10분 기간에서 연속하는 사이클링과 이동 활동이 있고 중간에 적어도 n분의 정지도 없고 걷기 활동도 없다면, 전체 10분 기간은 대부분의 시간 동안 발생한 활동으로 라벨링된다. 그러나, 이동과 사이클링 활동 사이에 적어도 하나의 감지된 걷기 샘플이 있다면, 사이클링과 이동 활동은 2개의 다른 활동 기간을 형성한다.
단계 922에서, 거리 및 걸음 계산이 수행되며, 단계 924에서 장소 매치(place matching)가 단계 920에서 인식된 사용자 활동의 정확성을 최적화하도록 수행된다. 최종적으로, 단계 926에서, 타임라인 포맷으로 다양한 사용자 활동을 포함하는 소식라인이 생성된다.
도 9는 단지 예로서 본 명세서의 청구범위를 지나치게 제한해서는 안 된다. 당업자는 본 명세서의 실시예들의 많은 변형들, 대안들 및 변경들을 인식할 수 있다.
도 10은 본 명세서에 따라 모바일 통신 장치(102)의 동작을 추적하고 기록하기 위한 시스템(100)을 사용하는 단계들을 도시하며, 도 1 및 2와 함께 설명되었다. 이 방법은 논리적 흐름도의 단계들의 집합으로서 도시되며, 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있는 일련의 단계들을 나타낸다.
단계 1002에서, 모바일 통신 장치(102)는 하나 이상의 센서 신호 또는 이에 대응하는 센서 데이터를 서버 시스템(104)으로 통신하도록 동작하며, 센서 신호는 모바일 통신 장치(102)가 사용자에 의해 노출되는 활동과 연관된 움직임을 나타낸다. 센서 신호 또는 그에 해당하는 센서 데이터는 모바일 통신 장치(102)의 하나 이상의 센서의 출력이다.
단계 1004에서, 서버 시스템(104)의 컴퓨팅 하드웨어는 센서 신호 및 이에 해당하는 센서 데이터를 분석하기 위한 하나 이상의 소프트웨어 제품을 실행하도록 동작하며, 컴퓨팅 하드웨어는 센서 신호를 사전-분류하여 중간 데이터를 생성하도록 동작하며, 중간 데이터는 이후 센서 신호와 연관된 가능성이 있는 활동의 하나 이상의 표시를 생성하도록 하나 이상의 프로세서에서 처리된다. 컴퓨팅 하드웨어는 센서 신호와 연관된 활동의 분석을 제공하기 위해 하나 이상의 표시의 총계를 계산하도록 또한 동작한다.
단계 1006에서, 컴퓨팅 하드웨어는 하나 이상의 시간대와 연관된 가장 가능성이 있는 활동 타입을 표시하는 정보를 모바일 통신 장치(102)로 송신하도록 동작한다.
본 명세서에서 단계 1002 내지 1006은 단지 예로서 본 명세서의 청구범위를 벗어나지 않고 하나 이상의 단계가 추가되거나 하나 이상의 단계가 제거되거나 하나 이상의 단계가 다른 순서로 제공되는 다른 대안들도 또한 제공될 수 있음을 유의해야 한다.
비록 본 발명의 실시예들은 앞서서 가능한 태양들을 상당히 상세히 설명하도록 종합적으로 설명되었지만, 당업자는 본 발명의 다른 버전도 또한 가능하다고 인식할 것이다. 본 발명의 실시예들은 감옥에서 수감자를 모니터하고, 가정이나 병원에서 나이 든 환자를 모니터하는 등을 위해 이용될 수 있다.

Claims (48)

  1. 하나 이상의 프로세서; 및
    프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 메모리를 포함하는 시스템으로서,
    상기 프로세서는:
    모바일 통신 장치로부터 모바일 통신 장치의 사용자의 활동과 연관된 움직임을 나타내는 하나 이상의 센서 신호를 수신하고;
    센서 신호의 일부에 대응하는 특정 활동 카테고리를 복수의 활동 카테고리로부터 결정하며;
    특정한 활동 카테고리 내 각각의 활동 타입에 대한 센서 신호를 분석하고,
    상기 분석에 기반하여 사용자의 각각의 활동 타입의 확률을 계산함으로써,
    특정한 활동 카테고리 내 활동 타입들 중에서 사용자의 하나 이상의 활동 타입을 결정하고;
    모바일 통신 장치로 활동 타입을 송신하는 명령어를 실행할 때 동작하며,
    각각의 활동 카테고리는 하나 이상의 활동 타입을 포함하고 활동 카테고리 내 활동 타입이 공통으로 가지는 움직임에 의해 특징지어지는 시스템.
  2. 제 1 항에 있어서,
    하나 이상의 프로세서는 실질적으로 병렬로 센서 신호를 처리하도록 구성되며, 프로세서는 하나 이상의 활동 타입에 대응하는 센서 신호의 특성을 식별하도록 상호 특화(mutually specialized)되는 시스템.
  3. 제 1 항에 있어서,
    활동 타입을 결정하는 것은 모바일 통신 장치가 겪은 활동 타입의 시간 로그를 생성하는 것을 포함하는 시스템.
  4. 제 1 항에 있어서,
    모바일 통신 장치는 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿(phablets), 모바일 전화 또는 태블릿 컴퓨터를 포함하는 시스템.
  5. 제 1 항에 있어서,
    모바일 통신 장치는 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치결정 센서, 자력계, 마이크로폰, 카메라 또는 온도 센서를 포함하는 하나 이상의 센서를 포함하는 시스템.
  6. 제 1 항에 있어서,
    센서 신호의 분석은: 지도형 또는 준-지도형 분류 분석; 또는 발견적 분석을 포함하는 시스템.
  7. 제 6 항에 있어서,
    지도형 또는 준-지도형 분류 분석은 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용하는 분류 알고리즘을 포함하며, 분류 알고리즘의 출력은 센서 신호에 기반하여 각기 다른 활동 타입의 추정된 확률인 시스템.
  8. 제 1 항에 있어서,
    활동 타입을 송신하는 것은 모바일 컴퓨팅 장치의 소프트웨어 애플리케이션의 그래픽 사용자 인터페이스에 디스플레이하기 위해 분석된 활동 결과를 모바일 컴퓨팅 장치로 송신하는 것을 포함하며,
    분석된 활동 결과는 각기 다른 분석된 활동 타입을 표현하는 복수의 서로 다른 기호를 포함하는 타임라인을 포함하는 시스템.
  9. 컴퓨팅 장치에 의해, 모바일 통신 장치로부터 모바일 통신 장치의 사용자의 활동과 연관된 움직임을 나타내는 하나 이상의 센서 신호를 수신하는 단계;
    컴퓨팅 장치에 의해, 센서 신호의 일부에 대응하는 특정 활동 카테고리를 복수의 활동 카테고리로부터 결정하는 단계;
    컴퓨팅 장치에 의해, 특정한 활동 카테고리 내 각각의 활동 타입에 대한 센서 신호를 분석하고, 상기 분석에 기반하여 사용자의 각각의 활동 타입의 확률을 계산함으로써, 특정한 활동 카테고리 내 활동 타입들 중에서 사용자의 하나 이상의 활동 타입을 결정하는 단계; 및
    컴퓨팅 장치에 의해, 모바일 통신 장치로 활동 타입을 송신하는 단계를 포함하며,
    각각의 활동 카테고리는 하나 이상의 활동 타입을 포함하고 활동 카테고리 내 활동 타입이 공통으로 가지는 움직임에 의해 특징지어지는 방법.
  10. 제 9 항에 있어서,
    센서 신호는 컴퓨팅 장치의 하나 이상의 프로세서에 의해 실질적으로 병렬로 분석되며, 프로세서는 하나 이상의 활동 타입에 대응하는 센서 신호의 특성을 식별하도록 상호 특화되는 방법.
  11. 제 9 항에 있어서,
    활동 타입을 결정하는 단계는 모바일 통신 장치가 겪은 활동 타입의 시간 로그를 생성하는 단계를 포함하는 방법.
  12. 제 9 항에 있어서,
    모바일 통신 장치는 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화 또는 태블릿 컴퓨터를 포함하는 방법.
  13. 제 9 항에 있어서,
    모바일 통신 장치는 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치결정 센서, 자력계, 마이크로폰, 카메라 또는 온도 센서를 포함하는 하나 이상의 센서를 포함하는 방법.
  14. 제 9 항에 있어서,
    센서 신호의 분석은: 지도형 또는 준-지도형 분류 분석; 또는 발견적 분석을 포함하는 방법.
  15. 제 14 항에 있어서,
    지도형 또는 준-지도형 분류 분석은 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용하는 분류 알고리즘을 포함하며, 분류 알고리즘의 출력은 센서 신호에 기반하여 각기 다른 활동 타입의 추정된 확률인 방법.
  16. 제 9 항에 있어서,
    활동 타입을 송신하는 단계는 모바일 컴퓨팅 장치의 소프트웨어 애플리케이션의 그래픽 사용자 인터페이스에 디스플레이하기 위해 분석된 활동 결과를 모바일 컴퓨팅 장치로 송신하는 단계를 포함하며,
    분석된 활동 결과는 각기 다른 분석된 활동 타입을 표현하는 복수의 서로 다른 기호를 포함하는 타임라인을 포함하는 방법.
  17. 모바일 통신 장치로부터 모바일 통신 장치의 사용자의 활동과 연관된 움직임을 나타내는 하나 이상의 센서 신호를 수신하고;
    센서 신호의 일부에 대응하는 특정 활동 카테고리를 복수의 활동 카테고리로부터 결정하며;
    특정한 활동 카테고리 내 각각의 활동 타입에 대한 센서 신호를 분석하고,
    상기 분석에 기반하여 사용자의 각각의 활동 타입의 확률을 계산함으로써,
    특정한 활동 카테고리 내 활동 타입들 중에서 사용자의 하나 이상의 활동 타입을 결정하고;
    모바일 통신 장치로 활동 타입을 송신하도록 실행될 때 동작하는 소프트웨어를 수록하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체로서,
    각각의 활동 카테고리는 하나 이상의 활동 타입을 포함하고 활동 카테고리 내 활동 타입이 공통으로 가지는 움직임에 의해 특징지어지는 컴퓨터-판독가능한 비-일시적 저장매체.
  18. 제 17 항에 있어서,
    활동 타입을 결정하는 것은 모바일 통신 장치가 겪은 활동 타입의 시간 로그를 생성하는 것을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  19. 하나 이상의 프로세서; 및
    프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 메모리를 포함하는 장치로서,
    상기 프로세서는:
    서버 컴퓨팅 시스템으로 장치의 하나 이상의 센서 신호를 송신하고;
    센서 신호의 일부에 대응하는 특정 활동 카테고리를 복수의 활동 카테고리로부터 결정하는 것에 기반하여 그리고 특정한 활동 카테고리 내 각각의 활동 타입에 대한 센서 신호를 분석하고 상기 분석에 기반하여 사용자의 각각의 활동 타입의 확률을 계산함에 의해 활동 카테고리에서 사용자의 활동 타입을 결정하는 것에 기반하여, 서버 컴퓨팅 시스템으로부터 하나 이상의 활동 타입을 수신하는 명령어를 실행할 때 동작하며,
    센서 신호는 장치의 사용자의 활동과 연관된 움직임의 표시를 포함하고,
    각각의 활동 카테고리는 하나 이상의 활동 타입을 포함하고 활동 카테고리 내 활동 타입이 공통으로 가지는 움직임에 의해 특징지어지는 장치.
  20. 제 17 항에 있어서,
    센서 신호는 소프트웨어를 실행하는 하나 이상의 프로세서에 의해 실질적으로 병렬로 분석되며, 프로세서는 하나 이상의 활동 타입에 대응하는 센서 신호의 특성을 식별하도록 상호 특화되는 컴퓨터-판독가능한 비-일시적 저장매체.
  21. 제 17 항에 있어서,
    모바일 통신 장치는 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화 또는 태블릿 컴퓨터를 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  22. 제 17 항에 있어서,
    모바일 통신 장치는 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치결정 센서, 자력계, 마이크로폰, 카메라 또는 온도 센서를 포함하는 하나 이상의 센서를 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  23. 제 17 항에 있어서,
    센서 신호의 분석은: 지도형 또는 준-지도형 분류 분석; 또는 발견적 분석을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  24. 제 23 항에 있어서,
    지도형 또는 준-지도형 분류 분석은 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용하는 분류 알고리즘을 포함하며, 분류 알고리즘의 출력은 센서 신호에 기반하여 각기 다른 활동 타입의 추정된 확률인 컴퓨터-판독가능한 비-일시적 저장매체.
  25. 제 17 항에 있어서,
    활동 타입을 송신하는 것은 모바일 컴퓨팅 장치의 소프트웨어 애플리케이션의 그래픽 사용자 인터페이스에 디스플레이하기 위해 분석된 활동 결과를 모바일 컴퓨팅 장치로 송신하는 것을 포함하며,
    분석된 활동 결과는 각기 다른 분석된 활동 타입을 표현하는 복수의 서로 다른 기호를 포함하는 타임라인을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  26. 제 19 항에 있어서,
    센서 신호는 서버 컴퓨팅 시스템의 하나 이상의 프로세서에 의해 실질적으로 병렬로 분석되며, 프로세서는 하나 이상의 활동 타입에 대응하는 센서 신호의 특성을 식별하도록 상호 특화되는 장치.
  27. 제 19 항에 있어서,
    활동 타입을 결정하는 것은 장치가 겪은 활동 타입의 시간 로그를 생성하는 것을 포함하는 장치.
  28. 제 19 항에 있어서,
    장치는 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화 또는 태블릿 컴퓨터를 포함하는 장치.
  29. 제 19 항에 있어서,
    장치는 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치결정 센서, 자력계, 마이크로폰, 카메라 또는 온도 센서를 포함하는 하나 이상의 센서를 포함하는 장치.
  30. 제 19 항에 있어서,
    센서 신호의 분석은: 지도형 또는 준-지도형 분류 분석; 또는 발견적 분석을 포함하는 장치.
  31. 제 30 항에 있어서,
    지도형 또는 준-지도형 분류 분석은 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용하는 분류 알고리즘을 포함하며, 분류 알고리즘의 출력은 센서 신호에 기반하여 각기 다른 활동 타입의 추정된 확률인 장치.
  32. 제 19 항에 있어서,
    활동 타입을 수신하는 것은 장치의 소프트웨어 애플리케이션의 그래픽 사용자 인터페이스에 디스플레이하기 위해 분석된 활동 결과를 서버 컴퓨팅 시스템으로부터 수신하는 것을 포함하며,
    분석된 활동 결과는 각기 다른 분석된 활동 타입을 표현하는 복수의 서로 다른 기호를 포함하는 타임라인을 포함하는 장치.
  33. 클라이언트 컴퓨팅 장치에 의해, 서버 컴퓨팅 시스템으로 클라이언트 컴퓨팅 장치의 하나 이상의 센서 신호를 송신하는 단계;
    클라이언트 컴퓨팅 장치에 의해, 센서 신호의 일부에 대응하는 특정 활동 카테고리를 복수의 활동 카테고리로부터 결정하는 것에 기반하여 그리고 특정한 활동 카테고리 내 각각의 활동 타입에 대한 센서 신호를 분석하고 상기 분석에 기반하여 사용자의 각각의 활동 타입의 확률을 계산함에 의해 활동 카테고리에서 사용자의 활동 타입을 결정하는 것에 기반하여, 서버 컴퓨팅 시스템으로부터 하나 이상의 활동 타입을 수신하는 단계를 포함하며,
    센서 신호는 클라이언트 컴퓨팅 장치의 사용자의 활동과 연관된 움직임의 표시를 포함하고
    각각의 활동 카테고리는 하나 이상의 활동 타입을 포함하고 활동 카테고리 내 활동 타입이 공통으로 가지는 움직임에 의해 특징지어지는 방법.
  34. 제 33 항에 있어서,
    센서 신호는 서버 컴퓨팅 시스템의 하나 이상의 프로세서에 의해 실질적으로 병렬로 분석되며, 프로세서는 하나 이상의 활동 타입에 대응하는 센서 신호의 특성을 식별하도록 상호 특화되는 방법.
  35. 제 33 항에 있어서,
    활동 타입을 결정하는 것은 클라이언트 컴퓨팅 장치가 겪은 활동 타입의 시간 로그를 생성하는 것을 포함하는 방법.
  36. 제 33 항에 있어서,
    클라이언트 컴퓨팅 장치는 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화 또는 태블릿 컴퓨터를 포함하는 방법.
  37. 제 33 항에 있어서,
    클라이언트 컴퓨팅 장치는 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치결정 센서, 자력계, 마이크로폰, 카메라 또는 온도 센서를 포함하는 하나 이상의 센서를 포함하는 방법.
  38. 제 33 항에 있어서,
    센서 신호의 분석은: 지도형 또는 준-지도형 분류 분석; 또는 발견적 분석을 포함하는 방법.
  39. 제 38 항에 있어서,
    지도형 또는 준-지도형 분류 분석은 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용하는 분류 알고리즘을 포함하며, 분류 알고리즘의 출력은 센서 신호에 기반하여 각기 다른 활동 타입의 추정된 확률인 방법.
  40. 제 33 항에 있어서,
    활동 타입을 수신하는 단계는 클라이언트 컴퓨팅 장치의 소프트웨어 애플리케이션의 그래픽 사용자 인터페이스에 디스플레이하기 위해 분석된 활동 결과를 서버 컴퓨팅 시스템으로부터 수신하는 단계를 포함하며,
    분석된 활동 결과는 각기 다른 분석된 활동 타입을 표현하는 복수의 서로 다른 기호를 포함하는 타임라인을 포함하는 방법.
  41. 서버 컴퓨팅 시스템으로 하나 이상의 센서 신호를 송신하고;
    센서 신호의 일부에 대응하는 특정 활동 카테고리를 복수의 활동 카테고리로부터 결정하는 것에 기반하여 그리고 특정한 활동 카테고리 내 각각의 활동 타입에 대한 센서 신호를 분석하고 상기 분석에 기반하여 사용자의 각각의 활동 타입의 확률을 계산함에 의해 활동 카테고리에서 사용자의 활동 타입을 결정하는 것에 기반하여, 서버 컴퓨팅 시스템으로부터 하나 이상의 활동 타입을 수신하도록 실행될 때 동작하는 소프트웨어를 수록하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체로서,
    센서 신호는 사용자의 활동과 연관된 움직임의 표시를 포함하고
    각각의 활동 카테고리는 하나 이상의 활동 타입을 포함하고 활동 카테고리 내 활동 타입이 공통으로 가지는 움직임에 의해 특징지어지는 컴퓨터-판독가능한 비-일시적 저장매체.
  42. 제 41 항에 있어서,
    센서 신호는 서버 컴퓨팅 시스템의 하나 이상의 프로세서에 의해 실질적으로 병렬로 분석되며, 프로세서는 하나 이상의 활동 타입에 대응하는 센서 신호의 특성을 식별하도록 상호 특화되는 컴퓨터-판독가능한 비-일시적 저장매체.
  43. 제 41 항에 있어서,
    활동 타입을 결정하는 것은 클라이언트 컴퓨팅 장치가 겪은 활동 타입의 시간 로그를 생성하는 것을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  44. 제 41 항에 있어서,
    센서 신호는 개인용 컴퓨터, 휴대용 미디어 장치, 스마트폰, 손목-착용형 폰, 패블릿, 모바일 전화 또는 태블릿 컴퓨터를 포함하는 장치에 의해 생성되는 컴퓨터-판독가능한 비-일시적 저장매체.
  45. 제 41 항에 있어서,
    센서 신호는 자이로스코프식 각센서, 가속도계, GPS 위치 센서, 셀룰러 위치결정 센서, 자력계, 마이크로폰, 카메라 또는 온도 센서를 포함하는 하나 이상의 센서를 포함하는 장치에 의해 생성되는 컴퓨터-판독가능한 비-일시적 저장매체.
  46. 제 41 항에 있어서,
    센서 신호의 분석은: 지도형 또는 준-지도형 분류 분석; 또는 발견적 분석을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
  47. 제 46 항에 있어서,
    지도형 또는 준-지도형 분류 분석은 센서 신호에 포함된 정보의 주파수 성분의 진폭을 입력으로 사용하는 분류 알고리즘을 포함하며, 분류 알고리즘의 출력은 센서 신호에 기반하여 각기 다른 활동 타입의 추정된 확률인 컴퓨터-판독가능한 비-일시적 저장매체.
  48. 제 41 항에 있어서,
    활동 타입을 수신하는 것은 그래픽 사용자 인터페이스에 디스플레이하기 위해 분석된 활동 결과를 서버 컴퓨팅 시스템으로부터 수신하는 것을 포함하며,
    분석된 활동 결과는 각기 다른 분석된 활동 타입을 표현하는 복수의 서로 다른 기호를 포함하는 타임라인을 포함하는 컴퓨터-판독가능한 비-일시적 저장매체.
KR1020167020801A 2013-06-28 2014-06-18 사용자 활동 추적 시스템 및 장치 Expired - Fee Related KR101799474B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/930,347 US9125015B2 (en) 2013-06-28 2013-06-28 User activity tracking system and device
US13/930,321 2013-06-28
US13/930,347 2013-06-28
US13/930,321 US8948783B2 (en) 2013-06-28 2013-06-28 User activity tracking system
PCT/US2014/042839 WO2014209697A1 (en) 2013-06-28 2014-06-18 User activity tracking system and device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002376A Division KR101672864B1 (ko) 2013-06-28 2014-06-18 사용자 활동 추적 시스템 및 장치

Publications (2)

Publication Number Publication Date
KR20160093741A true KR20160093741A (ko) 2016-08-08
KR101799474B1 KR101799474B1 (ko) 2017-12-20

Family

ID=52142913

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167002376A Expired - Fee Related KR101672864B1 (ko) 2013-06-28 2014-06-18 사용자 활동 추적 시스템 및 장치
KR1020167020801A Expired - Fee Related KR101799474B1 (ko) 2013-06-28 2014-06-18 사용자 활동 추적 시스템 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167002376A Expired - Fee Related KR101672864B1 (ko) 2013-06-28 2014-06-18 사용자 활동 추적 시스템 및 장치

Country Status (11)

Country Link
US (4) US8948783B2 (ko)
EP (3) EP3487154A1 (ko)
JP (2) JP6110518B2 (ko)
KR (2) KR101672864B1 (ko)
CN (3) CN105493528A (ko)
AU (2) AU2014302977B2 (ko)
BR (1) BR112015032727A8 (ko)
CA (2) CA2924691C (ko)
IL (2) IL243350A (ko)
MX (2) MX351164B (ko)
WO (1) WO2014209697A1 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8738323B2 (en) * 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for metrics analysis and interactive rendering, including events having combined activity and location information
US8948783B2 (en) * 2013-06-28 2015-02-03 Facebook, Inc. User activity tracking system
US9125015B2 (en) * 2013-06-28 2015-09-01 Facebook, Inc. User activity tracking system and device
US10425686B2 (en) * 2014-04-24 2019-09-24 Free Stream Media Corp. Device-based detection of ambient media to be used by a server to selectively provide secondary content to the device
US11029328B2 (en) 2015-01-07 2021-06-08 Qualcomm Incorporated Smartphone motion classifier
US9864787B2 (en) * 2015-01-21 2018-01-09 Raytheon Company Parallel hypothesis formation for multiple hypotheses tracking
RU2015111633A (ru) * 2015-03-31 2016-10-20 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для обработки показателей активности, связанных с пользователем, способ и система связывания первого элемента и второго элемента
US11874716B2 (en) 2015-08-05 2024-01-16 Suunto Oy Embedded computing device management
WO2017025134A1 (en) * 2015-08-11 2017-02-16 Telecom Italia S.P.A. Method and system for computing an o-d matrix obtained through radio mobile network data
KR20170020085A (ko) 2015-08-13 2017-02-22 삼성전자주식회사 활동 정보 처리 방법 및 이를 지원하는 전자 장치
KR102382701B1 (ko) 2015-09-02 2022-04-06 삼성전자 주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
GB2545668B (en) 2015-12-21 2020-05-20 Suunto Oy Sensor based context management
DE102016015065A1 (de) 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmungsfeld
US10433768B2 (en) 2015-12-21 2019-10-08 Amer Sports Digital Services Oy Activity intensity level determination
GB2579998B (en) * 2015-12-21 2021-02-10 Amer Sports Digital Services Oy Sensor Based context management
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
DE102016015066A1 (de) 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmung
US11587484B2 (en) 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
US12044789B2 (en) 2016-04-22 2024-07-23 Azar Zandifar Systems and methods for occupancy detection using WiFi sensing technologies
EP3455835A4 (en) 2016-06-08 2020-01-08 Aerial Technologies Inc. SYSTEM AND METHOD FOR INTELLIGENT INTRUSION DETECTION USING WIRELESS SIGNALS AND ARTIFICIAL INTELLIGENCE
US11703938B2 (en) 2016-10-17 2023-07-18 Suunto Oy Embedded computing device
DE102017009171B4 (de) 2016-10-17 2025-05-22 Suunto Oy Eingebettete rechenvorrichtung
JP6645957B2 (ja) * 2016-12-16 2020-02-14 株式会社東芝 動作推定方法および動作推定システム
US10535244B2 (en) 2017-03-13 2020-01-14 General Electric Company Patient monitoring system and method for activity tracking
CN109002189B (zh) * 2017-06-07 2021-09-07 斑马智行网络(香港)有限公司 一种运动识别方法、装置、设备和计算机存储介质
US10082554B1 (en) * 2017-07-01 2018-09-25 Tile, Inc. Dynamic selection and modification of tracking device behavior models
US10726627B2 (en) * 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US11153364B1 (en) 2017-11-29 2021-10-19 Parallels International Gmbh Embedding remote applications into HTML pages
US11194842B2 (en) * 2018-01-18 2021-12-07 Samsung Electronics Company, Ltd. Methods and systems for interacting with mobile device
JP2019139570A (ja) * 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
US10812334B2 (en) * 2018-06-29 2020-10-20 Forescout Technologies, Inc. Self-training classification
US11531929B2 (en) * 2018-11-09 2022-12-20 Citrix Sysiems, Inc. Systems and methods for machine generated training and imitation learning
KR102776199B1 (ko) * 2018-12-19 2025-03-07 삼성전자 주식회사 사용자의 액티비티를 추적하는 전자 장치 및 전자 장치의 동작 방법
US11980792B2 (en) * 2019-06-05 2024-05-14 Qeexo, Co. Method and apparatus for calibrating a user activity model used by a mobile device
US11842812B2 (en) 2019-06-27 2023-12-12 GE Precision Healthcare LLC Location-based user authorization for an infant care device
BE1027428B1 (nl) * 2019-07-14 2021-02-11 Niko Nv Sensorsysteem voor activiteitherkenning
US10880691B1 (en) 2019-10-31 2020-12-29 Root, Inc. Passively capturing and monitoring device behaviors
JP7339167B2 (ja) * 2020-01-17 2023-09-05 株式会社日立製作所 作業支援システム及び作業支援方法
US12039536B2 (en) 2020-10-27 2024-07-16 Prove Identity, Inc. Transaction authentication, authorization, and/or auditing utilizing subscriber-specific behaviors
JP2023550368A (ja) * 2020-11-16 2023-12-01 オーラ ヘルス オサケユキチュア 活動の分類及び表示
CN112347991B (zh) * 2020-11-30 2022-04-01 北京理工大学 一种基于隐马尔可夫分析滑雪运动序列的方法
EP4327336A4 (en) * 2021-04-22 2025-03-12 Verily Life Sciences LLC Systems and methods for remote clinical examinations and automated signal data labeling
TWI802134B (zh) * 2021-12-07 2023-05-11 矽譜科技股份有限公司 癲癇發作及歷程偵測系統及其資訊平台
US12143401B2 (en) * 2022-03-09 2024-11-12 Prove Identity, Inc. Communications device contactability metric
WO2023224217A1 (ko) * 2022-05-20 2023-11-23 삼성전자 주식회사 복수의 전자 장치들에 기반하여 사용자의 활동 상태를 결정하는 방법 및 전자 장치

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570163B2 (ja) * 1996-07-03 2004-09-29 株式会社日立製作所 動作及び行動の認識方法及び装置及びシステム
DE69736622T2 (de) 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
US6513532B2 (en) 2000-01-19 2003-02-04 Healthetech, Inc. Diet and activity-monitoring device
US7532924B2 (en) * 2003-09-22 2009-05-12 Cardiac Pacemakers, Inc. Cardiac rhythm management system with exercise test interface
US7171268B1 (en) 2003-12-24 2007-01-30 Pacesetter, Inc. Implantable cardiac stimulation device providing accelerated defibrillation delivery and method
KR20060037640A (ko) 2004-10-28 2006-05-03 에스케이 텔레콤주식회사 환자의 모니터링 시스템 및 방법
KR100810880B1 (ko) 2006-08-09 2008-03-07 (주) 엘지텔레콤 이동 통신망을 이용한 위급 정보 통보 시스템 및 방법과 그시스템에 적용되는 이동통신 단말기
CN101108125B (zh) * 2007-08-02 2010-06-16 无锡微感科技有限公司 一种身体体征动态监测系统
JP2009217378A (ja) * 2008-03-07 2009-09-24 Nippon Telegr & Teleph Corp <Ntt> 行動支援システム及び携帯端末
KR101480053B1 (ko) 2008-04-08 2015-01-09 주식회사 엘지유플러스 모바일단말에서의 사용자 상태정보 서비스 장치 및 방법
JP5215098B2 (ja) 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体
JP5250827B2 (ja) * 2008-09-19 2013-07-31 株式会社日立製作所 行動履歴の生成方法及び行動履歴の生成システム
US8271413B2 (en) * 2008-11-25 2012-09-18 Google Inc. Providing digital content based on expected user behavior
WO2010096691A2 (en) 2009-02-20 2010-08-26 The Regents Of The University Of Colorado, A Body Corporate Footwear-based body weight monitor and postural allocation, physical activity classification, and energy expenditure calculator
US8560267B2 (en) 2009-09-15 2013-10-15 Imetrikus, Inc. Identifying one or more activities of an animate or inanimate object
US8611326B2 (en) * 2009-09-03 2013-12-17 Apple Inc. Location histories for location aware devices
JP5495014B2 (ja) 2009-09-09 2014-05-21 ソニー株式会社 データ処理装置、データ処理方法、およびプログラム
US20110161085A1 (en) 2009-12-31 2011-06-30 Nokia Corporation Method and apparatus for audio summary of activity for user
KR101817048B1 (ko) * 2010-08-09 2018-01-09 나이키 이노베이트 씨.브이. 모바일 장치를 이용한 피트니스 모니터링
US8311522B1 (en) 2010-09-28 2012-11-13 E.Digital Corporation System and method for managing mobile communications
US9167991B2 (en) 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US20120130201A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Diagnosis and Monitoring of Dyspnea
KR101256907B1 (ko) * 2011-01-12 2013-04-22 연세대학교 산학협력단 사용자 상황 실시간 인식 장치 및 방법
JP2012155374A (ja) 2011-01-21 2012-08-16 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US9407706B2 (en) * 2011-03-31 2016-08-02 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features
US8930300B2 (en) * 2011-03-31 2015-01-06 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
US9110510B2 (en) * 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
US8892391B2 (en) * 2011-06-03 2014-11-18 Apple Inc. Activity detection
AU2012268763A1 (en) * 2011-06-10 2013-04-11 Aliphcom Power management in a data-capable strapband
US20120326873A1 (en) 2011-06-10 2012-12-27 Aliphcom Activity attainment method and apparatus for a wellness application using data from a data-capable band
US11133096B2 (en) 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
IN2014CN01893A (ko) * 2011-09-16 2015-05-29 Qualcomm Inc
CN104094287A (zh) * 2011-12-21 2014-10-08 诺基亚公司 用于情境识别的方法、装置以及计算机软件
US9352207B2 (en) * 2012-01-19 2016-05-31 Nike, Inc. Action detection and activity classification
JP5342025B2 (ja) 2012-01-19 2013-11-13 株式会社東芝 行動推定装置
JP6115028B2 (ja) 2012-05-28 2017-04-19 セイコーエプソン株式会社 行動記録装置、行動記録方法及び行動記録プログラム
JP6000767B2 (ja) 2012-09-04 2016-10-05 公立大学法人公立はこだて未来大学 学習装置、判別装置、行動状態判別システム、および判別方法
US9125015B2 (en) * 2013-06-28 2015-09-01 Facebook, Inc. User activity tracking system and device
US8948783B2 (en) * 2013-06-28 2015-02-03 Facebook, Inc. User activity tracking system
KR20150010255A (ko) 2013-07-18 2015-01-28 삼성전자주식회사 습관을 이용한 진단 장치 및 진단 관리 장치와 그를 이용한 진단 방법

Also Published As

Publication number Publication date
US8948783B2 (en) 2015-02-03
KR20160017125A (ko) 2016-02-15
EP2819383A1 (en) 2014-12-31
CN110830592A (zh) 2020-02-21
CN105493528A (zh) 2016-04-13
WO2014209697A1 (en) 2014-12-31
US20150326709A1 (en) 2015-11-12
US9118725B2 (en) 2015-08-25
EP3487154A1 (en) 2019-05-22
JP2016534584A (ja) 2016-11-04
IL245388A0 (en) 2016-06-30
CA2916858A1 (en) 2014-12-31
EP2819383B1 (en) 2019-02-06
AU2016202364A1 (en) 2016-05-05
KR101672864B1 (ko) 2016-11-04
IL243350A (en) 2017-01-31
US9531824B2 (en) 2016-12-27
CA2924691A1 (en) 2014-12-31
MX348615B (es) 2017-06-21
WO2014209697A8 (en) 2015-04-23
MX2016000221A (es) 2016-06-15
BR112015032727A2 (pt) 2017-07-25
CA2924691C (en) 2017-05-09
EP3014905A4 (en) 2017-03-15
CN105872034A (zh) 2016-08-17
AU2016202364B2 (en) 2017-01-05
JP6151815B2 (ja) 2017-06-21
KR101799474B1 (ko) 2017-12-20
EP3014905A1 (en) 2016-05-04
JP2017086855A (ja) 2017-05-25
US20150005030A1 (en) 2015-01-01
US9948734B2 (en) 2018-04-17
EP3014905B1 (en) 2019-01-02
US20170078418A1 (en) 2017-03-16
CN105872034B (zh) 2017-12-12
US20150100643A1 (en) 2015-04-09
JP6110518B2 (ja) 2017-04-05
MX351164B (es) 2017-10-04
AU2014302977A1 (en) 2016-02-18
AU2014302977B2 (en) 2016-05-26
BR112015032727A8 (pt) 2019-12-24
IL245388A (en) 2017-02-28

Similar Documents

Publication Publication Date Title
KR101799474B1 (ko) 사용자 활동 추적 시스템 및 장치
US9519672B2 (en) User activity tracking system and device
US20210350286A1 (en) Passive visit detection
JP6232857B2 (ja) 操作解析装置、操作解析方法及び操作解析プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

FPAY Annual fee payment

Payment date: 20201102

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20211101

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20221025

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20241115

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20241115

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20241115