WO2023084502A1 - 수면 모니터링 장치 및 그 동작 방법 - Google Patents

수면 모니터링 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023084502A1
WO2023084502A1 PCT/IB2022/062049 IB2022062049W WO2023084502A1 WO 2023084502 A1 WO2023084502 A1 WO 2023084502A1 IB 2022062049 W IB2022062049 W IB 2022062049W WO 2023084502 A1 WO2023084502 A1 WO 2023084502A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleep
user
state
eeg
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/IB2022/062049
Other languages
English (en)
French (fr)
Inventor
류경호
유원대
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220063458A external-priority patent/KR102906066B1/ko
Priority claimed from KR1020220087045A external-priority patent/KR20230069804A/ko
Application filed by Individual filed Critical Individual
Priority to EP22892267.0A priority Critical patent/EP4431007A4/en
Priority to US18/709,753 priority patent/US20250000450A1/en
Publication of WO2023084502A1 publication Critical patent/WO2023084502A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A61B5/307—Input circuits therefor specially adapted for particular uses
    • A61B5/31—Input circuits therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4815—Sleep quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6816—Ear lobe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6832—Means for maintaining contact with the body using adhesives
    • A61B5/6833—Adhesive patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise

Definitions

  • Sleep is known to have a great impact on human health and quality of life. Not only the amount of sleep, but also the quality of sleep is important. Sleeping well (going to sleep), sleeping well, and waking up well (going out) all affect the quality of this sleep. It is known that the quality of a person's sleep can be monitored by brain waves confirmed by measuring an electroencephalogram (EEG), and body movements during sleep can be monitored by an activity sensor. In addition, sleep disorders such as snoring or sleep apnea can be monitored by a microphone that listens to snoring during sleep and a sensor that measures blood oxygen saturation (SpO2).
  • EEG electroencephalogram
  • SpO2 blood oxygen saturation
  • polysomnography is performed to monitor patients' sleep conditions and sleep disorders.
  • polysomnography such as measuring an ECG by attaching multiple electrodes to the forehead, not only causes discomfort to the patient, but also has a limitation in that it is a one-time monitoring that can be monitored only on the day of the test.
  • a health care-level bio-signal measuring device that measures brain waves by wearing a band on the forehead by the user himself in everyday life, not in a specialized clinic, has been introduced, and applications such as recording sleep time on smart watches have also been introduced. there is.
  • sleep monitoring the technology that allows users to monitor their sleep quality every day has not yet been universalized due to limitations such as inconvenience in measurement and inaccuracy in determining sleep conditions.
  • Republic of Korea Patent Registration No. 10-2046515 (publication date: November 29, 2019) proposes a healthcare system using a neckband type EEG measuring device.
  • US Patent Publication No. US2016/0058366 suggests a sleep monitoring method in a watch-type wearable device worn on a wrist.
  • US Patent Publication No. US2019/0038184 (published on February 7, 2019) proposes a watch-type wearable device that tracks a user's activity.
  • Korean Patent Registration No. 10-2102421 (published date: April 20, 2020) proposes an earphone for measuring brain waves and a drowsy driving detection system using the same.
  • the sleep state In monitoring the sleep state, it is accurately recognized whether the user's posture is a lying posture. By measuring and comparing the user's posture and/or body movement or tremors with EEG, the user's sleep state is more accurately and continuously measured.
  • Continuity and continuity of all-night sleep monitoring is ensured by maintaining the wearer while stably maintaining electrical contact between the user's skin and the signal electrode for measuring the user's brain waves.
  • a user When a user has an elevation disorder or a disorder phenomenon during sleep, it contributes to sleep monitoring as well as sleep quality improvement by providing a guide for inducing elevation and sleep stages.
  • the sleep phase is appropriately induced so that it can help you go out refreshed. This device contributes to improving the quality of the user's sleep.
  • a sleep monitoring device may include a communication interface and a processor.
  • the processor uses the EEG signal measured by the EEG measurement unit of the earbud device worn on the user's ears to measure the user's brain wave during sleep ('sleep wave') and the brain wave during awakening. (Waveform during awakening, 'awake wave'). And the processor compares the result of the classification with sensor data (data from activity sensor) measured by an activity sensor included in the earbud device - the sensor data is time-synchronized with the EEG signal - Thus, the user's sleep state is classified into one of a plurality of categories.
  • the processor classifies the sensor data measured by the activity sensor as either an active posture or a lying posture, and determines the sleep state of the user as: 1) Brain wave state during sleep while lying down (SS) ; 2) Active EEG state with arousal (AA); 3) waking EEG while lying down (SA); and 4) it is classified as one of a plurality of states including an active posture and an EEG state (AS) during sleep.
  • SS Brain wave state during sleep while lying down
  • AA Active EEG state with arousal
  • SA waking EEG while lying down
  • AS EEG state
  • the processor continuously monitors the sleeping state of the user during a predetermined time interval between a first time point corresponding to the user's elevation and a second time point corresponding to the user's appearance. Classify as one of the dog's conditions. And the processor provides a result sequence of the state classification according to time as a sleep monitoring result for the user.
  • the resultant sequence of the status classification may be, for example, a time-sequential array of classified status categories according to the flow of sleep time, and this may be a visualized graph.
  • the processor classifies the sleep state of the user as one of the plurality of states at predetermined intervals during the time interval.
  • the predetermined period may be a time unit such as 30 seconds, 1 minute, 5 minutes or 10 minutes.
  • the state classification result sequence indicates that the sleep state between the time the user went to sleep and the time he woke up was 1) a state in which the user was in a lying position and brainwaves during sleep (SS); 2) Active EEG state with arousal (AA); 3) waking EEG while lying down (SA); and 4) a result classified as being in an active posture and an EEG state (AS) during sleep may be a list of results classified every 5 minutes or 10 minutes (may be another time unit, hereinafter the same).
  • the processor removes outliers or noise of the temporary signal to improve the stability of the determination result. can be raised This process is possible in several embodiments.
  • the processor classifies the sleep state of the user as one of the plurality of states for each predetermined period, at least one of the EEG signal and sensor data measured by the activity sensor within one period While applying a smoothing filter to remove outliers, the user's sleep state is determined as one of the plurality of states for each period in which the sleep state is to be determined.
  • the smoothing filter is applied in this way, outliers or noise effects of the transient signal can be removed or reduced.
  • the elimination of outliers determines the sleep state for each sub-period time segment in which each individual time segment is subdivided into smaller sub-period time segments, and then the dominant - that is, more frequent - sleep in the entire individual time segment It is also possible to determine the state as the representative state of the whole of the individual time interval.
  • the processor determines the sleep state by using the EEG signal and sensor data measured by the activity sensor together.
  • the removal of such outliers in individual time intervals or detailed time units may be performed by processing using temporal locality. For example, by referring to one or more processing results immediately before or after, a specific state that can be determined that the user's sleep state is not actually changed is ignored.
  • the removal of outliers is possible in several ways.
  • the sleep monitoring device may perform sleep quality evaluation for the entire monitored time period, for example, from light-off in bed to light-on in bed.
  • the processor provides a sleep quality index corresponding to a ratio of a sum of sections classified as a brain wave state (SS) while lying down with respect to all of the time sections according to the classification result.
  • SS brain wave state
  • the entire time period subject to sleep monitoring can be exemplarily started when the user is in an active posture and an arousal brain wave state (AA) and then changes to a lying posture and an arousal brain wave state (SA). In another example, it may be started when the 'SA' state continues for a certain length (or number of times) or more.
  • AA active posture and an arousal brain wave state
  • SA arousal brain wave state
  • 'SS When you wake up from sleep and enter the 'SA' phase that has not yet occurred, the entire time period subject to sleep monitoring may be determined, and when this 'SA' phase continues for a certain length (or number of times) or more It is also possible to determine the entire time interval.
  • the first change from the 'SA' state to the 'SS' phase, when the user lies down and falls asleep, is the sleep level determined by the sleep monitoring device 101 by analyzing the EEG signal of the earbud device 100 It can be determined when it enters the second stage (non-REM level 2) of non-REM sleep, not REM sleep.
  • the second stage non-REM level 2 of non-REM sleep
  • REM sleep or non-REM level 1 sleep can be judged as 'SS' state, but the first elevation can be determined differently when the non-REM level 2 phase, in which sleep reaches a certain depth, begins.
  • 'sleep quality' should be understood as a concept including 'sleep efficiency'). Lying down to sleep and standing up (AA for awake state, AS for not awake state) and lying but awake state (SA) are not good for overall sleep efficiency, so these states are If it is absent or short, the sleep quality index may be high.
  • sleep quality may be determined in various ways. Accordingly, the sleep habit of the user may be analyzed by evaluating in more detail whether the cause of the drop in the sleep quality index is the 'AA' state, the 'AS' state, or the 'SA' state. For example, if the sleep EEG state or 'AS' state, which is a state of waking up, is longer than a certain length, sleep disorder behaviors such as waking up during sleep or even walking around may be identified. In addition, if 'SA', which is a state of waking up but still lying down during the entire evaluation time, appears for more than a certain period, what pattern and how long it lasts, or when the 'SA' state occurs, etc. A sleep disorder related to may be suspected, and the user may consult an expert such as a doctor regarding this.
  • the sleep evaluation continues and is regarded as one sleep, and only the occurrence of the corresponding 'AA' state can be included in the evaluation. In this case, it can also appear when you wake up for a while and go to the bathroom, and if this case is repeated, it can be used as a basis for suspecting sleep disorders or urinary disorders.
  • an activity sensor may include several individual sensors, such as a gyro sensor, an accelerometer sensor, or composite sensors with a fusion of two or more sensors.
  • the sensor data measured by the activity sensor may include: a) a direction sensing value for determining whether the user's head is upright or lying down while the earbud device is worn on the ear; and b) an acceleration sensing value for determining whether the user moves at a certain level or more while wearing the earbud device on the ear.
  • the processor may at least temporarily suspend classification of the sleep state when the acceleration sensing value indicates a state in which the motion is greater than or equal to the predetermined level.
  • the earbud device may provide a microphone listening result for detecting the user's snoring during sleep. It can proceed and, if necessary, can also be recorded. Even at this time, it is necessary to distinguish between the user's own snoring and the snoring of others sleeping next to him.
  • the processor according to an embodiment further receives the sound heard through the microphone of the earbud device, and when the sound corresponds to snoring, the processor determines whether the snoring of the user is the snoring of the user or other people around by using the acceleration sensing value. of snoring.
  • a certain level of vibration is sensed together with the snoring sound, it is the user's own snoring, and if the snoring sound is heard but the vibration is below a certain standard, it is the snoring of another person sleeping next to him. Therefore, it may be ignored in the evaluation of the sleep state of the monitoring target user sleeping while wearing the earbud device.
  • sleep disorders such as sleep apnea through blood oxygen saturation (SpO2) measurement are measured together with the user's EEG, and the user's posture is lying down. EEG is measured together and compared, the user's sleep state is more accurately and continuously measured.
  • SpO2 blood oxygen saturation
  • the device According to the device according to the embodiments, electrical contact between the signal electrode used for EEG measurement and the user's skin is stably maintained, thereby increasing the success rate of all-night sleep monitoring. Since this EEG is implemented in one device together with user behavior sensing, the accuracy and continuity of monitoring the sleeping posture are increased.
  • time-series statistics can be provided, and precise analysis and utilization in various fields are possible. Precise utilization is possible, such as being able to accurately determine when and how much a user has a disability, such as when a user has a disability in elevation or a disability phenomenon during sleep.
  • the sleep monitoring device does not simply monitor sleep and gives results, but directly user It also contributes to improving sleep quality.
  • FIG. 1 shows a sleep monitoring device according to an embodiment.
  • FIGS. 2A and 2B show front and back views, respectively, of an earbud device according to one embodiment.
  • FIG. 3 is a diagram for explaining a process of monitoring sleep while sleeping while wearing an earbud device according to an embodiment.
  • FIG. 4 is a view for explaining an earbud device having a forehead extension electrode according to another embodiment, and FIG. 5 shows a state in which the device is worn and sleep monitoring is performed.
  • FIG. 6 illustrates a process of classifying a sleep state according to an embodiment.
  • FIG. 7 is a view for explaining why an earbud-type device is more advantageous for sleep monitoring than a conventional watch-type device.
  • FIG. 8 illustrates an exemplary result screen in which a sleep state is created and visualized in time series according to an embodiment.
  • FIG 9 is an exemplary screen showing examples of sleep quality and sleep disorders among sleep monitoring results according to an embodiment.
  • FIG. 10 is a diagram for explaining a sensor used when a sleep monitoring device according to an embodiment monitors various sleep disorders together with an earbud device.
  • a sleep monitoring device 101 may be an electronic device.
  • Electronic devices as long as they perform a sleep monitoring function, include all general-purpose computing devices implemented by system-on-chip hardware and/or application software.
  • the electronic device includes a smartphone, a tablet personal computer (tablet PC), a mobile phone, a video phone, an e-book reader, a desktop personal computer (PC), and a laptop.
  • PC laptop personal computer
  • netbook computer PDA (personal digital assistant), PMP (portable multimedia player), MP3 player
  • mobile medical device camera, or wearable device
  • wearable device e.g. It may include at least one of a head-mounted-device (HMD) such as electronic glasses, an electronic clothing, an electronic bracelet, an electronic necklace, an electronic appcessory, an electronic tattoo, or a smart watch).
  • HMD head-mounted-device
  • the electronic device may include various medical devices (eg, magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), computed tomography (CT), a camera, an ultrasound device, etc.), a navigation device, a GPS receiver ( global positioning system receiver), event data recorder (EDR), flight data recorder (FDR), automotive infotainment devices, marine electronic equipment (e.g. marine navigation system and gyrocompass), avionics, security It may include at least one of a device, a vehicle head unit, an industrial or household robot, an automatic teller's machine (ATM) of a financial institution, or a point of sales (POS) of a store.
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT computed tomography
  • a camera e.g., a camera, an ultrasound device, etc.
  • a navigation device e.g., a GPS receiver ( global positioning system receiver), event data recorder (EDR), flight data recorder (FDR), automotive infota
  • the electronic device may include a piece of furniture or a building/structure including a sleep monitoring function, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (e.g. : Water, electricity, gas, or radio wave measuring devices, etc.) may include at least one.
  • An electronic device according to various embodiments of the present disclosure may be one or a combination of more than one of the various devices described above.
  • an electronic device according to various embodiments of the present disclosure may be a flexible device.
  • the types of electronic devices themselves vary, and it is obvious to those skilled in the art that the types and main uses (other than the sleep monitoring function) of the electronic devices are not limited to the above.
  • specific embodiments will be described with reference to the drawings.
  • FIG. 1 shows a sleep monitoring device 101 according to one embodiment.
  • the sleep monitoring device 101 may be the various types of electronic devices described above, and is connected to the earbud-type biometric information measuring device 100 through the communication interface 102 to receive and control the sensed data. Commands can be exchanged.
  • the earbud device 100 is worn on the user's ear as an in-ear type, and the user carries the sleep monitoring device 101 separately.
  • a communication method through the communication interface 102 may be various, such as Bluetooth, ZigBee, Wi-Fi, Wi-Fi-Direct, connection through a cellular network, and NFC.
  • the sleep monitoring device 101 is embedded in the earbud device 100 in other embodiments without being limited to this example. Due to the high integration and high performance of the system on chip, the processor 103 and the memory 104 can be packaged together in the earbud device 100 worn on the user's ear. In this case, the communication interface 102 The monitoring result of the monitoring device 101 may be transmitted to another electronic device (not shown) so that the user may check the sleep monitoring result through the other electronic device. Therefore, even if an embodiment in which the sleep monitoring device 101 is provided as a separate device from the earbud device 100 is described throughout this specification, it should not be construed as being limited to these examples.
  • the structure and function of the earbud device 100 will be described later in more detail with reference to FIGS. 2A and 2B, and the structure and operation of the sleep monitoring device 101 will be described here.
  • the sleep monitoring device 101 includes a communication interface 102 and a processor 103 .
  • the communication interface 102 may be a communication chipset or modem enabling communication in the various methods described above. Preferably, it is a communication chipset of a wireless communication method.
  • the processor 103 may be a general-purpose processor such as a central processing unit (CPU) and an auxiliary processing unit as well as dedicated hardware of a system-on-a-chip (SoC) method.
  • SoC system-on-a-chip
  • APUs Application processing units
  • operations to be described later can be performed by firmware or OS (Operating System) and application software (APP), and the application software is installed using the memory 104 .
  • OS Operating System
  • APP application software
  • the processor 103 uses the user's EEG signal measured by the EEG measuring unit of the earbud device 100 worn on the user's ear to measure the user's brain wave during sleep (sleep wave, 'sleep wave'). wave') and EEG during wakefulness ('awake wave').
  • This identification can be understood as a selection or presumption of one of two things.
  • the type and state of the user's EEG waveform may be classified according to waveforms such as alpha wave, beta wave, and theta wave in a manner known in the conventional sleep neuroscience field. As is known, the sleep state can be divided into REM, sleep level 1, sleep level 3, etc.
  • the processor 103 can subdivide them, but in this embodiment, sleep Either the waveform corresponds to or the waveform corresponds to awakening.
  • the processor 103 is a sensor measured by an activity sensor included in the earbud device 100. Through data (data from activity sensor) - the sensor data is time-synchronized with the EEG signal -, the user's posture is either a sleeping posture or an awake posture with the head raised. do.
  • An awake posture refers to a posture in which a user sits or stands, and is clearly distinguished from a posture in which the user lies with the head on the floor.
  • the 'activity sensor' referred to throughout this specification may include several individual sensors, such as a gyro sensor, an accelerometer sensor, or a composite sensor with two or more sensor fusions, It is included in the earbud device 100 and sends a sensed value to the processor 103, and the processor 103 determines whether the user is holding his head up or resting his head on the floor or a pillow through the sensed value.
  • the processor 103 monitors the user's sleep state over time through the EEG signal and the activity sensor signal measured on the side of the earbud device 100, and time-sequentially monitors the user's sleep state as one of the above four Continue to categorize.
  • the user's posture is considered together with the user's EEG, and since the earbud device 100 is inserted into the user's ear, the sleep state in a conventional watch-type wearable device Compared to checking, it is possible to accurately classify the user's state by comparing whether the user is lying down with whether the user is asleep. This will be described later in more detail with reference to FIG. 7 .
  • the earbud device 100 is inserted and worn in the ear, and the earbud device 100 according to the embodiment has an electrical contact between the signal electrode used for EEG measurement and the user's skin as its structural peculiarity Since this is maintained stably, the success rate of all-night sleep monitoring increases, and thus, according to embodiments, accurate, reproducible, and stable sleep state monitoring is possible.
  • the processor 103 continues the user's sleeping state during a predetermined time interval between a first time point corresponding to the user's elevation and a second time point corresponding to the user's appearance. is classified as one of the plurality of states (SS, AA, SA, AS, etc.).
  • the first point of view which is the elevation point of view, may be input by the user through a user interface (User Interface, not shown) of the sleep monitoring device 101, or the device may automatically identify it.
  • the sleep posture when the user lies down to sleep and the sleep posture lasts for a certain amount of time or longer, or even identifies sleep waves of a certain length or more for the first time after the continuation of the lying posture.
  • a case may be determined as the first point of time.
  • the device automatically identifies it. For example, but not limited to, while the user's sleep state is monitored by the identification of the elevational state, the user's awakening EEG is sensed for a certain period of time, or while the awake EEG continues, the awake posture The case identified up to may be determined as the second point of time, which is the release point.
  • the theoretically ideal result is that the user lies down to sleep and enters the SA state (relatively briefly, for example, a few minutes), followed by the SA state, and then the user falls asleep while lying down and the SS state lasts for a long time ( If you sleep for 7 hours, it continues for 7 hours), and after the user wakes up while lying down and the state changes to SA, the user wakes up within a relatively short time, the state becomes AA, and the AA state is maintained in a natural sequence.
  • Embodiments make it possible to observe how different this ideal sequence differs from the actual user's sequence. This observation can be said to be the beginning of improving the quality of sleep, because only observation is necessary for analysis, and only after analysis is improvement or necessary treatment possible.
  • the processor 103 determines the sleep state of the user at a predetermined period (eg, every 30 seconds, every 1 minute, every 5 minutes, or every 10 minutes) during the time interval. It is classified as one of the dog states (SS, AA, AS, SA).
  • the classified result may be sequential visual information (visualized information or infographics) in which the sleep state of the user is sequentially listed for each determination period along with the passage of time. Details on this will be described later with reference to FIGS. 8 and 9 .
  • the processor 103 determines the 'SS' phase to sleep. level can also be considered. This is because it is possible to set different settings for when to fall asleep medically and depending on the field of use of information. Therefore, in some embodiments, while the processor 103 of the sleep monitoring device 101 analyzes the EEG signal of the earbud device 100 and determines the sleep level according to the waveform, it is not REM sleep but non-REM sleep. When entering the second stage (non-REM level 2), it may be determined as the 'SS' stage where sleep begins after lying down.
  • the sleep level determined according to the measured EEG is REM sleep or non-REM level 1 sleep, it can be determined as the 'SS' state. This is because the change in sleep state across REM sleep and non-REM level 1 is natural according to the cycle during sleep.
  • the processor 103 since the user's sleep state is continuously determined for a relatively long sleep time, for example, about 7 hours, it is important for the processor 103 to remove outliers or noise of the temporary signal. . By removing the outliers in this way, stability and reliability of the determination result can be increased. This process is possible in several embodiments.
  • the processor 103 applies a smoothing filter when classifying the sleep state of the user as one of the plurality of states at a predetermined period, for example, every 5 or 10 minutes. For example, through the user's EEG signal within a specific period of 10 minutes, the user's brain wave becomes an alternative between brain wave during sleep and brain wave during wakefulness. It can be removed through a smoothing filter.
  • the value of the sensor data measured by the activity sensor within a specific period of 10 minutes will continue to be divided into a lying posture and a raising posture, and outliers can be removed from this value in a similar way.
  • the removal of these outliers should be established as an optimal standard through various clinical experiments.
  • the body sits up once in a while without waking up while sleeping, then lies down again within a few seconds and continues to sleep, and this phenomenon causes the processor 103 to briefly As it can be important to identify and report these as disruptive behaviors during the user's sleep, rather than eliminate them as outliers.
  • determining the dominant state after segmentation as a representative value As in voting, when a plurality of different values coexist within a section, the state value with the largest number is selected as the representative value.
  • the processor 103 divides one time period interval (eg, 10 minutes) into smaller sub-period time segments (eg, 1 minute), and determines the sleep state for each sub-period time segment. After the determination, the most dominant sleep state in the entire individual time period interval (10 minutes) - that is, the sleep state that appeared more frequently - is determined as the representative state of the entire individual time interval.
  • the processor determines the sleep state by using the EEG signal and the sensor data measured by the activity sensor together, SS, AA , SA, or AS, and then selecting a representative value.
  • the removal of such outliers in individual time intervals or detailed time units may be performed by processing using temporal locality. For example, by referring to one or more processing results immediately before or after, a specific state that can be determined that the user's sleep state is not actually changed is ignored.
  • the removal of outliers is possible in several ways.
  • the sleep monitoring device may evaluate sleep quality for the entire monitored time interval after the sleep monitoring process is finished.
  • the processor provides a sleep quality index corresponding to a ratio of a sum of sections classified as a brain wave state (SS) while lying down with respect to all of the time sections according to the classification result.
  • SS brain wave state
  • the ratio of SUM(SSn), which is the sum of the lengths of EEG during sleep (SS) in a lying position to the length of total sleep time T may be evaluated as the overall sleep quality. Lying down to sleep and standing up (AA for awake state, AS for not awake state) and lying but awake state (SA) are not good for overall sleep efficiency, so these states are If it is absent or short, the sleep quality index may be high. An example of this result is shown in FIG. 9 .
  • sleep quality may be determined in various ways. Accordingly, the sleep habit of the user may be analyzed by evaluating in more detail whether the cause of the drop in the sleep quality index is the 'AA' state, the 'AS' state, or the 'SA' state. For example, if the sleep EEG state or 'AS' state, which is a state of waking up, is longer than a certain length, sleep disorder behaviors such as waking up during sleep or even walking around may be identified. In addition, if 'SA', which is a state of waking up but still lying down during the entire evaluation time, appears for more than a certain period, what pattern and how long it lasts, or when the 'SA' state occurs, etc. A sleep disorder related to may be suspected, and the user may consult an expert such as a doctor regarding this.
  • the sleep evaluation continues and is regarded as one sleep, and only the occurrence of the corresponding 'AA' state can be included in the evaluation. In this case, it can also appear when you wake up for a while and go to the bathroom, and if this case is repeated, it can be used as a basis for suspecting sleep disorders or urinary disorders.
  • 'SS' a state of lying down to sleep
  • 'AS' a stage in which the user sits up or sits up while not waking up
  • the sleep monitoring device 101 together with the earbud device 100 accurately and conveniently detects these various sleep disorders. It should be understood that it contributes to helping to discover
  • an activity sensor may include several individual sensors, such as a gyro sensor, an accelerometer sensor, or composite sensors with a fusion of two or more sensors.
  • the sensor data measured by the activity sensor may include: a) a direction sensing value for determining whether the user's head is upright or lying down while the earbud device 100 is worn on the ear; and b) an acceleration sensing value for determining whether the user moves at a certain level or more while wearing the earbud device on the ear.
  • the processor may at least temporarily suspend classification of the sleep state when the acceleration sensing value indicates a state in which the motion is greater than or equal to the predetermined level.
  • the earbud device may provide a microphone listening result for detecting the user's snoring during sleep. It can proceed and, if necessary, can also be recorded. Even at this time, it is necessary to distinguish between the user's own snoring and the snoring of others sleeping next to him.
  • the processor according to an embodiment further receives the sound heard through the microphone of the earbud device, and when the sound corresponds to snoring, the processor determines whether the snoring of the user is the snoring of the user or other people around by using the acceleration sensing value. of snoring.
  • a certain level of vibration is sensed together with the snoring sound, it is the user's own snoring, and if the snoring sound is heard but the vibration is below a certain standard, it is the snoring of another person sleeping next to him. Therefore, it may be ignored in the evaluation of the sleep state of the monitoring target user sleeping while wearing the earbud device.
  • FIGS. 2A and 2B show front and back views, respectively, of an earbud device 100 according to one embodiment.
  • the earbud device 100 is a wearable device on the user's ear.
  • the earbud device 100 measures biometric information such as the user's EEG, posture and movement, and blood oxygen saturation (SpO2).
  • biometric information such as the user's EEG, posture and movement, and blood oxygen saturation (SpO2).
  • sleep stages such as REM sleep, sleep stage 1, stage 2, and stage 3 can be distinguished.
  • brain wave signals and identifying dominant waveforms such as alpha waves and beta waves, you can find out at what level you fall asleep (level at the time of awakening), how the sleep stages are changing while you sleep, how long each stage lasts, and how long each stage lasts. You can monitor information such as how many cycles the change in waveform passes through.
  • sleep disorders experienced during sleep such as sleep apnea
  • appropriate feedback can be provided at this time.
  • Feedback is, for example, alerting the human ear through sound, changing the sleep stage to another stage, or giving information about sleep disorders through a linked application after waking up.
  • the electronic device 100 includes a blood oxygen saturation measuring unit 110 that measures the user's blood oxygen saturation (SpO2) by hanging on the user's earlobe while being fixed and wrapped around the user's earlobe. and a reference electrode contacting the user's skin is placed here.
  • SpO2 blood oxygen saturation
  • a reference electrode contacting the user's skin is placed here.
  • the first part 110 of the blood oxygen saturation measurement unit includes an LED light source 111 and a light receiving unit (s) 112, and the second part 120 distinguished from these parts includes, but is not limited to, A fixing means such as a magnet is included.
  • a fixing means such as a magnet is included.
  • the first part 110 and the second part 120 face each other and are attached by magnetic force, so that the blood oxygen saturation measurement unit and the reference electrode for EEG measurement are maintained in contact with the earlobe.
  • a portion between the first part 110 and the second part 120 may be a bridge made of a flexible material.
  • the position of the light receiver(s) 112 is the first part 110 is shown, it is also possible to position it on the side of the second part 120.
  • the bridge itself between the first part 110 and the second part 120 of the blood oxygen saturation measuring unit may be an elastic material having a 'U'-shaped curve.
  • the first part and the second part may hang on the ear lobe while opposing each other on both sides of the ear lobe by the elasticity of the elastic bridge with the ear lobe interposed therebetween. It becomes a type that is inserted into the earlobe and fixed.
  • the connecting bridge since the connecting bridge has a hinge structure, the first part 110 and the second part 120 can be opened and closed while being folded and unfolded by such a structure, and can be fixed to the ear lobe.
  • Other connecting bridge structures are also possible and are not construed as being limited to some embodiments.
  • the ear tip 130 of the earbud device 100 is inserted into the neck of a user's ear canal and has at least one in-ear electrode in contact with the skin in the ear canal.
  • the ear tip 130 also serves as a part that outputs sound like a normal in-ear type earbud earphone. Since it is inserted into the neck of the ear canal and closely adheres to the inner wall of the user's ear canal, the ear tip 130 becomes an excellent signal electrode that maintains electrically continuous electrical contact even during the user's sleep.
  • the earbud device 100 supports the ear tip 130 by pushing it into the user's ear canal so that it does not fall out, and includes an ear wing 140 inserted and fixed inside the user's auricle.
  • the wing structure of the ear wing 140 is in the form of a loop.
  • the wing structure includes an elastic structure 141 provided to correspond to the user's various sizes and structures of the auricle.
  • the elastic structure 141 includes a plurality of slits and has relatively higher flexibility and/or elasticity than other parts. High flexibility and / or elasticity means that it is deformed more than other parts in the wing structure, such as the part 142 where the ear wing electrode is disposed, by an external force - such as a condensing force or a twisting force - and then restored again when the external force weakens.
  • the wing structure of the ear wing 140 may be selected from materials such as elastomer, rubber, silicone and other polymers (polymers), and the elastic structure 141 partially included in the wing structure is different from the wing. It is processed or molded to be distinguished from the part in shape, but may be the same in material. Of course, it is also possible that there is a difference in material.
  • the elastic structure 141 is deformed by an external force so that the wing structure enters the inside of the auricle, and when the external force is relatively weak, the wing structure is restored so that the wing structure is inserted and supported inside the auricle While doing so, the at least one ear wing electrode adheres to the contact surface.
  • the ear wing electrode adheres to the inner skin of the user's auricle, and thus is advantageous for electrical contact for measuring the EEG signal.
  • the portion where the signal electrodes for EEG measurement are disposed ( 142 in FIG. 2B ) maintains electrical contact even while the user sleeps.
  • signal electrodes are disposed on the ear tip 130 and part 142 of the ear wing 140, and a reference electrode is disposed on the blood oxygen saturation measurement unit 110 that contacts the user's ear lobe, so that the EEG measurement unit 150 collects the user's electroencephalogram signal.
  • circuits such as a control unit, flash memory, and various amplifiers are included on a PCB or FPCB, and a sound driver outputting sound to the eartip 130, an external device (eg, the sleep of FIG. 1)
  • a communication chipset and an antenna communicating with the monitoring device 101) may be disposed.
  • an activity sensor is included in the housing together with the EEG measurement unit 150 .
  • this activity sensor may include several individual sensors, such as a gyro sensor, an accelerometer sensor, or composite sensors with a fusion of two or more sensors.
  • the sensing result data of the activity sensor is transmitted to the processor ( 103 in FIG. 1 ) to measure the posture of the user whether lying down, sitting or standing. According to embodiments, the measured posture is considered together with whether the user sleeps and/or the sleep level measured through EEG.
  • At least one ear wing electrode(s) 210 and 220 are disposed on a side surface of the ear wing 140 in contact with the inside of the user's auricle.
  • the electrodes 210 and 220 also serve as signal electrodes for the EEG measuring unit 150 to measure the EEG.
  • the electrodes 210 and 220 may be a conductive metal material, but may also be a conductive polymer or other known material that minimizes the formation of a surface oxide layer.
  • the electrodes 210 and 220 are pushed more strongly to the inner wall of the user's auricle to make contact and maintain contact force, maintaining electrical connection even if the user tosses and turns in sleep.
  • the structure of the device 100 is designed to be very advantageous for measuring biometric information because the inner wall of the auricle not only guarantees the continuity of EEG measurement in terms of performance, but also becomes an excellent measurement site in terms of contact resistance, like the inner wall of the outer ear canal.
  • the kernel 131 of the ear tip 130 serves as a sound output unit of an in-ear type earphone, and can output appropriate alarm sounds, voice information and other sounds when the device 100 performs sleep monitoring and user guidance.
  • the ear tip 130 itself may be a flexible conductor such as conductive rubber or other conductive polymer material, and in this case, the surface layer of the ear tip 130 may be an ear tip electrode. However, it is not limited to this particular embodiment and other embodiments are possible.
  • the skin of the ear tip 130 itself may be a flexible electrode made of conductive rubber or conductive polymer, but it is also possible that the ear tip electrode (not shown) is provided separately. If the ear tip electrode is provided separately, parts other than the electrode may be made of an insulating material such as insulating silicone, insulating rubber, or insulating polymer.
  • a charging terminal 240 used to charge the battery of the earbud device 100 is shown.
  • FIG. 3 is a diagram for explaining a process of sleep monitoring while sleeping while wearing the earbud device 100 according to an embodiment.
  • the earbud device 100 may be provided in a type worn on the left ear and a type worn on the right ear, and in general, a user may select one of these to purchase and wear.
  • the blood oxygen saturation measuring unit is closely attached to and fixed to the user's ear lobe, the ear tip is inserted into the neck of the user's external auditory canal, and the ear wing is inserted into and fixed to the inside of the auricle while the user goes to bed. Due to this structure, since the ear tip electrode(s) and the ear wing electrode(s) maintain stable electrical contact as signal electrodes throughout sleep, stable sleep monitoring is possible while the user lies down and sleeps, as shown in the figure. As described in FIG. 1, the sleep monitoring device 101 can also be implemented in a smartphone that is connected by communication around the user.
  • FIG. 4 is a view for explaining an earbud device 400 having a forehead extension electrode according to another embodiment, and FIG. 5 shows a state in which the device is worn and sleep monitoring is performed.
  • the difference from the basic earbud device 100 is the existence of the extension electrodes 420 and 430 and the connection line 410 for electrical connection with the extension electrodes.
  • the connection line 410 is connected to the EEG measurement unit through the connection unit 412 of the first part 110 of the blood oxygen saturation measurement unit.
  • the connecting portion 412 is a connector providing electrical connection, and various methods are possible in its shape and fastening structure.
  • the extension electrodes 420 and 430 may be electrodes attached to the user's temple and forehead, respectively.
  • the electrode 420 is attached to the temple in the form of a patch electrode, and the electrode 430 is attached to the forehead in the form of a patch electrode.
  • the extension electrodes 420 and 430 may be disposable or consumables that are supposed to be replaced after being used several times.
  • connection line 410 may be provided with folding structures 411 and 421 to adaptively respond to the size and shape of a person's head. Due to this folding structure, it is possible to respond to a person with a large head or a short head while partially unfolding the folding structure, providing comfort to the wearer, and preventing the extension electrodes 420 and 430 from being pulled apart during sleep. Provides the ability to stick well.
  • FIG. 5 illustrates sleep monitoring while a user wears an electronic device having an earbud extension electrode according to the embodiment of FIG. 4 .
  • FIG. 6 illustrates a process of classifying a sleep state according to an embodiment
  • FIG. 7 is a diagram for explaining why an earbud-type device is more advantageous than a conventional watch-type device for sleep monitoring.
  • the first row of the table is a result of the processor 103 receiving data from the activity sensor dividing the user's posture into a lying posture (or sleeping posture) and an active posture (or awake posture).
  • the second row of the table is the result of the processor 103 receiving the data measured by the EEG measurement unit dividing the user's EEG state into a sleep wave and an awake wave.
  • a total of four sleep states were presented by combining these two posture types and two EEG types.
  • the user's posture is considered together with the user's EEG, and since this posture is inserted into the user's ear as the earbud device 100, compared to checking the sleep state in a conventional watch-type wearable device It is possible to distinguish an accurate user state by comparing whether the user is lying down or not with whether the user is asleep.
  • the above two usage cases 710 and 720 are cases in which the user's sleep is determined when the earbud device 100 according to the embodiment of the present invention is worn. Since the earbud device 100 is worn on the user's ear and the activity sensor in the earbud device estimates the user's posture, even if the user lies on his or her side, the sleep monitoring device 101 can accurately determine that the user is lying down.
  • the wearable device worn on the wrist in the form of a watch estimates the user's posture, the posture of the wrist when the user is lying down (lower left) and the wrist when the user is sitting up (lower right) Since the pose of the user is the same, it is not possible to accurately determine the user's posture.
  • estimating the user's posture through the earbud device 100 worn on the ears is greatly helpful in estimating the accurate user's posture in the sleep monitoring process.
  • it is optimized for sleep monitoring in many aspects, such as wearability, stability, and possibility of maintaining electrical contact, compared to other types such as hanging on the ear or covering the ear in the form of a hook.
  • FIG. 8 illustrates an exemplary result screen in which a sleep state is created and visualized in time series according to an embodiment.
  • the processor 103 continuously sets the user's sleep state to SS, AA, SA, It was classified as one of AS. And the results were visualized and expressed along with the flow of time as shown.
  • one section is expressed as 5 minutes for convenience of presentation and description of the drawings, it should not be overlooked that the length of these individual sections can be set to other lengths such as 30 seconds or 1 minute.
  • the 5-minute section around 10:10 is the last section in which the user was raising his head, and at 10:15 the user lays his head down for a certain period of time (ie, more than 10 minutes), so from 10:15
  • the sleep state was monitored until the time when the user woke up and woke up (approximately 06:45).
  • the first 'SS' step at 10:25 which is the first change from the 'SA' state to the 'SS' step, when the user lies down and falls asleep, sleep monitoring device
  • sleep monitoring device Among the sleep levels determined by analyzing the EEG signal of the earbud device 100 (101), it may be when entering the second non-REM sleep stage (non-REM level 2) rather than REM sleep.
  • non-REM level 2 the second non-REM sleep stage
  • FIG. 9 is an exemplary screen that presents examples of sleep quality and sleep disorders among sleep monitoring results according to an embodiment, which can be output on the sleep monitoring device 101 or another display connected thereto.
  • the sleep monitoring device 9101 may evaluate the sleep quality for the entire monitored time period (eg, 7 hours from going to bed to going to bed).
  • the processor provides a sleep quality index corresponding to a ratio of a sum of sections classified as a brain wave state (SS) while lying down with respect to all of the time sections according to the classification result.
  • a sleep quality index corresponding to a ratio of a sum of sections classified as a brain wave state (SS) while lying down with respect to all of the time sections according to the classification result.
  • the total length of sleep time for example, the sum of the length of time of the brain wave state (SS) during sleep while lying down for 7 hours is about 5 hours and 15 minutes
  • the overall sleep quality is 75 points can be evaluated. Lying down to sleep and standing up (AA for awake state, AS for not awake state) and lying but awake state (SA) are not good for overall sleep efficiency, so these states are If it is absent or short, the sleep quality index may be high.
  • level of sleep REM, Level 1, Level 2, Level 3, etc.
  • REM level of sleep
  • a pre-designed algorithm or an artificial intelligence server accessed through a network recommends more advanced diagnosis and analysis, unusual matters or suspected diseases of concern, and, if necessary, recommends contact with experts such as doctors. It is also possible.
  • FIG. 10 is a diagram for explaining sensors used when the sleep monitoring device 101 and the earbud device 100 monitor various sleep disorders other than those described above.
  • the activity sensor measures vibration
  • the oxygen saturation sensor measures oxygen saturation
  • the microphone records snoring in the snoring section.
  • the sleep monitoring device 101 may provide necessary guidance or alarm to the user through the earbud device 100 as well as monitoring sleep. may be stimulating.
  • the advantage of this part is that in the case of a snoring alarm through a smartphone app, not only the person who snores but also other people sleeping next to him may be disturbed by the alarm, but according to the present embodiment, This means that only the person who wears the bird device 100 in his or her ears can make an effort to listen to the alarm and change the sleep state for a while.
  • the user's movement and head vibration are also measured through the activity sensor, it may be possible to distinguish whether the snoring sound input through the microphone is the user's own snoring or the snoring of another person sleeping next to him. there is. Illustratively, but not limitedly, if a certain level of vibration is sensed together with the snoring sound, it is the user's own snoring, and if the snoring sound is heard but the vibration is below a certain standard, it is the snoring of another person sleeping next to him. Therefore, it may be ignored in the evaluation of the sleep state of the monitoring target user sleeping while wearing the earbud device. The case of sleep apnea is also shown.
  • the earbud device 100 and the sleep monitoring device 101 are highly utilized.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • a processing device may run an operating system (OS) and one or more software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include.
  • a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively.
  • the device can be commanded.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Otolaryngology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Pulmonology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

사용자 수면 모니터링 장치에 있어서, 상기 수면 모니터링 장치는 통신 인터페이스, 및 프로세서를 포함한다. 프로세서는, 상기 사용자의 귀에 착용되는 이어버드 장치의 EEG 측정부가 측정한 EEG 신호를 이용하여 상기 사용자의 뇌파를 수면중 뇌파와 각성중 뇌파 중 어느 것에 해당하는지 구분하고, 상기 이어버드 장치에 함께 포함되는 활동 센서가 측정한 센서 데이터 - 상기 센서 데이터는 상기 EEG 신호와 시간 동기 된 것임 - 와 상기 구분한 결과를 비교하여 사용자의 수면 상태를 복수 개의 카테고리 중 어느 하나로 분류한다.

Description

수면 모니터링 장치 및 그 동작 방법
생체정보를 측정하는 의료기기, 헬스케어 기기, 웨어러블 전자 기기에 관련되며, 보다 특정하게는 수면을 모니터링하는 장치에 연관된다.
수면은 인간의 건강과 삶의 질에 큰 영향을 미치는 것으로 알려져 있다. 수면의 양 뿐만 아니라 수면의 질도 중요하다. 이러한 수면의 질에는 잠을 잘 드는 것(입면), 잘 자고, 잘 깨는 것(출면)이 모두 영향을 미친다. 사람의 수면의 질은 뇌전도(electroencephalogram: EEG)를 측정함으로써 확인되는 뇌파로 모니터링이 가능하며, 잠을 자는 중의 몸의 움직임은 활동 센서를 통해 모니터링 가능하다고 알려져 있다. 그리고 코골이나 수면 무호흡과 같은 수면 장애 현상은 수면 중 코골이를 청음하는 마이크로폰과 혈중산소포화도(SpO2)를 측정 센서에 의해 모니터링이 가능하다.
대형 병원의 정신건강의학과나 수면전문 클리닉에서는 환자의 수면 상태와 수면 장애 현상을 모니터링 하기 위해 수면다원검사를 수행하기도 한다. 그러나 이마에 여러 개의 전극을 붙여 ECG를 측정하는 등의 수면다원검사는 환자에게 불편함을 줄 뿐더러 검사를 하는 당일만 모니터링이 가능한 일회성이라는 한계를 갖는다.
전문클리닉이 아니라 일상 생활에서 사용자 스스로 이마에 밴드(band) 타입으로 착용하여 뇌파를 측정하는 헬스케어 수준의 생체신호 측정장치도 소개되었고, 스마트 워치에서 수면 시간을 기록하는 등의 어플리케이션도 소개된 바 있다. 그러나 수면의 모니터링이라는 관점에서는 여전히 측정의 불편, 수면 상태 판단의 부정확성 등 한계로 인해 사용자 스스로 매일 본인의 수면의 질을 모니터링하도록 하는 기술은 아직 보편화되지 못하였다.
대한민국 등록특허 10-2046515호(공고일: 2019년11월29일)는 넥밴드 타입 EEG 측정 장치를 이용한 헬스케어 시스템을 제시하고 있다.
미국 공개특허 US2016/0058366호(공개일: 2016년3월3일)는 손목에 착용하는 시계형 웨어러블기기에서의 수면 모니터링 방법을 제시하고 있다.
미국 공개특허 US2019/0038184호(공개일: 2019년2월7일)는 사용자의 활동을 추적하는 시계형 웨어러블기기를 제시하고 있다.
대한민국 등록특허 10-2102421호(공고일: 2020년4월20일)는 뇌파 측정용 이어폰 및 이를 이용한 졸음운전 감지 시스템을 제시하고 있다.
수면 상태의 모니터링에 있어서, 사용자의 자세(posture)가 누운 자세인지 여부를 정확히 인식한다. 사용자의 자세 및/또는 신체의 움직임이나 떨림을 뇌파(EEG)와 함께 측정 및 비교함으로써 사용자의 수면 상태를 더욱 정확하고 지속적으로 측정한다.
사용자의 뇌파를 측정하는 신호 전극과 사용자의 피부 사이의 전기적 접촉이 안정적으로 유지되면서, 착용을 유지하게 함으로써 수면 내내(all-night) 수면 모니터링의 연속성과 지속성이 보장된다.
사용자가 입면에 장애를 갖거나 수면 중에 장애 현상을 가질 때, 입면과 수면 단계 유도를 위한 가이드를 함으로써 수면 모니터링뿐 아니라 수면 질 개선에도 기여한다.
사용자의 수면 상태와 수면 장애를 모니터링 함으로써, 잠에서 깰 때(출면 시)도 수면 단계를 적절히 유도하여 상쾌한 출면을 도울 수 있도록 한다. 이러한 장치에 의해 사용자의 수면의 질을 높이는 데에 기여한다.
활동센서와 EEG를 함께 고려한 수면 상태의 카테고리화
일측에 따르면, 수면 모니터링 장치가 제공된다. 상기 수면 모니터링 장치는 통신 인터페이스 및 프로세서를 포함할 수 있다. 일실시예에 따르면 프로세서는, 상기 사용자의 귀에 착용되는 이어버드 장치의 EEG 측정부가 측정한 EEG 신호를 이용하여 상기 사용자의 뇌파를 수면중 뇌파(수면중 파형, 'sleep wave')와 각성중 뇌파(각성중 파형, 'awake wave') 중 어느 것에 해당하는지 구분한다. 그리고 프로세서는, 상기 이어버드 장치에 함께 포함되는 활동 센서(activity sensor)가 측정한 센서 데이터(data from activity sensor) - 상기 센서 데이터는 상기 EEG 신호와 시간 동기 된 것임 - 와 상기 구분한 결과를 비교하여 사용자의 수면 상태를 복수 개의 카테고리 중 어느 하나로 분류한다.
일실시예에 따르면 프로세서는, 상기 활동 센서가 측정한 센서 데이터를 활동 자세와 누운 자세 중 어느 것에 해당하는지 구분하고, 상기 사용자의 수면 상태를: 1) 누운자세이면서 수면중 뇌파인 상태(SS); 2) 활동자세이면서 각성 뇌파인 상태(AA); 3) 누운자세이면서 각성 뇌파인 상태(SA); 및 4) 활동자세이면서 수면중 뇌파인 상태(AS)를 포함하는 복수 개의 상태 중 어느 하나로 분류(categorization)한다.
예시적으로, 그러나 한정되지 않게 상기 프로세서는, 상기 사용자의 입면에 대응하는 제1 시점과 상기 사용자의 출면에 대응하는 제2 시점 사이의 미리 지정된 시간 구간 동안 지속적으로 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류한다. 그리고 프로세서는 시간에 따른 상기 상태 분류의 결과 시퀀스를 상기 사용자에 대한 수면 모니터링 결과로 제공한다. 상기 상태 분류의 결과 시퀀스는, 이를 테면, 수면 시간의 흐름에 따른 분류된 상태 카테고리의 시계열적 나열 어레이일 수 있고, 이것이 시각화(visualization)된 그래프일 수도 있다.
일실시예에 따르면 상기 프로세서는, 상기 시간 구간 동안 미리 지정된 주기 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류한다. 예시적으로, 그러나 한정되지 않게, 상기 미리 지정된 주기는 30초, 1분, 5분 또는 10분 등의 시간 단위일 수 있다. 이 실시예에 따르면, 상기 상태 분류 결과 시퀀스는 사용자가 수면에 든 시간부터 깨어나 일어난 시간 사이의 수면 상태가 1) 누운자세이면서 수면중 뇌파인 상태(SS); 2) 활동자세이면서 각성 뇌파인 상태(AA); 3) 누운자세이면서 각성 뇌파인 상태(SA); 및 4) 활동자세이면서 수면중 뇌파인 상태(AS) 중 어느 하나로 분류된 결과가 5분이나 10분 단위 (다른 시간 단위일 수도 있으며, 이하 같다) 마다 구분된 결과의 나열일 수 있다.
아웃라이어의 제거 또는 감소를 통한 평가 정확도 향상
한편, 비교적 긴 수면 시간, 이를테면 7시간 정도의 긴 시간 동안 사용자의 수면 상태가 지속하여 판단되기 때문에, 상기 프로세서는 일시적 신호의 아웃라이어(outlier)나 잡음(noise)을 제거하여 판단 결과의 안정성을 높일 수 있다. 이러한 과정은 여러 실시예가 가능하다.
일실시예에 따르면 상기 프로세서는, 상기 미리 지정된 주기 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류하는 경우, 하나의 주기 내의 상기 EEG 신호 및 상기 활동 센서가 측정한 센서 데이터 중 적어도 하나에 대해 아웃라이어를 제거하도록 스무딩 필터(smoothing filter)를 적용하면서 수면 상태가 판단될 각 주기마다 사용자 수면 상태를 상기 복수 개의 상태 중 어느 하나로 결정한다. 이렇게 스무딩 필터가 적용되는 경우 일시적인 신호의 아웃라이어 또는 노이즈 영향은 제거되거나 감소될 수 있다.
다른 일실시예에 따르면 아웃라이어의 제거는 개별 시간 구간을 더 작게 소분한 세부 시간 단위(sub-period time segments) 마다 수면 상태를 판단한 후 그 개별 시간 구간 전체에서 우세한 - 즉 더 자주 출현한 - 수면 상태를 그 개별 시간 구간 전체의 대표 상태로 결정하는 것도 가능하다. 물론 이 개별 시간 구간 전체나 세부 시간 단위인 시간 세그먼트에서 수면 상태를 판단할 때에도 상기 프로세서는, 상기 EEG 신호 및 상기 활동 센서가 측정한 센서 데이터를 함께 이용하여 수면 상태를 결정한다.
또 다른 일실시예에 따르면 개별 시간 구간 또는 세부 시간 단위에서 이러한 아웃라이어의 제거는 시간적 로컬리티(temporal locality)를 이용한 처리에 의할 수도 있다. 이를테면, 바로 앞이나 뒤의 하나 이상의 처리 결과를 참조하여 사용자의 수면 상태가 실제로 변경된 것이 아니라고 결정될 만한 특이 상태는 무시되는 방식이다. 그 외에도 아웃라이어의 제거는 여러 방법으로 가능하다.
수면 품질 평가 결과의 제시
한편, 수면 모니터링 장치는 수면 모니터링 과정이 종료된 후에는 모니터링된 전체 시간 구간, 이를테면 잠자리에 눕는 라이트 오프(light-off) 부터 잠자리에서 일어나는 라이트 온(light-on)에 대해 수면 품질 평가를 수행할 수 있다. 일실시예에 따르면 프로세서는, 상기 분류 결과에 따라, 상기 시간 구간의 전체에 대한 상기 누운자세이면서 수면중 뇌파인 상태(SS)로 분류된 구간의 합의 비율에 대응하는 수면 품질 인덱스를 제공한다.
여기서, 수면 모니터링의 대상이 되는 전체 시간 구간은 예시적으로, 사용자가 활동자세이면서 각성 뇌파인 상태(AA)에 있다가 누운자세이면서 각성 뇌파인 상태(SA)로 변경되었을 때 시작되는 것으로 할 수 있고, 다른 예에서는 이 'SA' 상태가 일정 길이(또는 횟수) 이상 지속되었을 때 시작되는 것으로 할 수도 있다. 출면의 경우에도 사용자가 누워 자는 'SS; 단계에 있다가 잠에서 깨어 아직 일어나지 않은 'SA' 단계가 되었을 때 바로 수면 모니터링의 대상이 되는 전체 시간 구간을 확정할 수도 있고, 이 'SA' 단계가 일정 길이(또는 횟수) 이상 지속되었을 때 상기 전체 시간 구간을 확정하는 것도 가능하다.
그리고, 사용자가 누워서 잠을 못자다가 잠에 들었을 때인, 'SA' 상태에서 'SS' 단계로 첫 변경은 수면 모니터링 장치(101)가 이어버드 장치(100)의 EEG 신호를 분석하여 결정하는 수면 레벨 중, REM 수면이 아닌 non-REM 수면의 2 단계(non-REM level 2) 단계로 접어들었을 때로 결정할 수 있다. 수면 중에는 REM 수면이든, non-REM level 1의 수면이든 'SS' 상태로 판단할 수 있지만, 최초의 입면은 잠이 일정 깊이로 들게 되는 non-REM level 2 단계가 시작되었을 때로 달리 결정할 수 있다.
예시적으로, 그러나 한정되지 않게, 전체 수면 시간의 길이 T에 대한 누운자세이면서 수면중 뇌파인 상태(SS)의 시간 길이 총합인 SUM(SSn)의 비율이 전체적인 수면 품질(또는 '수면 효율', 이하 본 명세서 전반에 걸쳐 '수면 품질'은 '수면 효율'을 포함하는 개념으로 이해되어야 한다)로 평가될 수 있다. 수면을 한다고 누웠다가 몸을 일으켜 세우는 상태(잠이 깬 상태는 AA, 잠은 깨지 않은 상태라면 AS)와 누워 있지만 잠은 깬 상태(SA)는 전체 수면 효율에 있어서는 좋지 않은 상태이기 때문에 이러한 상태들이 없거나 짧으면 수면 품질 인덱스는 높아질 수 있다.
수면 품질 이외의 수면 장애 또는 신체 질환 (의심) 상태 추정/분석
또한, 수면 품질은 다양하게 판단될 수 있다. 따라서, 수면 품질 인덱스를 떨어뜨린 원인이 'AA' 상태인지, 'AS' 상태인지, 'SA' 상태인지를 더 자세히 평가함으로써, 사용자의 수면 습관이 분석될 수도 있다. 이를테면 수면 뇌파 상태이나 몸을 일으킨 상태인 'AS' 상태가 일정 이상 길다면 수면 중 몸을 일으키거나 심지어는 걸어다니는 등의 수면 장애 행동이 식별될 수도 있다. 또한, 전체 평가 시간 중 잠을 깼지만 여전히 누워있기는 한 상태인 'SA'가 일정 이상 출현한다면, 어떤 패턴을 보이며 얼마나 지속되는지, 또는 언제 'SA' 상태가 발생하는지 등의 분석으로 수면중 각성에 연관된 수면 장애를 의심할 수 있고, 이에 대해 사용자는 의사 등 전문가와 상담하게 될 수 있다.
전체 수면 평가 기간 중에 활동자세를 보이면서 각성 뇌파인 상태 'AA'가 발생하면 그 상태의 지속 여부에 따라 수면 종료로 결정하고 평가를 종료하는 것도 가능하며, 설정된 일정 시간 이하로 짧고 다시 수면 뇌파 상태('AS' 또는 'SS') 로 간다면 수면 평가는 지속되어 하나의 수면으로 간주되면서 해당 'AA' 상태의 발생만 평가에 포함될 수 있다. 이런 경우는 잠에서 잠시 깨서 화장실을 다녀오는 경우에도 출현할 수 있으며, 이러한 경우도 반복된다면 수면 장애나, 비뇨기 질환 등을 의심하는 근거로 사용될 수 있다.
평가의 정확도를 높이기 위한 추가적 배려
한편, 활동 센서라고 한 것은 여러 개의 개별 센서들, 이를테면 자이로 센서, 가속도 센서, 또는 두 개 이상의 센서 퓨전이 있는 복합 센서들을 포함할 수 있다. 일실시예에 따르면 상기 활동 센서가 측정한 센서 데이터는 a) 상기 사용자가 상기 이어버드 장치를 귀에 착용한 상태에서 머리를 세운 것인지, 머리를 뉘인 것인지 판단하는 방향 센싱 값; 및 b) 상기 사용자가 상기 이어버드 장치를 귀에 착용한 상태에서 일정 수준 이상으로 움직이는 것인지 여부를 판단하는 가속도 센싱 값을 포함한다.
수면을 혼자 하는 경우가 아니라 타인과 함께 잠자리에 드는 경우는 본인 스스로 만들어내는 원인 뿐만 아니라 다른 사람에 의한 다양한 원인에 의해 예상치 못한 이벤트가 발생되고 이 경우는 예상한 수면 상태의 분류에 방해가 될 수 있다. 이를 테면, 옆에서 자는 사람의 몸이 접촉하거나 옆 사람의 신체에 부딪혀서 일시적으로 센싱 값이 사용자의 수면 상태를 정확히 반영하지 못하게 되는 경우가 있다. 물론 그 외에도 다양한 상황이 있을 수 있다.
따라서, 일실시예에 따르면 상기 프로세서는, 가속도 센싱 값이 상기 일정 수준 이상으로 움직이는 상태를 가리키는 경우 수면 상태 분류를 적어도 일시적으로 보류할 수 있다.
또한, 일실시예에 따르면 이어버드 장치는 사용자의 수면 중 코골이를 감지하기 위한 마이크 청음 결과를 제공할 수 있는데, 이 때는 사용자가 언제 얼마나 오랫동안, 얼마나 심하게 코를 고는지에 대한 평가를 추가로 진행할 수 있고, 필요하면 녹음도 할 수 있는데, 이 때도 사용자 본인의 코골이와 옆에서 자는 타인의 코골이는 구분될 필요가 있다. 따라서 일실시예에 따른 프로세서는, 상기 이어버드 장치의 마이크를 통해 청음되는 사운드를 더 입력받아, 상기 사운드가 코골이에 해당하는 경우, 상기 가속도 센싱 값을 이용하여 상기 사용자의 코골이인지 주변 타인의 코골이인지를 구분한다.
예시적으로 그러나 한정되지 않게, 코골이 사운드와 함께 일정 수준의 진동이 함께 센싱되면 사용자 본인의 코골이이고, 코골이 사운드는 청음되나 진동은 일정한 기준 이하라면 옆에서 자는 타인의 코골이가 들어오는 것일 수 있기 때문에 이는 이어버드 장치를 착용하고 자는 모니터링 대상의 사용자의 수면 상태 평가에는 무시될 수도 있다.
실시예들에 따르면, 혈중산소포화도(SpO2) 측정을 통한 수면무호흡 등 수면 장애가 사용자의 뇌파(EEG)와 함께 측정되며, 사용자의 자세(posture)가 누운 자세인지 여부를 뇌파(EEG)가 함께 측정 및 비교되기 때문에 사용자의 수면 상태를 더욱 정확하고 지속적으로 측정한다.
실시예들에 따른 장치에 따르면, EEG 측정에 사용되는 신호 전극과 사용자의 피부 사이의 전기적 접촉이 안정적으로 유지됨으로써 수면 내내(all-night) 수면 모니터링의 성공 확률이 높아진다. 이러한 EEG가 사용자 행동 센싱과 함께 하나의 장치에 구현됨으로써 수면 자세 모니터링의 정확성, 지속성이 높아진다.
지속적 모니터링, 정확성 높은 데이터가 수면 내내 안정적으로 확보되기에, 시계열적인 통계치 제공이 가능하고 정밀한 분석과 여러 방면에서의 활용이 가능하다. 사용자가 입면에 장애를 갖거나 수면 중에 장애 현상을 가질 때, 언제 어떤 종류의 장애를 얼마나 갖는지 등을 정확히 파악할 수 있는 등의 정밀 활용이 가능하다.
또한, 아웃라이어 제거를 통해 보다 의미 있는 수면 모니터링이 가능하며, 다양한 센싱 값을 함께 비교함으로써 다양한 세부 평가가 가능하다. 이를테면 앞서 언급한 것과 같은 사용자 본인의 수면 상태 중 이벤트와 옆에서 자고 있는 타인의 이벤트는 구분될 수도 있다.
나아가, 사용자 경험 제공(UX)에 있어서, 수면 모니터링 장치는 이어버드 장치를 통해 입면과 수면 단계 유도를 위한 음성 및/또는 영상 가이드가 가능하기에 단순히 수면을 모니터링하여 결과만 주는 것이 아니라, 직접 사용자의 수면 질 개선에도 기여한다.
이처럼 입면과 수면 중의 상태 모니터링뿐만 아니라, 사용자가 잠에서 깰 때(출면 시)도 수면 단계를 적절히 유도하여 상쾌한 출면을 도울 수 있도록 한다. 이러한 장치에 의해 사용자의 수면의 질을 높이는 데에 기여한다.
도 1은 일실시예에 따른 수면 모니터링 장치를 도시한다.
도 2a 및 2b는 일실시예에 따른 이어버드 장치의 정면과 배면을 각각 도시한다.
도 3은 일실시예에 따른 이어버드 장치를 착용하고 수면하면서 수면 모니터링이 되는 과정을 설명하기 위한 도면이다.
도 4는 다른 일실시예에 따라 이마 확장 전극이 있는 이어버드 장치를 설명하기 위한 도면이고 도 5는 이 장치를 착용하고 수면 모니터링을 하는 모습을 도시한다
도 6은 일실시예에 따라 수면 상태를 분류(classify)하는 과정을 설명한다.
도 7은 이어버드 타입의 장치가 종전 워치형 장치에 비해 수면 모니터링에 유리한 이유를 설명하기 위한 도면이다.
도 8은 일실시예에 따라 수면 상태가 시계열적으로 만들어져 시각화되는 예시적 결과화면을 도시한다.
도 9는 일실시예에 따른 수면 모니터링 결과 중, 수면품질과 수면장애의 예를 제시하는 예시적 화면이다.
도 10은 일실시예에 따른 수면 모니터링 장치가 이어버드 장치와 함께 다양한 수면 장애 현상을 모니터링 할 때 사용하는 센서를 설명하기 위한 도면이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
일실시예에 따른 수면 모니터링 장치(sleep monitoring device)(101)는 전자 장치(electronic device)일 수 있다. 전자 장치는, 수면 모니터링 기능을 수행하는 것이면, 시스템온칩 형태의 하드웨어 및/또는 어플리케이션 소프트웨어에 의해 구현되는 범용 컴퓨팅 장치 등을 모두 포함한다.
예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
추가적 실시예에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
또한, 전자 장치는 수면 모니터링 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 이처럼 전자 장치의 형태 자체는 다양하며, 전자 장치의 형태와 (수면 모니터링 기능 외의) 주용도는 전술한 사항들에 한정되지 않음은 당업자에게 자명하다. 이하에서는 도면을 참조하면서 구체적인 실시예를 설명한다.
도 1은 일실시예에 따른 수면 모니터링 장치(101)를 도시한다.
수면 모니터링 장치(101)와 이어버드 장치(100)의 연결
일실시예에 따르면 수면 모니터링 장치(101)는 상기한 다양한 형태의 전자 장치일 수 있고, 이어버드 타입 생체정보 측정장치(100)와는 통신 인터페이스(102)를 통해 연결되어 센싱한 데이터를 수신하고 제어 명령을 교환할 수 있다. 이 경우 이어버드 장치(100)는 사용자의 귀에 인-이어 타입으로 착용(wear)되고, 수면 모니터링 장치(101)는 사용자가 별도로 소지하게 된다. 통신 인터페이스(102)를 통한 통신 방식은, 블루투스, 지그비, 와이파이, 와이파이-다이렉트, 셀룰러망을 통한 연결, 근거리통신(NFC) 등 다양한 것이 가능하다.
그러나, 이러한 예에 국한되지 않고, 다른 실시예에서는 수면 모니터링 장치(101)가 이어버드 장치(100)에 임베드되는 것이 가능하다. 시스템 온 칩의 고집적화, 고성능화로 인해 사용자의 귀에 착용되는 이어버드 장치(100) 내에 프로세서(103)와 메모리(104) 등이 함께 패키징될 수 있으며 이 경우에는 필요에 따라 통신인터페이스(102)가 수면 모니터링 장치(101)의 모니터링 결과를 또 다른 전자 장치(미도시)로 송신하여 그 다른 전자 장치를 통해 사용자가 수면 모니터링 결과를 확인할 수도 있다. 따라서, 본 명세서 전반에 걸쳐서 수면 모니터링 장치(101)가 이어버드 장치(100)와 별개의 디바이스로 제공되는 실시예가 설명되더라도 이러한 일부 예시로 국한되어 해석되어서는 안 된다.
이어버드 장치(100)의 구조와 기능에 대해서는 도 2a 및 2b를 참조하여 보다 상세히 후술하고, 여기서는 수면모니터링 장치(101)의 구조와 동작에 대해서 설명한다.
수면 모니터링 장치(101)의 구성
일실시예에 따르면 상기 수면 모니터링 장치(101)는 통신 인터페이스(102) 및 프로세서(103)를 포함한다. 통신 인터페이스(102)는 앞서 설명한 다양한 방식의 통신을 가능하게 하는 통신 칩셋 또는 모뎀일 수 있다. 바람직하게는 무선 통신 방식의 통신 칩셋이다. 프로세서(103)는 시스템 온 칩(SoC) 방식의 전용 하드웨어(dedicated hardware)뿐 아니라, 중앙처리장치(CPU)와 보조처리장치 등의 범용 프로세서일 수 있다. 스마트폰이나 스마트 워치 등 웨어러블 기기에 사용되는 어플리케이션 프로세스 유닛(APU) 역시 가능하다. 이러한 범용 프로세서인 경우는 펌웨어(firmware)나 OS(Operating System)과 어플리케이션 소프트웨어(APP)에 의해 후술할 동작들을 수행할 수 있으며, 어플리케이션 소프트웨어는 메모리(104)를 활용하여 설치된다. 이러한 내용은 통상적인 전자 장치의 구성 및 동작과 유사하며, 당업자에게 알려진 웨어러블 기기 등의 전자 장치의 구현과 유사하다. 이하에서는 수면 모니터링 장치(101)의 동작의 특성 및 차별점에 대해 설명한다.
활동센서와 EEG를 함께 고려한 수면 상태의 카테고리화
일실시예에 따르면 프로세서(103)는, 사용자의 귀에 착용되는 이어버드 장치(100)의 EEG 측정부가 측정한 사용자의 EEG 신호를 이용하여 상기 사용자의 뇌파를 수면중 뇌파(수면중 파형, 'sleep wave')와 각성중 뇌파(각성중 파형, 'awake wave') 중 어느 것에 해당하는지 식별한다. 이러한 식별은 두 가지 중의 하나에 대한 선택이나 추정으로 이해될 수 있다. 사용자의 EEG 파형은 알파 웨이브, 베타 웨이브, 세타 웨이브 등의 파형에 따라 기존 수면 뇌과학 분야에서 알려진 방식으로 그 종류와 상태가 구분될 수 있다. 알려진 바에 의하면 수면 상태는 이러한 EEG 파형에 따라 REM, 수면 1단계(level 1) 내지 수면 3단계(level 3) 등으로 구분될 수 있으며, 프로세서(103)는 이들을 세분화할 수도 있지만 본 실시예에서는 수면에 해당하는 파형인지, 그렇지 않고 각성(awake)에 해당하는 파형인지로 양자택일한다.그리고, 프로세서(103)는, 이어버드 장치(100)에 함께 포함되는 활동 센서(activity sensor)가 측정한 센서 데이터(data from activity sensor) - 상기 센서 데이터는 상기 EEG 신호와 시간 동기 된 것임 -를 통해, 사용자의 자세가 누워있는 자세(sleep posture)인지 머리를 들고 일어나 있는 상태인지(awake posture)로 양자택일 한다. 머리를 들고 있는 자세(awake posture)는 사용자가 앉거나 선 자세를 뜻하고, 머리를 바닥에 대고 누워 있는 자세와는 명확히 구분된다. 앞서 언급한 바와 같이, 본 명세서를 통해 언급되는 '활동 센서(activity sensor)'는 여러 개의 개별 센서들, 이를테면 자이로 센서, 가속도 센서, 또는 두 개 이상의 센서 퓨전이 있는 복합 센서들을 포함할 수 있으며, 이어버드 장치(100) 내에 포함되어 센싱 값을 프로세서(103)에게 보내고, 프로세서(103)는 그 센싱 값을 통해 사용자가 머리를 들고 있는지 머리를 바닥이나 베개에 대고 있는 상태를 구분한다.
결국, 사용자의 EEG가 두 가지 상태 중 하나 (sleep wave vs. awake wave)로 결정되고, 사용자의 자세가 두 가지 상태 중의 하나(sleep posture vs. awake posture)로 구분하므로, 총 경우의 수는 4 가지가 된다. 물론, 실시예에 따라서는 이를 더 세분화하는 것도 가능하나, 설명하는 실시예에서는 4 가지 상태가 된다. 이 상태는:
1) 누운자세이면서 수면중 뇌파인 상태(SS: Sleep posture & Sleep wave);
2) 활동자세이면서 각성 뇌파인 상태(AA: Awake posture & Awake wave);
3) 누운자세이면서 각성 뇌파인 상태(Sleep posture & Awake wave); 및
4) 활동자세이면서 수면중 뇌파인 상태(AS: Awake posture & Sleep wave)
이다.
프로세서(103)는 이어버드 장치(100) 측에서 측정한 EEG 신호와 활동 센서 신호를 통해, 시간의 흐름에 따라 사용자의 수면 상태를 모니터링 하면서, 시계열적으로 사용자의 수면 상태를 위 네 가지 중의 하나로 지속해서 분류한다(categorize).
실시예들에 따르면, 사용자의 뇌파(EEG)와 함께 사용자의 자세(posture)가 고려되고, 이 자세는 이어버드 장치(100)로 사용자의 귀에 삽입되어 있으므로, 종래의 시계 타입 웨어러블 기기에서 수면 상태를 체크하는 것에 비해 실제 사용자가 누워 있는지의 여부를 사용자가 잠에 들었는지와 함께 비교하여 정확한 사용자의 상태로 구분하는 것이 가능하다. 이에 대해서는 도 7을 참조하여 보다 상세히 후술한다.
사용자의 머리에 귀가 있고, 귀에 이어버드 장치(100)가 삽입 착용되는 데다가, 실시예에 따른 이어버드 장치(100)는 그 구조적 특이점으로 EEG 측정에 사용되는 신호 전극과 사용자의 피부 사이의 전기적 접촉이 안정적으로 유지되기 때문에, 수면 내내(all-night) 수면 모니터링의 성공 확률이 높아지므로, 실시예들에 따르면 정확하고 재현성 있고, 안정적인 수면 상태 모니터링이 가능하다.
수면 상태를 모니터링 하는 시간 및 주기
예시적으로, 그러나 한정되지 않게 상기 프로세서(103)는, 상기 사용자의 입면에 대응하는 제1 시점과 상기 사용자의 출면에 대응하는 제2 시점 사이의 미리 지정된 시간 구간 동안 지속적으로 상기 사용자의 수면 상태를 상기 복수 개(SS, AA, SA, AS 등)의 상태 중 어느 하나로 분류한다. 입면 시점인 제1 시점은 사용자가 수면 모니터링 장치(101)의 사용자 인터페이스(User Interface, 미도시)를 통해 입력할 수도 있고, 장치가 자동으로 이를 식별할 수도 있다.
일실시예에 따르면 사용자가 잠에 들려고 누워서 자세가 누운 자세(Sleep posture)가 일정 시간 이상 지속되는 경우, 또는 이 누운 자세의 지속 이후에 처음으로 일정 이상 길이의 수면중 뇌파(Sleep wave)까지 식별되는 경우가 상기 제1 시점으로 결정될 수 있다.
출면의 경우도 마찬가지이다. 사용자가 본인의 의지로 사용자 인터페이스(UI)를 통해 출면 시점인 제2 시점을 선택 입력할 수도 있지만, 일실시예에 따르면 장치가 자동으로 이를 식별한다. 예를 들어, 그러나 한정되지 않게 입면 상태 식별로 사용자의 수면 상태가 모니터링되던 중 일정 시간 이상 사용자에게 각성 뇌파(Awake wave)가 센싱되거나, 또는 이렇게 각성 뇌파가 지속되던 중 일어선 자세(Awake posture)까지 식별되는 경우가 출면 시점인 제2 시점으로 결정될 수 있다.
실제로는 관찰되기 어려울 수 있지만, 이론적으로 이상적인 결과는, 사용자가 자려고 누워 SA 상태가 되어 (비교적 짧게, 이를테면 수 분 정도) SA 상태가 이어지다가, 누운 상태로 사용자가 잠에 들어 SS 상태가 길게 (잠을 7시간 잔다고 하면 7시간) 이어지고, 사용자가 누운 상태로 잠에서 깨어 상태가 SA로 바뀐 후, 비교적 짧은 시간 내에 사용자가 몸을 일으켜 상태가 AA로 되고 AA 상태가 유지되는 순서가 자연스럽다. 실시예들은 이러한 이상적인 시퀀스와 실제 사용자의 시퀀스가 얼마나 다른지 관찰 가능하게 만든다. 관찰이 되어야 분석이 되고, 분석이 되어야 개선이나 필요한 치료가 가능하기 때문에, 이러한 관찰은 수면 품질을 높이는 시작이라고 할 수 있다.
일실시예에 따르면 상기 프로세서(103)는, 상기 시간 구간 동안 미리 지정된 주기(이를 테면 매 30초 단위, 1분 단위, 5분 단위, 또는 매 10분 단위) 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태(SS, AA, AS, SA) 중 어느 하나로 분류한다.
분류된 결과는 시간의 흐름과 함께 사용자의 수면 상태가 어떤 상태인지를 판단 주기별로 주욱 나열한 시계열적(sequential) 시각적 정보(visualized information or infographics) 일 수 있다. 이에 대한 내용은 도 8 내지 도 9를 참고하여 후술한다.
입면 초기 상태의 처리
한편, 일부 실시예에 따르면, 사용자가 누워서 잠을 못자다가 잠에 들었을 때인, 'SA' 상태에서 'SS' 단계로 첫 변경의 경우에는 프로세서(103)가 'SS' 단계로의 결정에 있어서 수면 레벨을 고려할 수도 있다. 언제부터 잠이 드는 것이냐에 대해서는 의학적으로, 그리고 정보의 활용 분야에 따라 다른 설정이 가능하기 때문이다. 따라서, 일부 실시예에서는 수면 모니터링 장치(101)의 프로세서(103)가 이어버드 장치(100)의 EEG 신호를 분석하면서, 그 파형에 따라 수면 레벨을 판단하면서, REM 수면이 아닌 non-REM 수면의 2 단계(non-REM level 2) 단계로 접어들었을 때 비로소 누워서 수면이 시작된 'SS' 단계로 결정할 수도 있다. 다만, 그렇게 결정하여 수면이 시작된 후에는 측정된 EEG에 따라 결정되는 수면 레벨이 REM 수면이든, non-REM level 1의 수면이든 'SS' 상태로 판단할 수 있다. 잠을 자는 중에는 사이클에 따라 REM 수면과 non-REM level 1을 걸친 수면 상태 변화가 자연스럽기 때문이다.
아웃라이어의 제거 또는 감소를 통한 평가 정확도 향상
한편, 비교적 긴 수면 시간, 이를테면 7시간 정도의 긴 시간 동안 사용자의 수면 상태가 지속하여 판단되기 때문에, 프로세서(103)가 일시적 신호의 아웃라이어(outlier)나 잡음(noise)을 제거하는 것이 중요하다. 이렇게 아웃라이어를 제거함으로써 판단 결과의 안정성과 신뢰성을 높일 수 있다. 이러한 과정은 여러 실시예가 가능하다.
일실시예에 따르면 프로세서(103)는, 미리 지정된 주기, 이를테면 5분이나 10분 주기 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류할 때, 스무딩 필터(smoothing filter)를 적용한다. 이를테면 특정한 한 주기 10분 내의 사용자 EEG 신호를 통해 사용자 뇌파가 수면중 뇌파인지 각성중 뇌파인지의 양자택일이 되는데, 가끔 노이즈 등의 어떠한 원인으로 튀는 결과가 나올 수 있고, 이는 시간적인 이동평균필터 등 스무딩 필터를 통해 제거될 수 있다.
또한, 특정한 한 주기 10분 내에서 활동 센서가 측정한 센서 데이터의 값도 누운 자세와 몸을 일으킨 자세로 계속 구분될 텐데, 이 값에서도 비슷한 방법으로 아웃라이어가 제거될 수 있다. 물론 이러한 아웃라이어의 제거는 여러 임상적 실험을 통해 최적의 기준으로 설정되어야 한다. 사람에 따라서는 자면서 잠을 깨지 않았으면서도 한 번씩 몸을 벌떡 일으켜 앉았다가 몇 초 내에 다시 몸을 뉘여 계속 자는 경우도 있을 수 있고, 이러한 현상은 프로세서(103)가 SS 상태의 지속 중간에 짧게 몇 초 동안 나타나는 AS 상태일 수 있는데, 이런 것을 아웃라이어로 제거하지 않고 잘 식별해서 사용자의 수면 중 장애 행동으로 보고하는 것이 중요할 수 있기 때문이다.
한편, 이러한 스무딩 필터 외에 다른 실시예도 가능하다. 예를 들어 분할 후 우세한(major) 상태를 대표 값으로 결정하는 것이다. 마치 투표(voting)를 하는 것처럼 한 구간 내에서 복수의 다른 값이 혼재할 때 가장 많은 상태 값을 대표 값으로 선출하는 것이다. 이 실시예에서는 프로세서(103)가 하나의 시간 주기 구간 - 이를테면 10분 -을 더 작게 소분한 세부 시간 단위(sub-period time segments)들 - 이를테면 1분-로 쪼개고, 세부 시간 세그먼트 마다 수면 상태를 판단한 후 그 하나의 개별 시간 주기 구간(10분) 전체에서 가장 우세한 - 즉 더 자주 출현한 - 수면 상태를 그 개별 시간 구간 전체의 대표 상태로 결정하는 것이다. 물론, 이 개별 시간 구간 전체나 세부 시간 단위인 시간 세그먼트에서 수면 상태를 판단할 때에도 상기 프로세서는, 상기 EEG 신호 및 상기 활동 센서가 측정한 센서 데이터를 함께 이용하여 수면 상태를 결정해서, SS, AA, SA, AS 중 하나로 구분한 뒤 대표 값을 고르는 것이다.
또 다른 일실시예에 따르면 개별 시간 구간 또는 세부 시간 단위에서 이러한 아웃라이어의 제거는 시간적 로컬리티(temporal locality)를 이용한 처리에 의할 수도 있다. 이를테면, 바로 앞이나 뒤의 하나 이상의 처리 결과를 참조하여 사용자의 수면 상태가 실제로 변경된 것이 아니라고 결정될 만한 특이 상태는 무시되는 방식이다. 그 외에도 아웃라이어의 제거는 여러 방법으로 가능하다.
수면 품질 평가 결과의 제시
한편, 수면 모니터링 장치는 수면 모니터링 과정이 종료된 후에는 모니터링된 전체 시간 구간에 대해 수면 품질 평가를 수행할 수 있다. 일실시예에 따르면 프로세서는, 상기 분류 결과에 따라, 상기 시간 구간의 전체에 대한 상기 누운자세이면서 수면중 뇌파인 상태(SS)로 분류된 구간의 합의 비율에 대응하는 수면 품질 인덱스를 제공한다.
예시적으로, 그러나 한정되지 않게, 전체 수면 시간의 길이 T에 대한 누운자세이면서 수면중 뇌파인 상태(SS)의 시간 길이 총합인 SUM(SSn)의 비율이 전체적인 수면 품질로 평가될 수 있다. 수면을 한다고 누웠다가 몸을 일으켜 세우는 상태(잠이 깬 상태는 AA, 잠은 깨지 않은 상태라면 AS)와 누워 있지만 잠은 깬 상태(SA)는 전체 수면 효율에 있어서는 좋지 않은 상태이기 때문에 이러한 상태들이 없거나 짧으면 수면 품질 인덱스는 높아질 수 있다. 이러한 결과의 예시는 도 9에서 도시된다.
수면 품질 이외의 수면 장애 또는 신체 질환 (의심) 상태 추정/분석
또한, 수면 품질은 다양하게 판단될 수 있다. 따라서, 수면 품질 인덱스를 떨어뜨린 원인이 'AA' 상태인지, 'AS' 상태인지, 'SA' 상태인지를 더 자세히 평가함으로써, 사용자의 수면 습관이 분석될 수도 있다. 이를테면 수면 뇌파 상태이나 몸을 일으킨 상태인 'AS' 상태가 일정 이상 길다면 수면 중 몸을 일으키거나 심지어는 걸어다니는 등의 수면 장애 행동이 식별될 수도 있다. 또한, 전체 평가 시간 중 잠을 깼지만 여전히 누워있기는 한 상태인 'SA'가 일정 이상 출현한다면, 어떤 패턴을 보이며 얼마나 지속되는지, 또는 언제 'SA' 상태가 발생하는지 등의 분석으로 수면중 각성에 연관된 수면 장애를 의심할 수 있고, 이에 대해 사용자는 의사 등 전문가와 상담하게 될 수 있다.
전체 수면 평가 기간 중에 활동자세를 보이면서 각성 뇌파인 상태 'AA'가 발생하면 그 상태의 지속 여부에 따라 수면 종료로 결정하고 평가를 종료하는 것도 가능하며, 설정된 일정 시간 이하로 짧고 다시 수면 뇌파 상태('AS' 또는 'SS') 로 간다면 수면 평가는 지속되어 하나의 수면으로 간주되면서 해당 'AA' 상태의 발생만 평가에 포함될 수 있다. 이런 경우는 잠에서 잠시 깨서 화장실을 다녀오는 경우에도 출현할 수 있으며, 이러한 경우도 반복된다면 수면 장애나, 비뇨기 질환 등을 의심하는 근거로 사용될 수 있다.
아울러, 누워서 수면을 하는 상태인 'SS' 반복 중, 잠은 깨지 않았는데 사용자가 몸을 일으켜 앉거나 선 단계인 'AS'가 나타나는 것은 그것이 비록 짧더라도 이는 심각한 수면 장애일 수 있기 때문에 따로 이벤트로 분류되어 사용자 및/또는 연관된 서비스로 보고 되고 알람이 될 수 있다.
수면 장애에 대해서는 그 외에도 여러 가지가 있을 수 있지만, 명세서에서 일일이 모두 열거하는 것은 불필요하며, 실시예에 따른 수면 모니터링 장치(101)가 이어버드 장치(100)와 함께 이러한 다양한 수면 장애를 정확하고 편리하게 발견할 수 있게 돕는 것에 기여한다는 점이 이해되어야 한다.
평가의 정확도를 높이기 위한 추가적 배려
한편, 활동 센서라고 한 것은 여러 개의 개별 센서들, 이를테면 자이로 센서, 가속도 센서, 또는 두 개 이상의 센서 퓨전이 있는 복합 센서들을 포함할 수 있다. 일실시예에 따르면 상기 활동 센서가 측정한 센서 데이터는 a) 상기 사용자가 상기 이어버드 장치(100)를 귀에 착용한 상태에서 머리를 세운 것인지, 머리를 뉘인 것인지 판단하는 방향 센싱 값; 및 b) 상기 사용자가 상기 이어버드 장치를 귀에 착용한 상태에서 일정 수준 이상으로 움직이는 것인지 여부를 판단하는 가속도 센싱 값을 포함한다.
수면을 혼자 하는 경우가 아니라 타인과 함께 잠자리에 드는 경우는 본인 스스로 만들어내는 원인뿐만 아니라 다른 사람에 의한 다양한 원인에 의해 예상치 못한 이벤트가 발생되고 이 경우는 예상한 수면 상태의 분류에 방해가 될 수 있다. 이를 테면, 옆에서 자는 사람의 몸이 접촉하거나 옆 사람의 신체에 부딪혀서 일시적으로 센싱 값이 사용자의 수면 상태를 정확히 반영하지 못하게 되는 경우가 있다. 물론 그 외에도 다양한 상황이 있을 수 있다.
따라서, 일실시예에 따르면 상기 프로세서는, 가속도 센싱 값이 상기 일정 수준 이상으로 움직이는 상태를 가리키는 경우 수면 상태 분류를 적어도 일시적으로 보류할 수 있다.
또한, 일실시예에 따르면 이어버드 장치는 사용자의 수면 중 코골이를 감지하기 위한 마이크 청음 결과를 제공할 수 있는데, 이 때는 사용자가 언제 얼마나 오랫동안, 얼마나 심하게 코를 고는지에 대한 평가를 추가로 진행할 수 있고, 필요하면 녹음도 할 수 있는데, 이 때도 사용자 본인의 코골이와 옆에서 자는 타인의 코골이는 구분될 필요가 있다. 따라서 일실시예에 따른 프로세서는, 상기 이어버드 장치의 마이크를 통해 청음되는 사운드를 더 입력받아, 상기 사운드가 코골이에 해당하는 경우, 상기 가속도 센싱 값을 이용하여 상기 사용자의 코골이인지 주변 타인의 코골이인지를 구분한다.
예시적으로 그러나 한정되지 않게, 코골이 사운드와 함께 일정 수준의 진동이 함께 센싱되면 사용자 본인의 코골이이고, 코골이 사운드는 청음되나 진동은 일정한 기준 이하라면 옆에서 자는 타인의 코골이가 들어오는 것일 수 있기 때문에 이는 이어버드 장치를 착용하고 자는 모니터링 대상의 사용자의 수면 상태 평가에는 무시될 수도 있다.
도 2a 및 2b는 일실시예에 따른 이어버드 장치(100)의 정면과 배면을 각각 도시한다.
이어버드 장치(100)의 구성 및 전면 모습의 예시
이어버드 장치(100)는 사용자의 귀에 착용될 수 있는(wearable) 기기이다. 이어버드 장치(100)는 사용자의 EEG, 자세(posture)와 움직임, 및 혈중산소포화도(SpO2) 등의 생체 정보를 측정한다. 사람의 EEG가 측정되면 수면 단계, 이를테면 REM수면, 수면 1단계, 2단계, 3단계 등을 구분할 수 있다. 뇌파 신호를 처리하여 알파파, 베타파 등의 도미넌트 파형을 식별함으로써 어떤 레벨에서 잠이 드는지(입면 시 레벨), 잠을 자면서 수면 단계가 어떻게 변화하고 있고, 각 단계의 지속 시간은 얼마이며, 수면 파형의 변화가 몇 주기를 거치는지 등의 정보를 모니터링 할 수 있다.
나아가 SpO2를 측정함으로써 수면 중에 겪게 되는 수면 장애, 이를테면 수면무호흡을 감지하고, 나아가 이 때 적절한 피드백을 제공할 수 있다. 피드백은 이를 테면 사운드를 통해 사람의 귀에 경고를 한다던지, 수면 단계를 다른 단계로 변경 한다던지, 또는 잠에서 깬 후 연동되는 어플리케이션을 통해 수면 장애에 대한 정보를 주는 것이다.
종전에 알려진 뇌파 측정기들은 의료기기 레벨에서 적용되는 것이 대부분이었고, 사용자가 직접 사용하는 헬스케어 기기 레벨에서도 대부분 이마 전극을 따로 구비하여 착용에 불편함을 주었다. 본 명세서에서 제시한 선행기술문헌 등 일부 사례에서는 이마 전극을 제외하여 간편성을 높이고자 한 경우가 있으나, 아이디어 차원에서 그치고 실용적이지 못했는데, 이는 (의료기기 레벨의 제품에 비해) 사용자가 수면 중에 착용하는 경우 전극이 사용자의 피부에서 떨어지는 등 측정의 연속성이 유지되지 못하는 것이 이유 중 하나이다. 또한 전극의 배치에 있어서, 기준전극 대 신호 전극(들)이 서로 간섭 없이 적절한 위치에 배치되지 못하는 문제도 있었다.
일실시예에 따르면, 전자 장치(100)는 사용자의 귓볼(lobule or lobe)을 감싸 고정되면서 상기 귓볼에 매달려 상기 사용자의 혈중산소포화도(SpO2)를 측정하는 혈중산소포화도 측정부(110)를 포함하며 여기에 사용자 피부에 접촉하는 기준 전극을 배치한다. 이렇게 기준 전극이 전극이 배치될 외이도 내부 및/또는 귓바퀴 내측 피부와는 전기적 간섭이 덜하고 비교적 이격된 위치에 있어서, 전자 장치(100)의 EEG 측정은 종전에 알려진 제품들 대비 측정의 정확성, 재현성, 편의성 면에서 우수하다. 혈중산소포화도 측정부의 제1 파트(110)에는 LED 광원(111)과 수광부(들)(112)이 포함되며, 이러한 부분들과 구분되는 제2 파트(120)에는 예시적으로, 그러나 한정되지 않게 자석과 같은 고정수단이 포함된다. 귓볼을 중간에 두고 제1 파트(110)와 제2 파트(120)가 서로 마주보며 자력에 의해 붙어 혈중산소포화도 측정부, 및 EEG 측정을 위한 기준전극이 귓볼에 접촉하여 유지된다. 제1 파트(110)와 제2 파트(120) 사이 부분은 유연성 소재로 이루어진 브릿지일 수 있다. 그리고 수광부(들)(112)의 위치가 제1 파트(110)인 경우가 도시되었으나, 제2 파트(120) 쪽에 위치하는 것 역시 가능하다.
한편, 다른 실시예에 따르면, 상기 혈중산소포화도 측정부의 제1 파트(110)와 제2 파트(120) 사이의 브릿지 자체가 'U'형(U-shaped) 커브를 갖는 탄성 소재일 수 있다. 이 때 상기 제1 파트와 상기 제2 파트는 상기 귓볼을 사이에 두고 상기 탄성 브릿지의 탄력에 의해 상기 귓볼의 양쪽 면에서 서로 대향하면서 상기 귓볼에 매달릴 수 있다. 귓볼에 끼워 고정하는 형식이 된다.
또 다른 일실시예에 따르면, 상기 연결 브리지가 힌지 구조로 되어 있어서 제1 파트(110)와 제2 파트(120)가 그러한 구조에 의해 폴딩-언폴딩 되면서 열렸다 닫히며 귓볼에 고정될 수도 있다. 그 외 다른 연결 브릿지 구조도 가능하며 일부 실시예로 국한되어 해석되지 않는다.
이어버드 장치(100)의 이어팁(ear tip)(130)은 사용자의 외이도(ear canal) 경부에 삽입되며, 상기 외이도 내 피부 상에 접하는 적어도 하나의 인이어(in-ear) 전극을 갖는다. 이어팁(130)은 통상의 인-이어 타입 이어버드 이어폰과 같이 사운드를 출력하는 파트가 되기도 한다. 외이도 경부에 삽입되며 사용자의 외이도 내벽에 밀착되기 때문에, 이어팁(130)은 사용자의 수면 중에도 전기적으로 지속적인 전기적 접촉(contact)을 유지하는 훌륭한 신호 전극이 된다.
한편, 이어버드 장치(100)는 이어팁(130)을 사용자의 외이도 내측으로 밀어 넣어 빠지지 않도록 지지하며, 사용자의 귓바퀴(antihelix) 내측에 끼워져 고정되는 이어윙(ear wing)(140)을 포함한다.
예시적으로, 그러나 한정되지 않게, 이어윙(140)의 윙 구조는 루프(loop) 형태이다. 일실시예에 따르면, 상기 윙 구조는 사용자의 다양한 귓바퀴 크기와 구조에 대응하기 위해 마련된 탄성구조(141)을 포함한다. 탄성구조(141)은 복수의 슬릿을 포함하여 다른 부분보다 상대적으로 높은 유연성 및/또는 신축성을 갖는다. 유연성 및/또는 신축성이 높다는 것은 외력 - 이를테면 응축력이나 뒤틀리는 힘 -에 의해 윙 구조 내의 다른 부분, 이를테면 이어윙 전극이 배치되는 부분(142)보다 더 많이 변형되었다가 외력이 약해지면 다시 복원되는 탄성을 갖는 것을 의미한다. 이어윙(140)의 윙 구조는 엘라스토머(elastomer), 고무(rubber), 실리콘 기타 폴리머(중합체) 등의 소재에서 선택되는 것일 수 있으며, 윙 구조에 부분적으로 포함되는 탄성구조(141)는 윙 다른 부분과 형태적으로 구별되도록 가공 또는 성형되어 있으나 소재에 있어서는 동일할 수 있다. 물론 소재에 차이가 있는 경우도 가능하다. 여기서 상기 탄성구조(141)는 외력에 의해 변형되어 상기 윙 구조가 상기 귓바퀴 내측으로 들어가도록 하고, 상기 외력이 상대적으로 약해지는 경우 상기 윙 구조를 복원하여 상기 윙 구조가 상기 귓바퀴 내측에 끼워져 지지되도록 하면서 상기 적어도 하나의 이어윙 전극이 상기 접하는 면에 밀착되도록 한다. 따라서 상기 이어윙 전극이 사용자의 귓바퀴 내측 피부에 밀착되는 것을 돕고, 따라서 EEG 신호의 측정을 위한 전기적인 접촉에 유리하다. 이러한 구조에 의해 EEG 측정을 위한 신호 전극들이 배치되는 부분(도 2b의 142)이 사용자의 수면 중에도 전기적 접촉을 유지하게 된다.
이렇게 이어팁(130)과 이어윙(140)의 일부분(142)에 신호 전극들이 배치되고, 사용자의 귓볼에 접촉하는 혈중산소포화도 측정부(110)에 기준 전극이 배치되어, EEG 측정부(150)는 사용자의 뇌전도 신호를 수집한다. EEG 측정부(150)의 내부에는 PCB 또는 FPCB 상에 컨트롤 유닛, 플래시 메모리, 각종 증폭기 등의 회로가 포함되며, 이어팁(130)으로 소리를 출력하는 사운드 드라이버, 외부 디바이스(이를 테면 도 1의 수면 모니터링 장치 101)과 통신하는 통신 칩셋과 안테나가 배치될 수 있다.
일실시예에 따르면 EEG 측정부(150)와 함께 하우징 내에 활동 센서가 함께 포함된다. 앞서 언급한 바와 같이 이 활동 센서는 여러 개의 개별 센서들, 이를테면 자이로 센서, 가속도 센서, 또는 두 개 이상의 센서 퓨전이 있는 복합 센서들을 포함할 수 있다. 이러한 활동 센서의 센싱 결과 데이터가 프로세서(도 1의 103)에 전달됨으로써 사용자가 누워있는 상태인지 앉거나 서 있는 상태인지의 자세를 측정한다. 실시예들에 따르면 이렇게 측정한 자세(posture)가 EEG를 통해 측정되는 사용자의 수면 여부 및/또는 수면 레벨과 함께 고려된다.
이어버드 장치(100)의 배면 모습의 예시
도 2b를 참조하면, 이어윙(140)의 부분(142)에서 사용자의 귓바퀴 내측에 접하는 측면에 적어도 하나의 이어윙 전극(들)(210, 220)이 배치된다. 이 전극(210, 220)도 EEG 측정부(150)가 EEG를 측정하는 신호 전극이 된다. 전극(210, 220)은 전도성 금속 소재일 수 있지만, 전도성 폴리머 기타 표면 산화막 형성이 최소화되는 알려진 다른 소재일 수도 있다. 탄성부(141)가 응축하였다가 다시 복원되는 과정에서 전극(210, 220)을 사용자의 귓바퀴 내측 벽면으로 더 강하게 밀어 접촉시키고 접촉력을 유지시키는 면에서, 사용자가 수면 상태에서 뒤척이더라도 전기적 접속을 유지하는 면에서 EEG 측정의 지속성을 보장할 뿐만 아니라, 귓바퀴 내측 벽면은 접촉 저항의 면에서 귀의 외이도 내벽과 마찬가지로 우수한 측정 부위가 되기 때문에 장치(100)의 구조는 생체 정보 측정에 매우 유리하게 설계되었다.
이어팁(130)의 커널(131)은 인-이어 타입 이어폰의 사운드 출력부와 같은 역할을 하며, 장치(100)가 수면 모니터링 및 사용자 가이드를 할 때 적절한 알람음, 음성 정보 기타 사운드를 출력할 수 있다. 이어팁(130) 자체가 전도성 고무, 기타 전도성 폴리머 소재로서 유연성이 있는 전도체일 수 있고 이 경우 이어팁(130)의 표면 층이 이어팁 전극일 수 있다. 그러나 이러한 특정한 하나의 실시예로 한정되지 않으며 다른 실시예들도 가능하다.
상술한 실시예와 같이 이어팁(130)의 표피 자체가 전도성 고무, 전도성 폴리머 등의 유연 전극일 수도 있으나, 이어팁 전극(미도시)가 별도로 구비되는 것도 가능하다. 이렇게 이어팁 전극이 별도로 구비된다면 전극 외 다른 부분은 절연성 실리콘, 절연성 고무, 절연성 폴리머 등의 절연성 소재일 수 있다. 그 외에 이어버드 장치(100)의 배터리 충전에 이용되는 충전단자(240)가 도시되었다.
도 3은 일실시예에 따른 이어버드 장치(100)를 착용하고 수면하면서 수면 모니터링이 되는 과정을 설명하기 위한 도면이다.
이어버드 장치(100)는 왼쪽 귀에 착용하는 타입과, 우측 귀에 착용하는 타입으로 구비될 수 있으며, 일반적으로 이 중 하나를 사용자가 선택하여 구매 및 착용할 수 있다. 도시된 바와 같이 혈중산소포화도 측정부는 사용자의 귓볼에 밀착하여 고정되고, 이어팁은 사용자의 외이도 경부에 삽입되며 이어윙은 귓바퀴 내측에 끼워져 고정된 상태로 사용자는 잠자리에 든다. 이러한 구조에 의해 이어팁 전극(들)과 이어윙 전극(들)은 신호 전극으로서 안정적인 전기적 접촉을 수면 내내 유지하므로, 도시된 그림과 같이 사용자가 누워서 자는 내내 안정적인 수면 모니터링이 가능하다. 도 1에서 설명한 바와 같이 수면 모니터링 장치(101)는 사용자 주변에서 통신으로 연결되는 스마트폰 내에 구현되는 것도 가능하다.
도 4는 다른 일실시예에 따라 이마 확장 전극이 있는 이어버드 장치(400)를 설명하기 위한 도면이고 도 5는 이 장치를 착용하고 수면 모니터링을 하는 모습을 도시한다
확장형 이어버드 장치(400)의 구성 및 전면 모습의 예시
기본형 이어버드 장치의 구성은 도 2a와 도 2b를 참조하여 상세히 설명하였으므로, 여기서는 확장형 이어버드(400)이 갖는 차이점 위주로 설명한다. 기본형 이어버드 장치(100)과의 차이는 확장 전극(420. 430) 및 그 확장 전극과의 전기적 연결을 위한 연결선(410)의 존재이다. 연결선(410)은 혈중산소포화도 측정부의 제1 파트(110)의 연결부(412)를 통해 EEG 측정부와 연결된다. 이 연결부(412)는 전기적 접속을 제공하는 커넥터로서 그 형태와 체결 구조에 있어서는 다양한 방법이 가능하다. 이러한 확장 전극(420, 430)은 각각 사용자의 관자놀이와 이마에 부착되는 전극들일 수 있다. 전극(420)은 관자놀이에 패치전극 형태로 부착되고, 전극(430)은 이마에 패치전극 형태로 부착된다. 이러한 확장 전극(420, 430)은 일회용 또는 수 회 사용 후 교체를 가정한 소모품일 수 있다.
한편, 연결선(410)에는 사람의 머리 크기와 형태에 적응적으로 대응하기 위해 접힘 구조(411, 421)가 구비될 수 있다. 이러한 접힘 구조에 의해, 머리가 큰 사람부터 작은 사람까지 접힘 구조가 부분적으로 펴지면서 대응이 가능하여, 착용하는 사람에게 편안함을 제공하고, 확장 전극들(420, 430)이 수면 중에 당겨져서 떨어지지 않고 잘 붙어있게 되는 기능을 제공한다. 도 5는 도 4의 실시예에 따른 이어버드 확장 전극을 갖는 전자 장치를 사용자가 착용한체 수면 모니터링을 하는 모습을 도시한다.
도 6은 일실시예에 따라 수면 상태를 분류(classify)하는 과정을 설명하고, 도 7은 이어버드 타입의 장치가 종전 워치형 장치에 비해 수면 모니터링에 유리한 이유를 설명하기 위한 도면이다.
활동센서와 EEG를 함께 고려한 수면 상태의 카테고리화와 그 장점
도 6에 도시된 테이블을 참조하면, 앞서 도 1을 참조하여 설명한 상태들을 이해할 수 있다.
테이블의 제1 행은 활동 센서의 데이터를 받은 프로세서(103)가 사용자의 자세를 누운 자세(또는 수면 자세, Sleeping posture)와 활동 자세(또는 각성 자세, Awake posture)로 구분한 결과이다. 테이블의 제2 행은 EEG 측정부에서 측정한 데이터를 받은 프로세서(103)가 사용자의 뇌파 상태를 수면중 뇌파(Sleep wave)와 각성 뇌파(Awake wave)로 구분한 결과이다. 이 두 가지 자세 종류와 두 가지 뇌파 종류가 조합되어 총 네 가지의 수면 상태가 제시되었다.
1) 누운자세이면서 수면중 뇌파인 상태(SS) 610;
2) 활동자세이면서 각성 뇌파인 상태(AA) 620;
3) 누운자세이면서 각성 뇌파인 상태(SA) 630; 및
4) 활동자세이면서 수면중 뇌파인 상태(AS) 640
이상의 네 가지이다. 이렇게 사용자의 뇌파(EEG)와 함께 사용자의 자세(posture)가 고려되고, 이 자세는 이어버드 장치(100)로 사용자의 귀에 삽입되어 있으므로, 종래의 시계 타입 웨어러블 기기에서 수면 상태를 체크하는 것에 비해 실제 사용자가 누워 있는지의 여부를 사용자가 잠에 들었는지와 함께 비교하여 정확한 사용자의 상태로 구분하는 것이 가능하다.
도 7의 도시된 예를 보면, 위의 두 가지 사용의 경우(710, 720)은 본발명의 실시예에 따른 이어버드 장치(100)를 착용한 경우 사용자 수면이 판단되는 경우이다. 사용자의 귀에 이어버드 장치(100)가 착용되고, 이 이어버드 장치에서 활동 센서가 사용자의 자세(posture)를 추정하기 때문에 사용자가 바로 눕거나 옆으로 눕더라도 센싱 값을 통해 수면 모니터링 장치(101)는 정확히 사용자가 누웠다고 판단할 수 있다. 그러나, 아래에 예시된 두 그림에서는 시계형으로 손목에 착용된 웨어러블 기기에서 사용자의 자세를 추정하기 때문에 사용자가 누운 상태 (좌측하단)의 손목의 자세와 몸을 일으켜 앉은 상태 (우측하단)의 손목의 자세가 같기 때문에, 사용자 자세(posture)의 정확한 판단이 안 된다. 이처럼, 본발명의 실시예들에 따라 귀에 착용되는 이어버드 장치(100)를 통한 사용자 자세 추정은 수면 모니터링 과정에서의 정확한 사용자 자세 추정에 크게 도움이 된다. 또한, 후크 형식으로 귀에 걸거나 귀를 덮는 등의 다른 타입보다도 착용성, 안정성, 전기적 접점 유지 가능성 등 여러 면에서 수면 모니터링에 최적화된다.
수면 모니터링 결과의 시각화 예시
도 8은 일실시예에 따라 수면 상태가 시계열적으로 만들어져 시각화되는 예시적 결과화면을 도시한다. 도시된 예와 같이, 그러나 한정되지 않게 프로세서(103)는, 사용자 입면에 대응하는 10시 15분경부터 출면에 대응하는 06시 50분경까지 시간 구간 동안 지속적으로 사용자 수면 상태를 SS, AA, SA, AS 중 어느 하나로 분류하였다. 그리고 그 결과는 도시된 바와 같이 시간의 흐름과 함께 시각화되어 표현되었다. 아울러, 상술한 바와 같이 도면의 제시와 설명의 편의상 한 구간이 5분인 것으로 표현되었으나, 이러한 개별 구간 길이는 30초, 1분 등 다른 길이로 설정될 수 있음이 간과되어서는 안 된다.
도시된 가정적 상황에서 10시 10분 경의 5분 구간이 사용자가 머리를 일으키고 있었던 마지막 구간이 되고 10시 15분에 사용자가 머리를 눕히고 일정 시간 이상 (이를 테면 10분 이상) 있으므로 10시 15분부터 사용자가 잠에서 깨어 몸을 일으킨 출면 시점(대략 06시45분)까지의 수면 상태가 모니터링되었다.
상술한 일부 실시예에서와 같이, 사용자가 누워서 잠을 못자다가 잠에 들었을 때인, 'SA' 상태에서 'SS' 단계로 첫 변경이 되는 10시 25분의 첫 'SS' 단계는, 수면 모니터링 장치(101)가 이어버드 장치(100)의 EEG 신호를 분석하여 결정하는 수면 레벨 중, REM 수면이 아닌 non-REM 수면의 2 단계(non-REM level 2) 단계로 접어들었을 때일 수 있다. 그러나 그 이후의 다른 많은 'SS' 단계들은 REM 수면이든, non-REM level 1의 수면이든 모두 포함할 수 있다.
사용자는 10분 정도 (10시 15분 ~ 10시 25분의 두 구간) 잠을 청하며 누워 있다가 잠에 든 것으로 보이므로, 입면에 대한 과정은 비교적 수면 장애가 없이 순조롭다고 볼 수 있다. 그런데 (아웃라이어가 제대로 제거된 결과라면) 새벽 02시 10분~15분 구간에 일정정도 이상 몸을 일으키고 있었던 것으로 분류되었다(AS). 잠을 안 깬 상태에서 몸은 일으킨 것으로 수면 장애를 확인해 보아야 하며, 이런 현상이 반복된다면 그 패턴이나 지속 길이에 따라 영상 검사 등 추가적인 방법을 고려해야 한다.
새벽 05시35분~40분 사이의 한 구간은 잠에서 깨어 몸을 일으킨 분류(AA)가 있으며, 다시 몸을 뉘여 잠을 청하였다가(SA) 잠에 든 것으로 보여, 사용자 스스로 알겠지만 이러한 경우는 새벽에 잠시 깨어 화장실을 다녀온 경우일 수 있다. 이러한 현상 역시 매일같이 자주 반복된다면 잠들기 전 두어 시간 동안 물을 마시지 마는 등 생활 습관 개선을 하여야 하고, 필요에 따라 비뇨의학과 전문의에게 진료를 받아야 할 수도 있다.
도시된 가정적 예시에서 사용자는 새벽 06시40분경 잠에서 깨어 5분 이내 정도를 누워 있다가 06시 45분 이후에는 몸을 일으켜 활동을 한 것으로 확인된다. 따라서 이 사용자는 비교적 입면과 출면에는 특이사항 없이 수면 결과가 무난하다고 판단된다.
도 8에 도시된 예시 외에도, 시계형, 막대 차트형, 파이 차트형 등 다양한 다른 방법의 시각화가 가능하며, 이는 인포그래픽 분야의 통상의 지식을 가지고 다양하게 변형할 수 있다.
수면 품질 평가 결과의 예시
도 9는 일실시예에 따른 수면 모니터링 결과 중, 수면품질과 수면장애의 예를 제시하는 예시적 화면으로서, 수면 모니터링 장치(101) 또는 그에 연결된 다른 디스플레이 상에서 출력될 수 있다.
도시된 예에서, 수면 모니터링 장치9101)는 수면 모니터링 과정이 종료된 후, 모니터링된 전체 시간 구간(이를 테면 입면 ~ 출면에 이르는 7시간)에 대해 수면 품질 평가를 수행할 수 있다.
일실시예에 따르면 프로세서는, 상기 분류 결과에 따라, 상기 시간 구간의 전체에 대한 상기 누운자세이면서 수면중 뇌파인 상태(SS)로 분류된 구간의 합의 비율에 대응하는 수면 품질 인덱스를 제공한다. 예시적으로, 그러나 한정되지 않게, 전체 수면 시간의 길이, 이를테면 7 시간에 대해 누운자세이면서 수면중 뇌파인 상태(SS)의 시간 길이 총합이 5시간15분 정도라면, 전체적인 수면 품질은 75점으로 평가될 수 있다. 수면을 한다고 누웠다가 몸을 일으켜 세우는 상태(잠이 깬 상태는 AA, 잠은 깨지 않은 상태라면 AS)와 누워 있지만 잠은 깬 상태(SA)는 전체 수면 효율에 있어서는 좋지 않은 상태이기 때문에 이러한 상태들이 없거나 짧으면 수면 품질 인덱스는 높아질 수 있다.
물론 도 9의 좌측 화면 하단처럼 수면의 레벨 (REM, Level 1, Level 2, Level 3 등)을 구체적으로 표현하거나, 기타 다양한 다른 시각적 평가를 하는 것도 가능하다.
또한, 도 9의 우측 화면처럼, 수면 중 무호흡이나 코골이 구간, 수면 중 심박수의 변화를 함께 제시해주는 등의 시각화된 결과 제공도 가능하다. 바람직하게는 미리 설계된 알고리즘, 또는 네트워크를 통해 접근되는 인공지능 서버를 통해 더욱 고도화된 진단과 분석, 특이 사항이나 우려할 만한 의심 질병 등을 추천하고, 필요한 경우는 의사 등 전문가와의 컨택을 추천하는 것도 가능하다.
수면 품질 이외의 수면 장애 또는 신체 질환 (의심) 상태 추정/분석
도 10에서는 상술한 것들 외에 수면 모니터링 장치(101)가 이어버드 장치(100)와 함께 다양한 수면 장애 현상을 모니터링 할 때 사용하는 센서를 설명하기 위한 도면이다.
코골이가 식별되기 위해서는 활동 센서가 진동 측정을 하고, 산소포화도 센서가 산소 포화도를 측정하며, 마이크는 코골이가 있는 구간에서 코골이를 녹음한다. 앞서 언급한대로 수면 모니터링 장치(101)는 수면의 모니터링뿐 아니라 이어버드 장치(100)를 통해 사용자에게 필요한 가이던스나 알람을 줄 수도 있는데, 코골이가 심한 경우는 사용자가 잠깐 인식을 하도록 일정한 사운드를 주어 자극할 수도 있다. 이 부분이 장점이 있는 것은, 코골이 알람을 스마트폰 앱을 통해 하는 등의 경우는 코를 고는 본인 뿐만 아니라 옆에서 같이 자는 다른 사람이 그 알람에 방해를 받을 수도 있지만, 본 실시예에 따라 이어버드 장치(100)을 귀에 끼고 있는 본인만 알람을 듣고 잠깐 수면 상태를 바꾸는 노력으로 개선이 가능하다는 것이다.
또한, 앞서 언급한 바와 같이, 활동 센서를 통해 사용자의 움직임이나 머리 진동 등을 함께 측정하므로 마이크를 통해 입력되는 코골이 사운드가 사용자 본인의 코골이인지, 옆에서 자는 타인의 코골이인지 구분될 수도 있다. 예시적으로 그러나 한정되지 않게, 코골이 사운드와 함께 일정 수준의 진동이 함께 센싱되면 사용자 본인의 코골이이고, 코골이 사운드는 청음되나 진동은 일정한 기준 이하라면 옆에서 자는 타인의 코골이가 들어오는 것일 수 있기 때문에 이는 이어버드 장치를 착용하고 자는 모니터링 대상의 사용자의 수면 상태 평가에는 무시될 수도 있다. 수면 무호흡의 경우도 도시된 바와 같다.
나아가, 부정맥이나, 기타 심장 기능의 저하 등도 산소포화도 측정을 통해 모니터링될 수도 있기에, 실시예에 따른 이어버드 장치(100) 및 수면 모니터링 장치(101)의 활용도는 높다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 사용자 수면 모니터링 장치에 있어서, 상기 수면 모니터링 장치는:
    통신 인터페이스; 및
    프로세서
    를 포함하고,
    상기 프로세서는, 상기 사용자의 귀에 착용되는 이어버드 장치의 EEG 측정부가 측정한 EEG 신호를 이용하여 상기 사용자의 뇌파를 수면중 뇌파와 각성중 뇌파 중 어느 것에 해당하는지 구분하고, 상기 이어버드 장치에 함께 포함되는 활동 센서가 측정한 센서 데이터 - 상기 센서 데이터는 상기 EEG 신호와 시간 동기 된 것임 - 와 상기 구분한 결과를 비교하여 사용자의 수면 상태를 복수 개의 카테고리 중 어느 하나로 분류하는, 수면 모니터링 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 활동 센서가 측정한 상기 센서 데이터를 활동 자세와 누운 자세 중 어느 것에 해당하는지 구분하고, 상기 사용자의 수면 상태를:
    1) 누운자세이면서 수면중 뇌파인 상태(SS);
    2) 활동자세이면서 각성 뇌파인 상태(AA);
    3) 누운자세이면서 각성 뇌파인 상태(SA); 및
    4) 활동자세이면서 수면중 뇌파인 상태(AS)
    를 포함하는 복수 개의 상태 중 어느 하나로 분류하는, 수면 모니터링 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 사용자의 입면에 대응하는 제1 시점과 상기 사용자의 출면에 대응하는 제2 시점 사이의 시간 구간 동안 지속적으로 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류하여, 시간에 따른 상기 상태 분류의 결과 시퀀스를 상기 사용자에 대한 수면 모니터링 결과로 제공하는, 수면 모니터링 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 상기 시간 구간 동안 미리 지정된 주기 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류하는, 수면 모니터링 장치.
  5. 제3항에 있어서,
    상기 프로세서는, 상기 미리 지정된 주기 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류하는 경우, 하나의 주기 내의 상기 EEG 신호 및 상기 활동 센서가 측정한 센서 데이터 중 적어도 하나에 대해 아웃라이어를 제거하도록 스무딩 필터를 적용하여 상기 하나의 주기에 대응하는 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 결정하는, 수면 모니터링 장치.
  6. 제3항에 있어서,
    상기 프로세서는, 상기 미리 지정된 주기 마다 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 분류하는 경우, 하나의 주기를 복수 개의 시간 세그먼트로 나누고, 상기 복수 개의 시간 세그먼트 각각에 대해 상기 EEG 신호 및 상기 활동 센서가 측정한 센서 데이터를 이용하여 각 시간 세그먼트에 대응하는 상기 사용자의 수면 상태를 상기 복수 개의 상태 중 어느 하나로 각각 결정하고, 상기 하나의 주기에 대해 다수를 이루는 우세 상태를 상기 하나의 주기에 대한 대표 상태로 결정하는, 수면 모니터링 장치.
  7. 제3항에 있어서,
    상기 프로세서는, 상기 분류 결과에 따라, 상기 시간 구간의 전체에 대한 상기 누운자세이면서 수면중 뇌파인 상태(SS)로 분류된 구간의 합의 비율에 대응하는 수면 품질 인덱스를 제공하는, 수면 모니터링 장치.
  8. 제2항에 있어서,
    상기 프로세서는, 상기 분류 시에:
    상기 활동자세이면서 각성 뇌파인 상태(AA)에서 상기 누운자세이면서 각성 뇌파인 상태(SA)로 변환된 후, 상기 누운자세이면서 각성 뇌파인 상태(SA)에서 상기 누운자세이면서 수면중 뇌파인 상태(SS)로 첫 변경하는 경우는, 상기 EEG 신호가 논램(non-REM) 단계 2 수면 상태인 경우에 상기 사용자의 수면 상태를 상기 누운자세이면서 수면중 뇌파인 상태(SS)로 분류하는, 수면 모니터링 장치.
  9. 제1항에 있어서,
    상기 활동 센서가 측정한 센서 데이터는:
    상기 사용자가 상기 이어버드 장치를 귀에 착용한 상태에서 머리를 세운 것인지, 머리를 뉘인 것인지 판단하는 방향 센싱 값; 및
    상기 사용자가 상기 이어버드 장치를 귀에 착용한 상태에서 일정 수준 이상으로 움직이는 것인지 여부를 판단하는 가속도 센싱 값
    을 포함하고, 상기 프로세서는, 가속도 센싱 값이 상기 일정 수준 이상으로 움직이는 상태를 가리키는 경우 상기 분류를 보류하는, 수면 모니터링 장치.
  10. 제9항에 있어서,
    상기 이어버드 장치의 마이크를 통해 청음되는 사운드를 더 입력받아, 상기 사운드가 코골이에 해당하는 경우, 상기 가속도 센싱 값을 이용하여 상기 사용자의 코골이인지 주변 타인의 코골이인지를 구분하는, 수면 모니터링 장치.
PCT/IB2022/062049 2021-11-12 2022-12-12 수면 모니터링 장치 및 그 동작 방법 Ceased WO2023084502A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22892267.0A EP4431007A4 (en) 2021-11-12 2022-12-12 SLEEP MONITORING DEVICE AND METHOD OF OPERATION THEREOF
US18/709,753 US20250000450A1 (en) 2021-11-12 2022-12-12 Sleep monitoring device and operation method therefor

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210155975 2021-11-12
KR10-2021-0155975 2021-11-12
KR1020220063458A KR102906066B1 (ko) 2022-05-24 2022-05-24 생체정보 측정 장치
KR10-2022-0063458 2022-05-24
KR1020220087045A KR20230069804A (ko) 2021-11-12 2022-07-14 수면 모니터링 장치 및 그 동작 방법
KR10-2022-0087045 2022-07-14

Publications (1)

Publication Number Publication Date
WO2023084502A1 true WO2023084502A1 (ko) 2023-05-19

Family

ID=86335174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2022/062049 Ceased WO2023084502A1 (ko) 2021-11-12 2022-12-12 수면 모니터링 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20250000450A1 (ko)
EP (1) EP4431007A4 (ko)
WO (1) WO2023084502A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119257545A (zh) * 2024-03-27 2025-01-07 荣耀终端有限公司 一种睡眠状态的检测方法及可穿戴设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160058366A1 (en) 2014-08-26 2016-03-03 Samsung Electronics Co., Ltd. Electronic device and sleep monitoring method in electronic device
US20190038184A1 (en) 2017-08-04 2019-02-07 Samsung Electronics Co., Ltd. Method and an electronic device for tracking a user activity
US20190282119A1 (en) * 2016-12-09 2019-09-19 T&W Engineering A/S Generic ear device with electrodes
KR102046515B1 (ko) 2017-03-06 2019-11-20 주식회사 아이메디신 넥밴드 타입 헬스케어 서비스 시스템 및 방법
US20200085369A1 (en) * 2016-08-05 2020-03-19 The Regents Of The University Of Colordo, A Body Corporate In-ear sensing systems and methods for biological signal monitoring
KR20200033522A (ko) * 2018-09-20 2020-03-30 링크페이스 주식회사 수면 및 각성 유도 방법, 장치 및 컴퓨터 프로그램
KR102102421B1 (ko) 2018-01-09 2020-04-20 광운대학교 산학협력단 뇌파 측정용 이어폰 및 이를 이용한 졸음운전 감지 시스템
KR20210075313A (ko) * 2019-12-13 2021-06-23 주식회사 재영소프트 모션 센서와 연동되는 수면 무호흡증 및 코골이 증상 개선용 움직임 유발 주파수를 생성하는 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7572225B2 (en) * 2003-09-18 2009-08-11 Cardiac Pacemakers, Inc. Sleep logbook
US20210169417A1 (en) * 2016-01-06 2021-06-10 David Burton Mobile wearable monitoring systems
KR102100120B1 (ko) * 2018-06-29 2020-04-13 링크페이스 주식회사 생체 신호를 모니터링하는 방법, 장치 및 컴퓨터 프로그램

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160058366A1 (en) 2014-08-26 2016-03-03 Samsung Electronics Co., Ltd. Electronic device and sleep monitoring method in electronic device
US20200085369A1 (en) * 2016-08-05 2020-03-19 The Regents Of The University Of Colordo, A Body Corporate In-ear sensing systems and methods for biological signal monitoring
US20190282119A1 (en) * 2016-12-09 2019-09-19 T&W Engineering A/S Generic ear device with electrodes
KR102046515B1 (ko) 2017-03-06 2019-11-20 주식회사 아이메디신 넥밴드 타입 헬스케어 서비스 시스템 및 방법
US20190038184A1 (en) 2017-08-04 2019-02-07 Samsung Electronics Co., Ltd. Method and an electronic device for tracking a user activity
KR102102421B1 (ko) 2018-01-09 2020-04-20 광운대학교 산학협력단 뇌파 측정용 이어폰 및 이를 이용한 졸음운전 감지 시스템
KR20200033522A (ko) * 2018-09-20 2020-03-30 링크페이스 주식회사 수면 및 각성 유도 방법, 장치 및 컴퓨터 프로그램
KR20210075313A (ko) * 2019-12-13 2021-06-23 주식회사 재영소프트 모션 센서와 연동되는 수면 무호흡증 및 코골이 증상 개선용 움직임 유발 주파수를 생성하는 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP4431007A4
STOCHHOLM ANDREAS; MIKKELSEN KAARE; KIDMOSE PREBEN: "Automatic sleep stage classification using ear-EEG", 2016 38TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC), IEEE, 16 August 2016 (2016-08-16), pages 4751 - 4754, XP032980275, DOI: 10.1109/EMBC.2016.7591789 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119257545A (zh) * 2024-03-27 2025-01-07 荣耀终端有限公司 一种睡眠状态的检测方法及可穿戴设备

Also Published As

Publication number Publication date
US20250000450A1 (en) 2025-01-02
EP4431007A1 (en) 2024-09-18
EP4431007A4 (en) 2025-07-09

Similar Documents

Publication Publication Date Title
US11311232B2 (en) Systems and methods for managing sleep disorders
US10524727B2 (en) Circadian phase detection system
US8823527B2 (en) Consciousness monitoring
CN105338893B (zh) 用于测量生物信号的方法和装置
US20250281116A1 (en) Systems and methods for multivariate stroke detection
US10709376B2 (en) System for supporting an elderly, frail and/or diseased person
US11147505B1 (en) Methods, systems and devices for identifying an abnormal sleep condition
WO2020159259A1 (en) Method for calculating recovery index based on rem sleep stage and electronic device thereof
CN105007808A (zh) 访问持续时间控制系统和方法
WO2019013456A1 (ko) 동영상 기반 발작 추적감시 방법 및 장치
WO2021241925A1 (ko) 혈압 측정 방법 및 전자 장치
JP2023545233A (ja) 改善された皮膚温度モニタリングのための方法、システム、およびデバイス
EP4301212A1 (en) Acousto-mechanic sensors and applications of same
WO2018093163A1 (ko) 신생아 무호흡 측정장치 및 그 동작 방법과, 신생아 무호흡 측정 시스템
WO2023084502A1 (ko) 수면 모니터링 장치 및 그 동작 방법
KR20230069804A (ko) 수면 모니터링 장치 및 그 동작 방법
US20250000461A1 (en) System and method for detecting health events
WO2023063459A1 (ko) 수면 유도 장치 및 그것의 동작방법
JP2022164560A (ja) 情報処理システム、情報処理方法、及びプログラム
WO2023084503A1 (ko) 수면 모니터링 장치 및 그 동작 방법
TWI670095B (zh) 智慧型睡眠輔助系統及其方法
US20220249018A1 (en) Systems and methods for managing sleep disorders
Rahman et al. mDebugger: Assessing and diagnosing the fidelity and yield of mobile sensor data
JPWO2019073963A1 (ja) 臍部温度測定装置
US20260026774A1 (en) Wearable device and heart failure detection system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892267

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18709753

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022892267

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022892267

Country of ref document: EP

Effective date: 20240612