WO2023003232A1 - 센서를 포함하는 전자 장치 및 그의 동작 방법 - Google Patents

센서를 포함하는 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2023003232A1
WO2023003232A1 PCT/KR2022/009825 KR2022009825W WO2023003232A1 WO 2023003232 A1 WO2023003232 A1 WO 2023003232A1 KR 2022009825 W KR2022009825 W KR 2022009825W WO 2023003232 A1 WO2023003232 A1 WO 2023003232A1
Authority
WO
WIPO (PCT)
Prior art keywords
exercise
external electronic
electronic device
electronic devices
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/009825
Other languages
English (en)
French (fr)
Inventor
김진익
박남준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202280044413.2A priority Critical patent/CN117545419A/zh
Priority to EP22846104.2A priority patent/EP4331482A4/en
Priority to US17/889,779 priority patent/US20230024452A1/en
Publication of WO2023003232A1 publication Critical patent/WO2023003232A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02438—Measuring pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations

Definitions

  • An embodiment of the present invention relates to multiple devices for tracking user activity, and more specifically, to tracking a user's athletic activity using a plurality of electronic devices.
  • a wearable device may be worn on a part of a user's body (eg, a wrist or an ear), and may be used to provide useful information related to exercise and health by measuring information about the user's body. Accordingly, there is an increasing need to develop technologies and services for providing useful information to users through interworking between mobile devices and wearable devices.
  • An embodiment of the present invention is to provide exercise-related information such as a user's exercise start time, exercise posture, and exercise type through linkage between a wearable device and an electronic device based on information detected from a wearable device worn on the user's body. it is for
  • An operation method of an electronic device interlocked with a plurality of external electronic devices instructs first sensor data including a heart rate and a posture of a first external electronic device among the plurality of external electronic devices through a communication circuit.
  • receiving second sensor data that corresponds to the second sensor data and third sensor data indicating a relative position between a plurality of external electronic devices determining an exercise start point based on the first sensor data through at least one processor; estimating an exercise posture of the user based on the second sensor data; Based on the third sensor data, a change pattern of the distance of each of the plurality of external electronic devices indicated by a change in the relative position of each of the plurality of external electronic devices for a certain period after the determined exercise start time the act of estimating; and generating exercise information based on the estimated exercise posture and the estimated change pattern of distances between external electronic devices.
  • An electronic device includes a communication circuit that communicates with a plurality of external electronic devices wearable on a user's body; An exercise start time is determined based on the first sensor data, an exercise posture of the user is estimated based on the second sensor data, and for a certain period after the determined exercise start time based on the third sensor data Estimating a change pattern of a distance of each of the plurality of external electronic devices indicated by a change in the relative position of each of the plurality of external electronic devices, and a change in the estimated exercise posture and the estimated distance between the external electronic devices and at least one processor that generates exercise information based on the pattern.
  • a wearable device that works with at least one external electronic device includes a sensor module including at least one sensor; output module; and based on the first sensor data detected through the sensor module including the heartbeat of the user wearing the wearable device, determining when the user starts exercising, and the posture of the wearable device detected by the sensor module.
  • the user's exercise posture is estimated and detected by the sensor module that monitors the distance to the external electronic device at the start time of the exercise and for a certain period after the start time of the exercise.
  • a change pattern of the distance to the external electronic device is estimated, and based on at least one of the estimated exercise posture and the estimated change pattern of the distance to the external electronic device, exercise information is obtained. and at least one processor that generates and outputs the generated exercise information through the output module.
  • An embodiment of the present invention subdivides and classifies a user's posture using an electronic device and at least one external electronic device, and provides detailed exercise information for each exercise category to the user using sensor data of an external electronic device attached to another part of the user.
  • a user's actual start time of exercise can be accurately determined using a change pattern indicated by biosignal information received through a biometric sensor of an electronic device. It is possible to automatically classify detailed exercises for each exercise category by using an inertial sensor and a distance sensor. In addition, it is possible to provide subdivided and detailed exercise information to the user after the exercise is finished.
  • FIG. 1 illustrates an electronic device in a network environment according to an exemplary embodiment.
  • FIGS. 2A and 2B are perspective views of an electronic device according to an exemplary embodiment.
  • FIG 3 is an exploded perspective view of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a block diagram of an electronic device interworking with an external electronic device according to an embodiment.
  • FIG. 5 is an operation flowchart of a method of operating an electronic device according to an exemplary embodiment.
  • FIGS. 6A and 6B are diagrams illustrating PPG waveforms obtained from a first user and a second user, respectively, according to an embodiment.
  • FIG. 7A is a diagram for explaining a method of correcting a posture value according to a moving body coordinate system to a posture value according to a NEU coordinate system according to an embodiment.
  • 7B is a view for explaining a method of correcting attitude values related to roll and pitch to values parallel to the ground surface perpendicular to gravity, according to an embodiment.
  • FIGS. 8A to 8C are diagrams illustrating posture values of a first external electronic device corresponding to a user's exercise posture, according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining a method of filtering a pattern of a signal included in sensor data, according to an exemplary embodiment.
  • FIG. 10 is a diagram for explaining a method of generating information about an exercise part, according to an embodiment.
  • 11A and 11B are diagrams illustrating an interface output on a display of an electronic device according to an embodiment.
  • 12A and 12B are diagrams illustrating an interface output from a display of an external electronic device according to an embodiment.
  • FIG. 13 is a block diagram of a wearable device interworking with an external electronic device according to an embodiment.
  • FIG. 14 is an operational flowchart of a method of operating a wearable device according to an exemplary embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100 according to an embodiment.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a processor 123 (eg, a graphic processing unit, a neural network processing unit (NPU)) that may operate independently of or together with the main processor 121 (eg, a central processing unit or an application processor). : neural processing unit), image signal processor, sensor hub processor, or communication processor).
  • main processor 121 eg, a central processing unit or an application processor
  • NPU neural network processing unit
  • the processor 123 may use less power than the main processor 121 or may be set to be specialized for a designated function.
  • the processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) and It may control at least some of the related functions or states.
  • the processor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of other functionally related components eg, the camera module 180 or the communication module 190).
  • the processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the nonvolatile memory 134 may include an internal memory 136 and an external memory 138 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • a telecommunications network such as a computer network (eg, a LAN or a WAN).
  • These various types of communication modules may be integrated as one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • an electronic device 200 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment has a first side (or front side) 210A and a second side (or back side). 210B, and a housing 210 including a side surface 210C surrounding a space between the first surface 210A and the second surface 210B, and connected to at least a part of the housing 210, and the electronic
  • the apparatus 200 may include attachment members 250 and 260 configured to detachably attach the device 200 to a part of the user's body (eg, a wrist or an ankle).
  • the housing may refer to a structure that forms part of the first face 210A, the second face 210B, and the side face 210C of FIG. 2A .
  • the first surface 210A may be formed by a front plate 201 (eg, a glass plate or a polymer plate including various coating layers) that is substantially transparent at least in part.
  • the second face 210B may be formed by the substantially opaque back plate 207 .
  • the rear plate 207 is formed, for example, of coated or tinted glass, ceramic, polymer, metal (eg, aluminum, stainless steel (STS), or magnesium), or a combination of at least two of the foregoing. It can be.
  • the side surface 210C is coupled to the front plate 201 and the rear plate 207 and may be formed by a side bezel structure (or “side member”) 206 including metal and/or polymer.
  • the back plate 207 and the side bezel structure 206 may be integrally formed and include the same material (eg, a metal material such as aluminum).
  • the binding members 250 and 260 may be formed of various materials and shapes. Integral and plurality of unit links may be formed to flow with each other by woven material, leather, rubber, urethane, metal, ceramic, or a combination of at least two of the above materials.
  • the electronic device 200 includes a display 220 (see FIG. 3), an audio module (eg, a microphone hole 205 or a speaker hole 208), a sensor module 211, and a key input device. (202, 203, 204) and at least one of the connector hole 209 may be included. In some embodiments, the electronic device 200 omits at least one of the components (eg, the key input devices 202, 203, 204, the connector hole 209, or the sensor module 211) or has other components. Additional elements may be included.
  • the display 220 may be exposed through a substantial portion of the front plate 201 , for example.
  • the shape of the display 220 may be a shape corresponding to the shape of the front plate 201, and may have various shapes such as a circular shape, an elliptical shape, or a polygonal shape.
  • the display 220 may be coupled to or disposed adjacent to a touch sensing circuit, a pressure sensor capable of measuring the strength (pressure) of a touch, and/or a fingerprint sensor.
  • the audio module may include a microphone hole 205 and a speaker hole 208 .
  • a microphone for acquiring external sound may be disposed inside the microphone hole 205, and in some embodiments, a plurality of microphones may be disposed to detect the direction of sound.
  • the speaker hole 208 can be used as an external speaker and a receiver for a call.
  • the speaker hole 208 and the microphone hole 205 may be implemented as one hole, or a speaker may be included without the speaker hole 208 (eg, a piezo speaker).
  • the sensor module 211 may generate an electrical signal or data value corresponding to an internal operating state of the electronic device 200 or an external environmental state.
  • the sensor module 211 may include, for example, a biometric sensor module 211 (eg, an HRM sensor) disposed on the second surface 210B of the housing 210 .
  • the electronic device 200 includes a sensor module (not shown), for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, a bio sensor, a temperature sensor, At least one of a humidity sensor and an illuminance sensor may be further included.
  • the sensor module 211 may include electrode regions 213 and 214 forming a part of the surface of the electronic device 200 and a biosignal detection circuit (not shown) electrically connected to the electrode regions 213 and 214. there is.
  • the electrode regions 213 and 214 may include a first electrode region 213 and a second electrode region 214 disposed on the second surface 210B of the housing 210 .
  • the sensor module 211 may be configured such that the electrode areas 213 and 214 obtain an electrical signal from a part of the user's body, and the biosignal detection circuit detects the user's biometric information based on the electrical signal.
  • the key input devices 202, 203, and 204 include a wheel key 202 disposed on a first surface 210A of the housing 210 and rotatable in at least one direction, and/or a side surface 210C of the housing 210. ) may include side key buttons 203 and 204 disposed on.
  • the wheel key may have a shape corresponding to the shape of the front plate 201 .
  • the electronic device 200 may not include some or all of the above-mentioned key input devices 202, 203, and 204, and the key input devices 202, 203, and 204 that are not included may display 220 may be implemented in other forms such as soft keys.
  • the connector hole 209 may accommodate a connector (eg, a USB connector) for transmitting and receiving power and/or data to and from an external electronic device and a connector for transmitting and receiving an audio signal to and from an external electronic device.
  • a connector eg, a USB connector
  • Other connector holes may be included.
  • the electronic device 200 may further include, for example, a connector cover (not shown) that covers at least a portion of the connector hole 209 and blocks external foreign substances from entering the connector hole.
  • the binding members 250 and 260 may be detachably attached to at least a partial region of the housing 210 using the locking members 251 and 261 .
  • the fastening members 250 and 260 may include one or more of a fixing member 252 , a fixing member fastening hole 253 , a band guide member 254 , and a band fixing ring 255 .
  • the fixing member 252 may be configured to fix the housing 210 and the fastening members 250 and 260 to a part of the user's body (eg, wrist, ankle, etc.).
  • the fixing member fastening hole 253 corresponds to the fixing member 252 to fix the housing 210 and the fastening members 250 and 260 to a part of the user's body.
  • the band guide member 254 is configured to limit the movement range of the fixing member 252 when the fixing member 252 is fastened to the fixing member fastening hole 253, so that the fastening members 250 and 260 are attached to a part of the user's body. It can be tightly bonded.
  • the band fixing ring 255 may limit the movement range of the fastening members 250 and 260 in a state in which the fixing member 252 and the fixing member fastening hole 253 are fastened.
  • an electronic device 300 (eg, the electronic device 101 of FIG. 1 or the electronic device 200 of FIGS. 2A and 2B) includes a side bezel structure 310, a wheel key 320, a front Plate 201, display 220, first antenna 350, second antenna 355, support member 360 (eg bracket), battery 370, printed circuit board 380, sealing member ( 390), a back plate 393, and binding members 395 and 397.
  • At least one of the components of the electronic device 300 may be the same as or similar to at least one of the components of the electronic device 200 of FIG. 1 or FIGS. 2A and 2B , and overlapping descriptions are given below.
  • the support member 360 may be disposed inside the electronic device 300 and connected to the side bezel structure 310 or integrally formed with the side bezel structure 310 .
  • the support member 360 may be formed of, for example, a metal material and/or a non-metal (eg, polymer) material.
  • the support member 360 may have the display 220 coupled to one surface and the printed circuit board 380 coupled to the other surface.
  • a processor, memory, and/or interface may be mounted on the printed circuit board 380 .
  • the processor may include, for example, one or more of a central processing unit, an application processor, a graphic processing unit (GPU), an application processor, a sensor processor, or a communication processor.
  • Memory may include, for example, volatile memory or non-volatile memory.
  • the interface may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface), an SD card interface, and/or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • the interface may electrically or physically connect the electronic device 300 to an external electronic device, and may include a USB connector, an SD card/MMC connector, or an audio connector.
  • the battery 370 is a device for supplying power to at least one component of the electronic device 300, and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell. there is. At least a portion of the battery 370 may be disposed on substantially the same plane as the printed circuit board 380 , for example.
  • the battery 370 may be integrally disposed inside the electronic device 200 or may be disposed detachably from the electronic device 200 .
  • the first antenna 350 may be disposed between the display 220 and the support member 360 .
  • the first antenna 350 may include, for example, a near field communication (NFC) antenna, a wireless charging antenna, and/or a magnetic secure transmission (MST) antenna.
  • the first antenna 350 may, for example, perform short-range communication with an external device, wirelessly transmit/receive power required for charging, and transmit a short-range communication signal or a magnetic-based signal including payment data.
  • an antenna structure may be formed by a part of the side bezel structure 310 and/or the support member 360 or a combination thereof.
  • the second antenna 355 may be disposed between the printed circuit board 380 and the rear plate 393 .
  • the second antenna 355 may include, for example, a near field communication (NFC) antenna, a wireless charging antenna, and/or a magnetic secure transmission (MST) antenna.
  • the second antenna 355 may, for example, perform short-range communication with an external device, wirelessly transmit/receive power required for charging, and transmit a short-range communication signal or a magnetic-based signal including payment data.
  • an antenna structure may be formed by a part of the side bezel structure 310 and/or the rear plate 393 or a combination thereof.
  • the sealing member 390 may be positioned between the side bezel structure 310 and the rear plate 393 .
  • the sealing member 390 may be configured to block moisture and foreign substances from entering into the space surrounded by the side bezel structure 310 and the back plate 393 from the outside.
  • FIG. 4 is a block diagram of an electronic device interworking with an external electronic device according to an embodiment.
  • an electronic device (eg, the electronic device 101 of FIG. 1) 401 includes a communication module (eg, the communication module 190 of FIG. 1) 190, a processor (eg, the electronic device 101 of FIG. 1) : Processor 120 of FIG. 1) 120, input/output module (eg, input module 150, sound output module 155 and/or display module 160 of FIG. 1) 410, and memory (eg, It may include the memory 130) 130 of FIG. 1 and may be interlocked with a plurality of external electronic devices 402 and 403 .
  • the electronic device 401 may include, for example, a mobile terminal, a tablet, and a PC.
  • the electronic device 401 may further include components of the electronic device 101 described above in FIG. 1 such as a sensor module (eg, the sensor module 176 of FIG. 1 ).
  • the external electronic devices 402 and 403 are electronic devices that can be worn on a user's body, and may include, for example, wearable devices such as smart watches and patches, and hearable devices such as earphones.
  • the external electronic devices 402 and 403 may include a processor, a communication module, and at least one sensor.
  • the external electronic devices 402 and 303 may communicate with an interlocked electronic device through a communication module, and may transmit data sensed by a sensor to the interlocked electronic device 401, for example.
  • a sensor is an element or device that measures a physical quantity (e.g. temperature, light, color, pressure, magnetism, speed, acceleration) of an object and replaces it with a signal (e.g. electrical signal) that a machine can handle. It may include a biometric sensor, a gyro sensor, an acceleration sensor, a geomagnetic sensor, a distance sensor, a height sensor, and a pressure sensor.
  • a physical quantity e.g. temperature, light, color, pressure, magnetism, speed, acceleration
  • a signal e.g. electrical signal
  • FIG. 5 is an operation flowchart of a method of operating an electronic device according to an exemplary embodiment.
  • an operating method of an electronic device includes an operation 510 of determining an exercise start time, an exercise It may include an operation 520 of estimating a posture, an operation 530 of estimating a change pattern of relative positions between external electronic devices, and an operation 540 of generating exercise information.
  • An operating method of an electronic device according to an embodiment may be performed by a processor (eg, the processor 120 of FIG. 1 or the processor 120 of FIG. 4 ) of the electronic device.
  • an electronic device is interlocked with a plurality of external electronic devices (eg, the external electronic devices 402 and 403 of FIG. 4 ), and the operation method of the electronic device includes at least one of the external electronic devices.
  • the exercise start time is determined. Estimating a change pattern of relative positions between external electronic devices as a reference (530) and generating exercise information based on the estimated exercise posture and the estimated change pattern of relative positions between external electronic devices (540) can include
  • the operation 510 of determining an exercise start time includes determining an exercise start time of a user wearing external electronic devices based on sensor data indicating a heartbeat obtained from at least one of the external electronic devices. Actions may be included.
  • the sensor data indicating the heartbeat may be obtained using a biosensor included in at least one external electronic device interlocked with the electronic device.
  • a biosensor is a sensor that measures a biosignal (eg, a biometric signal) of a part of a user's body (eg, a fingertip and/or wrist) and converts it into an electrical signal.
  • the biosensor may include a photoplethysmograph (PPG) sensor and/or an electrocardiograph (ECG) sensor.
  • PPG photoplethysmograph
  • ECG electrocardiograph
  • sensor data indicating a heartbeat may include a heartbeat-related waveform representing a measurement value of a heartbeat-related biosignal over time, as detected by a biometric sensor.
  • the PPG sensor may interwork with light (eg, LED) emitted to tissues of a user's body wearing an external electronic device.
  • Light can be coupled with either reflected or transmitted light (eg, LED).
  • the PPG sensor may convert the detected light into an electromagnetic value corresponding to a value indicating the quantity or quality of the detected light.
  • the PPG sensor may output a PPG waveform corresponding to a graph of changes in blood flow over time by generating a measurement value corresponding to a biosignal for a certain period of time.
  • the PPG waveform may represent an electrical signal corresponding to a change in blood flow occurring between systole and diastole of the cardiac cycle.
  • the PPG waveform may correspond to a waveform indicating a heartbeat.
  • FIGS. 6A and 6B show PPG waveforms obtained from a first user and a second user, respectively.
  • PPG waveforms in which a certain pattern is repeated appear in rest states (610 and 630) where no exercise is being performed, and in exercise states (620 and 640), the range of variation of the PPG waveform is in the rest state (610). , 630), PPG waveforms of different shapes from those of the idle states 610 and 630 may appear.
  • the exercise start time can be determined from the PPG waveform using the fact that the PPG waveform is different in the exercise state (620, 640) and the rest state (610, 630).
  • An electronic device may determine an exercise start time based on a ratio between peak values of a heartbeat waveform.
  • the electronic device may obtain a peak value of a waveform related to a heartbeat based on sensor data obtained from an external electronic device.
  • the peak value of the heartbeat waveform means the largest measured value in a single cycle in the heartbeat waveform. For example, y values corresponding to points 611 to 615 and 621 in FIG. may apply.
  • Operation 510 is an operation of obtaining a first peak value and a second peak value of a waveform indicating a heartbeat based on sensor data related to a heartbeat, and setting a ratio of the first peak value and the second peak value to a predetermined threshold value. and determining a time point corresponding to the first peak value as an exercise start time point based on the comparison result.
  • the ratio of the first peak value and the second peak value may correspond to, for example, the first peak value/second peak value.
  • the ratio of the first peak value and the second peak value is explained as an example of the first peak value/second peak value.
  • the first peak value may include a most recently obtained peak value corresponding to a heartbeat waveform.
  • the first peak value when the current time point is time point t1, the first peak value is the y value corresponding to point 613, and when the current time point is time point t2, the first peak value is y corresponding to point 621. may correspond to a value.
  • the second peak value may include a value based on at least one peak value obtained before the first peak value corresponding to a heartbeat waveform.
  • the second peak value may correspond to a peak value obtained immediately before the first peak value, an average of peak values obtained before the first peak value, or a maximum value of peak values obtained before the first peak value.
  • the first peak value may be obtained as 1639, which is the y value of point 621
  • the second peak value may be obtained as 397, which is the y value of point 613, which is the maximum value among peak values obtained before the first peak value.
  • the second peak value when the second peak value is determined as the maximum value of the peak values obtained before the first peak value, the second corresponding to the second user at time t2
  • the first peak value may be obtained as 2056, which is the y value of the point 641
  • the second peak value may be obtained as 503.7, which is the y value of the point 631, which is the maximum value among peak values obtained before the first peak value.
  • the ratio (max_g/max_h) of the first peak value (max_g) and the second peak value (max_h) corresponding to each of the first user and the second user may be calculated as shown in Table 1 below.
  • the magnitude and / or period of the PPG waveform may appear different for each user due to various factors even if the same exercise is performed, but the ratio of the first peak value and the second peak value is relatively constant. .
  • a time point corresponding to the first peak value may be determined as an exercise start time point.
  • a predetermined threshold value eg, 4
  • the time corresponding to the first peak value is not determined as the exercise start time, and the first peak value updates the second peak value.
  • the first peak value may be obtained again based on sensor data about the heartbeat that is used for and then received.
  • the first peak value corresponds to the y value of point 613
  • the second peak value is either point 611 or point 612 may correspond to the y value of
  • the ratio between the first peak value and the second peak value is calculated as a value close to 1, and the time corresponding to the second peak value corresponding to the threshold value (eg 4) or less is determined as the exercise start time It may not be.
  • the first peak value may correspond to the y value of the point 621, and the second peak value The value can be updated with the y value of point 613.
  • the time point corresponding to the first peak value eg, point 621 can be determined as the movement start time point. there is.
  • the time corresponding to the first peak value corresponds to a predetermined criterion based on the heartbeat waveform, such as a time point at which the blood flow starts to increase rapidly or a time point corresponding to a predetermined time before the time point when the blood flow starts to increase rapidly. can be judged accordingly.
  • the point in time corresponding to point 621 may be determined as t3, which is a predetermined time before the point in time at which blood flow increases.
  • an operation 520 of estimating an exercise posture includes estimating a user's exercise posture based on sensor data indicating a posture of a first external electronic device among external electronic devices. Actions may be included.
  • the sensor data may be acquired from the first external device.
  • the first external electronic device may include an electronic device including a gyro sensor and an acceleration sensor for detecting a posture (eg, tilt, angle, arrangement, etc.) and a value corresponding thereto.
  • the first external electronic device may correspond to an electronic device classified as a static device.
  • a static device can be worn on a user's body position so that the posture of the static electronic device does not change significantly despite the user's continuous movement.
  • electronic devices classified as static electronic devices may include wireless earphones and/or smart glasses.
  • dynamic electronic devices are typically worn where the position can change significantly depending on the user's constant movement.
  • the dynamic electronic device may include a smart watch.
  • the electronic device can recognize whether each external electronic device corresponds to a static electronic device or a dynamic electronic device based on the interlocking information of the external electronic devices, and the sensor data received from the external electronic device can be detected from which external electronic device. Recognize that it has been received. Accordingly, the electronic device may recognize whether the received sensor data is received from an external electronic device classified as a static electronic device or an external electronic device classified as a dynamic electronic device.
  • the operation 520 of estimating the user's exercise posture includes the operation of correcting (or calibrating) the posture value of the first external electronic device detected at the time of starting the exercise based on the ground surface and the first external electronic device.
  • the method may further include estimating the user's exercise posture based on the change in the posture value of the electronic device and the corrected posture value of the first external electronic device.
  • the sensor data indicating the attitude of the first external electronic device may include yaw and pitch of the first external electronic device measured by a gyro sensor and/or an acceleration sensor included in the first external electronic device. It can include pitch and roll values.
  • sensor data indicating the posture of the first external electronic device obtained from the first external electronic device may indicate a posture value of the first external electronic device according to a body coordinate system expressed as an Euler angle.
  • Sensor data about the attitude of the first external electronic device may include a series of attitude values of the first external electronic device detected over time.
  • the posture value of the first external electronic device corresponding to the exercise start time is obtained using the gyro sensor and/or the acceleration sensor of the first external electronic device at the exercise start time determined in operation 510. 1 It may mean the attitude value of an external electronic device.
  • the posture of the first external electronic device obtained based on the gyro sensor and/or acceleration sensor of the first external electronic device at the time the corresponding input is received from the user can mean value.
  • a posture value of the first external electronic device corresponding to an exercise start point may be corrected based on the ground surface.
  • the attitude value of the first external electronic device according to the body coordinate system representing the degree of rotation of the first external electronic device about three axes is NEU (North, East, Up) centered on the ground surface. It can be corrected based on the coordinate system.
  • the operation of correcting the attitude value of the first external electronic device based on the ground surface is the operation of setting the attitude value of the roll and pitch of the first external electronic device to a value perpendicular to the direction of gravity and parallel to the ground surface.
  • the posture value of the first external electronic device (eg, corresponding to a movement start point) may be recognized as being parallel to the ground.
  • the operation 520 of estimating the exercise posture may include a direction in which the posture of the first external electronic device is changed and a changed posture based on sensor data about the posture of the first external electronic device obtained after the start of the exercise. It may include an operation of obtaining a degree, and an operation of estimating a changed exercise posture based on an initial posture corresponding to an exercise start time based on the changed direction and the changed degree.
  • the initial posture corresponding to the exercise start time may be manually set through settings provided by the user or may be set as a predetermined default value.
  • the initial posture may be set to any one of a standing posture perpendicular to the ground surface, a lying posture parallel to the ground surface, and a prone posture parallel to the ground surface.
  • a posture value of the first external electronic device obtained from a sensor of the first external electronic device may change according to a movement of a user wearing the first external electronic device.
  • the sensor data regarding the attitude of the first external electronic device may include attitude values of the first external electronic device acquired over time. Based on a difference between a posture value of the first external electronic device obtained in response to the exercise start time included in sensor data on the posture of the first external electronic device and a posture value of the first external electronic device obtained after the exercise start time Thus, the changed direction and the changed degree of the posture of the first external electronic device may be obtained.
  • the user's changed exercise posture may be estimated based on the user's initial posture corresponding to the exercise start time, based on the changed direction and change degree of the posture of the first external electronic device corresponding to the exercise start time.
  • FIGS. 8A to 8C are diagrams illustrating posture values of a first external electronic device according to a user's exercise posture.
  • the first external electronic device may correspond to a wearable device (eg, wireless earphone, glass) worn on the user's head (eg, ear, face).
  • a wearable device eg, wireless earphone, glass
  • the posture value of the first external electronic device corresponding to the exercise start time may be obtained as a value corresponding to the graph 810, and the user's initial posture corresponding to the exercise start time may be parallel to the ground surface. It can be set in a lying position.
  • the electronic device may recognize a posture value of the first external electronic device corresponding to the graph 810 received from the first external electronic device as a value corresponding to a posture lying in parallel.
  • the electronic device recognizes a posture value of the first external electronic device received in response to an exercise start time as a value of a posture lying parallel to the ground, so as to recognize roll and pitch values of the first external electronic device.
  • the user's exercise posture may be estimated regardless of how the first external electronic device is worn. In other words, even if the user wears the first external electronic device disposed in an inclined state at the time of starting the exercise, the posture value of the first external electronic device corresponding to the time of starting the exercise can be corrected to indicate a state parallel to the ground. , the exercise posture can be accurately estimated as a result.
  • the posture value of the first external electronic device (eg, when worn on the user's ear) is graphed as the user's head is tilted ( 820) may be changed to the value indicated.
  • the posture value of the first external electronic device worn on the user's ear is displayed in a graph 830 as the user's head tilts. It can be changed to the displayed value.
  • the first external electronic device based on a difference between the posture value of the first external electronic device obtained in correspondence with the exercise start time and the posture value of the first external electronic device obtained after the exercise start time, the first external electronic device The direction and degree of change of the posture value may be obtained, and the exercise posture of the user may be estimated based on the initial posture according to the direction and degree of change of the posture value of the first external electronic device. For example, based on the posture value of the first external electronic device corresponding to the exercise start time and the posture value of the first external electronic device changed after the exercise start time, the user's exercise posture is changed (eg, the initial posture is changed to an incline). or whether it has been changed to a decline, etc.) may be determined.
  • an operation 530 of estimating a change pattern of relative positions between external electronic devices is based on sensor data related to relative positions between external electronic devices obtained from the external electronic devices.
  • an operation of estimating a change pattern of relative positions of external electronic devices based on the movement start time point may be included.
  • operation 530 may include monitoring a distance between two external electronic devices corresponding to an exercise start time.
  • the monitoring operation may be performed using sensor data (eg, including data indicating a relative distance) obtained from an external electronic device, and then based on the sensor data indicating a distance over time, two external It may be estimated whether a pattern indicated by a change in distance between electronic devices corresponds to a preset known pattern.
  • the preset pattern may include a pattern in which the distance increases and then decreases, or a pattern in which the distance decreases and then increases.
  • Sensor data indicating a change in distance may be obtained using a distance sensor included in an external electronic device interlocked with the electronic device.
  • the distance sensor can measure the distance between another object and the sensor by using time-of-flight (TOF) calculated through, for example, ultrasonic waves or light rays transmitted from the sensor to another object and reflected back from the other object.
  • TOF time-of-flight
  • TOF time-of-flight
  • a distance sensor included in a specific external electronic device may measure a distance to another external electronic device to generate sensor data about the distance, and sensor data indicating the continuously measured distance for a predetermined time. can output
  • a change pattern of the distance may be detected. For example, the distance between the two external electronic devices may decrease after increasing or may increase after decreasing. Accordingly, a pattern indicating a change in relative positions and distances between external electronic devices may be estimated.
  • the type of motion may be classified according to whether the pattern of change in relative positions between the estimated external electronic devices increases and then decreases or decreases and then increases. For example, if a pattern in which the distance between external electronic devices obtained in correspondence with the exercise start time first increases and then decreases after the exercise start time is repeated, the type of exercise performed by the user may be classified as a pushing exercise type. can Also, for example, if a pattern in which the distance between external electronic devices obtained in correspondence with the start of an exercise first decreases and then increases after the start of an exercise is repeated, the type of exercise performed by the user is classified as a type of pulling exercise. It can be.
  • a height difference between the external electronic devices is determined.
  • An operation of estimating a relative position may be further included.
  • Sensor data about the height may be obtained based on an air pressure sensor included in an external electronic device.
  • the atmospheric pressure sensor is a sensor for detecting atmospheric pressure, and the height of the sensor can be measured using a characteristic that the atmospheric pressure decreases as the height increases.
  • a relative position considering a height difference between external electronic devices may be obtained based on sensor data indicating a height obtained from each external electronic device (eg, a height measured with respect to the earth's surface).
  • the movement direction of each of the external electronic devices is based on sensor data indicating the movement direction obtained from each of the external electronic devices. It may include an operation of estimating a change pattern of .
  • Sensor data regarding the movement direction may be obtained based on an inertial sensor included in an external electronic device.
  • the inertial sensor is a sensor that measures a specific force of the body, an angular ratio, and/or a magnetic field surrounding the body, and may include an acceleration sensor, a gyro sensor, and/or a geomagnetic sensor.
  • a change pattern of the movement direction of the external electronic device indicating whether the corresponding external electronic device is moving vertically, horizontally, and/or rotationally may be estimated based on sensor data indicating the movement direction acquired from the external electronic device. there is.
  • the operation 540 of generating exercise information may include an operation of generating exercise information based on the estimated exercise posture and the estimated change pattern of relative positions between external electronic devices.
  • the operation 540 of generating exercise information may include an operation of generating exercise information including a detailed posture of an exercise based on an inclination of the estimated exercise posture.
  • the information on the detailed posture of exercise may include information about the type of exercise classified into the detailed posture according to the inclination of the exercise posture.
  • the inclination of the exercise posture may include the inclination of the user's body with respect to a horizontal plane or the inclination changed based on the inclination of the user's body at the start of the exercise.
  • a bench press may be classified into detailed postures of a flat bench press, an incline bench press, and a decline bench press according to an inclination of an exercise posture.
  • the electronic device determines whether the detailed posture of the user performing the bench press corresponds to an incline bench press or a flat bench press, based on the pre-estimated inclination of the user's exercise posture according to operation 520. It is possible to generate information on whether the press is performed and whether it corresponds to the decline bench press.
  • the type of exercise performed by the user may be input to the electronic device by the user or may be estimated based on sensor data received from the electronic device. An operation of estimating the type of exercise performed by the user based on sensor data received from the electronic device will be described in detail below.
  • the electronic device may receive sensor data from an external electronic device and provide the user with information about a detailed posture of the exercise according to the inclination of the exercise posture.
  • the operation 540 of generating exercise information may include an operation of generating information about the number of repetitions of an exercise performed by a user based on a change pattern of the estimated relative positions of external electronic devices.
  • the electronic device may estimate the number of repetitions of the exercise performed by the user based on the number of repetitions of the change indicated in the change pattern (eg, pre-estimated by operation 530). For example, if a changing pattern in which the estimated distance between external electronic devices decreases and then increases shows a pattern that is repeated 10 times, it can be estimated that the user has repeated a counterable exercise such as push-up 10 times. .
  • the type of exercise performed by the user may be input to the electronic device by the user or may be estimated based on sensor data received from the electronic device.
  • the number of repetitions of an exercise may be estimated based on a signal pattern included in sensor data.
  • the pattern of the signal included in the sensor data may be converted into a signal of a pattern that can be counted by a signal processing technique.
  • Signal processing techniques may include, for example, filtering techniques.
  • a signal pattern 901 included in sensor data is a filter (eg, a filter that passes only about 2Hz frequency signal) 910 designed to pass desired components and filter out unwanted components. It can be converted into a signal 902 having a certain pattern based on.
  • an operation 540 of generating exercise information includes an exercise posture, a variation pattern of a distance between external electronic devices, a relative position according to a height between external electronic devices, and an external electronic device.
  • An operation of generating information about an exercise part based on a change pattern of each movement direction may be further included.
  • FIG. 10 when a wearable device worn on a wrist and a hearable device worn on an ear are included as external electronic devices, an exercise posture, a change pattern of a distance between external electronic devices, and a height between external electronic devices are varied.
  • An example of a movement part corresponding to a change pattern of a relative position and a movement direction of each of the external electronic devices is shown.
  • the pattern of change in the distance between external electronic devices estimated according to is a pattern that increases and then decreases
  • the pattern of change in the moving direction of an external electronic device is vertical motion
  • the relative position between external electronic devices according to the height is a wearable device (e.g., smart watch) is determined to be located above other wearable devices (eg, hearable devices such as earphones)
  • the electronic device determines that the user is performing a Lat Pull Down exercise and generates information indicating that the exercise part corresponds to the shoulder.
  • the electronic device may determine that the user performs a bench press exercise and generate information indicating that the exercise part corresponds to the chest.
  • the electronic device may determine that the user performs a wide squat and generate information indicating that the exercise part corresponds to the inner thigh.
  • exercise information generated according to operation 540 may be output through an output module such as a display and/or a speaker of an electronic device.
  • exercise information generated according to operation 540 may be provided to the user through an interface output from a display of the electronic device shown in FIGS. 11A and 11B .
  • exercises performed by the user may be displayed as one exercise item (eg, strength exercise), and the user may select the corresponding exercise item to check information.
  • the exercise information of the exercise item may include calories consumed according to the type of exercise, exercise time, and number of repetitions of the exercise, and as described above, the detailed posture of the exercise according to the estimated exercise posture (eg, bench press, incline bench) press).
  • the information about the detailed posture of exercise may include information about the number of repetitions of the exercise corresponding to the detailed posture of exercise, the exercise time, and the calories consumed by performing the exercise.
  • the result of the exercise performed by the user is not divided into items according to the detailed posture, but one item (eg : strength training).
  • exercises in which detailed postures can be grasped may be shown by item, and exercises in which detailed postures cannot be distinguished may be grouped and shown as one item (eg, strength exercise).
  • exercise information generated according to operation 540 may be transmitted to an external electronic device interlocked with the electronic device, and may be provided to the user through an output module of the external electronic device.
  • exercise information generated according to operation 540 may be provided to the user through an interface output from a display of a smart watch, which is an external electronic device linked to the electronic device shown in FIGS. 12A and 12B.
  • exercise information provided to the user may include information about detailed postures (eg, decline bench press, incline bench press) of an exercise according to an estimated exercise posture.
  • exercise information provided to a user may include information about an exercise part. The information about the exercise part may include the exercise rate for each exercise part.
  • An electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 401 of FIG. 4 ) according to an embodiment includes a plurality of external electronic devices wearable on a user's body (eg, the external electronic device of FIG. 4 ).
  • the heartbeat obtained from at least one of a communication module (eg, the communication module 190 of FIG. 1 or the communication module 190 of FIG. 4 ) that communicates with the electronic devices 402 and 403 and external electronic devices.
  • At least one processor eg, the processor 120 of FIG. 1 or the processor 120 of FIG. 4 ) generating exercise information based on the estimated exercise posture and the estimated change pattern of relative positions between external electronic devices; and It may include an output module (eg, the input module 150 of FIG. 1 , the sound output module 155 , the display module 160 , or the input/output module 410 of FIG. 4 ) that outputs the generated exercise information.
  • an output module eg, the input module 150 of FIG. 1 , the sound output module 155 , the display module 160 , or the input/output module 410 of FIG. 4 ) that outputs the generated exercise information.
  • the communication module may communicate with an external electronic device interlocked with the electronic device, and may receive, for example, data sensed by a sensor of the external electronic device. Also, data generated or processed by the electronic device may be transmitted to the external electronic device, and data received from another external electronic device may be transmitted to the external electronic device.
  • a processor may be operatively connected to an input/output module, a communication module, and a memory, and may perform an operation of an electronic device.
  • the processor may receive data sensed from at least one external electronic device worn by the user of the electronic device during exercise, and generate exercise information corresponding to the user.
  • the operation of the electronic device for generating exercise information performed by the processor is the same as described above with reference to FIG. 5 .
  • An input/output module may include an input module (eg, the input module 150 of FIG. 1 ) and an output module (eg, the sound output module 155 and/or the display module 160 of FIG. 1 ). there is.
  • the output module is a module for displaying information generated by the processor to a user, and may include, for example, a display.
  • FIG. 13 is a block diagram of a wearable device interworking with an external electronic device according to an embodiment.
  • a wearable device according to an embodiment (eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIG. 2A , the electronic device 200 of FIG. 2B , or the electronic device of FIG. 3 ( 300) 1301 is a sensor module (eg, sensor module 176 of FIG. 1) 176, a communication module (eg, communication module 190 of FIG. 1) 190, a processor (eg, FIG. 1 processor 120) 120, an input/output module (eg, input module 150 of FIG. 1 , sound output module 155 and/or display module 160) 1310 and a memory (eg, memory of FIG.
  • the wearable device 1301 may include, for example, a smart watch. In addition to the configuration shown in FIG. 13 , the wearable device 1301 may further include the configuration of the electronic device 101 described above with reference to FIG. 1 .
  • the wearable device 1301 according to an embodiment may interwork with other electronic devices (eg, the electronic device 101 of FIG. 1 or the electronic device 401 of FIG. 4 ) as well as the external electronic device 1302 .
  • the wearable device 1301 is interlocked with at least one external electronic device 1302 and includes a sensor module 176 including at least one sensor and a user wearing the wearable device 1301 sensed by the sensor.
  • the user's exercise start time is determined based on the sensor data related to the heartbeat corresponding to
  • the user's exercise posture is estimated based on the sensor data related to the posture of the wearable device 1301 sensed by the sensor, and the sensor Based on the sensor data of the sensed relative position with the external electronic device 1302, a change pattern of the relative position with the external electronic device 1302 is estimated based on the exercise start time, and the estimated exercise posture and the estimated external electronic device 1302 are estimated.
  • It may include at least one processor 120 that generates exercise information based on a change pattern of a position relative to the electronic device 1302 and an output module 1310 that outputs the generated exercise information.
  • FIG. 14 is an operational flowchart of a method of operating a wearable device according to an exemplary embodiment.
  • a wearable device eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIG. 2A , the electronic device 200 of FIG. 2B , and the electronic device of FIG. 3
  • the operation method of 300 or the electronic device 1301 of FIG. 13 includes obtaining sensor data (1410), determining an exercise start time (1420), estimating an exercise posture (1430), and an external electronic device. It may include an operation 1440 of estimating a change pattern of a position relative to the device and an operation 1450 of generating motion information.
  • a method of operating an electronic device according to an embodiment may be performed by a processor (eg, the processor 120 of FIG. 1 or the processor 120 of FIG. 13 ) of the electronic device.
  • the wearable device interworks with at least one external electronic device (eg, the external electronic device 402 or 403 of FIG. 4 or the external electronic device 1302 of FIG. 13 ), and operates the wearable device.
  • the method includes obtaining sensor data based on at least one sensor included in a wearable device and at least one sensor included in an external electronic device, based on sensor data related to a heartbeat corresponding to a user wearing the wearable device.
  • Determining the user's exercise start time, estimating the user's exercise posture based on the sensor data on the posture of the wearable device, and the exercise start time based on the sensor data on the relative position with the external electronic device It may include an operation of estimating a change pattern of a position relative to an external electronic device based on and an operation of generating exercise information based on the estimated exercise posture and the estimated change pattern of a position relative to an external electronic device.
  • a wearable device may obtain sensor data from a sensor included in the wearable device as well as a sensor included in an interlocked external electronic device. While the operating method of the electronic device described above in FIG. 5 includes operations using sensor data acquired from at least one of external electronic devices interlocked with the electronic device, the operating method of the wearable device uses sensor data acquired from its own sensor. There is a difference in that it includes an operation using . Operations 1420 to 1450 of the wearable device according to an embodiment are similar to those of FIG. 5 except for differences in whether sensor data obtained from other devices or sensor data obtained from a sensor included in its own configuration are used. may correspond to the operations 510 to 540 described above in
  • the exercise information generated by the wearable device is transmitted to a user's electronic device (eg, smart phone) linked with the wearable device or a server that stores existing exercise information corresponding to the user for continuity of use. and the transmitted exercise information may be displayed through an output module (eg, display) of a user's electronic device linked with the wearable device.
  • a wearable device that generates and stores exercise information, a user's electronic device linked with the wearable device, and a server that stores exercise information corresponding to the user are periodically synchronized so that the exercise information generated on one side is It can be updated on other devices and provide the same workout information to the user.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Telephone Function (AREA)

Abstract

실시 예는 전자 장치 및 그의 동작 방법에 관한 것이다. 제1 및 제2 전자 장치는 센서 데이터를 수신하고, 제1 센서 데이터에 기초하여 운동 시작 시점을 판단하고, 제2 센서 데이터에 기초하여, 사용자의 운동 자세를 추정하고, 제3 센서 데이터에 기초하여, 판단된 운동 시작 시점 이후의 일정 기간 동안 복수의 외부 전자 장치들 각각의 상대적 위치의 변화가 지시하는 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하고, 추정된 운동 자세 및 추정된 외부 전자 장치들 간의 거리의 변화 패턴에 기초하여, 운동 정보를 생성하는 동작을 포함하는 하나 이상의 방법을 수행하는 프로세서를 포함한다.

Description

센서를 포함하는 전자 장치 및 그의 동작 방법
본 발명의 일 실시 예은 사용자 활동을 추적하는 다중 장치에 관한 것으로, 보다 구체적으로 복수의 전자 장치들을 이용하여 사용자의 운동 활동을 추적하는 것에 관한 것이다.
최근 스마트 폰, 모바일 장치와 같은 다른 전자 장치와 연동되는 스마트 워치, 무선 이어폰과 같은 웨어러블 장치의 사용이 증가하고 있다. 웨어러블 장치는 사용자의 신체 일부(예: 손목 또는 귀)에 착용할 수 있고, 사용자의 신체에 관한 정보를 측정하여 운동 및 건강과 관련된 유용한 정보를 제공하기 위해 이용될 수 있다. 이에, 모바일 장치와 웨어러블 장치의 연동을 통해 사용자에게 유용한 정보를 제공하기 위한 기술 및 서비스의 개발의 필요성이 증대되고 있다.
본 발명의 일 실시 예은 사용자의 신체에 착용되는 웨어러블 장치로부터 검출된 정보에 기초하여, 사용자의 운동 시작 시점, 운동 자세, 운동 종류와 같은 운동 관련 정보를 웨어러블 장치와 전자 장치의 연동을 통해 제공하기 위한 것이다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측에 따른 복수의 외부 전자 장치들과 연동되는 전자 장치의 동작 방법은 통신 회로를 통해, 심박수를 포함하는 제1 센서 데이터, 상기 복수의 외부 전자 장치들 중 제1 외부 전자 장치의 자세를 지시하는 제2 센서 데이터, 복수의 외부 전자 장치 사이들 사이의 상대적 위치를 지시하는 제3 센서 데이터를 수신하는 단계; 적어도 하나의 프로세서를 통해, 상기 제1 센서 데이터에 기초하여 운동 시작 시점을 판단하는 동작; 상기 제2 센서 데이터에 기초하여, 상기 사용자의 운동 자세를 추정하는 동작; 상기 제3 센서 데이터에 기초하여, 상기 판단된 운동 시작 시점 이후의 일정 기간 동안 상기 복수의 외부 전자 장치들 각각의 상대적 위치의 변화가 지시하는 상기 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하는 동작; 및 상기 추정된 운동 자세 및 상기 추정된 외부 전자 장치들 간의 거리의 변화 패턴에 기초하여, 운동 정보를 생성하는 동작을 포함한다.
일 측에 따른 전자 장치는 사용자의 신체에 착용 가능한 복수의 외부 전자 장치들과 통신을 수행하는 통신 회로; 제1 센서 데이터에 기초하여 운동 시작 시점을 판단하고, 제2 센서 데이터에 기초하여, 상기 사용자의 운동 자세를 추정하고, 제3 센서 데이터에 기초하여, 상기 판단된 운동 시작 시점 이후의 일정 기간 동안 상기 복수의 외부 전자 장치들 각각의 상대적 위치의 변화가 지시하는 상기 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하고, 상기 추정된 운동 자세 및 상기 추정된 외부 전자 장치들 간의 거리의 변화 패턴에 기초하여, 운동 정보를 생성하는, 적어도 하나의 프로세서를 포함한다.
일 측에 따른 적어도 하나의 외부 전자 장치와 연동되는 웨어러블 장치는 적어도 하나의 센서를 포함하는 센서 모듈; 출력 모듈; 및 상기 웨어러블 장치를 착용한 사용자의 심박을 포함하는 상기 센서 모듈을 통해 검출된 제1 센서 데이터에 기초하여, 상기 사용자의 운동 시작 시점을 판단하고, 상기 센서 모듈에 의해 검출된 상기 웨어러블 장치의 자세를 지시하는 제2 센서 데이터에 기초하여, 상기 사용자의 운동 자세를 추정하고, 상기 운동 시작 시점 및 상기 운동 시작 시점 이후의 일정 기간 동안 상기 외부 전자 장치와의 거리를 모니터링하는 상기 센서 모듈에서 검출된 제3 센서 데이터에 기초하여, 상기 외부 전자 장치와의 거리의 변화 패턴을 추정하고, 상기 추정된 운동 자세 및 상기 추정된 외부 전자 장치와의 거리의 변화 패턴 중 적어도 하나에 기초하여, 운동 정보를 생성하며, 상기 생성된 운동 정보를 상기 출력 모듈을 통해 출력하는, 적어도 하나의 프로세서를 포함한다.
본 발명의 일 실시 예은 전자 장치 및 적어도 하나의 외부 전자 장치를 이용하여 사용자의 자세를 세분화하여 구분하고 사용자의 다른 부분에 부착된 외부 전자 장치의 센서 데이터를 이용하여 운동 카테고리 별 세부 운동 정보를 사용자에게 제공할 수 있다.
본 발명의 일 실시 예은 전자 장치의 생체 센서를 통해 수신되는 생체 신호 정보에 의해 지시되는 변화 패턴을 이용하여 사용자의 실제 운동 시작 시점을 정확하게 판단할 수 있다. 관성 센서와 거리 센서 등을 이용하여 운동 카테고리 별 세부 운동을 자동으로 구분할 수 있다. 또한, 운동 종료 후 사용자에게 세분화되고 디테일한 운동 정보를 제공할 수 있다.
도 1은 일 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도 2a 및 도 2b는 일 실시예에 따른 전자 장치의 사시도들이다.
도 3은 일 실시예에 따른 전자 장치의 분해 사시도이다.
도 4는 일 실시 예에 따른 외부 전자 장치와 연동된 전자 장치의 블록도이다.
도 5는 일 실시 예에 따른 전자 장치의 동작 방법에 관한 동작 흐름도이다.
도 6a 및 도 6b는 일 실시 예에 따른, 각각 제1 사용자 및 제2 사용자로부터 획득된 PPG 파형을 도시한 도면이다.
도 7a는 일 실시 예에 따른, 동체 좌표계에 따른 자세 값을 NEU 좌표계에 따른 자세 값으로 보정하는 방법을 설명하기 위한 도면이다.
도 7b는 일 실시 예에 따른, 롤 및 피치에 관한 자세 값을 중력에 수직하는 지표면과 평행한 값으로 보정하는 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8c는 일 실시 예에 따른, 사용자의 운동 자세에 대응하는 제1 외부 전자 장치의 자세 값을 도시한 도면들이다.
도 9는 일 실시 예에 따른, 센서 데이터에 포함된 신호의 패턴을 필터링하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른, 운동 부위에 관한 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 11a 및 도 11b는 일 실시 예에 따른, 전자 장치의 디스플레이에서 출력되는 인터페이스를 예시한 도면들이다.
도 12a 및 도 12b는 일 실시 예에 따른, 외부 전자 장치의 디스플레이에서 출력되는 인터페이스를 예시한 도면들이다.
도 13은 일 실시 예에 따른 외부 전자 장치와 연동된 웨어러블 장치의 블록도이다.
도 14는 일 실시 예에 따른 웨어러블 장치의 동작 방법에 관한 동작 흐름도이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 일 실시 예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 프로세서(123)를 포함하는 경우, 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. 비휘발성 메모리(134)는 내장메모리(136) 및 외장메모리(138)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2a 및 2b를 참조하면, 일 실시예에 따른 전자 장치(200)(예: 도 1의 전자 장치(101))는, 제1 면(또는 전면)(210A), 제 2 면(또는 후면)(210B), 및 제1 면(210A) 및 제 2 면(210B) 사이의 공간을 둘러싸는 측면(210C)을 포함하는 하우징(210)과, 상기 하우징(210)의 적어도 일부에 연결되고 상기 전자 장치(200)를 사용자의 신체 일부(예: 손목, 발목 등)에 탈착 가능하게 결착하도록 구성된 결착 부재(250, 260)를 포함할 수 있다. 다른 실시예(미도시)에서는, 하우징은, 도 2a의 제1 면(210A), 제2 면(210B) 및 측면(210C)들 중 일부를 형성하는 구조를 지칭할 수도 있다. 일 실시예에 따르면, 제1 면(210A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(201)(예: 다양한 코팅 레이어들을 포함하는 글라스 플레이트, 또는 폴리머 플레이트)에 의하여 형성될 수 있다. 제2 면(210B)은 실질적으로 불투명한 후면 플레이트(207)에 의하여 형성될 수 있다. 상기 후면 플레이트(207)는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 상기 측면(210C)은, 전면 플레이트(201) 및 후면 플레이트(207)와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 베젤 구조 (또는 “측면 부재”)(206)에 의하여 형성될 수 있다. 어떤 실시예에서는, 후면 플레이트(207) 및 측면 베젤 구조(206)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다. 상기 결착 부재(250, 260)는 다양한 재질 및 형태로 형성될 수 있다. 직조물, 가죽, 러버, 우레탄, 금속, 세라믹, 또는 상기 물질들 중 적어도 둘의 조합에 의하여 일체형 및 복수의 단위 링크가 서로 유동 가능하도록 형성될 수 있다.
일 실시예에 따르면, 전자 장치(200)는, 디스플레이(220, 도 3 참조), 오디오 모듈(예: 마이크 홀(205), 또는 스피커 홀(208)), 센서 모듈(211), 키 입력 장치(202, 203, 204) 및 커넥터 홀(209) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(200)는, 구성요소들 중 적어도 하나(예: 키 입력 장치(202, 203, 204), 커넥터 홀(209), 또는 센서 모듈(211))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다.
디스플레이(220)는, 예를 들어, 전면 플레이트(201)의 상당 부분을 통하여 노출될 수 있다. 디스플레이(220)의 형태는, 상기 전면 플레이트(201)의 형태에 대응하는 형태일 수 있으며, 원형, 타원형, 또는 다각형 등 다양한 형태일 수 있다. 디스플레이(220)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 지문 센서와 결합되거나 인접하여 배치될 수 있다.
오디오 모듈은, 마이크 홀(205) 및 스피커 홀(208)을 포함할 수 있다. 마이크 홀(205)은 외부의 소리를 획득하기 위한 마이크가 내부에 배치될 수 있고, 어떤 실시예에서는 소리의 방향을 감지할 수 있도록 복수개의 마이크가 배치될 수 있다. 스피커 홀(208)은, 외부 스피커 및 통화용 리시버로 사용할 수 있다. 어떤 실시예에서는 스피커 홀(208)과 마이크 홀(205)이 하나의 홀로 구현 되거나, 스피커 홀(208) 없이 스피커가 포함될 수 있다(예: 피에조 스피커).
센서 모듈(211)은, 전자 장치(200)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(211)은, 예를 들어, 상기 하우징(210)의 제 2 면(210B)에 배치된 생체 센서 모듈(211)(예: HRM 센서)을 포함할 수 있다. 전자 장치(200)는, 도시되지 않은 센서 모듈, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다.
센서 모듈(211)은 전자 장치(200)의 표면의 일부를 형성하는 전극 영역(213, 214) 및 전극 영역(213, 214)과 전기적으로 연결되는 생체 신호 검출 회로(미도시)를 포함할 수 있다. 예를 들어, 전극 영역(213, 214)은 하우징(210)의 제2 면(210B)에 배치되는 제1 전극 영역(213)과 제2 전극 영역(214)을 포함할 수 있다. 센서 모듈(211)은 전극 영역(213, 214)이 사용자의 신체 일부로부터 전기 신호를 획득하고, 생체 신호 검출 회로가 상기 전기 신호에 기반하여 사용자의 생체 정보를 검출하도록 구성될 수 있다.
키 입력 장치(202, 203, 204)는, 하우징(210)의 제 1 면(210A)에 배치되고 적어도 하나의 방향으로 회전 가능한 휠 키(202), 및/또는 하우징(210)의 측면(210C)에 배치된 사이드 키 버튼(203, 204)을 포함할 수 있다. 휠 키는 전면 플레이트(201)의 형태에 대응하는 형태일 수 있다. 다른 실시예에서는, 전자 장치(200)는 상기 언급된 키 입력 장치(202, 203, 204)들 중 일부 또는 전부를 포함하지 않을 수 있고 포함 되지 않은 키 입력 장치(202, 203, 204)는 디스플레이(220) 상에 소프트 키 등 다른 형태로 구현될 수 있다. 커넥터 홀(209)은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예를 들어, USB 커넥터)를 수용할 수 있고 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 다른 커넥터 홀(미도시))을 포함할 수 있다. 전자 장치(200)는, 예를 들면, 커넥터 홀(209)의 적어도 일부를 덮고, 커넥터 홀에 대한 외부 이물질의 유입을 차단하는 커넥터 커버(미도시)를 더 포함할 수 있다.
결착 부재(250, 260)는 락킹 부재(251, 261)를 이용하여 하우징(210)의 적어도 일부 영역에 탈착 가능하도록 결착될 수 있다. 결착 부재(250, 260)는 고정 부재(252), 고정 부재 체결 홀(253), 밴드 가이드 부재(254), 밴드 고정 고리(255) 중 하나 또는 그 이상을 포함할 수 있다.
고정 부재(252)는 하우징(210)과 결착 부재(250, 260)를 사용자의 신체 일부(예: 손목, 발목 등)에 고정시키도록 구성될 수 있다. 고정 부재 체결 홀(253)은 고정 부재(252)에 대응하여 하우징(210)과 결착 부재(250, 260)를 사용자의 신체 일부에 고정시킬 수 있다. 밴드 가이드 부재(254)는 고정 부재(252)가 고정 부재 체결 홀(253)과 체결 시 고정 부재(252)의 움직임 범위를 제한하도록 구성됨으로써, 결착 부재(250, 260)가 사용자의 신체 일부에 밀착하여 결착되도록 할 수 있다. 밴드 고정 고리(255)는 고정 부재(252)와 고정 부재 체결 홀(253)이 체결된 상태에서, 결착 부재(250,260)의 움직임 범위를 제한할 수 있다.
도 3을 참조하면, 전자 장치(300)(예: 도 1의 전자 장치(101) 또는 도 2a 및 도 2b의 전자 장치(200))는 측면 베젤 구조(310), 휠 키(320), 전면 플레이트(201), 디스플레이(220), 제 1 안테나(350), 제 2 안테나(355), 지지 부재(360)(예: 브라켓), 배터리(370), 인쇄 회로 기판(380), 실링 부재(390), 후면 플레이트(393), 및 결착 부재(395, 397)를 포함할 수 있다. 전자 장치(300)의 구성요소들 중 적어도 하나는, 도 1, 또는 도 2a 및 도 2b의 전자 장치(200)의 구성요소들 중 적어도 하나와 동일, 또는 유사할 수 있으며, 중복되는 설명은 이하 생략한다. 지지 부재(360)는, 전자 장치(300) 내부에 배치되어 측면 베젤 구조(310)와 연결될 수 있거나, 상기 측면 베젤 구조(310)와 일체로 형성될 수 있다. 지지 부재(360)는, 예를 들어, 금속 재질 및/또는 비금속 (예: 폴리머) 재질로 형성될 수 있다. 지지 부재(360)는, 일면에 디스플레이(220)가 결합되고 타면에 인쇄 회로 기판(380)이 결합될 수 있다. 인쇄 회로 기판(380)에는, 프로세서, 메모리, 및/또는 인터페이스가 장착될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 어플리케이션 프로세서, GPU(graphic processing unit), 어플리케이션 프로세서 센서 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
메모리는, 예를 들어, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 인터페이스는, 예를 들어, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스), SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다. 인터페이스는, 예를 들어, 전자 장치(300)를 외부 전자 장치와 전기적 또는 물리적으로 연결시킬 수 있으며, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터를 포함할 수 있다.
배터리(370)는, 전자 장치(300)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 배터리(370)의 적어도 일부는, 예를 들어, 인쇄 회로 기판(380)과 실질적으로 동일 평면 상에 배치될 수 있다. 배터리(370)는 전자 장치(200) 내부에 일체로 배치될 수 있고, 전자 장치(200)와 탈부착 가능하게 배치될 수도 있다.
제 1 안테나(350)는 디스플레이(220)와 지지부재(360) 사이에 배치될 수 있다. 제 1 안테나(350)는, 예를 들어, NFC(near field communication) 안테나, 무선 충전 안테나, 및/또는 MST(magnetic secure transmission) 안테나를 포함할 수 있다. 제 1 안테나(350)는, 예를 들어, 외부 장치와 근거리 통신을 하거나, 충전에 필요한 전력을 무선으로 송수신 할 수 있고, 근거리 통신 신호 또는 결제 데이터를 포함하는 자기-기반 신호를 송출할 수 있다. 다른 실시예에서는, 측면 베젤 구조(310) 및/또는 상기 지지부재(360)의 일부 또는 그 조합에 의하여 안테나 구조가 형성될 수 있다.
제 2 안테나(355)는 인쇄 회로 기판(380)과 후면 플레이트(393) 사이에 배치될 수 있다. 제 2 안테나(355)는, 예를 들어, NFC(near field communication) 안테나, 무선 충전 안테나, 및/또는 MST(magnetic secure transmission) 안테나를 포함할 수 있다. 제 2 안테나(355)는, 예를 들어, 외부 장치와 근거리 통신을 하거나, 충전에 필요한 전력을 무선으로 송수신 할 수 있고, 근거리 통신 신호 또는 결제 데이터를 포함하는 자기-기반 신호를 송출할 수 있다. 다른 실시예에서는, 측면 베젤 구조(310) 및/또는 상기 후면 플레이트(393)의 일부 또는 그 조합에 의하여 안테나 구조가 형성될 수 있다.
실링 부재(390)는 측면 베젤 구조(310)와 후면 플레이트(393) 사이에 위치할 수 있다. 실링 부재(390)는, 외부로부터 측면 베젤 구조(310)와 후면 플레이트(393)에 의해 둘러싸인 공간으로 유입되는 습기와 이물을 차단하도록 구성될 수 있다.
도 4는 일 실시 예에 따른 외부 전자 장치와 연동된 전자 장치의 블록도이다.
도 4를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101))(401)는 통신 모듈(예: 도 1의 통신 모듈(190))(190), 프로세서(예: 도 1의 프로세서(120))(120), 입출력 모듈(예: 도 1의 입력 모듈(150), 음향 출력 모듈(155) 및/또는 디스플레이 모듈(160))(410) 및 메모리(예: 도 1의 메모리(130))(130)를 포함할 수 있으며, 복수의 외부 전자 장치(402, 403)와 연동될 수 있다. 전자 장치(401)는 예를 들어, 모바일 단말, 태블릿, PC를 포함할 수 있다. 전자 장치(401)는 도 4에 도시된 구성 외에도 센서 모듈(예: 도 1의 센서 모듈(176))과 같이 도 1에서 상술한 전자 장치(101)의 구성을 더 포함할 수 있다.
일 실시 예에 따른 외부 전자 장치(402, 403)는 전자 장치의 사용자의 신체에 착용될 수 있는 전자 장치로, 예를 들어 스마트 워치, 패치와 같은 웨어러블 장치 및 이어폰과 같은 히어러블 장치를 포함할 수 있다. 외부 전자 장치(402, 403)는 프로세서, 통신 모듈 및 적어도 하나의 센서를 포함할 수 있다. 외부 전자 장치(402, 303)는 통신 모듈을 통해 연동된 전자 장치와 통신을 수행할 수 있으며, 예를 들어 센서에서 센싱된 데이터를 연동된 전자 장치(401)로 전송할 수 있다.
센서는 어떤 대상의 물리량(예: 온도, 빛, 색, 압력, 자기, 속도, 가속도)을 측정하여 기계가 취급할 수 있는 신호(예: 전기 신호)로 치환하는 소자 및 장치로, 예를 들어 생체 센서(biometric sensor), 자이로 센서, 가속도 센서, 지자계 센서 거리 센서, 높이 센서, 압력 센서를 포함할 수 있다.
도 5는 일 실시 예에 따른 전자 장치의 동작 방법에 관한 동작 흐름도이다.
도 5를 참조하면, 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 도 4의 전자 장치(401))의 동작 방법은 운동 시작 시점을 판단하는 동작(510), 운동 자세를 추정하는 동작(520), 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하는 동작(530) 및 운동 정보를 생성하는 동작(540)을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 4의 프로세서(120))에서 수행될 수 있다.
보다 구체적으로, 일 실시 예에 따른 전자 장치는 복수의 외부 전자 장치들(예: 도 4의 외부 전자 장치들(402, 403))과 연동되며, 전자 장치의 동작 방법은 외부 전자 장치들 중 적어도 하나에서 획득된 심박에 관한 센서 데이터에 기초하여, 외부 전자 장치들을 착용한 사용자의 운동 시작 시점을 판단하는 동작(510), 연동된 외부 전자 장치들 중 제1 외부 전자 장치에서 획득된 제1 외부 전자 장치의 자세에 관한 센서 데이터에 기초하여, 사용자의 운동 자세를 추정하는 동작(520), 외부 전자 장치들에서 획득된 외부 전자 장치들 간의 상대적 위치에 관한 센서 데이터에 기초하여, 운동 시작 시점을 기준으로 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하는 동작(530) 및 추정된 운동 자세 및 추정된 외부 전자 장치들 간의 상대적 위치의 변화 패턴에 기초하여, 운동 정보를 생성하는 동작(540)을 포함할 수 있다.
일 실시 예에 따른 운동 시작 시점을 판단하는 동작(510)은 외부 전자 장치들 중 적어도 하나에서 획득된 심박을 지시하는 센서 데이터에 기초하여, 외부 전자 장치들을 착용한 사용자의 운동 시작 시점을 판단하는 동작을 포함할 수 있다. 심박을 지시하는 센서 데이터는 전자 장치와 연동된 적어도 하나의 외부 전자 장치에 포함된 생체 센서를 이용하여 획득될 수 있다. 생체 센서는 사용자의 신체의 일부(예: 손가락 끝 및/또는 손목)에 대한 생체 신호(biosignal)(예: 생체 인식 신호(biometric signal))를 측정하여 전기적 신호로 변환하는 센서이다. 예를 들어 생체 센서는 PPG(photoplethysmograph) 센서, 및/또는 ECG(electrocardiograph) 센서를 포함할 수 있다. 이하에서, PPG 센서를 이용하여 심박을 검출하는 실시 예를 설명한다. 이는 설명의 편의를 위한 것으로 생체 센서를 PPG 센서로 한정하는 것은 아니다.
일 실시 예에 따른 심박을 지시하는 센서 데이터는 생체 센서에 의해 검출된 바와 같이, 심박에 관한 생체 신호의 측정 값을 시간의 흐름에 따라 나타낸 심박에 관한 파형을 포함할 수 있다. 일 예로, PPG 센서는 외부 전자 장치를 착용한 사용자의 신체의 조직으로 방출되는 빛(예: LED)과 연동될 수 있다. 빛은 부터 반사 또는 투과된 빛(예: LED)과 연동될 수 있다. 빛은 신체 조직, 혈액 등을 만나면 PPG 센서 쪽으로 다시 반사될 수 있으며, PPG 센서는 검출된 빛을 검출된 빛의 광량 혹은 품질을 지시하는 값에 대응하는 전자기 값으로 변환할 수 있다. PPG 센서는 일정 시간 동안 생체 신호에 대응하는 측정 값을 생성함으로써, 시간의 흐름에 따른 혈류량의 변화 그래프에 대응하는 PPG 파형을 출력할 수 있다. PPG 파형은 심장주기의 수축기와 이완기 사이에서 발생하는 혈류량 변화에 대응하는 전기적 신호를 나타낼 수 있다. PPG 파형은 심박을 지시하는 파형에 해당할 수 있다.
예를 들어, 도 6a 및 도 6b는 각각 제1 사용자 및 제2 사용자로부터 획득된 PPG 파형을 도시한다. 도 6a 및 도 6b를 참조하면, 운동을 하고 있지 않은 휴지 상태(610, 630)에는 일정한 패턴이 반복되는 PPG 파형이 나타나며, 운동 상태(620, 640)에서는 PPG 파형의 변동 폭이 휴지 상태(610, 630)의 변동 폭에 비해 크게 나타나는 것과 같이 휴지 상태(610, 630)와 다른 모양의 PPG 파형이 나타날 수 있다. 운동 상태(620, 640)와 휴지 상태(610, 630)에서 PPG 파형이 달라지는 점을 이용하여 PPG 파형으로부터 운동 시작 시점을 판단할 수 있다.
일 실시 예에 따른 전자 장치는 심박에 관한 파형의 피크 값들 간의 비율에 기초하여 운동 시작 시점을 판단할 수 있다. 전자 장치는 외부 전자 장치로부터 획득된 센서 데이터에 기초하여, 심박에 관한 파형의 피크 값을 획득할 수 있다. 심박에 관한 파형의 피크 값은 심박에 관한 파형 내 단일 주기에서 가장 큰 측정 값을 의미하는 것으로, 예를 들어 도 6a의 지점들(611 내지 615, 및 621)에 대응하는 y 값들이 피크 값들에 해당할 수 있다.
동작(510)은 심박에 관한 센서 데이터에 기초하여, 심박을 지시하는 파형의 제1 피크 값 및 제2 피크 값을 획득하는 동작, 제1 피크 값 및 제2 피크 값의 비율을 미리 정해진 임계 값과 비교하는 동작, 및 비교 결과에 기초하여, 제1 피크 값에 대응하는 시점을 운동 시작 시점으로 판단하는 동작을 포함할 수 있다. 제1 피크 값 및 제2 피크 값의 비율은 예를 들어, 제1 피크 값/제2 피크 값에 해당할 수 있다. 이하에서, 제1 피크 값 및 제2 피크 값의 비율 제1 피크 값/제2 피크 값인 것으로 예를 들어 설명한다.
일 실시 예에 따르면, 제1 피크 값은 심박에 관한 파형에 대응하여 가장 최근에 획득된 피크 값을 포함할 수 있다. 예를 들어, 도 6a에서 현재 시점이 시점 t1인 경우 제1 피크 값은 지점(613)에 대응하는 y값이고, 현재 시점이 시점 t2인 경우 제1 피크 값은 지점(621)에 대응하는 y값에 해당할 수 있다.
일 실시 예에 따르면, 제2 피크 값은 심박에 관한 파형에 대응하여 상기 제1 피크 값 이전에 획득된 적어도 하나의 피크 값에 기초한 값을 포함할 수 있다. 예를 들어, 제2 피크 값은 제1 피크 값 직전에 획득된 피크 값, 제1 피크 값 이전에 획득된 피크 값들의 평균, 혹은 제1 피크 값 이전에 획득된 피크 값들의 최대 값에 해당할 수 있다.
도 6a에 도시된 제1 사용자의 심박에 관한 파형의 예에서, 제2 피크 값은 제1 피크 값 이전에 획득된 피크 값들의 최대 값으로 결정되는 경우, t2 시점에 제1 사용자에 대응하는 제1 피크 값은 지점(621)의 y값인 1639, 제2 피크 값은 제1 피크 값 이전에 획득된 피크 값들 중 최대 값인 지점(613)의 y값인 397로 획득될 수 있다. 도 6b에 도시된 제2 사용자의 심박에 관한 파형의 예에서, 제2 피크 값은 제1 피크 값 이전에 획득된 피크 값들의 최대 값으로 결정되는 경우, t2 시점에 제2 사용자에 대응하는 제1 피크 값은 지점(641)의 y값인 2056, 제2 피크 값은 제1 피크 값 이전에 획득된 피크 값들 중 최대 값인 지점(631)의 y값인 503.7으로 획득될 수 있다. 제1 사용자 및 제2 사용자 각각에 대응하는 제1 피크 값(max_g) 및 제2 피크 값(max_h)의 비율(max_g/max_h)은 아래의 표 1과 같이 계산될 수 있다.
　 max_g max_h max_g/max_h
제1 사용자 1639 397 1639/397 = 4.12
제2 사용자 2056 503 2056/503 = 4.08
상술한 바와 같이, PPG 파형의 크기 및/또는 주기는 동일한 운동을 수행하더라도 다양한 요인에 의해 사용자마다 다르게 나타날 수 있으나, 제1 피크 값 및 제2 피크 값의 비율은 비교적 일정하게 나타남을 알 수 있다.
일 예로, 제1 피크 값 및 제2 피크 값의 비율이 미리 정해진 임계 값(예: 4)를 초과하는 경우, 제1 피크 값에 대응하는 시점을 운동 시작 시점으로 판단될 수 있다. 한편, 제1 피크 값 및 제2 피크 값의 비율이 미리 정해진 임계 값 이하인 경우, 제1 피크 값에 대응하는 시점은 운동 시작 시점으로 판단되지 않으며, 제1 피크 값은 제2 피크 값의 갱신을 위해 이용되고, 이후 수신되는 심박에 관한 센서 데이터에 기초하여, 제1 피크 값이 다시 획득될 수 있다.
예를 들어, 도 6a를 참조하면, 현재 시점이 t1인 경우, 제1 피크 값은 지점(613)의 y 값에 해당하고, 제2 피크 값은 지점(611) 또는 지점(612) 중 어느 하나의 y 값에 해당할 수 있다. 이 경우, 제1 피크 값 및 제2 피크 값 사이의 비율은 1에 가까운 값으로 계산되는 바, 임계 값(예: 4) 이하에 해당하여 제2 피크 값에 대응하는 시점은 운동 시작 시점으로 판단되지 않을 수 있다. 이후 현재 시점이 t2가 되는 시간 동안 외부 전자 장치의 PPG 센서로부터 심박을 지시하는 센서 데이터가 계속하여 수신되는 경우, 제1 피크 값은 지점(621)의 y 값에 해당할 수 있으며, 제2 피크 값은 지점(613)의 y 값으로 갱신될 수 있다. 표 1에서 상술한 바와 같이, 제1 피크 값 및 제2 피크 값 사이의 비율은 4를 초과하므로, 제1 피크 값(예: 지점(621))에 대응하는 시점이 운동 시작 시점으로 판단될 수 있다.
일 실시 예에 따르면, 제1 피크 값에 대응하는 시점은 혈류량이 급증하기 시작하는 시점 혹은 혈류량이 급증하기 시작하는 시점보다 일정 시간 전에 해당하는 시점과 같이 심박에 관한 파형에 기초하여 미리 정해진 기준에 따라 판단될 수 있다. 도 6a 및 도 6b에서는 지점(621)에 대응하는 시점은 혈류량이 증가하는 시점보다 일정 시간 전인 t3으로 결정될 수 있다.
다시 도 5를 참조하면, 일 실시 예에 따른 운동 자세를 추정하는 동작(520)은 외부 전자 장치들 중 제1 외부 전자 장치의 자세를 지시하는 센서 데이터에 기초하여, 사용자의 운동 자세를 추정하는 동작을 포함할 수 있다. 여기서, 센서 데이터는 제1 외부 장치로부터 획득될 수 있다. 예를 들어, 제1 외부 전자 장치는 자세(예: 기울기, 각도, 배치 등) 및 그에 대응하는 값을 검출하기 위한 자이로 센서 및 가속도 센서를 포함하는 전자 장치를 포함할 수 있다.
일 실시 예에 따르면, 제1 외부 전자 장치는 정적 전자 장치(static device)의 유형으로 분류되는 전자 장치에 해당할 수 있다. 이러한 장치는 사용자의 지속적인 움직임에도 불구하고 정적 전자 장치의 자세가 크게 변하지 않도록 사용자의 신체 위치에 착용될 수 있다. 예를 들어, 정적 전자 장치의 유형으로 분류되는 전자 장치는 무선 이어폰 및/또는 스마트 글라스(smart glasses)를 포함할 수 있다. 이와 대조적으로, 동적 전자 장치는 일반적으로 사용자의 지속적인 움직임에 따라 위치가 크게 변경될 수 있는 곳에 착용될 수 있다. 예를 들어, 동적 전자 장치는 스마트 워치를 포함할 수 있다. 전자 장치는 외부 전자 장치들의 연동 정보에 기초하여, 각 외부 전자 장치가 정적 전자 장치에 해당하는지, 동적 전자 장치에 해당하는지를 인식할 수 있으며, 외부 전자 장치로부터 수신되는 센서 데이터가 어떤 외부 전자 장치로부터 수신되었는지 인식할 수 있다. 이에, 전자 장치는 수신된 센서 데이터가 정적 전자 장치로 분류되는 외부 전자 장치로부터 수신되었는지, 동적 전자 장치로 분류되는 외부 전자 장치로부터 수신되었는지를 인식할 수 있다.
일 실시 예에 따른 사용자의 운동 자세를 추정하는 동작(520)은 운동 시작 시점에 검출된 제1 외부 전자 장치의 자세 값을 지표면에 기초하여 보정(혹은 교정(calibrating))하는 동작 및 제1 외부 전자 장치의 자세 값의 변화 및 보정된 제1 외부 전자 장치의 자세 값에 기초하여, 사용자의 운동 자세를 추정하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 제1 외부 전자 장치의 자세를 지시하는 센서 데이터는 제1 외부 전자 장치에 포함된 자이로 센서 및/또는 가속도 센서에 의해 측정된 제1 외부 전자 장치의 요(yaw), 피치(pitch), 롤(roll) 값을 포함할 수 있다. 다시 말해, 제1 외부 전자 장치로부터 획득된 제1 외부 전자 장치의 자세를 지시하는 센서 데이터는 오일러 각으로 표현되는 동체 좌표계에 따른 제1 외부 전자 장치의 자세 값을 지시할 수 있다. 일 실시 예에 따른 제1 외부 전자 장치의 자세에 관한 센서 데이터는 시간에 따라 검출된 일련의 제1 외부 전자 장치의 자세 값들을 포함할 수 있다.
일 실시 예에 따른 운동 시작 시점에 대응하는 제1 외부 전자 장치의 자세 값은 동작(510)에서 판단된 운동 시작 시점에 제1 외부 전자 장치의 자이로 센서 및/또는 가속도 센서를 이용하여 획득된 제1 외부 전자 장치의 자세 값을 의미할 수 있다. 혹은 사용자로부터 운동의 초기 자세를 설정하는 입력이 수신된 경우, 사용자로부터 해당 입력이 수신된 시점에 제1 외부 전자 장치의 자이로 센서 및/또는 가속도 센서에 기초하여 획득된 제1 외부 전자 장치의 자세 값을 의미할 수 있다.
일 실시 예에 따른 운동 시작 시점에 대응하는 제1 외부 전자 장치의 자세 값은 지표면에 기초하여 보정될 수 있다. 일 예로, 도 7a를 참조하면, 3개의 축에 대한 제1 외부 전자 장치의 회전 정도를 나타내는 동체 좌표계에 따른 제1 외부 전자 장치의 자세 값은 지표면을 중심으로 하는 NEU(North, East, Up) 좌표계에 기초하여 보정될 수 있다.
보다 구체적으로, 제1 외부 전자 장치의 자세 값을 지표면에 기초하여 보정하는 동작은 제1 외부 전자 장치의 롤 및 피치에 관한 자세 값을 중력의 방향에 수직하고 지표면과 평행한 값으로 설정하는 동작을 포함할 수 있다. 예를 들어, 도 7b를 참조하면, 요, 피치 및 롤 값을 포함하는 제1 외부 전자 장치의 자세 값에서 수평 기울기를 의미하는 피치 값 및 롤 값은 NEU 좌표계에 따른 xy 평면과 수평을 이루도록 보정될 수 있다. 보정된 제1 외부 전자 장치의 자세 값에 의하여, 제1 외부 전자 장치의 자세 값(예: 운동 시작 시점에 대응)은 지표면과 평행한 상태로 인식될 수 있다.
일 실시 예에 따르면, 운동 자세를 추정하는 동작(520)은 운동 시작 시점 이후에 획득된 제1 외부 전자 장치의 자세에 관한 센서 데이터에 기초하여, 제1 외부 전자 장치의 자세가 변화된 방향 및 변화된 정도를 획득하는 동작, 및 변화된 방향 및 변화된 정도에 기초하여, 운동 시작 시점에 대응하는 초기 자세를 기준으로 변화된 운동 자세를 추정하는 동작을 포함할 수 있다. 운동 시작 시점에 대응하는 초기 자세는 사용자가 제공한 설정을 통해 수동으로 설정되거나, 혹은 미리 정해진 디폴트 값으로 설정될 수 있다. 예를 들어, 초기 자세는 지표면과 수직하게 서 있는 자세, 지표면과 평행하게 누워있는 자세 및 지표면과 평행하게 엎드려 있는 자세 중 어느 하나로 설정될 수 있다.
일 실시 예에 따르면, 제1 외부 전자 장치를 착용한 사용자의 움직임에 따라 제1 외부 전자 장치의 센서에서 획득된 제1 외부 전자 장치의 자세 값은 변할 수 있다. 제1 외부 전자 장치의 자세에 관한 센서 데이터는 시간에 따라 획득된 제1 외부 전자 장치의 자세 값들을 포함할 수 있다. 제1 외부 전자 장치의 자세에 관한 센서 데이터에 포함된 운동 시작 시점에 대응하여 획득된 제1 외부 전자 장치의 자세 값 및 운동 시작 시점 이후에 획득된 제1 외부 전자 장치의 자세 값의 차이에 기초하여, 제1 외부 전자 장치의 자세가 변화된 방향 및 변화된 정도가 획득될 수 있다. 운동 시작 시점에 대응하는 제1 외부 전자 장치의 자세가 변화된 방향 및 변화된 정도에 기초하여, 운동 시작 시점에 대응하는 사용자의 초기 자세를 기준으로 사용자의 변화된 운동 자세가 추정될 수 있다.
예를 들어, 도 8a 내지 도 8c는 사용자의 운동 자세에 따른 제1 외부 전자 장치의 자세 값을 도시한 도면들이다. 제1 외부 전자 장치는 사용자의 머리 부분(예: 귀, 얼굴)에 착용되는 웨어러블 디바이스(예: 무선 이어폰, 글라스)에 해당할 수 있다.
도 8a를 참조하면, 운동 시작 시점에 대응하는 제1 외부 전자 장치의 자세 값은 그래프(810)에 대응하는 값으로 획득될 수 있으며, 운동 시작 시점에 대응하는 사용자의 초기 자세는 지표면과 평행하게 누워있는 자세로 설정될 수 있다. 다시 말해, 전자 장치는 제1 외부 전자 장치로부터 수신된 그래프(810)에 대응하는 제1 외부 전자 장치의 자세 값을 평행하게 누워 있는 자세에 해당하는 값으로 인식할 수 있다. 일 실시 예에 따르면, 전자 장치는 운동 시작 시점에 대응하여 수신되는 제1 외부 전자 장치의 자세 값을 지표면과 평행하게 누워있는 자세의 값으로 인식하기 위하여, 제1 외부 전자 장치의 롤 및 피치 값을 지표면과 평행하게 누워있는 자세의 값으로 보정할 수 있으며, 이후 수신되는 제1 외부 전자 장치의 자세 값을 동일한 방식으로 보정할 수 있다. 제1 외부 전자 장치의 자세 값을 보정함으로써, 제1 외부 전자 장치가 어떻게 착용되었는지와 관계없이 사용자의 운동 자세를 추정할 수 있다. 다시 말해, 사용자가 운동 시작 시점에 기울어진 상태로 배치된 제1 외부 전자 장치를 착용하더라도 운동 시작 시점에 대응하는 제1 외부 전자 장치의 자세 값은 지표면과 평행한 상태를 지시하도록 보정될 수 있고, 그 결과 운동 자세가 정확하게 추정될 수 있다.
도 8b를 참조하면, 운동 시작 시점 이후 사용자의 운동 자세가 인클라인으로 변경된 경우, 사용자의 머리 방향이 기울어짐에 따라 제1 외부 전자 장치(예: 사용자의 귀에 착용된 경우)의 자세 값이 그래프(820)에 표시된 값으로 변경될 수 있다. 또한, 도 8c를 참조하면, 운동 시작 시점 이후 사용자의 운동 자세가 디클라인으로 변경된 경우, 사용자의 머리 방향이 기울어짐에 따라 사용자의 귀에 착용된 제1 외부 전자 장치의 자세 값이 그래프(830)에 표시된 값으로 변경될 수 있다.
일 실시 예에 따르면, 운동 시작 시점에 대응하여 획득된 제1 외부 전자 장치의 자세 값과 운동 시작 시점 이후에 획득된 제1 외부 전자 장치의 자세 값의 차이에 기초하여, 제1 외부 전자 장치의 자세 값의 변화된 방향 및 변화된 정도가 획득될 수 있으며, 제1 외부 전자 장치의 자세 값의 변화된 방향 및 변화된 정도에 따라 초기 자세를 기준으로 변화된 사용자의 운동 자세가 추정될 수 있다. 일 예로, 운동 시작 시점에 대응하는 제1 외부 전자 장치의 자세 값과 운동 시작 시점 이후 변경된 제1 외부 전자 장치의 자세 값에 기초하여, 사용자의 운동 자세의 변화(예: 초기 자세에서 인클라인으로 변경되었는지 혹은 디클라인으로 변경되었는지 여부 등)가 판단될 수 있다.
다시 도 5를 참조하면, 일 실시 예에 따른 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하는 동작(530)은 외부 전자 장치들에서 획득된 외부 전자 장치들 간의 상대적 위치에 관한 센서 데이터에 기초하여, 운동 시작 시점을 기준으로 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 동작(530)은 운동 시작 시점에 대응하는 두 개의 외부 전자 장치들 간의 거리를 모니터링하는 동작을 포함할 수 있다. 모니터링 동작은 외부 전자 장치로부터 획득된 센서 데이터(예: 상대적 거리를 지시하는 데이터를 포함함)를 이용하여 수행될 수 있고, 그 후 시간 경과에 따른 거리를 지시하는 센서 데이터에 기초하여, 두 외부 전자 장치들 사이의 거리 변화에 의해 지시되는 패턴이 미리 설정된 알려진 패턴에 해당하는지 여부를 추정할 수 있다. 미리 설정된 패턴은 거리가 증가 후 감소하는 패턴, 또는 거리가 감소 후 증가하는 패턴을 포함할 수 있다. 거리의 변화를 지시하는 센서 데이터는 전자 장치와 연동된 외부 전자 장치에 포함된 거리 센서를 이용하여 획득될 수 있다. 거리 센서는 예를 들어, 센서에서 다른 물체로 송출되어 다른 물체에서 반사되어 돌아오는 초음파, 광선 등을 통해 계산된 TOF(time-of-flight)를 이용하여 다른 물체와 센서 사이의 거리를 측정할 수 있다. 예를 들어 초음파 센서, 적외선 센서, 라이더 센서, 레이더 센서, UWB(ultra wideband) 센서 및/또는 TOF(time of flight) 센서를 포함할 수 있다.
일 실시 예에 따르면, 특정 외부 전자 장치에 포함된 거리 센서는 다른 외부 전자 장치와의 거리를 측정하여 거리에 관한 센서 데이터를 생성할 수 있으며, 일정 시간 동안 지속적으로 측정된 거리를 지시하는 센서 데이터를 출력할 수 있다. 거리에 관한 센서 데이터에 기초하여, 운동 시작 시점에 두 외부 전자 장치 사이의 거리를 획득하면, 거리의 변화 패턴이 검출될 수 있다. 예를 들어, 두 외부 전자 장치 사이의 거리는 증가 후 감소할 수도 있고, 감소 후 증가할 수도 있다. 따라서, 외부 전자 장치들 간의 상대적 위치 및 거리의 변화를 지시하는 패턴이 추정될 수 있다.
일 실시 예에 따르면, 추정된 외부 전자 장치들 간의 상대적 위치의 변화 패턴이 증가 후 감소하는 패턴인지 혹은 감소 후 증가하는 패턴인지에 따라 운동의 유형이 분류될 수 있다. 예를 들어, 운동 시작 시점에 대응하여 획득된 외부 전자 장치들 간의 거리가 운동 시작 시점 이후 먼저 증가했다가 감소하는 패턴이 반복되는 경우, 사용자가 수행하는 운동의 유형은 미는 운동의 유형으로 분류될 수 있다. 또 예를 들어, 운동 시작 시점에 대응하여 획득된 외부 전자 장치들 간의 거리가 운동 시작 시점 이후 먼저 감소했다가 증가하는 패턴이 반복되는 경우, 사용자가 수행하는 운동의 유형은 당기는 운동의 유형으로 분류될 수 있다.
일 실시 예에 따른 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하는 동작(530)은 외부 전자 장치들 각각에서 획득된 높이에 관한 센서 데이터에 기초하여, 외부 전자 장치들 사이의 높이 차이에 따른 상대적 위치를 추정하는 동작을 더 포함할 수 있다. 높이에 관한 센서 데이터는 외부 전자 장치에 포함된 기압 센서에 기초하여 획득될 수 있다. 기압 센서는 대기압을 감지하는 센서로, 기압은 높이가 높아질수록 작아지는 특성을 이용하여 센서의 높이를 측정할 수 있다. 각 외부 전자 장치에서 획득된 높이(예: 지구의 표면을 기준으로 측정된 높이)를 지시하는 센서 데이터에 기초하여, 외부 전자 장치들 간의 높이 차이를 고려한 상대적 위치가 획득될 수 있다.
일 실시 예에 따른 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하는 동작(530)은 외부 전자 장치들 각각에서 획득된 이동 방향을 지시하는 센서 데이터에 기초하여, 외부 전자 장치들 각각의 이동 방향의 변화 패턴을 추정하는 동작을 포함할 수 있다. 이동 방향에 관한 센서 데이터는 외부 전자 장치에 포함된 관성 센서에 기초하여 획득될 수 있다. 관성 센서는 신체의 특정한 힘, 각도 비율 및/또는 신체를 둘러싼 자기장을 측정하는 센서로, 가속도 센서, 자이로 센서 및/또는 지자계 센서를 포함할 수 있다. 외부 전자 장치로부터 획득된 이동 방향을 지시하는 센서 데이터에 기초하여, 해당 외부 전자 장치가 수직 이동하는지, 수평 이동하는지 및/또는 회전 운동하는지를 지시하는 외부 전자 장치의 이동 방향의 변화 패턴이 추정될 수 있다.
일 실시 예에 따른 운동 정보를 생성하는 동작(540)은 추정된 운동 자세 및 추정된 외부 전자 장치들 간의 상대적 위치의 변화 패턴에 기초하여, 운동 정보를 생성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 운동 정보를 생성하는 동작(540)은 추정된 운동 자세의 기울기에 기초하여, 운동의 세부 자세를 포함하는 운동 정보를 생성하는 동작을 포함할 수 있다. 운동의 세부 자세에 관한 정보는 운동 자세의 기울기에 따른 세부 자세로 구분되는 운동의 종류에 관한 정보를 포함할 수 있다. 운동 자세의 기울기는 수평면을 기준으로 한 사용자의 신체의 기울기 또는 사용자의 운동 시작 시점에서의 신체의 기울기를 기준으로 변화된 기울기를 포함할 수 있다.
예를 들어, 도 8a 내지 도 8c를 참조하면, 벤치 프레스의 경우, 운동 자세의 기울기에 따라 플랫 벤치 프레스, 인클라인 벤치 프레스, 디클라인 벤치 프레스의 세부 자세로 구분될 수 있다. 일 실시 예에 따른 전자 장치는 동작(520)에 따라 기 추정된 사용자의 운동 자세의 기울기에 기초하여, 벤치 프레스 운동을 수행하는 사용자의 세부 자세가 인클라인 벤치 프레스에 해당하는지, 플랫 벤치 프레스에 해당하는지, 및 디클라인 벤치 프레스에 해당하는지의 정보를 생성할 수 있다.
일 실시 예에 따른 사용자가 수행하는 운동의 종류는 사용자에 의해 전자 장치에 입력될 수도 있고, 전자 장치에서 수신된 센서 데이터에 기초하여 추정될 수도 있다. 전자 장치에서 수신된 센서 데이터에 기초하여 사용자가 수행하는 운동의 종류를 추정하는 동작은 이하에서 상술한다. 전자 장치는 입력된 운동의 종류에 기초하여, 외부 전자 장치로부터 센서 데이터를 수신하여 운동 자세의 기울기에 따른 운동의 세부 자세에 관한 정보를 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 운동 정보를 생성하는 동작(540)은 추정된 외부 전자 장치들 간의 상대적 위치의 변화 패턴에 기초하여, 사용자가 수행한 운동의 반복 횟수에 관한 정보를 생성하는 동작을 포함할 수 있다. 전자 장치는 변화 패턴(예: 동작(530)에 의해 기 추정됨)에 나타난 변화의 반복 횟수에 기초하여, 사용자가 수행한 운동의 반복 횟수를 추정할 수 있다. 예를 들어, 외부 전자 장치들 간의 추정된 거리가 감소 후 증가하는 변화하는 패턴이 10회 반복되는 패턴을 보이는 경우, 사용자가 팔굽혀 펴기와 같은 카운터블 운동을 10회 반복한 것으로 추정할 수 있다. 상술한 바와 같이, 사용자가 수행하는 운동의 종류는 사용자에 의해 전자 장치에 입력될 수도 있고, 전자 장치에서 수신된 센서 데이터에 기초하여 추정될 수도 있다.
일 실시 예에 따르면, 운동의 반복 횟수는 센서 데이터에 포함된 신호의 패턴에 기초하여 추정될 수 있다. 센서 데이터에 포함된 신호의 패턴은 신호 처리 기법에 의해 카운팅이 가능한 패턴의 신호로 변환될 수 있다. 신호 처리 기법은 예를 들어 필터링 기법을 포함할 수 있다. 일 예로, 도 9를 참조하면, 센서 데이터에 포함된 신호의 패턴(901)은 원하는 성분은 통과시키고, 원하지 않는 성분은 필터링하도록 설계된 필터(예: 약 2Hz 주파수 신호 만을 통과시키는 필터)(910)에 기초하여 일정한 패턴을 갖는 신호(902)로 변환될 수 있다.
다시 도 5를 참조하면, 일 실시 예에 따른 운동 정보를 생성하는 동작(540)은 운동 자세, 외부 전자 장치들 간의 거리의 변화 패턴, 외부 전자 장치들 사이의 높이에 따른 상대적 위치 및 외부 전자 장치들 각각의 이동 방향의 변화 패턴에 기초하여, 운동 부위에 관한 정보를 생성하는 동작을 더 포함할 수 있다. 예를 들어, 도 10은 손목에 착용하는 웨어러블 장치 및 귀에 착용하는 히어러블 장치를 외부 전자 장치로 포함하는 경우, 운동 자세, 외부 전자 장치들 간의 거리의 변화 패턴, 외부 전자 장치들 사이의 높이에 따른 상대적 위치 및 외부 전자 장치들 각각의 이동 방향의 변화 패턴에 대응하는 운동 부위의 예를 도시한다. 일 예로, 도 10에 도시된 표의 1행(1010)과 같이 도 5의 동작(520)에 따라 운동 자세를 추정한 결과 지면과 수직으로 서 있는 자세인 것으로 판단되고, 도 5의 동작(530)에 따라 추정된 외부 전자 장치들 간의 거리 변화 패턴은 증가 후 감소하는 패턴, 외부 전자 장치의 이동 방향의 변화 패턴은 수직 운동, 외부 전자 장치들 사이의 높이에 따른 상대적 위치는 웨어러블 장치(예: 스마트 워치)가 다른 웨어러블 장치(예: 이어폰과 같은 히어러블 장치)보다 위에 위치한 것으로 판단되는 경우, 전자 장치는 사용자가 Lat Pull Down 운동을 수행하는 것으로 판단하여 운동 부위는 어깨에 해당한다는 정보를 생성할 수 있다. 또 일 예로, 도 10에 도시된 표의 2행(1020)의 경우, 전자 장치는 사용자가 벤치 프레스 운동을 수행하는 것으로 판단하여 운동 부위는 가슴에 해당한다는 정보를 생성할 수 있다. 또 일 예로, 도 10에 도시된 표의 3행(1030)의 경우, 전자 장치는 사용자가 와이드 스쿼트를 수행하는 것으로 판단하여 운동 부위는 허벅지 안쪽에 해당한다는 정보를 생성할 수 있다.
다시 도 5를 참조하면, 일 실시 예에 따른 동작(540)에 따라 생성된 운동 정보는 전자 장치의 디스플레이 및/또는 스피커와 같은 출력 모듈을 통해 출력될 수 있다. 예를 들어, 동작(540)에 따라 생성된 운동 정보는 도 11a 및 도 11b에 도시된 전자 장치의 디스플레이에서 출력되는 인터페이스를 통해 사용자에게 제공될 수 있다. 도 11a 및 도 11b를 참조하면, 사용자가 수행한 운동들은 하나의 운동 항목(예: 근력 운동)으로 표시할 수 있고, 사용자가 해당 운동 항목을 선택하여 정보를 확인할 수 있다. 운동 항목의 운동 정보는 운동의 종류, 운동 시간 및 운동의 반복 횟수에 따라 소모된 칼로리를 포함할 수 있으며, 상술한 바와 같이 추정된 운동 자세에 따른 운동의 세부 자세(예: 벤치 프레스, 인클라인 벤치 프레스)에 관한 정보를 포함할 수 있다. 운동의 세부 자세에 관한 정보는 운동의 세부 자세에 대응하는 운동의 반복 횟수, 운동 시간, 운동 수행으로 소모된 칼로리에 관한 정보를 포함할 수 있다.
도 11a 및 도 11b에 도시되어 있지는 않으나, 일 실시 예 따르면, 운동의 세부 자세를 구분하여 파악하지 못한 경우에는 사용자가 수행한 운동의 결과를 세부 자세에 따른 항목으로 구분하지 않고 하나의 항목(예: 근력 운동)으로 묶어서 보여줄 수도 있다. 혹은 세부 자세의 파악이 가능한 운동은 항목 별로 보여주고, 세부 자세를 구분하지 못한 운동들은 하나의 항목(예:근력 운동)으로 묶어서 보여 줄 수도 있다.
다시 도 5를 참조하면, 일 실시 예에 따른 동작(540)에 따라 생성된 운동 정보는 전자 장치와 연동된 외부 전자 장치에 전송될 수 있으며, 외부 전자 장치의 출력 모듈을 통해 사용자에게 제공될 수도 있다. 예를 들어, 동작(540)에 따라 생성된 운동 정보는 도 12a 및 도 12b에 도시된 전자 장치와 연동된 외부 전자 장치인 스마트 워치의 디스플레이에서 출력되는 인터페이스를 통해 사용자에게 제공될 수 있다. 도 12a를 참조하면, 사용자에게 제공되는 운동 정보는 추정된 운동 자세에 따른 운동의 세부 자세(예: 디클라인 벤치 프레스, 인클라인 벤치 프레스)에 관한 정보를 포함할 수 있다. 도 12b를 참조하면, 사용자에게 제공되는 운동 정보는 운동 부위에 관한 정보를 포함할 수 있다. 운동 부위에 관한 정보는 운동 부위 별 운동 비율을 포함할 수 있다.
일 실시 예에 따른 전자 장치(예: 예: 도 1의 전자 장치(101) 또는 도 4의 전자 장치(401))는 사용자의 신체에 착용 가능한 복수의 외부 전자 장치들(예: 도 4의 외부 전자 장치들(402, 403))과 통신을 수행하는 통신 모듈(예: 도 1의 통신 모듈(190) 또는 도 4의 통신 모듈(190)), 외부 전자 장치들 중 적어도 하나에서 획득된 심박에 관한 센서 데이터에 기초하여, 외부 전자 장치들을 착용한 사용자의 운동 시작 시점을 판단하고, 외부 전자 장치들 중 제1 외부 전자 장치에서 획득된 제1 외부 전자 장치의 자세에 관한 센서 데이터에 기초하여, 사용자의 운동 자세를 추정하고, 외부 전자 장치들에서 획득된 외부 전자 장치들 간의 상대적 위치에 관한 센서 데이터에 기초하여, 운동 시작 시점을 기준으로 외부 전자 장치들 간의 상대적 위치의 변화 패턴을 추정하고, 추정된 운동 자세 및 추정된 외부 전자 장치들 간의 상대적 위치의 변화 패턴에 기초하여, 운동 정보를 생성하는 적어도 하나의 프로세서(예: 도 1의 프로세서(120) 또는 도 4의 프로세서(120)) 및 생성된 운동 정보를 출력하는 출력 모듈(예: 도 1의 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 또는 도 4의 입출력 모듈(410))을 포함할 수 있다.
일 실시 예에 따른 통신 모듈은 전자 장치와 연동된 외부 전자 장치와 통신을 수행할 수 있으며, 예를 들어 외부 전자 장치의 센서로부터 센싱된 데이터를 수신할 수 있다. 또한, 외부 전자 장치에 전자 장치에서 생성 혹은 처리된 데이터를 전송할 수 있으며, 외부 전자 장치에 다른 외부 전자 장치로부터 수신된 데이터를 전송할 수 있다.
일 실시 예에 따른 프로세서는 입출력 모듈, 통신 모듈 및 메모리와 작동적으로 연결될 수 있으며, 전자 장치의 동작을 수행할 수 있다. 일 예로, 프로세서는 운동 중인 전자 장치의 사용자가 착용한 적어도 하나의 외부 전자 장치로부터 센싱된 데이터를 수신하여, 사용자에 대응하는 운동 정보를 생성하는 동작을 수행할 수 있다. 프로세서에서 수행되는 운동 정보를 생성하기 위한 전자 장치의 동작은 도 5에서 상술한 바와 같다.
일 실시 예에 따른 입출력 모듈은 입력 모듈(예: 도 1의 입력 모듈(150)) 및 출력 모듈(예: 도 1의 음향 출력 모듈(155) 및/또는 디스플레이 모듈(160))을 포함할 수 있다. 출력 모듈은 프로세서에서 생성된 정보를 사용자에게 표시하기 위한 모듈로 예를 들어 디스플레이를 포함할 수 있다.
도 13은 일 실시 예에 따른 외부 전자 장치와 연동된 웨어러블 장치의 블록도이다.
도 13을 참조하면, 일 실시 예에 따른 웨어러블 장치(예: 도 1의 전자 장치(101), 도 2a의 전자 장치(200), 도 2b의 전자 장치(200), 또는 도 3의 전자 장치(300))(1301)는 센서 모듈(예: 도 1의 센서 모듈(176))(176), 통신 모듈(예: 도 1의 통신 모듈(190))(190), 프로세서(예: 도 1의 프로세서(120))(120), 입출력 모듈(예: 도 1의 입력 모듈(150), 음향 출력 모듈(155) 및/또는 디스플레이 모듈(160))(1310) 및 메모리(예: 도 1의 메모리(130))(130)를 포함할 수 있으며, 하나 이상의 외부 전자 장치(예: 도 4의 제1 외부 전자 장치(402) 또는 도 4의 제2 외부 전자 장치(403))(1302)와 연동될 수 있다. 웨어러블 장치(1301)는 예를 들어, 스마트 워치를 포함할 수 있다. 웨어러블 장치(1301)는 도 13에 도시된 구성 외에도 도 1에서 상술한 전자 장치(101)의 구성을 더 포함할 수 있다. 일 실시 예에 따른 웨어러블 장치(1301)는 외부 전자 장치(1302) 뿐 아니라 다른 전자 장치(예: 도 1의 전자 장차(101) 또는 도 4의 전자 장치(401))와 연동될 수 있다.
일 실시 예에 따른 웨어러블 장치(1301)는 적어도 하나의 외부 전자 장치(1302)와 연동되며, 적어도 하나의 센서를 포함하는 센서 모듈(176), 센서에서 센싱된 웨어러블 장치(1301)를 착용한 사용자에 대응하는 심박에 관한 센서 데이터에 기초하여, 사용자의 운동 시작 시점을 판단하고, 센서에서 센싱된 웨어러블 장치(1301)의 자세에 관한 센서 데이터에 기초하여, 사용자의 운동 자세를 추정하고, 센서에서 센싱된 상기 외부 전자 장치(1302)와의 상대적 위치에 관한 센서 데이터에 기초하여, 운동 시작 시점을 기준으로 외부 전자 장치(1302)와의 상대적 위치의 변화 패턴을 추정하며, 추정된 운동 자세 및 추정된 외부 전자 장치(1302)와의 상대적 위치의 변화 패턴에 기초하여, 운동 정보를 생성하는 적어도 하나의 프로세서(120) 및 생성된 운동 정보를 출력하는 출력 모듈(1310)을 포함할 수 있다.
도 14는 일 실시 예에 따른 웨어러블 장치의 동작 방법에 관한 동작 흐름도이다.
도 14를 참조하면, 일 실시 예에 따른 웨어러블 장치(예: 예: 도 1의 전자 장치(101), 도 2a의 전자 장치(200), 도 2b의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 13의 전자 장치(1301))의 동작 방법은 센서 데이터를 획득하는 동작(1410), 운동 시작 시점을 판단하는 동작(1420), 운동 자세를 추정하는 동작(1430), 외부 전자 장치와의 상대적 위치의 변화 패턴을 추정하는 동작(1440) 및 운동 정보를 생성하는 동작(1450)을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도13의 프로세서(120))에서 수행될 수 있다.
보다 구체적으로, 일 실시 예에 따른 웨어러블 장치는 적어도 하나의 외부 전자 장치 예: 도 4의 외부 전자 장치(402 또는 403) 또는 도 13의 외부 전자 장치(1302))와 연동되며, 웨어러블 장치의 동작 방법은 웨어러블 장치에 포함된 적어도 하나의 센서 및 외부 전자 장치에 포함된 적어도 하나의 센서에 기초하여, 센서 데이터를 획득하는 동작, 웨어러블 장치를 착용한 사용자에 대응하는 심박에 관한 센서 데이터에 기초하여, 사용자의 운동 시작 시점을 판단하는 동작, 웨어러블 장치의 자세에 관한 센서 데이터에 기초하여, 사용자의 운동 자세를 추정하는 동작, 외부 전자 장치와의 상대적 위치에 관한 센서 데이터에 기초하여, 운동 시작 시점을 기준으로 외부 전자 장치와의 상대적 위치의 변화 패턴을 추정하는 동작 및 추정된 운동 자세 및 추정된 외부 전자 장치와의 상대적 위치의 변화 패턴에 기초하여, 운동 정보를 생성하는 동작을 포함할 수 있다.
일 실시 예에 따른 웨어러블 장치는 연동된 외부 전자 장치에 포함된 센서 뿐 아니라, 웨어러블 장치에 포함된 센서로부터 센서 데이터를 획득할 수 있다. 도 5에서 상술한 전자 장치의 동작 방법은 전자 장치와 연동된 외부 전자 장치들 중 적어도 하나에서 획득된 센서 데이터를 이용하는 동작들을 포함하는 반면, 웨어러블 장치의 동작 방법은 자체의 센서에서 획득된 센서 데이터를 이용하는 동작을 포함하는 점에서 차이가 있다. 일 실시 예에 따른 웨어러블 장치의 동작들(1420 내지 1450)은 다른 장치로부터 획득된 센서 데이터를 이용하는지 혹은 자체의 구성으로 포함된 센서에서 획득된 센서 데이터를 이용하는지의 차이를 제외하고는 도 5에서 상술한 동작들(510 내지 540)에 대응될 수 있다.
일 실시 예에 따르면, 웨어러블 장치에서 생성된 운동 정보는 사용의 연속성을 위해 웨어러블 장치와 연동된 사용자의 전자 장치(예: 스마트 폰) 또는 사용자에 대응하는 기존의 운동 정보를 저장하는 서버에 전송될 수 있으며, 전송된 운동 정보는 웨어러블 장치와 연동된 사용자의 전자 장치의 출력 모듈(예: 디스플레이)을 통해 표시될 수 있다. 일 실시 예에 따르면, 운동 정보를 생성 및 저장하는 웨어러블 장치, 웨어러블 장치와 연동된 사용자의 전자 장치 및 사용자에 대응하는 운동 정보를 저장하는 서버는 주기적으로 동기화되어, 일 측에서 생성된 운동 정보가 다른 장치에 업데이트될 수 있으며, 사용자에게 동일한 운동 정보를 제공할 수 있다.

Claims (15)

  1. 복수의 외부 전자 장치들과 연동되는 전자 장치의 동작 방법에 있어서,
    통신 회로를 통해, 심박수를 포함하는 제1 센서 데이터, 상기 복수의 외부 전자 장치들 중 제1 외부 전자 장치의 자세를 지시하는 제2 센서 데이터, 복수의 외부 전자 장치 사이들 사이의 상대적 위치를 지시하는 제3 센서 데이터를 수신하는 단계;
    적어도 하나의 프로세서를 통해, 상기 제1 센서 데이터에 기초하여 운동 시작 시점을 판단하는 동작;
    상기 제2 센서 데이터에 기초하여, 상기 사용자의 운동 자세를 추정하는 동작;
    상기 제3 센서 데이터에 기초하여, 상기 판단된 운동 시작 시점 이후의 일정 기간 동안 상기 복수의 외부 전자 장치들 각각의 상대적 위치의 변화가 지시하는 상기 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하는 동작; 및
    상기 추정된 운동 자세 및 상기 추정된 외부 전자 장치들 간의 거리의 변화 패턴에 기초하여, 운동 정보를 생성하는 동작
    을 포함하는,
    전자 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 운동 시작 시점을 판단하는 동작은
    상기 제1 센서 데이터에 기초하여, 심박의 제1 피크 값 및 제2 피크 값을 검출하는 동작; 및
    상기 제1 피크 값 및 상기 제2 피크 값의 비율을 미리 정해진 임계 값과 비교하는 동작; 및
    상기 비교 결과에 기초하여, 상기 제1 피크 값에 대응하는 시점을 운동 시점으로 판단하는 동작
    을 포함하는,
    전자 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 제1 센서 데이터는 시간에 따른 심박의 변화를 지시하는 파형을 포함하고,
    상기 제1 피크 값은 상기 파형에 나타난 가장 최근의 피크 값을 포함하고,
    상기 제2 피크 값은 상기 파형에 나타난 상기 제1 피크 값 이전에 획득된 적어도 하나의 피크 값을 포함하는,
    전자 장치의 동작 방법.
  4. 제1항에 있어서,
    상기 사용자의 운동 자세를 추정하는 동작은
    지표면에 대한 캘리브레이션(calibration)에 기초하여, 상기 제2 센서 데이터가 지시하는 상기 제1 외부 전자 장치의 자세를 보정하는 동작
    을 더 포함하고,
    상기 운동 자세는 상기 지면에 대한 캘리브레이션에 따른 보정에 의한 상기 제1 외부 전자 장치의 자세 값의 변화에 기초하여 추정되는,
    전자 장치의 동작 방법.
  5. 제4항에 있어서,
    상기 제1 외부 전자 장치의 자세를 보정하는 동작은
    상기 제2 센서 데이터가 지시하는 롤 및 피치 값을 중력에 수직하고 상기 지표면과 평행하도록 설정하는 동작
    을 포함하는,
    전자 장치의 동작 방법.
  6. 제1항에 있어서,
    상기 운동 자세를 추정하는 동작은
    상기 운동 시작 시점 이후의 일정 기간 동안 롤 및 피치 중 적어도 하나의 변화를 포함하는 상기 제1 외부 전자 장치의 자세의 변화를 검출하는 동작; 및
    상기 검출된 제1 외부 전자 장치의 자세의 변화에 기초하여, 상기 운동 시작 시점에 지시되는 초기 자세로부터 변화된 운동 자세를 추정하는 동작
    을 포함하는,
    전자 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 초기 자세는 지표면과 수직하게 서 있는 자세, 지표면과 평행하게 누워있는 자세 및 지표면과 평행하게 엎드려 있는 자세 중 어느 하나를 포함하는,
    전자 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하는 동작은
    상기 변화 패턴이 상기 운동 시작 시점 이후의 일정 기간 동안 상기 복수의 외부 전자 장치들 사이의 거리가 증가 후 감소하는 것을 지시하는지 여부 혹은 운동 시작 시점 이후의 일정 기간 동안 상기 복수의 외부 전자 장치들 사이의 거리가 감소 후 증가하는 것을 지시하는지 여부를 결정하는 동작
    을 더 포함하는,
    전자 장치의 동작 방법.
  9. 제1항에 있어서,
    상기 생성된 운동 정보는
    상기 추정된 운동 자세가 지시하는 기울기에 기초한 운동을 위한 사용자의 자세; 및
    상기 추정된 외부 전자 장치들 간의 거리의 변화 패턴에 기초하여, 상기 사용자가 수행한 운동의 반복 횟수
    중 적어도 하나를 더 포함하는
    전자 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하는 동작은
    상기 외부 전자 장치들 각각의 지표면에 대한 높이를 지시하는 센서 데이터에 기초하여, 상기 외부 전자 장치들 각각의 높이 차이에 따른 상기 복수의 외부 전자 장치들 각각의 상대적 위치를 추정하는 동작; 및
    상기 외부 전자 장치들 각각에서 획득된 상기 복수의 외부 전자 장치들 각각의 이동 방향을 지시하는 제4 센서 데이터에 기초하여, 제2 변화 패턴을 추정하는 동작
    중 적어도 하나를 더 포함하는,
    전자 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 운동 정보는 상기 추정된 운동 자세, 상기 추정된 복수의 외부 전자 장치들 간의 거리의 변화 패턴, 상기 외부 전자 장치들 간의 높이 차이에 따른 상대적 위치, 및 상기 복수의 외부 전자 장치들 각각의 이동 방향을 지시하는 상기 추정된 제2 변화 패턴 중 적어도 하나에 기초하여 운동의 대상이 되는 사용자의 신체 부위를 지시하는 대상 영역에 대해 생성되는
    전자 장치의 동작 방법.
  12. 사용자의 신체에 착용 가능한 복수의 외부 전자 장치들과 통신을 수행하는 통신 회로;
    제1 센서 데이터에 기초하여 운동 시작 시점을 판단하고,
    제2 센서 데이터에 기초하여, 상기 사용자의 운동 자세를 추정하고,
    제3 센서 데이터에 기초하여, 상기 판단된 운동 시작 시점 이후의 일정 기간 동안 상기 복수의 외부 전자 장치들 각각의 상대적 위치의 변화가 지시하는 상기 복수의 외부 전자 장치들 각각의 거리의 변화 패턴을 추정하고,
    상기 추정된 운동 자세 및 상기 추정된 외부 전자 장치들 간의 거리의 변화 패턴에 기초하여, 운동 정보를 생성하는,
    적어도 하나의 프로세서
    를 포함하는, 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 운동 시작 시점을 판단함에 있어서,
    상기 제1 센서 데이터에 기초하여, 심박의 제1 피크 값 및 제2 피크 값을 검출하고,
    상기 제1 피크 값 및 상기 제2 피크 값의 비율을 미리 정해진 임계 값과 비교하며,
    상기 비교 결과에 기초하여, 상기 제1 피크 값에 대응하는 시점을 운동 시점으로 판단하는,
    전자 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 사용자의 운동 자세를 추정함에 있어서,
    지표면에 대한 캘리브레이션(calibration)에 기초하여, 상기 제2 센서 데이터가 지시하는 상기 제1 외부 전자 장치의 자세를 보정하고,
    상기 운동 자세는 상기 지면에 대한 캘리브레이션에 따른 보정에 의한 상기 제1 외부 전자 장치의 자세 값의 변화에 기초하여 추정되는,
    전자 장치.
  15. 적어도 하나의 외부 전자 장치와 연동되는 웨어러블 장치에 있어서,
    적어도 하나의 센서를 포함하는 센서 모듈;
    출력 모듈; 및
    상기 웨어러블 장치를 착용한 사용자의 심박을 포함하는 상기 센서 모듈을 통해 검출된 제1 센서 데이터에 기초하여, 상기 사용자의 운동 시작 시점을 판단하고,
    상기 센서 모듈에 의해 검출된 상기 웨어러블 장치의 자세를 지시하는 제2 센서 데이터에 기초하여, 상기 사용자의 운동 자세를 추정하고,
    상기 운동 시작 시점 및 상기 운동 시작 시점 이후의 일정 기간 동안 상기 외부 전자 장치와의 거리를 모니터링하는 상기 센서 모듈에서 검출된 제3 센서 데이터에 기초하여, 상기 외부 전자 장치와의 거리의 변화 패턴을 추정하고,
    상기 추정된 운동 자세 및 상기 추정된 외부 전자 장치와의 거리의 변화 패턴 중 적어도 하나에 기초하여, 운동 정보를 생성하며,
    상기 생성된 운동 정보를 상기 출력 모듈을 통해 출력하는,
    적어도 하나의 프로세서
    를 포함하는, 웨어러블 장치.
PCT/KR2022/009825 2021-07-19 2022-07-07 센서를 포함하는 전자 장치 및 그의 동작 방법 Ceased WO2023003232A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280044413.2A CN117545419A (zh) 2021-07-19 2022-07-07 包括传感器的电子装置和用于操作电子装置的方法
EP22846104.2A EP4331482A4 (en) 2021-07-19 2022-07-07 ELECTRONIC DEVICES COMPRISING SENSORS AND ASSOCIATED OPERATING METHOD
US17/889,779 US20230024452A1 (en) 2021-07-19 2022-08-17 Electronic device with sensor and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0094061 2021-07-19
KR1020210094061A KR20230013385A (ko) 2021-07-19 2021-07-19 센서를 포함하는 전자 장치 및 그의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/889,779 Continuation US20230024452A1 (en) 2021-07-19 2022-08-17 Electronic device with sensor and method of operating the same

Publications (1)

Publication Number Publication Date
WO2023003232A1 true WO2023003232A1 (ko) 2023-01-26

Family

ID=84979420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009825 Ceased WO2023003232A1 (ko) 2021-07-19 2022-07-07 센서를 포함하는 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR20230013385A (ko)
WO (1) WO2023003232A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024263834A1 (en) * 2023-06-23 2024-12-26 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102542658B1 (ko) * 2022-08-10 2023-06-15 럭스나인 주식회사 생체활성징후 측정 장치
WO2024215005A2 (ko) * 2023-04-10 2024-10-17 삼성전자주식회사 이동 방향을 식별하는 전자 장치 및 그 동작 방법
WO2025174055A1 (ko) * 2024-02-13 2025-08-21 삼성전자 주식회사 땀 손실량을 추정하는 웨어러블 장치 및 그 제어 방법
KR102848612B1 (ko) * 2024-06-22 2025-08-22 바디로그 주식회사 활동 상태의 판정 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184351A (ja) * 2002-12-06 2004-07-02 Toshiba Corp 動作情報計測システムおよび動作情報計測方法
KR20160035394A (ko) * 2014-09-23 2016-03-31 삼성전자주식회사 센서 데이터 처리 방법 및 그 장치
KR101715369B1 (ko) * 2016-11-29 2017-03-22 (주)프로차일드 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법
KR20170118971A (ko) * 2014-09-04 2017-10-25 레오모, 인코포레이티드 정보단말장치, 모션 캡처 시스템 및 모션 캡처 방법
JP2019005503A (ja) * 2017-06-28 2019-01-17 富士通株式会社 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム
KR102254164B1 (ko) * 2015-12-24 2021-05-20 삼성전자주식회사 웨어러블 장치 및 웨어러블 장치와 연결 가능한 사용자 단말장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004184351A (ja) * 2002-12-06 2004-07-02 Toshiba Corp 動作情報計測システムおよび動作情報計測方法
KR20170118971A (ko) * 2014-09-04 2017-10-25 레오모, 인코포레이티드 정보단말장치, 모션 캡처 시스템 및 모션 캡처 방법
KR20160035394A (ko) * 2014-09-23 2016-03-31 삼성전자주식회사 센서 데이터 처리 방법 및 그 장치
KR102254164B1 (ko) * 2015-12-24 2021-05-20 삼성전자주식회사 웨어러블 장치 및 웨어러블 장치와 연결 가능한 사용자 단말장치
KR101715369B1 (ko) * 2016-11-29 2017-03-22 (주)프로차일드 멀티센서를 이용한 운동 가이드피드백 시스템 및 방법
JP2019005503A (ja) * 2017-06-28 2019-01-17 富士通株式会社 心拍数補正プログラム、心拍数補正方法及び心拍数補正システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4331482A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024263834A1 (en) * 2023-06-23 2024-12-26 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation

Also Published As

Publication number Publication date
KR20230013385A (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
KR20230013385A (ko) 센서를 포함하는 전자 장치 및 그의 동작 방법
WO2022131534A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 모션 제스처 검출 방법
WO2022059939A1 (en) Patterned cover member and electronic device including same
KR20220090261A (ko) 피트니스 피드백을 제공하는 전자 장치, 이의 제어 방법 및 서버
WO2022005027A1 (ko) 전자 장치와 연결된 히어러블 장치 및 이의 동작 방법
WO2022177059A1 (ko) 선택적 클록 동기화를 이용하는 전자 장치 및 방법
WO2022019442A1 (ko) 터치 입력을 감지하는 전자 장치 및 그 방법
KR20220102009A (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022019523A1 (en) Electronic device and electrode included in the same
WO2022010156A1 (ko) 전자 장치의 지자기 센서 보정 방법 및 그 전자 장치
WO2022255785A1 (ko) 복수의 전자 장치를 이용하여 운동 데이터를 제공하는 방법 및 그 전자 장치
WO2022075603A1 (ko) 보행에 관한 정보를 확인하는 전자 장치 및 보행에 관한 정보를 확인하는 전자 장치의 동작 방법
WO2023080424A1 (ko) 센서 데이터를 획득하는 방법 및 장치
EP4331482A1 (en) Electronic devices comprising sensors and method for operating same
WO2023136628A1 (ko) 사용자의 생체 사인을 결정하는 전자 장치 및 그 동작 방법
WO2023014034A1 (ko) 센서 구조체 및 센서 구조체를 포함하는 전자 장치
WO2022145729A1 (ko) 힌지 구조를 포함하는 전자 장치
WO2023277336A1 (ko) 생체 인식 모듈을 포함하는 전자 장치
WO2022239940A1 (ko) 편광을 이용하여 착용을 감지하는 전자 장치 및 방법
WO2021261914A1 (ko) 심전도 측정을 위한 전자 장치 및 전자 장치에서의 동작 방법
WO2022030961A1 (ko) 위험 정보를 감지하는 전자 장치 및 방법
US20250377691A1 (en) Wearable electronic device including battery
WO2022191444A1 (ko) 전자 장치의 모션 센서 및 gps 모듈을 이용하여 사용자의 보폭 길이를 판단하는 방법 및 그 전자 장치
KR20230148060A (ko) 외부 기기를 제어하는 전자 장치 및 방법
WO2022244996A1 (ko) 생체 데이터를 이용하여 개인 맞춤형 코칭을 제공하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22846104

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022846104

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022846104

Country of ref document: EP

Effective date: 20231128

WWE Wipo information: entry into national phase

Ref document number: 202280044413.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202347090028

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE