WO2023120951A1 - 웨어러블 장치 및 그 제어 방법 - Google Patents

웨어러블 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023120951A1
WO2023120951A1 PCT/KR2022/016897 KR2022016897W WO2023120951A1 WO 2023120951 A1 WO2023120951 A1 WO 2023120951A1 KR 2022016897 W KR2022016897 W KR 2022016897W WO 2023120951 A1 WO2023120951 A1 WO 2023120951A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
wearable device
processor
sensor
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/016897
Other languages
English (en)
French (fr)
Inventor
사자드 히세인 칸엠디
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202280084742.XA priority Critical patent/CN118511140A/zh
Priority to EP22911589.4A priority patent/EP4394562A4/en
Priority to US18/109,084 priority patent/US12056292B2/en
Publication of WO2023120951A1 publication Critical patent/WO2023120951A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing

Definitions

  • the present disclosure relates to a wearable device and a control method thereof, and more particularly, to a wearable device that performs an operation according to a user's manipulation and a control method thereof.
  • wearable devices have smaller display and body areas compared to devices such as smart phones and tablet PCs, user manipulation is difficult.
  • FIG. 1A As a method for solving this problem, as shown in FIG. 1A , a configuration has been developed in which a button screen is projected on the back of a user's hand through a projector and which button is touched through a camera sensor.
  • this method has problems in that an area for projection is required, manufacturing cost increases to provide a projector and a camera sensor, and battery consumption increases.
  • FIG. 1B a method of scanning a motion of a finger by projecting an ultrasonic signal or an infrared signal around a wearable device has been developed.
  • this method has disadvantages in that the back of the hand must be adjusted to the height of the sensor in order to use it as a track pad, and a configuration for projecting a signal is required.
  • a method of detecting a vibration waveform impinging on the device through a self-mixing interferometry sensor has been developed.
  • this method has a problem in that manufacturing cost increases because an SMI sensor for detecting a vibration waveform is required.
  • the present disclosure has been made in accordance with the above-described needs, and an object of the present disclosure is to provide a wearable device and a control method thereof that do not increase manufacturing cost while providing various manipulation methods to users.
  • a wearable device includes a display, a strap disposed adjacent to the display, at least one sensor for obtaining posture information of the wearable device, and the display and the at least one It is connected to one sensor and includes at least one processor for controlling the wearable device, wherein the at least one processor controls the display to provide a user interface (UI) screen, and changes in the posture information are greater than or equal to a threshold range. If it is identified, it is identified that a user's tap input to the strap has been received, a control command corresponding to the UI screen is obtained based on the changed posture information, and the wearable device based on the control command can control.
  • UI user interface
  • the at least one sensor may include a gyro sensor for obtaining angular velocity information, an acceleration sensor for acquiring acceleration information, and a magnetometer sensor for acquiring magnetometer information, and the at least one processor may determine whether the first change information of the angular velocity information is When the first change information is greater than or equal to a first threshold, the second change information of the acceleration information is greater than or equal to a second threshold, and the third change information of the magnetometer information is greater than or equal to a third threshold, the first change information and the second change information and the control command may be obtained based on the third change information.
  • the at least one processor may be configured such that the angular velocity information is within a first threshold range for a first threshold time period before the tap input is received, and the acceleration information is within a second threshold range for the first threshold time period, and the acceleration information is within a second threshold range for the first threshold time period.
  • the control command may be obtained.
  • the at least one processor determines that the angular velocity information is within a first threshold range for a first threshold time period, the acceleration information is within a second threshold range for the first threshold time period, and the magnetometer information is within a second threshold range for the first threshold time period.
  • the acceleration information increases from a first value or less to a second value greater than the first value and then decreases to less than the first value,
  • the control command may be obtained.
  • the at least one sensor may include an acceleration sensor that obtains acceleration information
  • the at least one processor may determine that the acceleration information is equal to or less than the first value during a second threshold time before the tap input is received. If the second change information of the acceleration information corresponding to the tap input is greater than or equal to a second threshold value after increasing to a greater than a second value and then decreases to a value less than or equal to the first value, the control command is issued based on the acceleration information.
  • the at least one processor may obtain the control command based on the changed posture information when it is identified that the posture information is changed beyond the threshold range while the lock state of the wearable device is released.
  • the at least one processor may obtain the control command based on the changed posture information.
  • the at least one processor may obtain the control command based on the changed posture information when the wearable device is worn by the user and a preset application is executed.
  • the device may further include a memory in which a neural network model is stored, and the at least one processor may identify whether the tap input is an input for controlling the wearable device by inputting the changed posture information to the neural network model.
  • the at least one sensor includes a sound sensor, and the at least one processor obtains sound information corresponding to the tap input through the sound sensor, based on at least one of the changed posture information and the sound information. to obtain the control command.
  • the device may further include a main body, wherein the display, the at least one sensor, and the at least one processor are included in the main body, and the strap may be connected to the main body.
  • a control method of a wearable device includes providing a UI (user interface) screen, and when it is identified that a change in attitude information of the wearable device is greater than or equal to a threshold range, a strap of the wearable device identifying that a user's tap input has been received, acquiring a control command corresponding to the UI screen based on the changed posture information, and controlling the wearable device based on the control command include
  • the attitude information includes angular velocity information, acceleration information, and magnetometer information, and the obtaining of the first change information of the angular velocity information is equal to or greater than a first threshold value, and the second change information of the acceleration information is a second change information.
  • the control command may be obtained based on the first change information, the second change information, and the third change information.
  • the obtaining may include: during a first threshold time before the tap input is received, the angular velocity information is within a first threshold range, and during the first threshold time, the acceleration information is within a second threshold range; When the magnetometer information is within a third threshold range for a threshold time, the control command may be obtained.
  • the obtaining may include: the angular velocity information is within a first threshold range for a first threshold time, the acceleration information is within a second threshold range for the first threshold time, and the magnetometer information is within a second threshold range for the first threshold time Within a third threshold range, during a second threshold time right after the first threshold time, the acceleration information increases from a first value or less to a second value greater than the first value and then decreases to less than the first value, When it is identified that the tap input is received within a third threshold time after the second threshold time, the control command may be obtained.
  • the posture information includes acceleration information
  • the acquiring may include increasing the acceleration information from a first value or less to a second value greater than the first value during a second threshold time before the tap input is received. and when the second change information of the acceleration information corresponding to the tap input is equal to or greater than the second threshold value, the control command may be obtained based on the acceleration information.
  • the acquiring may include obtaining the control command based on the changed posture information when it is identified that the posture information has changed by more than the threshold range while the lock state of the wearable device is released.
  • the acquiring may include obtaining the control command based on the changed posture information when there is no user manipulation on the display of the wearable device while the tap input is being received.
  • the acquiring may include acquiring the control command based on the changed posture information when the wearable device is worn by the user and a preset application is executed.
  • the acquiring may include identifying whether the tap input is an input for controlling the wearable device by inputting the changed posture information to a neural network model.
  • the method may further include obtaining sound information corresponding to the tap input, wherein the obtaining may obtain the control command based on at least one of the changed posture information and the sound information.
  • the strap may be connected to the main body of the wearable device.
  • the wearable device when a tap input to the strap is received, acquires a control command based on information about the changed posture of the wearable device according to the tap input, thereby providing various manipulations to the user. method can be provided.
  • the wearable device acquires posture information of the wearable device according to a tap input through an existing sensor without adding a separate sensor, manufacturing cost does not increase.
  • FIG. 2 is a block diagram showing the configuration of a wearable device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing a detailed configuration of a wearable device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining a case where a user's tap input to a strap is received according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining an operation after a tap input is received according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a method of distinguishing between a case of touching a strap and a case of touching a display according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining a method of using a gyro sensor according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining a method of using an acceleration sensor according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a method of using a gyro sensor and an acceleration sensor according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an operation of a wearable device related to a tap input according to an embodiment of the present disclosure.
  • 11 to 13 are diagrams for explaining posture change information of a wearable device according to a user's arm movement according to an embodiment of the present disclosure.
  • 14 to 20 are diagrams for explaining a method of using a tap input for a strap according to various embodiments of the present disclosure.
  • 21 is a flowchart for explaining a control method of a wearable device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • the wearable device 100 includes a display 110 , a strap 120 , a sensor 130 and a processor 140 .
  • the wearable device 100 is a device implemented in a form worn by a user or attached to or inserted into the skin, and includes a smart watch, a smart band, a smart glass, and a smart ring. , a head mounted display (HMD), and the like.
  • HMD head mounted display
  • the present invention is not limited thereto, and any electronic device implemented in a form worn by a user or attached to or inserted into the skin may be used.
  • the display 110 may be implemented with various types of displays such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, and a plasma display panel (PDP).
  • the display 110 may also include a driving circuit, a backlight unit, and the like that may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • the display 110 may be implemented as a touch screen combined with a touch sensor, a flexible display, a 3D display, and the like.
  • the strap 120 is disposed adjacent to the display 110 and may be implemented in a form to be worn by a user.
  • the strap 120 may be connected to a body including the display 110 , the sensor 130 and the processor 140 .
  • Strap 120 may also be referred to by similar words such as band, belt, and the like. However, in the following, for convenience of description, the terms are unified to the strap 120.
  • the sensor 130 is a component for obtaining posture information of the wearable device 100 and may include at least one of a gyro sensor, an acceleration sensor, and a magnetometer sensor. Alternatively, the sensor 130 may further include a sound sensor.
  • the gyro sensor is a sensor for detecting the rotation angle of the wearable device 100, and can measure the orientation change of an object by using a property of always maintaining a predetermined direction set initially with high accuracy regardless of the rotation of the earth.
  • the gyro sensor is also called a gyroscope, and may be implemented mechanically or optically using light.
  • the gyro sensor can measure angular velocity.
  • Angular velocity means an angle rotated per time, and the measurement principle of the gyro sensor is as follows. For example, if the angular velocity is 0 degrees/sec in a horizontal state (stationary state) and then tilted by 50 degrees while moving for 10 seconds, the average angular velocity for 10 seconds is 5 degrees/sec. If the tilted angle of 50 degrees is maintained in the stationary state, the angular velocity becomes 0 degrees/sec. Through this process, the angular velocity changes from 0 ⁇ 5 ⁇ 0, and the angle increases from 0 degrees to 50 degrees. In order to get the angle from the angular velocity, we need to integrate over the whole time.
  • the wearable device 100 may further include a temperature sensor, and an error of the gyro sensor may be compensated for using the temperature sensor.
  • An acceleration sensor is a sensor that measures acceleration of the wearable device 100 or strength of an impact, and is also called an accelerometer.
  • the acceleration sensor detects dynamic forces such as acceleration, vibration, and shock, and may be implemented as an inertial type, a gyro type, a silicon semiconductor type, or the like, depending on a detection method. That is, the acceleration sensor is a sensor that senses the degree of inclination of the wearable device 100 using gravitational acceleration, and may typically be formed of a 2-axis or 3-axis fluxgate.
  • a magnetometer sensor generally refers to a sensor that measures the strength and direction of Earth's magnetism, but in a broad sense includes a sensor that measures the strength of magnetization of an object, and is also called a magnetometer.
  • the magnetometer sensor may be implemented by suspending a magnet horizontally in a magnetic field and measuring a moving direction of the magnet, or measuring the strength of a magnetic field by rotating a coil in a magnetic field and measuring an induced electromotive force generated in the coil.
  • a geomagnetic sensor that measures the strength of the earth's magnetism as a type of magnetometer sensor may be generally implemented as a fluxgate-type geomagnetic sensor that detects the earth's magnetism using a fluxgate.
  • a fluxgate type geomagnetic sensor uses a high magnetic permeability material such as permalloy as a magnetic core, and applies an excitation field through a driving coil wound around the magnetic core to generate magnetic saturation and nonlinear magnetic characteristics of the magnetic core. It refers to a device that measures the magnitude and direction of an external magnetic field by measuring the second harmonic component proportional to the external magnetic field. As the magnitude and direction of the external magnetic field are measured, the current azimuth is detected, and thus the degree of rotation can be measured.
  • the geomagnetic sensor may be composed of a 2-axis or 3-axis fluxgate.
  • a 2-axis fluxgate sensor that is, a 2-axis sensor, means a sensor consisting of an X-axis fluxgate and a Y-axis fluxgate that are orthogonal to each other, and a 3-axis fluxgate, that is, a 3-axis sensor means a sensor with X-axis and Y-axis fluxgate on the Z-axis It means a sensor with fluxgate added.
  • Position information of the wearable device 100 can be obtained by using the geomagnetic sensor and the acceleration sensor as described above.
  • the attitude information of the wearable device 100 may be expressed as a pitch angle, a roll angle, and an azimuth angle.
  • the azimuth angle means an angle that changes in the left and right directions on a horizontal plane, and when the azimuth angle is calculated, it is possible to know which direction the wearable device 100 is facing. For example, if a geomagnetic sensor is used, the azimuth can be measured through the following formula.
  • ⁇ means the azimuth angle
  • cos ⁇ and sin ⁇ mean the X-axis and Y-axis fluxgate output values.
  • the roll angle means an angle at which a horizontal plane is tilted from side to side, and when the roll angle is calculated, the left or right tilt of the wearable device 100 can be known.
  • the pitch angle means an angle at which a horizontal plane is tilted up and down, and when the pitch angle is calculated, the tilt angle at which the wearable device 100 is tilted upward or downward can be known. For example, if an acceleration sensor is used, the roll angle and the pitch angle can be measured through the following equations.
  • g is the gravitational acceleration
  • ⁇ is the roll angle
  • ⁇ is the pitch angle
  • ax is the X-axis acceleration sensor output value
  • ay is the Y-axis acceleration sensor output value.
  • the sound sensor is a sensor that detects sound and may be a microphone or the like. Also, the sound sensor may detect ultrasonic waves.
  • the senor 130 includes at least one of a gyro sensor, an acceleration sensor, a magnetometer sensor, and a sound sensor.
  • the sensor 130 may be any sensor as long as it is a sensor capable of acquiring posture information of the wearable device 100 .
  • the processor 140 controls overall operations of the wearable device 100 .
  • the processor 140 may be connected to each component of the wearable device 100 to control the overall operation of the wearable device 100 .
  • the processor 140 may be connected to components such as the display 110 and the sensor 130 to control the operation of the wearable device 100 .
  • the processor 140 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON). However, it is not limited thereto, and the central processing unit ( central processing unit (CPU)), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), or communication processor (CP), ARM processor
  • the processor 140 may be implemented as a system on chip (SoC) having a built-in processing algorithm, a large scale integration (LSI), or an FPGA ( It may be implemented in the form of a field programmable gate array).
  • SoC system on chip
  • the processor 140 controls the display 110 to provide a user interface (UI) screen, and when the posture information of the wearable device 100 obtained through the sensor 130 is identified as being changed beyond a threshold range, the strap 120 It can be identified that the user's tap input for ) has been received.
  • UI user interface
  • the processor 140 obtains a control command corresponding to the UI screen based on the changed posture information when it is identified that the user's tap input to the strap 120 has been received, and based on the control command, the wearable device (100) can be controlled.
  • the processor 140 may control the display 110 to display a game screen when a game application is executed.
  • the wearable device 100 may be inclined.
  • the processor 140 may identify that the attitude information of the wearable device 100 has changed beyond a threshold range based on at least one of a gyro sensor, an acceleration sensor, and a magnetometer sensor. In this case, the processor 140 may identify that the user's tap input on the strap has been received.
  • the wearable device 100 may store information about how much the wearable device 100 tilts when there is a user's tap input to the strap 120 . For example, even if there is a user's tap input to the main body of the wearable device 100, the processor 140 identifies that the degree of inclination of the wearable device 100 is different from stored information by more than a critical value and does not perform any operation. can
  • the processor 140 may identify a corresponding user's command when there is a difference within a threshold value from stored information of the changed posture information of the wearable device 100 or more.
  • the changed posture information may include not only posture information changed in one direction but also posture information changed in a plurality of directions.
  • the attitude information changed in a plurality of directions may be an increase in acceleration values of 2 or more for 2 seconds and a decrease in acceleration values of 2 or more.
  • the attitude information changed in a plurality of directions may be information of various patterns.
  • the sensor 130 includes a gyro sensor, an acceleration sensor, and a magnetometer sensor
  • the processor 140 determines that the first change information of the angular velocity information by the gyro sensor is greater than or equal to a first threshold value, and the acceleration information by the acceleration sensor If the second change information is equal to or greater than the second threshold value and the third change information of the magnetometer information by the magnetometer sensor is equal to or greater than the third threshold value, a control command is given based on the first change information, the second change information, and the third change information. can be obtained.
  • the processor 140 determines that the angular velocity information is within a first threshold range for a first threshold time before a tap input is received, the acceleration information is within a second threshold range during the first threshold time, and the first threshold time is within a second threshold range.
  • a control command may be obtained.
  • the angular velocity information, acceleration information, and magnetometer information may each show corresponding deviations during the first threshold time in the stationary state, It may be set to a first threshold range to a third threshold range based on the deviation corresponding to each.
  • the first threshold range may be a value obtained by adding a deviation of angular velocity information in a state in which the user is stopped and a preset margin.
  • the first threshold range may be a value smaller than a deviation of angular velocity information in a walking state of the user.
  • the second threshold range and the third threshold range may also be set in a similar manner.
  • the first change information of the angular velocity information is equal to or greater than the first threshold value
  • the second change information of the acceleration information is equal to or greater than the second threshold value
  • the third change information of the magnetometer information is equal to or greater than the third threshold value. If it is equal to or greater than the threshold value, it may be identified that the tap input has been received and a control command may be obtained based on the first change information, the second change information, and the third change information.
  • the first threshold time may be right before a tap input is received.
  • the processor 140 determines that the angular velocity information is within a first threshold range for a first threshold time period, the acceleration information is within a second threshold range for the first threshold time period, and the magnetometer information is within a third threshold range for the first threshold time period. If within the range and a tap input is received immediately after the first threshold time, a control command may be obtained.
  • the processor 140 determines that the angular velocity information is within a first threshold range for a first threshold time period, the acceleration information is within a second threshold range for the first threshold time period, and the magnetometer information is within a third threshold range for the first threshold time period. If within the range and a tap input is received after the first threshold time, for example, after 3 seconds to 5 seconds, a control command may be acquired.
  • a preset control command is input between the first threshold time and the point at which the tap input is received.
  • the processor 140 determines that the angular velocity information is within a first threshold range for a first threshold time period, the acceleration information is within a second threshold range for the first threshold time period, and the magnetometer information is within a third threshold range for the first threshold time period. If a tap input is received within the range and in a state in which a preset application is executed according to a user command for executing a preset application after the first threshold time, a control command may be obtained.
  • the processor 140 determines that the angular velocity information is within a first threshold range for a first threshold time, the acceleration information is within a second threshold range for the first threshold time, and the magnetometer information is within a third threshold range for the first threshold time.
  • the acceleration information increases from the first value or less to the second value greater than the first value and then decreases to the first value or less, and after the second threshold time, the third threshold time If it is identified that a tap input has been received within, a control command may be acquired.
  • angular velocity information, acceleration information, and magnetometer information may each be within a corresponding deviation. Thereafter, when the user raises his/her arm and looks at the wearable device 100, the acceleration information may gradually increase and then gradually decrease. Thereafter, the processor 140 may obtain a control command when it is identified that a tap input is received.
  • the senor 130 may include only some of a gyro sensor, an acceleration sensor, or a magnetometer sensor.
  • the processor 140 may perform the above operation using only some sensors.
  • the senor 130 may include an acceleration sensor, and the processor 140 may increase acceleration information from a first value or less to a second value greater than the first value during a second threshold time before a tap input is received.
  • the processor 140 may increase acceleration information from a first value or less to a second value greater than the first value during a second threshold time before a tap input is received.
  • the value is less than 1 and the second change information of the acceleration information according to the tap input is equal to or greater than the second threshold value, a control command may be obtained based on the acceleration information.
  • the acceleration information may gradually increase and then gradually decrease. Thereafter, when the second change information of the acceleration information is greater than or equal to the second threshold, it is identified that the tap input has been received, and a control command may be obtained based on the second change information.
  • the processor 140 does not consider the angular velocity information and the magnetometer information, and the acceleration information increases from the first value or less to the second value greater than the first value during the second threshold time before the tap input is received.
  • the processor 140 does not consider the angular velocity information and the magnetometer information, and the acceleration information increases from the first value or less to the second value greater than the first value during the second threshold time before the tap input is received.
  • a control command may be obtained based on the acceleration information.
  • the sensor 130 includes an acceleration sensor
  • the processor 140 determines whether acceleration information by the acceleration sensor is within a fourth threshold range during a first threshold time before a tap input is received, and a first threshold time before the first threshold time. 2
  • acceleration information increases from less than the first value to more than a second value greater than the first value for a threshold time and then decreases to less than the first value
  • the second change information of the acceleration information according to the tap input is greater than or equal to the second threshold value.
  • a control command may be obtained based on the acceleration information.
  • the fourth threshold range may be larger than the aforementioned second threshold range. This is because a margin is added to determine that there is a tap input even if there is shaking due to a walking motion when the motion of lifting the arm is preceded.
  • the acceleration information may gradually increase, then gradually decrease, and then be maintained within the fourth threshold range. Thereafter, when the second change information of the acceleration information is greater than or equal to the second threshold, it is identified that the tap input has been received, and a control command may be obtained based on the second change information.
  • the processor 140 does not consider the angular velocity information and the magnetometer information, and the acceleration information by the acceleration sensor during the first threshold time before the tap input is received is within the fourth threshold range and before the first threshold time. After the acceleration information increases from a first value or less to a second value greater than the first value during the second threshold time of , and then decreases to the first value or less, the second change information of the acceleration information according to the tap input is the second threshold value If it is above, a control command may be obtained based on the acceleration information.
  • the processor 140 may obtain a control command based on the changed posture information when it is identified that the posture information has changed beyond a threshold range while the lock state of the wearable device 100 is released. For example, if the wearable device 100 is in a locked state and it is identified that the posture information has changed below a threshold range, the processor 140 does not perform any operation, and in a state in which the wearable device 100 is unlocked, When it is identified that the attitude information has changed beyond a critical range, a control command may be obtained based only on the changed attitude information.
  • the locked state may be released by at least one of a PIN, password, pattern, or biometric ID.
  • the present invention is not limited thereto, and the processor 140 may perform an operation corresponding to the changed posture information when the posture information is changed to a preset type even when the wearable device 100 is in a locked state. For example, when the wearable device 100 is in a locked state and a plurality of tap inputs are received at a predetermined beat, the processor 140 determines the position of the wearable device 100 based on information about the changed posture according to the plurality of tap inputs. You can also unlock the lock.
  • the processor 140 may obtain a control command based on the changed posture information when there is no user manipulation through the display 110 while the tap input is received. For example, if there is a user manipulation through the display 110, the processor 140 identifies that the user inputs a control command only through the display 110, and changes the posture of the wearable device 100 as intended by the user. It can be treated as unreported information.
  • the processor 140 may obtain a control command by combining a touch input through the display 110 and a tap input to the strap 120 .
  • the processor 140 performs a first operation when a tap input to the strap 120 is received without a touch input through the display 110, and simultaneously with the touch input through the display 110, the strap 120 When a tap input for ) is received, the second operation may be performed.
  • the processor 140 may obtain a control command based on the changed posture information when the wearable device 100 is worn by the user.
  • the sensor 130 includes a temperature sensor, and the processor 140 may identify whether the wearable device 100 is worn by the user through the temperature sensor.
  • the wearable device 100 includes a body, a first strap connected to one side of the body, and a second strap connected to the other side of the body, and the processor 140 determines whether the first strap and the second strap are connected. Thus, it may be identified whether the wearable device 100 is worn by the user. However, it is not limited thereto, and the processor 140 may identify whether the wearable device 100 is worn by the user in any number of ways, and the processor 140 determines whether the wearable device 100 is worn by the user.
  • a control command is acquired based on the changed posture information, and if the wearable device 100 is not worn by the user, no operation may be performed even if the posture information is changed.
  • the processor 140 may obtain a control command based on the changed posture information only when a preset application is executed. For example, if a preset application is not executed, the processor 140 may not perform any operation even if posture information is changed.
  • the processor 140 may obtain a control command based on the changed posture information when the wearable device 100 is worn by the user and a preset application is executed.
  • the processor 140 may obtain a control command based on posture information and changed posture information of the wearable device 100 .
  • the processor 140 may identify posture information and changed posture information of the wearable device 100 through the sensor 130, and the posture information of the wearable device 100 at the time when a tap input is received is critical.
  • a control command may be obtained based on the changed attitude information.
  • the processor 140 may obtain a control command based on the changed posture information.
  • the wearable device 100 further includes a memory in which the neural network model is stored, and the processor 140 may input changed posture information to the neural network model to identify whether the tap input is an input for controlling the wearable device 100.
  • the neural network model may be a model obtained by learning a relationship between sample changed posture information and sample information about whether the tap input is an input for controlling the wearable device 100 .
  • the neural network model may be a model obtained by learning the relationship between sample changed posture information and sample control commands.
  • the processor 140 inputs the changed posture information to the neural network model to generate a control command. may also be obtained.
  • the sensor 130 includes a sound sensor
  • the processor 140 further obtains sound information by a tap input through the sound sensor and obtains a control command based on at least one of changed posture information and sound information.
  • the processor 140 may obtain a control command when a sound according to a tap input coincides with a posture change time point.
  • the strap 120 includes a contact resistance sensor
  • the processor 140 receives contact information according to a tap input through the contact resistance sensor, and changes the contact point and posture.
  • a control command may be acquired.
  • the processor 140 may be connected to the contact resistance sensor of the strap 120 .
  • the wearable device 100 further includes a camera that takes pictures in a direction perpendicular to the surface of the display 110, and the processor 140, when the posture of the wearable device 100 is changed according to the tap input, displays the image through the camera.
  • a direction perpendicular to the (110) plane may be photographed, and a control command may be obtained when a user is included in the photographed image.
  • the wearable device 100 may include a display 110 , a strap 120 , a sensor 130 and a processor 140 . Also, according to FIG. 3 , the wearable device 100 may further include a memory 150 , a communication interface 160 , a user interface 170 , a microphone 180 , and a speaker 190 . Among the components shown in FIG. 3, detailed descriptions of components overlapping those shown in FIG. 2 will be omitted.
  • the memory 150 may refer to hardware that stores information such as data in an electrical or magnetic form so that the processor 140 or the like can access it. To this end, the memory 150 may be implemented with at least one hardware among non-volatile memory, volatile memory, flash memory, hard disk drive (HDD) or solid state drive (SSD), RAM, ROM, and the like. .
  • At least one instruction or module necessary for the operation of the wearable device 100 or the processor 140 may be stored in the memory 150 .
  • the instruction is a code unit instructing the operation of the wearable device 100 or the processor 140, and may be written in machine language, which is a language that a computer can understand.
  • a module may be a set of instructions that perform a specific task of a unit of work.
  • the memory 150 may store data that is information in units of bits or bytes capable of representing characters, numbers, images, and the like.
  • Various neural network models may be stored in the memory 150 .
  • a neural network model for identifying whether the changed posture information is a tap input to the strap 120 may be stored in the memory 150 .
  • the memory 150 is accessed by the processor 140, and instructions, modules or data may be read/written/modified/deleted/updated by the processor 140.
  • functions related to artificial intelligence according to the present disclosure are operated through the processor 140 and the memory 150.
  • Processor 140 may be composed of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphics-only processor such as a GPU, or a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • GPU graphics-only processor
  • VPU vision processing unit
  • NPU an artificial intelligence-only processor
  • One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory.
  • the processors dedicated to artificial intelligence may be designed as a hardware structure specialized for processing a specific artificial intelligence model.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, and a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the plurality of weights of the plurality of neural network layers may be optimized according to the learning result of the artificial intelligence model. For example, a plurality of weights may be updated to reduce or minimize a loss value or a cost value obtained from an artificial intelligence model during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • the communication interface 160 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the wearable device 100 may communicate with a server through the communication interface 160 .
  • the communication interface 160 may include a Wi-Fi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and the Bluetooth module perform communication using the WiFi method and the Bluetooth method, respectively.
  • various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted and received after a communication connection is established using the same.
  • the infrared communication module performs communication according to infrared data association (IrDA) technology that transmits data wirelessly over a short distance using infrared rays between visible rays and millimeter waves.
  • IrDA infrared data association
  • the wireless communication module can use Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G (5th Generation) may include at least one communication chip that performs communication according to various wireless communication standards.
  • 3G 3rd Generation
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • LTE-A LTE Advanced
  • 4th Generation (4G) may include at least one communication chip that performs communication according to various wireless communication standards.
  • the communication interface 160 may include a wired communication interface such as HDMI, DP, Thunderbolt, USB, RGB, D-SUB, DVI, and the like.
  • the communication interface 160 may include at least one of a local area network (LAN) module, an Ethernet module, or a wired communication module that performs communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • LAN local area network
  • Ethernet Ethernet
  • wired communication module that performs communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • the user interface 170 may be implemented with buttons, a touch pad, a mouse, and a keyboard, or may be implemented as a touch screen capable of performing both a display function and a manipulation input function.
  • the buttons may be various types of buttons such as mechanical buttons, touch pads, wheels, etc. formed on an arbitrary area such as the front, side, or rear surface of the main body of the wearable device 100 .
  • the microphone 180 is a component for receiving sound and converting it into an audio signal.
  • the microphone 180 is electrically connected to the processor 140 and can receive sound under the control of the processor 140 .
  • the microphone 180 may be integrally formed on the top, front, or side surfaces of the wearable device 100 .
  • the microphone 180 may be provided in a separate remote control from the wearable device 100 .
  • the remote controller may receive sound through the microphone 180 and provide the received sound to the wearable device 100 .
  • the microphone 180 includes a microphone for collecting analog sound, an amplifier circuit for amplifying the collected sound, an A/D conversion circuit for sampling the amplified sound and converting it into a digital signal, and removing noise components from the converted digital signal. It may include various configurations such as filter circuits and the like.
  • a plurality of microphones 180 may be provided.
  • the processor 140 may analyze the sound input from the plurality of microphones and identify the position where the sound is output.
  • the microphone 180 may be implemented in the form of a sound sensor, and any method may be used as long as it is configured to collect sound.
  • the speaker 190 may receive an electrical signal and vibrate the diaphragm based on the input electrical signal to emit sound.
  • a sound radiation hole is provided on one side of the speaker 190, and sound can be emitted through the sound radiation hole.
  • the user can control the wearable device 100 with a tap input to the strap 120 having a large surface area, so user convenience can be improved, and the wearable device 100 responds to tap input only with the existing hardware configuration It is possible to perform an operation to prevent an increase in manufacturing cost.
  • FIGS. 4 to 20 describe individual embodiments for convenience of description. However, the individual embodiments of FIGS. 4 to 20 may be implemented in any combination.
  • FIG. 4 is a diagram for explaining a case where a user's tap input to the strap 120 is received according to an embodiment of the present disclosure.
  • the wearable device 100 may include a body, a first strap connected to one front side of the body, and a second strap connected to the other side (back) of the body.
  • the wearable device 100 may be momentarily tilted to the front side.
  • the processor 140 may obtain changed posture information of the wearable device 100 through the sensor 130 .
  • the processor 140 may acquire gyroscope data of the wearable device 100 in real time through a gyro sensor, and may identify an instantaneous change as shown in the graph of the upper drawing 410 of FIG. 4 .
  • the wearable device 100 when a user's tap input to the second strap is received, the wearable device 100 may be momentarily inclined toward the back side.
  • the processor 140 may obtain posture change information of the wearable device 100 through the sensor 130 .
  • the processor 140 may acquire gyroscope data of the wearable device 100 in real time through a gyro sensor, and may identify an instantaneous change as shown in the graph of the lower drawing 420 of FIG. 4 . .
  • FIG. 5 is a diagram for explaining an operation after a tap input is received according to an embodiment of the present disclosure.
  • a user's double-tap input to the strap 120 may be received.
  • the processor 140 may obtain gyroscope data through the gyro sensor.
  • the gyroscope data may include two spark forms as shown in the left drawing of FIG. can be identified as
  • the processor 140 may perform an operation according to a control command corresponding to the double-tap input.
  • a user's double-tap input to the strap 120 is input, but is not limited thereto.
  • a single tap input to the strap 120 may be received or a three tap input to the strap 120 may be received, and the processor 140 may perform a different operation according to each input.
  • the processor 140 may further consider the duration of the tap on the strap 120 .
  • the user may briefly perform a tap on the strap 120 or may maintain a long tap on the strap 120 .
  • the processor 140 may identify the duration of the tap and perform a different operation according to each input.
  • the processor 140 may identify a user's tap input to the strap 120 using at least one of a gyro sensor, an acceleration sensor, a magnetometer sensor, or a sound sensor.
  • FIG. 6 is a diagram for explaining a method of distinguishing between a case of touching the strap 120 and a case of touching the display 110 according to an embodiment of the present disclosure.
  • the processor 140 may identify the degree of inclination of the wearable device 100 through the sensor 130 .
  • the processor 140 may identify the degree of inclination of the wearable device 100 through the sensor 130 . At this time, the processor 140 may identify that the user's tap input to the strap 120 has been received when the degree of inclination of the wearable device 100 is equal to or greater than the critical angle.
  • the processor 140 may identify the degree of inclination of the wearable device 100 through the sensor 130 . In this case, the processor 140 may identify that the user's tap input to the display 110 has been received when the degree of tilt of the wearable device 100 is less than the critical angle.
  • the critical angle may be obtained by repeating a tap input to the strap 120 and a tap input to the display 110 .
  • it may be modified as the user uses the wearable device 100 .
  • each user may have a difference in intensity of a tap input, and the processor 140 may identify a tap input to the display 110 as a tap input to the strap 120 .
  • the processor 140 may malfunction, but the user may input a control command to cancel the malfunction.
  • the processor 140 may change the value of the threshold angle.
  • the display 110 may be implemented as one of resistive film-based, projected capacitance-based, surface capacitance-based, surface acoustic wave-based, and infrared optical image-based, and the processor 140 may input a tap to the display 110. may be identified as a touch input.
  • a tap input to the strap 120 and a tap input to the display 110 are distinguished based on the degree of inclination of the wearable device 100 , but the present invention is not limited thereto.
  • the processor 140 may obtain sound information to distinguish between a tap input to the strap 120 and a tap input to the display 110 .
  • the display 110 is made of a plastic material such as glass and the strap 120 is made of a material such as leather, rubber, or metal, a sound according to a tap input may be different.
  • the processor 140 may distinguish between a tap input to the strap 120 and a tap input to the display 110 based on the difference in tone.
  • a tap input to the display 110 is exemplified, but is not limited thereto.
  • the processor 140 may distinguish between a tap input to the strap 120 and a tap input to the main body of the wearable device 100 based on the degree of inclination of the wearable device 100 .
  • FIG. 7 is a diagram for explaining a method of using a gyro sensor according to an embodiment of the present disclosure.
  • the processor 140 may acquire posture information of the wearable device 100 in real time through a gyro sensor. First, when the user does not use the wearable device 100 and walks, the angular velocity may exhibit a certain level of variation or more, as shown in window A 710 . In this case, the processor 140 may identify glitches around a and b, but may not identify the glitch as a tap input because the angular velocity exhibits a certain level of abnormal variation before the glitch occurs.
  • the angular velocity shows a variation of less than a certain level, and a glitch does not occur either.
  • the angular velocity may show a variation of less than a certain level, as shown in window B 720.
  • a glitch occurs according to the user's tap input to the strap 120, and when the glitch occurs in a state where the angular velocity shows a variation less than a certain level, the processor 140 determines the user's It can be identified that a tap input has been received.
  • FIG. 8 is a diagram for explaining a method of using an acceleration sensor according to an embodiment of the present disclosure.
  • the processor 140 may acquire posture information of the wearable device 100 in real time through an acceleration sensor. First, as in window A 810, a glitch may occur while an acceleration value increases. In this case, the processor 140 identifies that the user moves the wrist based on the linearly increasing acceleration value before the glitch, and then Based on the glitches that have occurred, it can be identified that the wrist has collided with an object. That is, the processor 140 may identify that there is no user tap input.
  • a glitch may occur while the acceleration value is maintained at a certain level, as in window B 820. and it may be identified that the user's tap input to the strap 120 has been received based on the glitch that has occurred thereafter.
  • FIG. 9 is a diagram for explaining a method of using a gyro sensor and an acceleration sensor according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram in which the graph of the acceleration value of FIG. 8 and the graph of the angular velocity of FIG. 7 are overlapped, and the processor 140 uses both the gyro sensor and the acceleration sensor so that the user's tap input to the strap 120 is Received can be identified.
  • the processor 140 may identify that there was no user tap input to the strap 120 since a glitch occurred while the angular velocity exhibited a certain level of variation and the acceleration value increased in the window A 910. .
  • the processor 140 receives the user's tap input for the strap 120 because a glitch occurs while the angular velocity shows a variation of less than a certain level and the acceleration value maintains a certain level in the window B 920. can be identified as
  • the accuracy of the tap input to the strap 120 can be further improved by using the two sensors.
  • the present invention is not limited thereto, and the processor 140 may further use a magnetometer sensor as well as a gyro sensor and an acceleration sensor to identify whether a tap input to the strap 120 is received.
  • FIG. 10 is a flowchart illustrating an operation of the wearable device 100 related to a tap input according to an embodiment of the present disclosure.
  • the processor 140 may activate the system (S1010).
  • the processor 140 may supply power to the sensor 130 after booting.
  • the processor 140 may acquire sensor data through the sensor 130 (S1020). For example, the processor 140 may obtain sensor data based on at least one of a gyro sensor, an acceleration sensor, a magnetometer sensor, and a sound sensor.
  • the processor 140 may obtain sensor data through the sensor 130 only when the wearable device 100 is worn by the user. Through this operation, power consumption of the wearable device 100 may be reduced.
  • the processor 140 may supply power to only one of the gyro sensor, acceleration sensor, magnetometer sensor, and sound sensor, and supply power to the other sensors when a wakeup signal is received from the user. For example, the processor 140 identifies that a wakeup signal has been received when an acceleration value of a predetermined pattern is identified according to a user's manipulation in a state in which power is supplied only to the acceleration sensor and power is not supplied to the other sensors, and It can also supply power to the rest of the sensors. Then, when a tap input to the strap 120 is received, the processor 140 may identify whether or not the tap input is performed through a plurality of sensors. Through this operation, it is possible to maintain accuracy for tap input while reducing power consumption in normal times.
  • the processor 140 may identify whether the tap input is a specific gesture pattern (S1030). If it is identified that the tap input is not a specific gesture pattern, the processor 140 may maintain an operation of obtaining sensor data. Alternatively, if the tap input is identified as a specific gesture pattern, the processor 140 may identify whether the specific gesture pattern is an error (S1040).
  • the processor 140 may further obtain sound information, and when the reception time of the gesture pattern and the reception time of the sound are the same, the processor 140 may identify that the specific gesture pattern is not an error.
  • the processor 140 identifies at least one of angular velocity information, acceleration information, and magnetometer information, the angular velocity information is within a first threshold range for a first threshold time before a tap input is received, and the acceleration information for the first threshold time When is within the second threshold range and magnetometer information is within the third threshold range for the first threshold time, it may be identified that the specific gesture pattern is not an error.
  • the processor 140 may identify that the specific gesture pattern is not an error.
  • the processor 140 may identify that the specific gesture pattern is not an error.
  • the processor 140 may identify that a specific gesture pattern is not an error when the wearable device 100 is worn by the user and a preset application is executed.
  • the processor 140 can distinguish between an input not intended by the user, such as a sudden movement of the wrist, and a tap input intended by the user.
  • the processor 140 may maintain an operation of obtaining sensor data. Alternatively, if the specific gesture pattern is identified as not an error, the processor 140 may perform an operation corresponding to the gesture pattern (S1050).
  • 11 to 13 are diagrams for explaining posture change information of the wearable device 100 according to a user's arm movement according to an embodiment of the present disclosure.
  • the user may be in a state of not using the wearable device 100 .
  • the arm may be raised to use the wearable device 100 .
  • the processor 140 may detect a motion of a user lifting an arm through acceleration information.
  • the sensor 130 includes an acceleration sensor, and the processor 140 increases acceleration information from a first value or less to a second value greater than the first value during a second threshold time before a tap input is received. and when the second change information of the acceleration information according to the tap input is equal to or greater than the second threshold value, a control command may be obtained based on the acceleration information. If the user's intention to use the wearable device 100 is not clearly confirmed, it is necessary to more strictly detect the tap input.
  • the processor 140 may identify, through the sensor 130, whether the arm is maintained constant before a tap input is received.
  • sections a and c of FIG. 12 may be a state in which the wearable device 100 is shaking
  • section b 1210 may be a state in which the wearable device 100 is not shaking.
  • the processor 140 may identify that the variation of the acceleration value and the angular velocity of the wearable device 100 is not larger than that of the interval a and c, as in the interval b 1210 .
  • the processor 140 may identify that the user's tap input to the strap 120 has been received.
  • the processor 140 may identify that the user's tap input to the strap 120 has not been received because the wearable device 100 is in a shaking state.
  • intervals a and c are states in which the wearable device 100 shakes, and sections b and d 1310 may be a state in which the wearable device 100 is not shaken.
  • the processor 140 may identify that the variation of the magnetometer of the wearable device 100 is not greater than that of the period a and c, as in the period b and period d 1310 .
  • the processor 140 identifies whether the user's tap input to the strap 120 has been received by considering the acceleration value and the angular velocity as shown in FIG. You may. Accuracy of whether or not a tap input is received may be improved through such an operation.
  • the wearable device 100 shakes based on sensor data as shown in FIG. 12 or 13 may be implemented as a neural network model.
  • 14 to 20 are diagrams for explaining a method of utilizing a tap input to the strap 120 according to various embodiments of the present disclosure.
  • the processor 140 may perform an operation based on information about the changed posture of the wearable device 100 when a tap input to the strap 120 is received.
  • the tap input itself to the strap 120 is not an electromagnetic operation, the same operation is possible even when the user wears the glove 1410 . That is, in the case of a conventional touch display, it is impossible to control while wearing gloves, but this inconvenience can be solved through a tap input to the strap 120 .
  • the user may watch a video through the wearable device 100 .
  • the processor 140 may change the touch on the display 110 to a touch locked state.
  • the user may change the sound volume of the video through a tap input to the strap 120 . That is, in the prior art, control was possible only after releasing the locked state of the touch, but control is possible without releasing the locked state through a tap input to the strap 120, and the above inconvenience can be solved.
  • the processor 140 may change luminance, color, reproduction time, etc. through a tap input to the strap 120 even when the touch to the display 110 is in a locked state.
  • the processor 140 may obtain changed posture information of the wearable device 100 according to the tap input through the sensor 130 . Also, the processor 140 may obtain a control command corresponding to the changed attitude information based on the running application.
  • the processor 140 may identify a tap input to the strap 120 as a jump or squat.
  • the present invention is not limited thereto, and the processor 140 may identify a tap input to the strap 120 as a game stop when the second game is running. Also, when the second game is stopped, the processor 140 may identify a tap input to the strap 120 as a game restart. That is, the processor 140 may obtain a control command corresponding to posture change information based on a state of an application being executed.
  • the processor 140 may identify volume up or volume down when a video application or music application is running.
  • the processor 140 may display one of the plurality of screens and a plurality of indicators 1710 respectively corresponding to the plurality of screens. In this case, the processor 140 may identify the tap input to the strap 120 as a control command for changing to another one of a plurality of screens, as shown in FIG. 17 .
  • the wearable device 100 has a problem in that a touch error occurs due to exposure to water or dust, but since the tap input to the strap 120 is not an electromagnetic operation, the touch Since no error occurs, the above inconvenience can be solved.
  • the wearable device 100 includes a body, a first strap connected to one side of the body, and a second strap connected to the other side of the body, and the processor 140 is connected to the first strap.
  • a scroll-up operation may be performed according to a tap input to the second strap, and a scroll-down operation may be performed according to a tap input to the second strap.
  • the processor 140 may omit the button (Play next tour) on the lower left of FIG. 20 and provide more information as shown on the right of FIG. 20 .
  • the processor 140 may identify the tap input to the strap 120 as manipulating the omitted button.
  • 21 is a flowchart for explaining a control method of a wearable device according to an embodiment of the present disclosure.
  • a user interface (UI) screen is provided (S2110). Then, when it is identified that the posture information of the wearable device has changed beyond a threshold range, it is identified that a user's tap input to the strap of the wearable device has been received (S2120). Then, a control command corresponding to the UI screen is acquired based on the changed posture information (S2130). Then, the wearable device is controlled based on the control command (S2140).
  • UI user interface
  • the posture information includes angular velocity information, acceleration information, and magnetometer information, and obtaining (S2130) the first change information of the angular velocity information is greater than or equal to a first threshold value, and the second change information of the acceleration information is a second threshold value. value or more, and if the third change information of the magnetometer information is equal to or greater than the third threshold value, a control command may be obtained based on the first change information, the second change information, and the third change information.
  • the angular velocity information is within a first threshold range for a first threshold time before a tap input is received
  • the acceleration information is within a second threshold range during the first threshold time
  • a control command may be obtained.
  • the angular velocity information is within a first threshold range for a first threshold time period
  • the acceleration information is within a second threshold range for the first threshold time period
  • the magnetometer information is within a third threshold range for the first threshold time period.
  • the acceleration information increases from the first value or less to the second value greater than the first value for a second threshold time right after the first threshold time, then decreases to the first value or less, and after the second threshold time, the third value If it is identified that the tap input is received within the threshold time, a control command may be obtained.
  • the attitude information includes acceleration information
  • the obtaining (S2130) is performed after the acceleration information increases from a first value or less to a second value greater than the first value during a second threshold time before a tap input is received.
  • the value is less than 1 and the second change information of the acceleration information according to the tap input is equal to or greater than the second threshold value, a control command may be obtained based on the acceleration information.
  • a control command may be obtained based on the changed posture information.
  • a control command may be obtained based on the changed posture information.
  • a control command may be obtained based on the changed posture information.
  • the acquiring step (S2130) it is possible to identify whether the tap input is an input for controlling the wearable device by inputting the changed posture information to the neural network model.
  • a step of obtaining sound information by a tap input may be further included.
  • a control command may be obtained based on at least one of changed posture information and sound information.
  • the strap may be connected to the main body of the wearable device.
  • the wearable device when a tap input to the strap is received, acquires a control command based on information about the changed posture of the wearable device according to the tap input, thereby providing various manipulations to the user. method can be provided.
  • the wearable device acquires posture information of the wearable device according to a tap input through an existing sensor without adding a separate sensor, manufacturing cost does not increase.
  • a device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, the electronic device A) according to the disclosed embodiments.
  • the processor may perform a function corresponding to the command directly or by using other components under the control of the processor.
  • An instruction may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • CD-ROM compact disc read only memory
  • application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • the various embodiments described above use software, hardware, or a combination thereof in a recording medium readable by a computer or similar device. can be implemented in In some cases, the embodiments described herein may be implemented in a processor itself. According to software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • Non-transitory computer-readable medium may be stored in a non-transitory computer-readable medium.
  • Computer instructions stored in such a non-transitory computer readable medium when executed by a processor of a specific device, cause a specific device to perform a processing operation in the device according to various embodiments described above.
  • a non-transitory computer readable medium is a medium that stores data semi-permanently and is readable by a device, not a medium that stores data for a short moment, such as a register, cache, or memory.
  • Specific examples of the non-transitory computer readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • each of the components may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or at least some operations are executed in a different order, are omitted, or other operations are added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 장치가 개시된다. 본 웨어러블 장치는 디스플레이, 디스플레이와 인접하게 배치된 스트랩, 웨어러블 장치의 자세 정보를 획득하는 적어도 하나의 센서 및 디스플레이 및 적어도 하나의 센서와 연결되어 웨어러블 장치를 제어하는 적어도 하나의 프로세서를 포함하며, 적어도 하나의 프로세서는 UI(user interface) 화면을 제공하도록 디스플레이를 제어하고, 자세 정보의 변화가 임계 범위 이상인 것으로 식별되면, 스트랩에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별하고, 변경된 자세 정보에 기초하여 UI 화면에 대응되는 제어 명령을 획득하고, 제어 명령에 기초하여 웨어러블 장치를 제어할 수 있다.

Description

웨어러블 장치 및 그 제어 방법
본 개시는 웨어러블 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 사용자 조작에 따른 동작을 수행하는 웨어러블 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치가 개발되고 있다. 특히, 최근에는 연결성(connectivity) 및 IC(integrated circuit) 칩의 발달에 따라 옷이나 시계, 신발처럼 사용자에게 착용되거나 피부에 부착 또는 삽입되는 형태의 웨어러블(wearable) 장치가 개발되고 있다.
다만, 웨어러블 장치는 스마트폰, 태블릿 PC 등과 같은 장치와 비교하여 디스플레이 및 바디 영역이 작기 때문에 사용자 조작이 어려운 문제가 있다.
이러한 문제를 해결하기 위한 방법으로, 도 1a에 도시된 바와 같이, 프로젝터를 통해 사용자의 손등에 버튼 화면을 투사하고, 카메라 센서를 통해 어느 버튼이 터치되었는지 식별하는 구성이 개발되었다. 다만, 이 방법은 투사를 위한 영역이 필요하고, 프로젝터 및 카메라 센서를 구비하기 위해 제조 비용이 증가하며, 배터리 소모가 증가하는 문제가 있다.
또는, 도 1b에 도시된 바와 같이, 웨어러블 장치의 주위로 초음파 신호 또는 적외선 신호를 투사하여 손가락의 움직임을 스캔하는 방식이 개발되었다. 다만, 이 방법은 트랙 패드로 사용하기 위해 손등을 센서 높이로 맞춰야 하며, 신호를 투사하기 위한 구성이 필요한 단점이 있다.
또는, 도 1c에 도시된 바와 같이, SMI 센서(self-mixing interferometry sensor)를 통해 장치에 충돌하는 진동 파형을 감지하는 방식이 개발되었다. 다만, 이 방법은 진동 파형을 감지하기 위한 SMI 센서가 필요하여 제조 비용이 증가하는 문제가 있다.
또는, 웨어러블 장치의 스트랩(strap)에 터치 감지 센서를 구비하여 웨어러블 장치를 제어하는 방법도 개발되었으나, 이 방법 역시 스트랩에 별도의 터치 감지 센서를 구비해야 한다는 점에서 제조 비용이 증가하는 문제가 있다. 또한, 사용자가 장갑을 착용하거나 터치 잠금 상태 등과 같은 경우에 제어가 어려운 문제도 있다.
이상과 같이 웨어러블 장치의 제조 비용이 증가하지 않으면서도 다양한 사용자 조작 방법을 제공하는 웨어러블 장치가 개발될 필요가 있다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 사용자에게 다양한 조작 방법을 제공하면서도 제조 비용이 증가하지 않는 웨어러블 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 웨어러블 장치는 디스플레이, 상기 디스플레이와 인접하게 배치된 스트랩, 상기 웨어러블 장치의 자세 정보를 획득하는 적어도 하나의 센서 및 상기 디스플레이 및 상기 적어도 하나의 센서와 연결되어 상기 웨어러블 장치를 제어하는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는 UI(user interface) 화면을 제공하도록 상기 디스플레이를 제어하고, 상기 자세 정보의 변화가 임계 범위 이상인 것으로 식별되면, 상기 스트랩에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별하고, 상기 변경된 자세 정보에 기초하여 상기 UI 화면에 대응되는 제어 명령을 획득하고, 상기 제어 명령에 기초하여 상기 웨어러블 장치를 제어할 수 있다.
그리고, 상기 적어도 하나의 센서는 각속도 정보를 획득하는 자이로 센서, 가속도 정보를 획득하는 가속도 센서 및 자력계 정보를 획득하는 자력계 센서를 포함하고, 상기 적어도 하나의 프로세서는 상기 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 상기 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 상기 제1 변경 정보, 상기 제2 변경 정보 및 상기 제3 변경 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 탭 입력이 수신되기 전의 제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내인 경우, 상기 제어 명령을 획득할 수 있다.
또는, 적어도 하나의 프로세서는 제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내이며, 상기 제1 임계 시간 이후인 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 제2 임계 시간 이후 제3 임계 시간 내에 상기 탭 입력이 수신된 것으로 식별되면, 상기 제어 명령을 획득할 수 있다.
또는, 상기 적어도 하나의 센서는 가속도 정보를 획득하는 가속도 센서를 포함하고, 상기 적어도 하나의 프로세서는 상기 탭 입력이 수신되기 전의 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 탭 입력에 대응되는 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 상기 가속도 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
그리고, 상기 적어도 하나의 프로세서는 상기 웨어러블 장치가 잠금 상태가 해제된 동안 상기 자세 정보가 상기 임계 범위 이상 변경된 것으로 식별되면, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 탭 입력이 수신되는 동안 상기 디스플레이에 사용자 조작이 없는 경우, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
그리고, 상기 적어도 하나의 프로세서는 상기 웨어러블 장치가 상기 사용자에게 착용된 상태이고 기설정된 어플리케이션이 실행된 경우, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 신경망 모델이 저장된 메모리를 더 포함하며, 상기 적어도 하나의 프로세서는 상기 변경된 자세 정보에 상기 신경망 모델에 입력하여 상기 탭 입력이 상기 웨어러블 장치를 제어하기 위한 입력인지 식별할 수 있다.
그리고, 상기 적어도 하나의 센서는 사운드 센서를 포함하고, 상기 적어도 하나의 프로세서는 상기 사운드 센서를 통해 상기 탭 입력에 대응되는 사운드 정보를 획득하고, 상기 변경된 자세 정보 또는 상기 사운드 정보 중 적어도 하나에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 본체를 더 포함하며, 상기 디스플레이, 상기 적어도 하나의 센서 및 상기 적어도 하나의 프로세서는 상기 본체에 포함되고, 상기 스트랩은 상기 본체에 연결될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 웨어러블 장치의 제어 방법은 UI(user interface) 화면을 제공하는 단계, 상기 웨어러블 장치의 자세 정보의 변화가 임계 범위 이상인 것으로 식별되면, 상기 웨어러블 장치의 스트랩에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별하는 단계, 상기 변경된 자세 정보에 기초하여 상기 UI 화면에 대응되는 제어 명령을 획득하는 단계 및 상기 제어 명령에 기초하여 상기 웨어러블 장치를 제어하는 단계를 포함한다.
그리고, 상기 자세 정보는 각속도 정보, 가속도 정보 및 자력계 정보를 포함하고, 상기 획득하는 단계는 상기 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 상기 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 상기 제1 변경 정보, 상기 제2 변경 정보 및 상기 제3 변경 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 상기 획득하는 단계는 상기 탭 입력이 수신되기 전의 제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내인 경우, 상기 제어 명령을 획득할 수 있다.
또는, 상기 획득하는 단계는 제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내이며, 상기 제1 임계 시간 직후인 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 제2 임계 시간 이후 제3 임계 시간 내에 상기 탭 입력이 수신된 것으로 식별되면, 상기 제어 명령을 획득할 수 있다.
또는, 상기 자세 정보는 가속도 정보를 포함하고, 상기 획득하는 단계는 상기 탭 입력이 수신되기 전의 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 탭 입력에 대응되는 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 상기 가속도 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
그리고, 상기 획득하는 단계는 상기 웨어러블 장치가 잠금 상태가 해제된 동안 상기 자세 정보가 상기 임계 범위 이상 변경된 것으로 식별되면, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 상기 획득하는 단계는 상기 탭 입력이 수신되는 동안 상기 웨어러블 장치의 디스플레이에 사용자 조작이 없는 경우, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
그리고, 상기 획득하는 단계는 상기 웨어러블 장치가 상기 사용자에게 착용된 상태이고 기설정된 어플리케이션이 실행된 경우, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 상기 획득하는 단계는 상기 변경된 자세 정보에 신경망 모델에 입력하여 상기 탭 입력이 상기 웨어러블 장치를 제어하기 위한 입력인지 식별할 수 있다.
그리고, 상기 탭 입력에 대응되는 사운드 정보를 획득하는 단계를 포함하고, 상기 획득하는 단계는 상기 변경된 자세 정보 또는 상기 사운드 정보 중 적어도 하나에 기초하여 상기 제어 명령을 획득할 수 있다.
또한, 상기 스트랩은 상기 웨어러블 장치의 본체에 연결될 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 웨어러블 장치는 스트랩에 대한 탭(tap) 입력이 수신되면, 탭 입력에 따른 웨어러블 장치의 변경된 자세 정보에 기초하여 제어 명령을 획득함에 따라 사용자에게 다양한 조작 방법을 제공할 수 있다.
또한, 웨어러블 장치는 별도의 센서를 추가하지 않고 기존에 구비된 센서를 통해 탭 입력에 따른 웨어러블 장치의 자세 정보를 획득하므로 제조 비용이 증가하지 않는 장점이 있다.
도 1a 내지 도 1c는 종래 기술을 설명하기 위한 도면들이다.
도 2는 본 개시의 일 실시 예에 따른 웨어러블 장치의 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 웨어러블 장치의 세부 구성을 나타내는 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 스트랩에 대한 사용자의 탭 입력이 수신되는 경우를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 탭 입력이 수신된 후의 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 스트랩을 터치하는 경우와 디스플레이를 터치하는 경우를 구분하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 자이로 센서를 이용하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 가속도 센서를 이용하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 자이로 센서 및 가속도 센서를 이용하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 탭 입력과 관련된 웨어러블 장치의 동작을 설명하기 위한 흐름도이다.
도 11 내지 도 13은 본 개시의 일 실시 예에 따른 사용자의 팔 움직임에 따른 웨어러블 장치의 자세 변경 정보를 설명하기 위한 도면들이다.
도 14 내지 도 20은 본 개시의 다양한 실시 예에 따른 스트랩에 대한 탭 입력의 활용 방법을 설명하기 위한 도면들이다.
도 21은 본 개시의 일 실시 예에 따른 웨어러블 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 다양한 실시 예를 보다 상세하게 설명한다.
도 2는 본 개시의 일 실시 예에 따른 웨어러블(wearable) 장치(100)의 구성을 나타내는 블록도이다. 웨어러블 장치(100)는 도 2에 도시된 바와 같이, 디스플레이(110), 스트랩(120), 센서(130) 및 프로세서(140)를 포함한다.
웨어러블 장치(100)는 사용자에게 착용되거나 피부에 부착 또는 삽입되는 형태로 구현된 장치로서, 스마트 워치(smart watch), 스마트 밴드(smart band), 스마트 글래스(smart glass), 스마트 링(smart ring), HMD(head mounted display) 등일 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자에게 착용되거나 피부에 부착 또는 삽입되는 형태로 구현된 전자 장치라면 어떤 장치라도 무방하다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
스트랩(120)은 디스플레이(110)와 인접하게 배치되며, 사용자에게 착용되기 위한 형태로 구현될 수 있다. 예를 들어, 스트랩(120)은 디스플레이(110), 센서(130) 및 프로세서(140)를 포함하는 본체에 연결될 수 있다. 스트랩(120)은 밴드, 벨트 등과 같이 유사한 단어로서 지칭될 수도 있다. 다만, 이하에서는 설명의 편의를 위해, 스트랩(120)으로 용어를 통일한다.
센서(130)는 웨어러블 장치(100)의 자세 정보를 획득하기 위한 구성으로, 자이로 센서, 가속도 센서 또는 자력계 센서 중 적어도 하나를 포함할 수 있다. 또는, 센서(130)는 사운드 센서를 더 포함할 수도 있다.
자이로 센서는 웨어러블 장치(100)의 회전각을 감지하기 위한 센서로서, 지구의 회전과 관계 없이 높은 정확도로 항상 처음에 설정한 일정 방향을 유지하는 성질을 이용하여 물체의 방위 변경를 측정할 수 있다. 자이로 센서는 자이로스코프(Gyroscope)라고도 불리며, 기계적인 방식 또는 광을 이용하는 광학식으로 구현될 수 있다.
자이로 센서는 각속도를 측정할 수 있다. 각속도는 시간당 회전하는 각도를 의미하며, 자이로 센서의 측정 원리는 다음과 같다. 예를 들어, 수평한 상태(정지 상태)에서 각속도는 0도/sec이고, 이후 물체가 10초 동안 움직이는 동안 50도만큼 기울어졌다면, 10초 동안의 평균 각속도는 5도/sec다. 정지 상태에서 기울어진 각도 50도를 유지하였다면 각속도가 0도/sec가 된다. 이러한 과정을 거치면서 각속도는 0 → 5 → 0으로 바뀌었고, 각도는 0도에서 증가해서 50도가 된다. 각속도에서 각도를 구하려면 전체 시간에 대해 적분을 해야 한다. 자이로 센서는 이와 같이 각속도를 측정하므로 전체 시간동안 이 각속도를 적분하면 기울어진 각도를 계산할 수 있다. 다만, 자이로 센서는 온도의 영향으로 오차가 발생하며, 오차가 적분 과정에서 누적되어 최종 값이 드리프트(drift)될 수 있다. 그에 따라, 웨어러블 장치(100)는 온도 센서를 더 구비할 수 있고, 온도 센서를 이용하여 자이로 센서의 오차를 보상할 수 있다.
가속도 센서는 웨어러블 장치(100)의 가속도나 충격의 세기를 측정하는 센서로서, 가속도계(accelerometer)라고도 불린다. 가속도 센서는 가속도, 진동, 충격 등의 동적 힘을 감지하며 검출 방식에 따라 관성식, 자이로식, 실리콘 반도체식 등으로 구현될 수 있다. 즉, 가속도 센서란 중력 가속도를 이용하여 웨어러블 장치(100)의 기울어진 정도를 센싱하는 센서로, 통상적으로 2축 또는 3축 플럭스게이트로 이루어질 수 있다.
자력계 센서는 일반적으로 지구 자기의 세기와 방향을 측정하는 센서를 의미하나, 넓은 의미로는 물체가 가진 자화의 세기를 측정하는 센서도 포함하며, 자기력계(magnetometer)라고도 불린다. 자력계 센서는 자기장 속에 수평으로 자석을 매달고 자석이 움직이는 방향을 측정하거나 자기장 속에서 코일을 회전시키고 코일에 발생하는 유도기전력을 측정해서 자기장의 세기를 측정하는 방식으로 구현될 수 있다.
특히, 자력계 센서의 일종으로 지구 자기의 세기를 측정하는 지자기 센서는 일반적으로 플럭스게이트를 사용하여 지자기를 검출하는 플럭스게이트형 지자기 센서로 구현될 수 있다. 플럭스게이트형 지자기 센서란 퍼말로이(permalloy)와 같은 고투자율 재료를 자심으로 사용하며, 그 자심을 감은 구동권선(coil)을 통해 여기자장을 가하여 그 자심의 자기포화 및 비선형 자기 특성에 따라 발생하는 외부 자장에 비례하는 2차 고조파 성분을 측정함으로써 외부자장의 크기 및 방향을 측정하는 장치를 의미한다. 외부자장의 크기 및 방향을 측정함에 따라 현재 방위각을 검출하게 되고, 이에 따라 회전 정도를 측정할 수 있게 된다. 지자기 센서는 2축 또는 3축 플럭스게이트로 이루어질 수 있다. 2축 플럭스게이트 센서, 즉 2축 센서란 서로 직교하는 X축 플럭스게이트 및 Y축 플럭스게이트로 이루어진 센서를 의미하고, 3축 플럭스게이트, 즉 3축 센서란 X축 및 Y축 플럭스게이트에 Z축 플럭스게이트가 추가된 센서를 의미한다.
이상과 같은 지자기 센서 및 가속도 센서를 이용하면 웨어러블 장치(100)의 자세 정보의 획득이 가능하다. 예를 들어, 웨어러블 장치(100)의 자세 정보는 피치각, 롤각, 방위각으로 표현될 수 있다.
방위각(요우각)은 수평면 상에서 좌우 방향으로 변하는 각을 의미하며, 방위각을 산출하게 되면, 웨어러블 장치(100)가 어느 방향을 향하는지 알 수 있다. 예를 들어, 지자기 센서를 이용하면 하기와 같은 수식으로 통해 방위각을 측정할 수 있다.
χ=arctan(sinχ/cosχ)
여기서, χ는 방위각을 의미하고, cosχ 및 sinχ는 X축 및 Y축 플럭스게이트 출력값을 의미한다.
롤각은 수평면이 좌우로 기울어지는 각을 의미하며, 롤각을 산출하게 되면, 웨어러블 장치(100)의 좌측 또는 우측 기울기를 알 수 있다. 피치각은 수평면이 상하로 기울어지는 각을 의미하며, 피치각을 산출하게 되면, 웨어러블 장치(100)가 상측 또는 하측으로 기울어진 기울기 각을 알 수 있다. 예를 들어, 가속도 센서를 이용하면 하기와 같은 수식으로 통해 롤각 및 피치각을 측정할 수 있다.
υ=arcsin(ay/g)
θ=arcsin(ax/g)
여기서, g는 중력 가속도, υ는 롤각, θ는 피치각, ax는 X축 가속도 센서 출력값, ay는 Y축 가속도 센서 출력값을 나타낸다.
사운드 센서는 음향을 감지하는 센서로서, 마이크 등일 수 있다. 또한, 사운드 센서는 초음파를 감지할 수도 있다.
이상에서는 설명의 편의를 위해 센서(130)가 자이로 센서, 가속도 센서, 자력계 센서 또는 사운드 센서 중 적어도 하나를 포함하는 것으로 설명하였다. 다만, 이에 한정되는 것은 아니며, 센서(130)는 웨어러블 장치(100)의 자세 정보를 획득할 수 있는 센서라면 어떠한 센서라도 무방하다.
프로세서(140)는 웨어러블 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(140)는 웨어러블 장치(100)의 각 구성과 연결되어 웨어러블 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(140)는 디스플레이(110), 센서(130) 등과 같은 구성과 연결되어 웨어러블 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(140)는 UI(user interface) 화면을 제공하도록 디스플레이(110)를 제어하고, 센서(130)를 통해 획득된 웨어러블 장치(100)의 자세 정보가 임계 범위 이상 변경된 것으로 식별되면, 스트랩(120)에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별할 수 있다.
그리고, 프로세서(140)는 스트랩(120)에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별되면 변경된 자세 정보에 기초하여 UI 화면에 대응되는 제어 명령을 획득하고, 제어 명령에 기초하여 웨어러블 장치(100)를 제어할 수 있다.
예를 들어, 프로세서(140)는 게임 어플리케이션이 실행되어 게임 화면을 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 게임 화면이 디스플레이된 상태에서 스트랩(120)에 대한 사용자의 탭 입력이 수신되면, 웨어러블 장치(100)가 기울어질 수 있다. 프로세서(140)는 자이로 센서, 가속도 센서 또는 자력계 센서 중 적어도 하나에 기초하여 웨어러블 장치(100)의 자세 정보가 임계 범위 이상 변경된 것을 식별할 수 있다. 이 경우, 프로세서(140)는 스트랩에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다.
여기서, 웨어러블 장치(100)는 스트랩(120)에 대한 사용자의 탭 입력이 있는 경우 웨어러블 장치(100)가 어느 정도 기울어지는지에 대한 정보를 저장할 수 있다. 가령, 프로세서(140)는 웨어러블 장치(100)의 본체에 대한 사용자의 탭 입력이 있더라도 웨어러블 장치(100)의 기울어지는 정도가 저장된 정보와 임계 수치 이상 차이가 있음을 식별하고 아무런 동작을 수행하지 않을 수 있다.
프로세서(140)는 웨어러블 장치(100)의 임계 범위 이상 변경된 자세 정보가 저장된 정보와 임계 수치 이내의 차이가 있는 경우, 대응되는 사용자의 명령을 식별할 수 있다. 여기서, 변경된 자세 정보는 일 방향으로 변경된 자세 정보 뿐만 아니라 복수의 방향으로 변경된 자세 정보를 포함할 수 있다. 예를 들어, 복수의 방향으로 변경된 자세 정보는 2초 동안 2 이상의 가속도 값의 증가 후 2 이상의 가속도 값의 감소일 수도 있다. 다만, 이에 한정되는 것은 아니며, 복수의 방향으로 변경된 자세 정보는 얼마든지 다양한 패턴의 정보일 수도 있다.
한편, 센서(130)는 자이로 센서, 가속도 센서 및 자력계 센서를 포함하고, 프로세서(140)는 자이로 센서에 의한 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 가속도 센서에 의한 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 자력계 센서에 의한 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 제1 변경 정보, 제2 변경 정보 및 제3 변경 정보에 기초하여 제어 명령을 획득할 수 있다.
예를 들어, 프로세서(140)는 탭 입력이 수신되기 전의 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내인 경우, 제어 명령을 획득할 수도 있다.
즉, 사용자가 걷거나 움직이는 상태가 아니고, 정지한 상태로 웨어러블 장치(100)를 이용하는 경우, 정지한 상태인 제1 임계 시간 동안 각속도 정보, 가속도 정보 및 자력계 정보는 각각 대응되는 편차를 보일 수 있으며, 각각에 대응되는 편차에 기초하여 제1 임계 범위 내지 제3 임계 범위로 설정될 수 있다. 가령, 제1 임계 범위는 사용자가 정지한 상태의 각속도 정보의 편차와 기설정된 마진을 더한 값일 수 있다. 또한, 제1 임계 범위는 사용자가 걷는 상태의 각속도 정보의 편차보다 작은 값일 수 있다. 제2 임계 범위 및 제3 임계 범위 역시 유사한 방법으로 설정될 수 있다. 제1 임계 시간 이후, 탭 입력에 따라 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 탭 입력이 수신된 것으로 식별하고 제1 변경 정보, 제2 변경 정보 및 제3 변경 정보에 기초하여 제어 명령을 획득할 수 있다.
여기서, 제1 임계 시간은 탭 입력이 수신되기 직전일 수 있다. 예를 들어, 프로세서(140)는 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내이고, 제1 임계 시간 직후에 탭 입력이 수신되면, 제어 명령을 획득할 수도 있다.
다만, 이에 한정되는 것은 아니며, 제1 임계 시간과 탭 입력이 수신되는 시점은 기설정된 시간 차이가 있을 수도 있다. 예를 들어, 프로세서(140)는 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내이고, 제1 임계 시간 이후, 가령 3초~5초 이후에 탭 입력이 수신되면, 제어 명령을 획득할 수도 있다.
또는, 제1 임계 시간과 탭 입력이 수신되는 시점 사이에 기설정된 제어 명령이 입력되는 경우도 있을 수 있다. 예를 들어, 프로세서(140)는 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내이고, 제1 임계 시간 이후 기설정된 어플리케이션을 실행시키는 사용자 명령에 따라 기설정된 어플리케이션이 실행된 상태에서 탭 입력이 수신되면, 제어 명령을 획득할 수도 있다.
또는, 프로세서(140)는 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내이며, 제1 임계 시간 직후인 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 제2 임계 시간 이후 제3 임계 시간 내에 탭 입력이 수신된 것으로 식별되면, 제어 명령을 획득할 수도 있다.
예를 들어, 사용자가 정지한 상태인 경우, 각속도 정보, 가속도 정보 및 자력계 정보는 각각 대응되는 편차 이내일 수 있다. 이후, 사용자가 팔을 들어올려 웨어러블 장치(100)를 보는 경우, 가속도 정보는 점진적으로 증가하다가 점진적으로 감소할 수 있다. 이후, 프로세서(140)는 탭 입력이 수신된 것으로 식별되면, 제어 명령을 획득할 수도 있다.
다만, 이에 한정되는 것은 아니며, 센서(130)는 자이로 센서, 가속도 센서 또는 자력계 센서 중 일부만을 포함할 수도 있다. 이 경우, 프로세서(140)는 일부 센서만을 이용하여 이상과 같은 동작을 수행할 수도 있다.
또는, 센서(130)는 가속도 센서를 포함하고, 프로세서(140)는 탭 입력이 수신되기 전의 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 탭 입력에 따른 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 가속도 정보에 기초하여 제어 명령을 획득할 수도 있다.
예를 들어, 사용자가 팔을 들어올려 웨어러블 장치(100)를 보는 경우, 가속도 정보는 점진적으로 증가하다가 점진적으로 감소할 수 있다. 이후, 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면 탭 입력이 수신된 것으로 식별하고 제2 변경 정보에 기초하여 제어 명령을 획득할 수 있다.
이 경우, 또한, 프로세서(140)는 각속도 정보 및 자력계 정보를 고려하지 않고, 탭 입력이 수신되기 전의 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 탭 입력에 따른 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 가속도 정보에 기초하여 제어 명령을 획득할 수도 있다.
또는, 센서(130)는 가속도 센서를 포함하고, 프로세서(140)는 탭 입력이 수신되기 전의 제1 임계 시간 동안 가속도 센서에 의한 가속도 정보가 제4 임계 범위 내이고, 제1 임계 시간 이전의 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 탭 입력에 따른 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 가속도 정보에 기초하여 제어 명령을 획득할 수도 있다. 여기서, 제4 임계 범위는 상술한 제2 임계 범위보다 클 수 있다. 이는, 팔을 들어올리는 동작이 선행되는 경우, 걷는 동작에 의해 흔들림이 있더라도 탭 입력이 있었던 것으로 보기 위한 마진이 추가되었기 때문이다.
예를 들어, 사용자가 팔을 들어올려 웨어러블 장치(100)를 보는 경우, 가속도 정보는 점진적으로 증가하다가 점진적으로 감소하고 이후 제4 임계 범위 내로 유지될 수 있다. 이후, 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면 탭 입력이 수신된 것으로 식별하고 제2 변경 정보에 기초하여 제어 명령을 획득할 수 있다.
이 경우, 또한, 프로세서(140)는 각속도 정보 및 자력계 정보를 고려하지 않고, 탭 입력이 수신되기 전의 제1 임계 시간 동안 가속도 센서에 의한 가속도 정보가 제4 임계 범위 내이고, 제1 임계 시간 이전의 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 탭 입력에 따른 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 가속도 정보에 기초하여 제어 명령을 획득할 수도 있다.
프로세서(140)는 웨어러블 장치(100)가 잠금 상태가 해제된 상태에서 자세 정보가 임계 범위 이상 변경된 것으로 식별되면, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수 있다. 예를 들어, 프로세서(140)는 웨어러블 장치(100)가 잠금 상태에서 자세 정보가 임계 범위 미만으로 변경된 것으로 식별되면, 아무런 동작을 수행하지 않고, 웨어러블 장치(100)가 잠금 상태가 해제된 상태에서 자세 정보가 임계 범위 이상 변경된 것으로 식별되면, 상기 변경된 자세 정보에 경우에만 기초하여 제어 명령을 획득할 수 있다. 여기서, 잠금 상태는 PIN, 비밀번호, 패턴 또는 생체 ID 중 적어도 하나에 의해 해제될 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(140)는 웨어러블 장치(100)가 잠금 상태인 경우에도 기설정된 타입으로 자세 정보가 변경되면, 변경된 자세 정보에 대응되는 동작을 수행할 수도 있다. 예를 들어, 프로세서(140)는 웨어러블 장치(100)가 잠금 상태인 경우에 기설정된 박자로 복수의 탭 입력이 수신되면, 복수의 탭 입력에 따른 변경된 자세 정보에 기초하여 웨어러블 장치(100)의 잠금 상태를 해제할 수도 있다.
또는, 프로세서(140)는 탭 입력이 수신되는 동안 디스플레이(110)를 통한 사용자 조작이 없는 경우, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다. 예를 들어, 프로세서(140)는 디스플레이(110)를 통한 사용자 조작이 있는 경우, 사용자가 디스플레이(110)를 통해서만 제어 명령을 입력하는 것으로 식별하고, 웨어러블 장치(100)의 자세 변경은 사용자가 의도하지 않은 정보로서 처리할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(140)는 디스플레이(110)를 통한 터치 입력과 스트랩(120)에 대한 탭 입력을 조합하여 제어 명령을 획득할 수도 있다. 예를 들어, 프로세서(140)는 디스플레이(110)를 통한 터치 입력이 없이 스트랩(120)에 대한 탭 입력이 수신되면 제1 동작을 수행하고, 디스플레이(110)를 통한 터치 입력과 동시에 스트랩(120)에 대한 탭 입력이 수신되면 제2 동작을 수행할 수도 있다.
또는, 프로세서(140)는 웨어러블 장치(100)가 사용자에게 착용된 경우, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다. 예를 들어, 센서(130)는 온도 센서를 포함하고, 프로세서(140)는 온도 센서를 통해 웨어러블 장치(100)가 사용자에게 착용되었는지 식별할 수 있다. 또는, 웨어러블 장치(100)는 본체, 본체의 일 측에 연결된 제1 스트랩 및 본체의 타 측에 연결된 제2 스트랩을 포함하며, 프로세서(140)는 제1 스트랩 및 제2 스트랩의 연결 여부에 기초하여 웨어러블 장치(100)가 사용자에게 착용되었는지 식별할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 얼마든지 다양한 방법으로 웨어러블 장치(100)가 사용자에게 착용되었는지 식별할 수도 있으며, 프로세서(140)는 웨어러블 장치(100)가 사용자에게 착용된 경우에만 변경된 자세 정보에 기초하여 제어 명령을 획득하고, 웨어러블 장치(100)가 사용자에게 착용되지 않은 경우에는 자세 정보가 변경되더라도 아무런 동작을 수행하지 않을 수도 있다.
또는, 프로세서(140)는 기설정된 어플리케이션이 실행된 경우에만 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다. 예를 들어, 프로세서(140)는 기설정된 어플리케이션이 실행되지 않은 경우에는 자세 정보가 변경되더라도 아무런 동작을 수행하지 않을 수도 있다.
또는, 프로세서(140)는 웨어러블 장치(100)가 사용자에게 착용되고 기설정된 어플리케이션이 실행된 경우, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다.
또는, 프로세서(140)는 웨어러블 장치(100)의 자세 정보 및 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다. 예를 들어, 프로세서(140)는 센서(130)를 통해 웨어러블 장치(100)의 자세 정보 및 변경된 자세 정보를 식별할 수 있고, 탭 입력이 수신되는 시점의 웨어러블 장치(100)의 자세 정보가 임계 범위 내인 경우에 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다. 가령, 프로세서(140)는 웨어러블 장치(100)의 디스플레이(110)의 표면이 하늘을 향하는 경우, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수도 있다.
한편, 웨어러블 장치(100)는 신경망 모델이 저장된 메모리를 더 포함하며, 프로세서(140)는 변경된 자세 정보를 신경망 모델에 입력하여 탭 입력이 웨어러블 장치(100)를 제어하기 위한 입력인지 식별할 수도 있다. 여기서, 신경망 모델은 샘플 변경된 자세 정보 및 탭 입력이 웨어러블 장치(100)를 제어하기 위한 입력인지 여부에 대한 샘플 정보의 관계를 학습하여 획득된 모델일 수 있다.
다만, 이에 한정되는 것은 아니며, 신경망 모델은 샘플 변경된 자세 정보 및 샘플 제어 명령의 관계를 학습하여 획득된 모델일 수도 있으며, 이 경우 프로세서(140)는 변경된 자세 정보를 신경망 모델에 입력하여 제어 명령을 획득할 수도 있다.
한편, 센서(130)는 사운드 센서를 포함하고, 프로세서(140)는 사운드 센서를 통해 탭 입력에 의한 사운드 정보를 더 획득하고, 변경된 자세 정보 또는 사운드 정보 중 적어도 하나에 기초하여 제어 명령을 획득할 수도 있다.
예를 들어, 프로세서(140)는 탭 입력에 따른 사운드와 자세 변경 시점이 일치하는 경우, 제어 명령을 획득할 수도 있다.
다만, 이에 한정되는 것은 아니며, 스트랩(120)은 접촉 저항 센서(contact resistance sensor)를 포함하며, 프로세서(140)는 접촉 저항 센서를 통해 탭 입력에 따른 접촉 정보를 수신하고, 접촉 시점과 자세 변경 시점이 일치하는 경우 제어 명령을 획득할 수도 있다. 이 경우, 프로세서(140)는 스트랩(120)의 접촉 저항 센서와 연결된 상태일 수 있다.
또는, 웨어러블 장치(100)는 디스플레이(110) 면에 수직한 방향을 촬영하는 카메라를 더 포함하며, 프로세서(140)는 탭 입력에 따라 웨어러블 장치(100)의 자세가 변경되면, 카메라를 통해 디스플레이(110) 면에 수직한 방향을 촬영하고, 촬영된 이미지에 사용자가 포함된 경우 제어 명령을 획득할 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 웨어러블 장치(100)의 세부 구성을 나타내는 블럭도이다. 웨어러블 장치(100)는 디스플레이(110), 스트랩(120), 센서(130) 및 프로세서(140)를 포함할 수 있다. 또한, 도 3에 따르면, 웨어러블 장치(100)는 메모리(150), 통신 인터페이스(160), 사용자 인터페이스(170), 마이크(180), 스피커(190)를 더 포함할 수도 있다. 도 3에 도시된 구성 요소들 중 도 2에 도시된 구성 요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
메모리(150)는 프로세서(140) 등이 접근할 수 있도록 데이터 등의 정보를 전기 또는 자기 형태로 저장하는 하드웨어를 지칭할 수 있다. 이를 위해, 메모리(150)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(Flash Memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD), RAM, ROM 등 중에서 적어도 하나의 하드웨어로 구현될 수 있다.
메모리(150)에는 웨어러블 장치(100) 또는 프로세서(140)의 동작에 필요한 적어도 하나의 인스트럭션(instruction) 또는 모듈이 저장될 수 있다. 여기서, 인스트럭션은 웨어러블 장치(100) 또는 프로세서(140)의 동작을 지시하는 부호 단위로서, 컴퓨터가 이해할 수 있는 언어인 기계어로 작성된 것일 수 있다. 모듈은 작업 단위의 특정 작업을 수행하는 일련의 인스트럭션의 집합체(instruction set)일 수 있다.
메모리(150)에는 문자, 수, 영상 등을 나타낼 수 있는 비트 또는 바이트 단위의 정보인 데이터가 저장될 수 있다.
메모리(150)에는 각종 신경망 모델이 저장될 수 있다. 예를 들어, 메모리(150)에는 자세 변경된 자세 정보가 스트랩(120)에 대한 탭 입력인지를 식별하기 위한 신경망 모델 등이 저장될 수 있다.
메모리(150)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의해 인스트럭션, 모듈 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에 따른 인공 지능과 관련된 기능은 프로세서(140)와 메모리(150)를 통해 동작된다.
프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
통신 인터페이스(160)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 웨어러블 장치(100)는 통신 인터페이스(160)를 통해 서버와 통신을 수행할 수 있다.
통신 인터페이스(160)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
또는, 통신 인터페이스(160)는 HDMI, DP, 썬더볼트, USB, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 포함할 수 있다.
그 밖에 통신 인터페이스(160)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수도 있다.
사용자 인터페이스(170)는 버튼, 터치 패드, 마우스 및 키보드 등으로 구현되거나, 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 웨어러블 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크(180)는 사운드를 입력받아 오디오 신호로 변환하기 위한 구성이다. 마이크(180)는 프로세서(140)와 전기적으로 연결되며, 프로세서(140)의 제어에 의해 사운드를 수신할 수 있다.
예를 들어, 마이크(180)는 웨어러블 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 또는, 마이크(180)는 웨어러블 장치(100)와는 별도의 리모컨 등에 구비될 수도 있다. 이 경우, 리모컨은 마이크(180)를 통해 사운드를 수신하고, 수신된 사운드를 웨어러블 장치(100)로 제공할 수도 있다.
마이크(180)는 아날로그 형태의 사운드를 수집하는 마이크, 수집된 사운드를 증폭하는 앰프 회로, 증폭된 사운드를 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
또한, 마이크(180)는 복수로 구비될 수 있다. 이 경우, 프로세서(140)는 복수의 마이크로부터 입력되는 사운드를 분석하여 사운드가 출력되는 위치를 식별할 수 있다.
한편, 마이크(180)는 사운드 센서의 형태로 구현될 수도 있으며, 사운드를 수집할 수 있는 구성이라면 어떠한 방식이라도 무방하다.
스피커(190)는 전기 신호를 입력받고, 입력된 전기 신호에 기초하여 진동판을 진동시켜 사운드를 방사할 수 있다. 특히, 스피커(190) 일측에 사운드 방사홀을 가지며, 사운드 방사홀을 통해 사운드를 방사할 수 있다.
이상과 같이 사용자는 표면적이 넓은 스트랩(120)에 대한 탭 입력으로 웨어러블 장치(100)를 제어할 수 있어 사용자 편의성이 향상될 수 있으며, 웨어러블 장치(100)는 기존의 하드웨어 구성만으로도 탭 입력에 대응되는 동작을 수행할 수 있어 제조 비용의 증가를 방지할 수 있다.
이하에서는 도 4 내지 도 20을 통해 웨어러블 장치(100)의 동작을 좀더 구체적으로 설명한다. 도 4 내지 도 20에서는 설명의 편의를 위해 개별적인 실시 예에 대하여 설명한다. 다만, 도 4 내지 도 20의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 스트랩(120)에 대한 사용자의 탭 입력이 수신되는 경우를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 웨어러블 장치(100)는 본체, 본체의 일 측(front)에 연결된 제1 스트랩 및 본체의 타 측(back)에 연결된 제2 스트랩을 포함할 수 있다.
먼저, 도 4의 상측 도면(410)과 같이, 제1 스트랩에 대한 사용자의 탭 입력이 수신되면, 웨어러블 장치(100)는 순간적으로 front 측으로 기울어질 수 있다. 프로세서(140)는 센서(130)를 통해 웨어러블 장치(100)의 변경된 자세 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 자이로 센서를 통해 실시간으로 웨어러블 장치(100)의 자이로스코프 데이터를 획득할 수 있으며, 도 4의 상측 도면(410)의 그래프와 같이 순간적인 변경을 식별할 수 있다.
또는, 도 4의 하측 도면(420)과 같이, 제2 스트랩에 대한 사용자의 탭 입력이 수신되면, 웨어러블 장치(100)는 순간적으로 back 측으로 기울어질 수 있다. 프로세서(140)는 센서(130)를 통해 웨어러블 장치(100)의 자세 변경 정보를 획득할 수 있다. 예를 들어, 프로세서(140)는 자이로 센서를 통해 실시간으로 웨어러블 장치(100)의 자이로스코프 데이터를 획득할 수 있으며, 도 4의 하측 도면(420)의 그래프와 같이 순간적인 변경을 식별할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 탭 입력이 수신된 후의 동작을 설명하기 위한 도면이다.
먼저, 도 5의 상단 도면과 같이, 스트랩(120)에 대한 사용자의 더블 탭 입력이 수신될 수 있다. 이 경우, 도 5의 우측 도면과 같이, 웨어러블 장치(100)의 자세가 변경될 수 있으므로, 프로세서(140)는 자이로 센서를 통해 자이로스코프 데이터를 획득할 수 있다. 자이로스코프 데이터는 도 5의 좌측 도면과 같이, 두 번의 스파크 형태를 포함할 수 있으며, 프로세서(140)는 두 번의 스파크 형태가 기설정된 패턴의 데이터라면 두 번의 스파크 형태가 사용자의 더블 탭 입력에 의한 것으로 식별할 수 있다.
프로세서(140)는 사용자의 더블 탭 입력이 수신된 것으로 식별되면, 더블 탭 입력에 대응되는 제어 명령에 따른 동작을 수행할 수 있다.
도 5에서는 설명의 편의를 위해, 스트랩(120)에 대한 사용자의 더블 탭 입력이 입력된 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 스트랩(120)에 대한 한 번의 탭 입력이 수신될 수도 있고, 스트랩(120)에 대한 세 번의 탭 입력이 수신될 수도 있으며, 프로세서(140)는 각 입력에 따라 상이한 동작을 수행할 수도 있다. 또는, 프로세서(140)는 스트랩(120)에 대한 탭의 지속 시간을 더 고려할 수도 있다. 가령, 사용자는 스트랩(120)에 대한 탭을 짧게 수행할 수도 있고, 스트랩(120)에 대한 탭을 길게 유지할 수도 있다. 프로세서(140)는 탭의 지속 시간을 식별하고, 각 입력에 따라 상이한 동작을 수행할 수도 있다.
한편, 도 4 및 도 5에서는 자이로 센서가 이용되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 자이로 센서, 가속도 센서, 자력계 센서 또는 사운드 센서 중 적어도 하나를 이용하여 스트랩(120)에 대한 사용자의 탭 입력을 식별할 수도 있다.
도 6은 본 개시의 일 실시 예에 따른 스트랩(120)을 터치하는 경우와 디스플레이(110)를 터치하는 경우를 구분하는 방법을 설명하기 위한 도면이다.
프로세서(140)는 센서(130)를 통해 웨어러블 장치(100)가 기울어진 정도를 식별할 수 있다.
예를 들어, 프로세서(140)는 스트랩(120)에 대한 사용자의 탭 입력이 수신되면, 센서(130)를 통해 웨어러블 장치(100)가 기울어진 정도를 식별할 수 있다. 이때, 프로세서(140)는 웨어러블 장치(100)가 기울어진 정도가 임계 각도 이상이면, 스트랩(120)에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다.
또는, 프로세서(140)는 디스플레이(110)에 대한 사용자의 탭 입력이 수신되면, 센서(130)를 통해 웨어러블 장치(100)가 기울어진 정도를 식별할 수 있다. 이때, 프로세서(140)는 웨어러블 장치(100)가 기울어진 정도가 임계 각도 미만이면, 디스플레이(110)에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다.
여기서, 임계 각도는 스트랩(120)에 대한 탭 입력과 디스플레이(110)에 대한 탭 입력을 반복함에 따라 획득될 수 있다. 또한, 사용자가 웨어러블 장치(100)를 사용함에 따라 수정될 수 있다. 예를 들어, 사용자마다 탭 입력의 강도 차이가 있을 수 있으며, 프로세서(140)는 디스플레이(110)에 대한 탭 입력을 스트랩(120)에 대한 탭 입력으로 식별할 수도 있다. 이 경우, 프로세서(140)는 오동작할 수 있으나, 사용자는 오동작을 취소하는 제어 명령을 입력할 수 있다. 이러한 오동작을 취소하는 제어 명령이 반복될 경우, 프로세서(140)는 임계 각도의 값을 변경할 수 있다.
한편, 디스플레이(110)가 저항막 기반, 투영형 정전 용량 기반, 표면 정전 용량 기반, 표면 탄성파 기반 및 적외선 광학 영상 기반 중 하나로 구현될 수도 있으며, 프로세서(140)는 디스플레이(110)에 대한 탭 입력을 터치 입력으로서 식별할 수도 있다.
도 6에서는 웨어러블 장치(100)가 기울어진 정도에 기초하여 스트랩(120)에 대한 탭 입력과 디스플레이(110)에 대한 탭 입력을 구별하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 사운드 정보를 획득하여 스트랩(120)에 대한 탭 입력과 디스플레이(110)에 대한 탭 입력을 구별할 수도 있다. 가령, 디스플레이(110)는 유리 같은 플라스틱 재질로 구현되고, 스트랩(120)은 가죽, 고무, 금속 등과 같은 재질로 구현되기 때문에 탭 입력에 따른 사운드가 상이할 수 있다. 프로세서(140)는 이러한 음색 차이에 기초하여 스트랩(120)에 대한 탭 입력과 디스플레이(110)에 대한 탭 입력을 구별할 수도 있다.
또한, 도 6에서는 설명의 편의를 위해, 디스플레이(110)에 대한 탭 입력을 예로 들었으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 웨어러블 장치(100)가 기울어진 정도에 기초하여 스트랩(120)에 대한 탭 입력과 웨어러블 장치(100)의 본체에 대한 탭 입력을 구별할 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 자이로 센서를 이용하는 방법을 설명하기 위한 도면이다.
프로세서(140)는 도 7에 도시된 바와 같이, 자이로 센서를 통해 웨어러블 장치(100)의 자세 정보를 실시간으로 획득할 수 있다. 먼저, 사용자가 웨어러블 장치(100)를 사용하지 않으며 걷는 경우, 윈도우 A(710)와 같이 각속도가 일정 수준의 이상의 변이를 나타낼 수 있다. 이 경우, 프로세서(140)는 a와 b 부근에서 글리치를 식별할 수 있으나, 글리치가 발생하기 이전에 각속도가 일정 수준의 이상의 변이를 나타내고 있었기 때문에, 글리치를 탭 입력으로 식별하지 않을 수 있다.
이후, 사용자가 웨어러블 장치(100)를 사용하지 않으며 앉아 있는 경우(윈도우 A(710)와 윈도우 B(720)의 사이 시간), 각속도가 일정 수준 미만의 변이를 나타내며, 글리치 역시 발생하지 않는다.
이후, 사용자가 웨어러블 장치(100)를 사용하는 경우, 윈도우 B(720)와 같이 각속도가 일정 수준의 미만의 변이를 나타낼 수 있다. 이때, 스트랩(120)에 대한 사용자의 탭 입력에 따라 글리치가 발생하게 되며, 프로세서(140)는 각속도가 일정 수준의 미만의 변이를 나타내는 상태에서 글리치가 발생하면, 스트랩(120)에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 가속도 센서를 이용하는 방법을 설명하기 위한 도면이다.
프로세서(140)는 도 8에 도시된 바와 같이, 가속도 센서를 통해 웨어러블 장치(100)의 자세 정보를 실시간으로 획득할 수 있다. 먼저, 윈도우 A(810)와 같이 가속도 값이 증가하다가 글리치가 발생할 수 있으며, 이 경우 프로세서(140)는 글리치 이전의 선형적으로 증가하는 가속도 값에 기초하여 사용자가 손목을 움직이는 것으로 식별하고, 이후 발생한 글리치에 기초하여 손목이 물체에 충돌했음을 식별할 수 있다. 즉, 프로세서(140)는 사용자의 탭 입력이 없었던 것으로 식별할 수 있다.
이후, 윈도우 B(820)와 같이 가속도 값이 일정 수준을 유지하다가 글리치가 발생할 수 있으며, 이 경우 프로세서(140)는 일정 수준으로 유지되는 가속도 값에 기초하여 사용자가 웨어러블 장치(100)를 사용하는 것으로 식별하고, 이후 발생한 글리치에 기초하여 스트랩(120)에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 자이로 센서 및 가속도 센서를 이용하는 방법을 설명하기 위한 도면이다.
도 9는 도 8의 가속도 값에 대한 그래프와 도 7의 각속도에 대한 그래프를 중첩한 도면으로, 프로세서(140)는 자이로 센서 및 가속도 센서를 모두 이용하여 스트랩(120)에 대한 사용자의 탭 입력이 수신되었는지 식별할 수 있다.
먼저, 프로세서(140)는 윈도우 A(910)에서 각속도가 일정 수준의 이상의 변이를 나타내고 가속도 값이 증가하는 중에 글리치가 발생하였으므로, 스트랩(120)에 대한 사용자의 탭 입력이 없었던 것으로 식별할 수 있다.
그리고, 프로세서(140)는 윈도우 B(920)에서 각속도가 일정 수준의 미만의 변이를 나타내고 가속도 값이 일정 수준을 유지하는 중에 글리치가 발생하였으므로, 스트랩(120)에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다.
이상과 같이 두 가지 센서를 이용함에 따라 스트랩(120)에 대한 탭 입력에 대한 정확도가 좀더 향상될 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(140)는 자이로 센서와 가속도 센서 뿐만 아니라 자력계 센서를 더 이용하여 스트랩(120)에 대한 탭 입력의 수신 여부를 식별할 수도 있다.
도 10은 본 개시의 일 실시 예에 따른 탭 입력과 관련된 웨어러블 장치(100)의 동작을 설명하기 위한 흐름도이다.
먼저, 프로세서(140)는 시스템을 활성화할 수 있다(S1010). 예를 들어, 프로세서(140)는 부팅 후 센서(130)로 전원을 공급할 수 있다.
프로세서(140)는 센서(130)를 통해 센서 데이터를 획득할 수 있다(S1020). 예를 들어, 프로세서(140)는 자이로 센서, 가속도 센서, 자력계 센서 또는 사운드 센서 중 적어도 하나에 기초하여 센서 데이터를 획득할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(140)는 웨어러블 장치(100)가 사용자에게 착용된 경우에만 센서(130)를 통해 센서 데이터를 획득할 수도 있다. 이러한 동작을 통해 웨어러블 장치(100)의 전력 소모를 줄일 수 있다.
또는, 프로세서(140)는 자이로 센서, 가속도 센서, 자력계 센서 및 사운드 센서 중 하나에만 전원을 공급하고, 사용자로부터 웨이크업(wakeup) 신호가 수신되면 나머지 센서에 전원을 공급할 수도 있다. 예를 들어, 프로세서(140)는 가속도 센서에만 전원을 공급하고 나머지 센서에는 전원을 공급하지 않는 상태에서, 사용자의 조작에 따라 기설정된 패턴의 가속도 값이 식별되면 웨이크업 신호가 수신된 것으로 식별하고 나머지 센서에도 전원을 공급할 수도 있다. 이후, 프로세서(140)는 스트랩(120)에 대한 탭 입력이 수신되면 복수의 센서를 통해 탭 입력 여부를 식별할 수 있다. 이러한 동작을 통해 평상 시에 전력 소모를 줄이면서도 탭 입력에 대한 정확도를 유지할 수 있다.
프로세서(140)는 탭 입력이 특정 제스처 패턴인지 식별할 수 있다(S1030). 프로세서(140)는 탭 입력이 특정 제스처 패턴이 아니라고 식별되면, 센서 데이터의 획득 동작을 유지할 수 있다. 또는, 프로세서(140)는 탭 입력이 특정 제스처 패턴이라고 식별되면, 특정 제스처 패턴의 오류 여부를 식별할 수 있다(S1040).
예를 들어, 프로세서(140)는 사운드 정보를 더 획득하고, 제스처 패턴의 수신 시점과 사운드의 수신 시점이 동일한 경우, 특정 제스처 패턴이 오류가 아니라고 식별할 수 있다.
또는, 프로세서(140)는 각속도 정보, 가속도 정보 또는 자력계 정보 중 적어도 하나를 식별하고, 탭 입력이 수신되기 전의 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내인 경우, 특정 제스처 패턴이 오류가 아니라고 식별할 수도 있다.
또는, 프로세서(140)는 웨어러블 장치(100)가 잠금 상태가 해제된 상태에서 탭 입력이 수신되면, 특정 제스처 패턴이 오류가 아니라고 식별할 수도 있다.
또는, 프로세서(140)는 탭 입력이 수신되는 동안 디스플레이(110)를 통한 사용자 조작이 없는 경우, 특정 제스처 패턴이 오류가 아니라고 식별할 수도 있다.
또는, 프로세서(140)는 웨어러블 장치(100)가 사용자에게 착용된 상태이고 기설정된 어플리케이션이 실행된 경우, 특정 제스처 패턴이 오류가 아니라고 식별할 수도 있다.
이상과 같은 방식을 통해 프로세서(140)는 급격한 손목 움직임 등과 같이 사용자가 의도하지 않은 입력과 사용자가 의도한 탭 입력을 구별할 수 있다.
프로세서(140)는 특정 제스처 패턴이 오류라고 식별되면, 센서 데이터의 획득 동작을 유지할 수 있다. 또는, 프로세서(140)는 특정 제스처 패턴이 오류가 아니라고 식별되면, 제스처 패턴에 대응되는 동작을 수행할 수 있다(S1050).
도 11 내지 도 13은 본 개시의 일 실시 예에 따른 사용자의 팔 움직임에 따른 웨어러블 장치(100)의 자세 변경 정보를 설명하기 위한 도면들이다.
먼저, 사용자는 도 11의 좌측에 도시된 바와 같이, 웨어러블 장치(100)를 사용하지 않는 상태일 수 있다. 이후, 도 11의 가운데에 도시된 바와 같이, 웨어러블 장치(100)를 사용하기 위해 팔을 올릴 수 있다. 그리고, 도 11의 우측에 도시된 바와 같이, 웨어러블 장치(100)를 사용하기 전까지 팔을 유지하는 시간이 있을 수 있다.
프로세서(140)는 가속도 정보를 통해 사용자가 팔을 들어올리는 동작을 감지할 수 있다. 예를 들어, 센서(130)는 가속도 센서를 포함하고, 프로세서(140)는 탭 입력이 수신되기 전의 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 탭 입력에 따른 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 가속도 정보에 기초하여 제어 명령을 획득할 수 있다.사용자가 팔을 들어올리는 경우와 같이 사용자가 웨어러블 장치(100)를 사용하려는 의도가 명확하게 확인되지 않는 경우라면, 탭 입력을 좀더 엄격하게 감지할 필요가 있다.
가령, 도 12 및 도 13에 도시된 바와 같이, 프로세서(140)는 탭 입력이 수신되기 전, 센서(130)를 통해 팔이 일정하게 유지되는지를 식별할 수 있다. 예를 들어, 도 12의 a 구간 및 c 구간은 웨어러블 장치(100)가 흔들리는 상태이고, b 구간(1210)은 웨어러블 장치(100)가 흔들리지 않는 상태일 수 있다. 프로세서(140)는 b 구간(1210)과 같이, 웨어러블 장치(100)의 가속도 값 및 각속도의 변이가 a 구간 및 c 구간보다 크지 않음을 식별할 수 있다. 프로세서(140)는 b 구간(1210) 내에서 글리치가 발생하는 경우, 스트랩(120)에 대한 사용자의 탭 입력이 수신된 것으로 식별할 수 있다. 반면, 프로세서(140)는 a 구간 또는 c 구간 내에서 글리치가 발생하는 경우, 웨어러블 장치(100)가 흔들리는 상태였으므로, 스트랩(120)에 대한 사용자의 탭 입력이 수신되지 않은 것으로 식별할 수 있다.
또는, 도 13에 도시된 바와 같이, a 구간 및 c 구간은 웨어러블 장치(100)가 흔들리는 상태이고, b 구간 및 d 구간(1310)은 웨어러블 장치(100)가 흔들리지 않는 상태일 수 있다. 프로세서(140)는 b 구간 및 d 구간(1310)과 같이, 웨어러블 장치(100)의 자력계 변이가 a 구간 및 c 구간보다 크지 않음을 식별할 수 있다. 프로세서(140)는 자력계 변이가 b 구간 및 d 구간(1310)과 같이 안정된 상태를 전제로, 도 12와 같이 가속도 값 및 각속도를 고려하여 스트랩(120)에 대한 사용자의 탭 입력이 수신되었는지를 식별할 수도 있다. 이러한 동작을 통해 탭 입력의 수신 여부에 대한 정확도가 향상될 수 있다.
한편, 도 12 또는 도 13과 같은 센서 데이터로부터 웨어러블 장치(100)가 흔들리는지의 여부는 신경망 모델로 구현될 수도 있다.
도 14 내지 도 20은 본 개시의 다양한 실시 예에 따른 스트랩(120)에 대한 탭 입력의 활용 방법을 설명하기 위한 도면들이다.
먼저, 프로세서(140)는 도 14에 도시된 바와 같이, 스트랩(120)에 대한 탭 입력이 수신되면 웨어러블 장치(100)의 변경된 자세 정보에 기초하여 동작을 수행할 수 있다. 특히, 스트랩(120)에 대한 탭 입력 자체는 전자기적인 동작이 아니므로, 사용자가 장갑(1410)을 착용하고도 동일한 조작이 가능하다. 즉, 종래와 같은 터치 디스플레이의 경우에는 장갑을 착용하고 제어가 불가능하였으나, 스트랩(120)에 대한 탭 입력을 통해 이러한 불편을 해소할 수 있다.
또는, 도 15에 도시된 바와 같이, 사용자는 웨어러블 장치(100)를 통해 동영상을 시청할 수도 있다. 이 경우, 잘못된 터치 등으로 시청을 방해하는 것을 방지하기 위해, 프로세서(140)는 디스플레이(110)에 대한 터치를 잠금 상태(touch locked)로 변경할 수 있다. 이 경우, 사용자는 스트랩(120)에 대한 탭 입력을 통해 동영상의 소리 크기를 변경할 수도 있다. 즉, 종래에는 터치의 잠금 상태를 해제한 후에야 제어가 가능하였으나, 스트랩(120)에 대한 탭 입력을 통해 잠금 상태를 해제하지 않고도 제어가 가능하며, 이상과 같은 불편을 해소할 수 있다.
도 15에서는 설명의 편의를 위해, 소리 크기를 변경하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 디스플레이(110)에 대한 터치가 잠금 상태인 경우에도, 스트랩(120)에 대한 탭 입력을 통해 휘도, 색감, 재생 시점 등을 변경할 수도 있다.
또는, 프로세서(140)는 스트랩(120)에 대한 탭 입력이 수신되면, 센서(130)를 통해 탭 입력에 따른 웨어러블 장치(100)의 변경된 자세 정보를 획득할 수 있다. 그리고, 프로세서(140)는 실행 중인 어플리케이션에 기초하여 변경된 자세 정보에 대응되는 제어 명령을 획득할 수도 있다.
예를 들어, 프로세서(140)는 도 16에 도시된 바와 같이, 제1 게임이 실행 중인 경우, 스트랩(120)에 대한 탭 입력을 점프(jump) 또는 스쿼트(squat)로 식별할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(140)는 제2 게임이 실행 중인 경우, 스트랩(120)에 대한 탭 입력을 게임 정지로 식별할 수도 있다. 그리고, 프로세서(140)는 제2 게임이 정지 중인 경우, 스트랩(120)에 대한 탭 입력을 게임 재개로 식별할 수도 있다. 즉, 프로세서(140)는 실행 중인 어플리케이션의 상태에 기초하여 자세 변경된 자세 정보에 대응되는 제어 명령을 획득할 수도 있다.
또는, 프로세서(140)는 동영상 어플리케이션 또는 음악 어플리케이션이 실행 중인 경우, 볼륨 업 또는 볼륨 다운으로 식별할 수도 있다.
또는, 프로세서(140)는 복수의 화면 중 하나 및 복수의 화면에 각각 대응되는 복수의 인디케이터(1710)를 디스플레이할 수도 있다. 이 경우, 프로세서(140)는 도 17에 도시된 바와 같이, 스트랩(120)에 대한 탭 입력을 복수의 화면 중 다른 하나로 변경하는 제어 명령으로 식별할 수도 있다.
또한, 종래에는 웨어러블 장치(100)가 도 18에 도시된 바와 같이, 물이나 먼지에 노출되어 터치 에러가 발생하는 문제가 있었으나, 스트랩(120)에 대한 탭 입력은 전자기적인 동작이 아니므로, 터치 에러가 발생하지 않아 이상과 같은 불편을 해소할 수 있다.
또는, 웨어러블 장치(100)는 도 19에 도시된 바와 같이, 본체, 본체의 일 측에 연결된 제1 스트랩 및 본체의 타 측에 연결된 제2 스트랩을 포함하며, 프로세서(140)는 제1 스트랩에 대한 탭 입력에 따라 스크롤 업 동작을 수행하고, 제2 스트랩에 대한 탭 입력에 따라 스크롤 다운 동작을 수행할 수도 있다.
또는, 프로세서(140)는 도 20의 좌측 하단의 버튼(Play next tour)을 생략하고, 도 20의 우측과 같이 좀더 많은 정보를 제공할 수도 있다. 이때, 프로세서(140)는 스트랩(120)에 대한 탭 입력을 생략된 버튼을 조작하는 것으로 식별할 수도 있다.
도 21은 본 개시의 일 실시 예에 따른 웨어러블 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, UI(user interface) 화면을 제공한다(S2110). 그리고, 웨어러블 장치의 자세 정보가 임계 범위 이상 변경된 것으로 식별되면, 웨어러블 장치의 스트랩에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별한다(S2120). 그리고, 변경된 자세 정보에 기초하여 UI 화면에 대응되는 제어 명령을 획득한다(S2130). 그리고, 제어 명령에 기초하여 웨어러블 장치를 제어한다(S2140).
그리고, 자세 정보는 각속도 정보, 가속도 정보 및 자력계 정보를 포함하고, 획득하는 단계(S2130)는 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 제1 변경 정보, 제2 변경 정보 및 제3 변경 정보에 기초하여 제어 명령을 획득할 수 있다.
여기서, 획득하는 단계(S2130)는 탭 입력이 수신되기 전의 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내인 경우, 제어 명령을 획득할 수 있다.
또는, 획득하는 단계(S2130)는 제1 임계 시간 동안 각속도 정보가 제1 임계 범위 내이고, 제1 임계 시간 동안 가속도 정보가 제2 임계 범위 내이고, 제1 임계 시간 동안 자력계 정보가 제3 임계 범위 내이며, 제1 임계 시간 직후인 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 제2 임계 시간 이후 제3 임계 시간 내에 탭 입력이 수신된 것으로 식별되면, 제어 명령을 획득할 수 있다.
또는, 자세 정보는 가속도 정보를 포함하고, 획득하는 단계(S2130)는 탭 입력이 수신되기 전의 제2 임계 시간 동안 가속도 정보가 제1 값 이하에서 제1 값보다 큰 제2 값 이상으로 증가한 후 제1 값 이하로 작아지고, 탭 입력에 따른 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 가속도 정보에 기초하여 제어 명령을 획득할 수 있다.
한편, 획득하는 단계(S2130)는 웨어러블 장치가 잠금 상태가 해제된 상태에서 자세 정보가 상기 임계 범위 이상 변경된 것으로 식별되면, 상기 변경된 자세 정보에 기초하여 제어 명령을 획득할 수 있다.
또한, 획득하는 단계(S2130)는 탭 입력이 수신되는 동안 웨어러블 장치의 디스플레이를 통한 사용자 조작이 없는 경우, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수 있다.
한편, 획득하는 단계(S2130)는 웨어러블 장치가 사용자에게 착용된 상태이고 기설정된 어플리케이션이 실행된 경우, 변경된 자세 정보에 기초하여 제어 명령을 획득할 수 있다.
또한, 획득하는 단계(S2130)는 변경된 자세 정보를 신경망 모델에 입력하여 탭 입력이 웨어러블 장치를 제어하기 위한 입력인지 식별할 수 있다.
한편, 탭 입력에 의한 사운드 정보를 획득하는 단계를 더 포함하고, 획득하는 단계(S2130)는 변경된 자세 정보 또는 사운드 정보 중 적어도 하나에 기초하여 제어 명령을 획득할 수 있다.
여기서, 스트랩은 웨어러블 장치의 본체에 연결될 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 웨어러블 장치는 스트랩에 대한 탭(tap) 입력이 수신되면, 탭 입력에 따른 웨어러블 장치의 변경된 자세 정보에 기초하여 제어 명령을 획득함에 따라 사용자에게 다양한 조작 방법을 제공할 수 있다.
또한, 웨어러블 장치는 별도의 센서를 추가하지 않고 기존에 구비된 센서를 통해 탭 입력에 따른 웨어러블 장치의 자세 정보를 획득하므로 제조 비용이 증가하지 않는 장점이 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 웨어러블 장치에 있어서,
    디스플레이;
    상기 디스플레이와 인접하게 배치된 스트랩;
    상기 웨어러블 장치의 자세 정보를 획득하는 적어도 하나의 센서; 및
    상기 디스플레이 및 상기 적어도 하나의 센서와 연결되어 상기 웨어러블 장치를 제어하는 적어도 하나의 프로세서;를 포함하며,
    상기 적어도 하나의 프로세서는,
    UI(user interface) 화면을 제공하도록 상기 디스플레이를 제어하고,
    상기 자세 정보의 변화가 임계 범위 이상인 것으로 식별되면, 상기 스트랩에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별하고, 상기 변경된 자세 정보에 기초하여 상기 UI 화면에 대응되는 제어 명령을 획득하고,
    상기 제어 명령에 기초하여 상기 웨어러블 장치를 제어하는, 웨어러블 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 센서는,
    각속도 정보를 획득하는 자이로 센서,
    가속도 정보를 획득하는 가속도 센서 및
    자력계 정보를 획득하는 자력계 센서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 상기 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 상기 제1 변경 정보, 상기 제2 변경 정보 및 상기 제3 변경 정보에 기초하여 상기 제어 명령을 획득하는, 웨어러블 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 탭 입력이 수신되기 전의 제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내인 경우, 상기 제어 명령을 획득하는, 웨어러블 장치.
  4. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내이며, 상기 제1 임계 시간 이후인 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 제2 임계 시간 이후 제3 임계 시간 내에 상기 탭 입력이 수신된 것으로 식별되면, 상기 제어 명령을 획득하는, 웨어러블 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 센서는,
    가속도 정보를 획득하는 가속도 센서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 탭 입력이 수신되기 전의 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 탭 입력에 대응되는 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이면, 상기 가속도 정보에 기초하여 상기 제어 명령을 획득하는, 웨어러블 장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 웨어러블 장치가 잠금 상태가 해제된 동안 상기 자세 정보가 상기 임계 범위 이상 변경된 것으로 식별되면, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득하는, 웨어러블 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 탭 입력이 수신되는 동안 상기 디스플레이에 사용자 조작이 없는 경우, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득하는, 웨어러블 장치.
  8. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 웨어러블 장치가 상기 사용자에게 착용된 상태이고 기설정된 어플리케이션이 실행된 경우, 상기 변경된 자세 정보에 기초하여 상기 제어 명령을 획득하는, 웨어러블 장치.
  9. 제1항에 있어서,
    신경망 모델이 저장된 메모리;를 더 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 변경된 자세 정보를 상기 신경망 모델에 입력하여 상기 탭 입력이 상기 웨어러블 장치를 제어하기 위한 입력인지 식별하는, 웨어러블 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 센서는,
    사운드 센서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 사운드 센서를 통해 상기 탭 입력에 대응되는 사운드 정보를 획득하고,
    상기 변경된 자세 정보 또는 상기 사운드 정보 중 적어도 하나에 기초하여 상기 제어 명령을 획득하는, 웨어러블 장치.
  11. 제1항에 있어서,
    본체;를 더 포함하며,
    상기 디스플레이, 상기 적어도 하나의 센서 및 상기 적어도 하나의 프로세서는 상기 본체에 포함되고,
    상기 스트랩은,
    상기 본체에 연결된, 웨어러블 장치.
  12. 웨어러블 장치의 제어 방법에 있어서,
    UI(user interface) 화면을 제공하는 단계;
    상기 웨어러블 장치의 자세 정보의 변화가 임계 범위 이상인 것으로 식별되면, 상기 웨어러블 장치의 스트랩에 대한 사용자의 탭(tap) 입력이 수신된 것으로 식별하는 단계;
    상기 변경된 자세 정보에 기초하여 상기 UI 화면에 대응되는 제어 명령을 획득하는 단계; 및
    상기 제어 명령에 기초하여 상기 웨어러블 장치를 제어하는 단계;를 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 자세 정보는,
    각속도 정보, 가속도 정보 및 자력계 정보를 포함하고,
    상기 획득하는 단계는,
    상기 각속도 정보의 제1 변경 정보가 제1 임계 값 이상이고, 상기 가속도 정보의 제2 변경 정보가 제2 임계 값 이상이고, 상기 자력계 정보의 제3 변경 정보가 제3 임계 값 이상이면, 상기 제1 변경 정보, 상기 제2 변경 정보 및 상기 제3 변경 정보에 기초하여 상기 제어 명령을 획득하는, 제어 방법.
  14. 제13항에 있어서,
    상기 획득하는 단계는,
    상기 탭 입력이 수신되기 전의 제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내인 경우, 상기 제어 명령을 획득하는, 제어 방법.
  15. 제13항에 있어서,
    상기 획득하는 단계는,
    제1 임계 시간 동안 상기 각속도 정보가 제1 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 가속도 정보가 제2 임계 범위 내이고, 상기 제1 임계 시간 동안 상기 자력계 정보가 제3 임계 범위 내이며, 상기 제1 임계 시간 직후인 제2 임계 시간 동안 상기 가속도 정보가 제1 값 이하에서 상기 제1 값보다 큰 제2 값 이상으로 증가한 후 상기 제1 값 이하로 작아지고, 상기 제2 임계 시간 이후 제3 임계 시간 내에 상기 탭 입력이 수신된 것으로 식별되면, 상기 제어 명령을 획득하는, 제어 방법.
PCT/KR2022/016897 2021-12-23 2022-11-01 웨어러블 장치 및 그 제어 방법 Ceased WO2023120951A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280084742.XA CN118511140A (zh) 2021-12-23 2022-11-01 可穿戴装置及其控制方法
EP22911589.4A EP4394562A4 (en) 2021-12-23 2022-11-01 WEARABLE DEVICE AND CONTROL METHODS THEREFOR
US18/109,084 US12056292B2 (en) 2021-12-23 2023-02-13 Wearable apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0186525 2021-12-23
KR1020210186525A KR20230096730A (ko) 2021-12-23 2021-12-23 웨어러블 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2023120951A1 true WO2023120951A1 (ko) 2023-06-29

Family

ID=86902904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016897 Ceased WO2023120951A1 (ko) 2021-12-23 2022-11-01 웨어러블 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US12056292B2 (ko)
EP (1) EP4394562A4 (ko)
KR (1) KR20230096730A (ko)
CN (1) CN118511140A (ko)
WO (1) WO2023120951A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12484815B2 (en) 2012-06-14 2025-12-02 Medibotics Llc Biometric wearable device (e.g. finger ring or smart watch) with optical sensors and scanning light beams
US12405211B2 (en) 2012-06-14 2025-09-02 Medibotics Llc Nerd of the rings (smart ring with spectroscopic sensors)
US20250335039A1 (en) * 2024-04-24 2025-10-30 Oxti Pte Ltd Virtual input device
CN119376547B (zh) * 2024-12-27 2025-06-06 荣耀终端股份有限公司 一种手势交互方法、可穿戴设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026308A1 (en) * 2014-07-25 2016-01-28 Hannstar Display (Nanjing) Corporation Smart wearable device
KR20170019456A (ko) * 2014-07-18 2017-02-21 애플 인크. 디바이스에서의 들어올림 제스처 검출
KR20170091963A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
KR102151136B1 (ko) * 2015-06-17 2020-09-02 후아웨이 테크놀러지 컴퍼니 리미티드 지능형 웨어러블 장치 및 그 제어 방법
KR102204553B1 (ko) * 2014-05-23 2021-01-19 엘지전자 주식회사 와치 타입 이동 단말기 및 그것의 제어방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024028A1 (ja) * 2008-08-29 2010-03-04 日本電気株式会社 位置情報入力装置および位置情報入力方法
US8098141B2 (en) 2009-02-27 2012-01-17 Nokia Corporation Touch sensitive wearable band apparatus and method
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
KR20150061420A (ko) 2013-11-27 2015-06-04 엘지전자 주식회사 스마트 워치 및 그 동작 방법
KR102029756B1 (ko) 2014-11-03 2019-10-08 삼성전자주식회사 웨어러블 디바이스 및 그 제어 방법
KR20160093499A (ko) 2015-01-29 2016-08-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102288823B1 (ko) 2015-02-06 2021-08-11 엘지이노텍 주식회사 웨어러블 디바이스
KR20160149489A (ko) 2015-06-18 2016-12-28 엘지전자 주식회사 이동단말기 및 그 제어방법
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
WO2017094346A1 (ja) * 2015-12-01 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3486747A4 (en) 2016-07-29 2019-05-22 Huawei Technologies Co., Ltd. BEST INPUT METHOD FOR A WEARABLE DEVICE AND WEARABLE DEVICE
EP3496608A4 (en) * 2016-08-15 2020-03-18 Georgia Tech Research Corporation ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THEM
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
EP3973468A4 (en) * 2019-05-21 2022-09-14 Magic Leap, Inc. Hand pose estimation
US11788830B2 (en) 2019-07-09 2023-10-17 Apple Inc. Self-mixing interferometry sensors used to sense vibration of a structural or housing component defining an exterior surface of a device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204553B1 (ko) * 2014-05-23 2021-01-19 엘지전자 주식회사 와치 타입 이동 단말기 및 그것의 제어방법
KR20170019456A (ko) * 2014-07-18 2017-02-21 애플 인크. 디바이스에서의 들어올림 제스처 검출
US20160026308A1 (en) * 2014-07-25 2016-01-28 Hannstar Display (Nanjing) Corporation Smart wearable device
KR102151136B1 (ko) * 2015-06-17 2020-09-02 후아웨이 테크놀러지 컴퍼니 리미티드 지능형 웨어러블 장치 및 그 제어 방법
KR20170091963A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치

Also Published As

Publication number Publication date
US20230205325A1 (en) 2023-06-29
CN118511140A (zh) 2024-08-16
EP4394562A1 (en) 2024-07-03
US12056292B2 (en) 2024-08-06
KR20230096730A (ko) 2023-06-30
EP4394562A4 (en) 2025-01-01

Similar Documents

Publication Publication Date Title
WO2023120951A1 (ko) 웨어러블 장치 및 그 제어 방법
WO2020085789A1 (en) Foldable electronic device for controlling user interface and operating method thereof
WO2018009029A1 (en) Electronic device and operating method thereof
WO2022265354A1 (ko) 웨어러블 디바이스 및 그 제어 방법
EP3785103A1 (en) Electronic device and control method thereof
WO2016208835A1 (ko) 스마트 와치 및 이의 제어방법
WO2018008991A1 (ko) 영상 처리를 위한 디스플레이 장치 및 방법
WO2018074893A1 (ko) 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2018208093A1 (ko) 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
WO2020171563A1 (en) Electronic device and method for controlling operation of display in same
EP3281089A1 (en) Smart device and method of operating the same
WO2020141727A1 (ko) 헬스 케어 로봇 및 그 제어 방법.
WO2020085643A1 (en) Electronic device and controlling method thereof
WO2021080360A1 (en) Electronic device and method for controlling display operation thereof
WO2018093075A1 (ko) 전자 장치 및 그의 제어 방법
WO2021066564A1 (ko) 복수의 카메라들을 포함하고 형태가 변하는 전자 장치 및 이미지 촬영 방법
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2016122153A1 (en) Display apparatus and control method thereof
WO2021242008A1 (en) Electronic device and operating method thereof
WO2022025444A1 (ko) 화면을 표시하는 방법 및 그 장치
WO2021025456A1 (ko) 터치 입력에 기반한 동작 방법 및 그 전자 장치
WO2020166781A1 (ko) 조도 센서 및 디스플레이를 이용하여 의도되지 않은 사용자 입력의 수신을 방지하는 전자 장치 및 전자 장치의 동작 방법
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2024029695A1 (ko) 모션 정보에 의한 제어 신호를 식별하는 전자 장치 및 그 제어 방법
WO2026095407A1 (ko) 영상의 일부 영역의 위치를 변경하여 투사하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911589

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022911589

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022911589

Country of ref document: EP

Effective date: 20240326

WWE Wipo information: entry into national phase

Ref document number: 202280084742.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE