WO2024204986A1 - 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법 - Google Patents

터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법 Download PDF

Info

Publication number
WO2024204986A1
WO2024204986A1 PCT/KR2024/000872 KR2024000872W WO2024204986A1 WO 2024204986 A1 WO2024204986 A1 WO 2024204986A1 KR 2024000872 W KR2024000872 W KR 2024000872W WO 2024204986 A1 WO2024204986 A1 WO 2024204986A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
location
display
visual object
touch input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/000872
Other languages
English (en)
French (fr)
Inventor
최성수
염동현
김범수
김성오
김지현
안성근
이건희
이상훈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230063203A external-priority patent/KR20240145852A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP24780981.7A priority Critical patent/EP4671943A4/en
Priority to US18/429,918 priority patent/US12353627B2/en
Publication of WO2024204986A1 publication Critical patent/WO2024204986A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • the present disclosure relates to a wearable device and method for providing feedback on touch input.
  • the electronic devices are being developed that provide augmented reality (AR) and/or virtual reality (VR) services that display computer-generated information in conjunction with external objects in the real world.
  • the electronic devices may be wearable devices that can be worn by a user.
  • the electronic devices may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a housing, a display disposed on a first surface of the housing, a camera exposed through a portion of the first surface, a touch sensor configured to identify a contact on a second surface opposite the first surface, and at least one processor including a processing circuit.
  • the at least one processor may be configured to display, on a screen, a visual object representing a first position of a touch input on the second surface based on the contact on the second surface identified using the touch sensor.
  • the at least one processor may be configured to identify, in response to the touch input, a second position of a gaze identified based on an image acquired through the camera within the screen.
  • the at least one processor may be configured to provide feedback for the touch input in response to the second position identified within a reference distance from the first position of the visual object. At least one processor may be configured to cease providing the feedback in response to the second location being identified as being outside the reference distance from the first location.
  • a method of a wearable device may include an operation of displaying, on a screen, a visual object indicating a first position of a touch input on a second surface opposite the first surface through a display disposed on a first surface of a housing.
  • the method may include an operation of identifying, in response to the touch input, a second position of a gaze identified on the screen based on an image acquired through a camera.
  • the method may include an operation of providing feedback for the touch input in response to the second position identified within a reference distance from the first position of the visual object.
  • the method may include an operation of ceasing to provide the feedback in response to the second position identified outside the reference distance from the first position.
  • a non-transitory computer-readable storage medium storing one or more programs, wherein the one or more programs, when executed by at least one processor of the wearable device, cause the wearable device to display, on a screen, a visual object representing a first position of a touch input on a second surface opposite the first surface through a display disposed on a first surface of the housing.
  • the one or more programs when executed by the at least one processor of the wearable device, cause the wearable device to identify, in response to the touch input, a second position of a gaze identified on the screen based on an image acquired through a camera.
  • the one or more programs when executed by the at least one processor of the wearable device, cause the wearable device to provide feedback for the touch input in response to the second position identified within a reference distance from the first position of the visual object.
  • Said one or more programs when executed by at least one processor of said wearable device, may cause said wearable device to cease providing said feedback in response to said second location being identified outside of said reference distance from said first location.
  • FIG. 1 is a diagram illustrating an example of a wearable device that recognizes touch input on the wearable device according to one embodiment.
  • FIG. 2 is a block diagram illustrating an exemplary configuration of a wearable device according to one embodiment.
  • FIG. 3 is a diagram illustrating an example of a wearable device that recognizes touch input on the wearable device according to one embodiment.
  • FIG. 4 is a diagram illustrating an example of screens to be displayed based on identification of an event, according to one embodiment.
  • FIG. 5A is a diagram illustrating an example of a screen related to information stored in memory, according to one embodiment.
  • FIG. 5b is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • FIG. 6A is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • FIG. 6b is a diagram illustrating an example of a screen related to information stored in memory, according to one embodiment.
  • FIG. 6c is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • FIG. 6d is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • FIG. 7A is a perspective view illustrating an exemplary wearable device according to one embodiment.
  • FIG. 7b is a perspective view illustrating one or more exemplary hardware components disposed within a wearable device, according to one embodiment.
  • FIGS. 8A and 8B are perspective views illustrating an example of an exterior appearance of a wearable device according to one embodiment.
  • FIG. 9 is a flowchart illustrating an exemplary operation of a wearable device according to one embodiment.
  • a certain (e.g., a first) component is "(functionally or communicatively) connected” or “connected” to another (e.g., a second) component
  • the certain component can be directly connected to the other component, or can be connected via another component (e.g., a third component).
  • module includes a unit composed of hardware, software, firmware, or any combination thereof, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally composed component or a minimum unit or part thereof that performs one or more functions.
  • a module may be composed of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 is a diagram illustrating an example of a wearable device that recognizes a touch input on the wearable device, according to one embodiment.
  • a wearable device (101) may include an HMD (head-mounted display) wearable on a head of a user (103).
  • HMD head-mounted display
  • FIGS. 7A, 7B, and/or 8A and 8B An example of a structure of a wearable device (101) wearable on a head of a user (103) is described in more detail with reference to FIGS. 7A, 7B, and/or 8A and 8B.
  • One or more hardware components included in the wearable device (101) are described with reference to FIG. 2.
  • a wearable device (101) may perform functions related to augmented reality (AR) and/or mixed reality (MR).
  • the wearable device (101) may include at least one lens (e.g., lens (730) of FIG. 7B) positioned adjacent to an eye of the user.
  • the wearable device (101) may combine ambient light passing through the lens with light emitted from a display of the wearable device (101) (e.g., display (230) of FIG. 2).
  • a display area of the display may be formed within the lens through which the ambient light passes. Since the wearable device (101) combines the ambient light and the light emitted from the display, the user (103) can see an image that is a mixture of a real object recognized by the ambient light and a virtual object formed by the light emitted from the display.
  • a wearable device (101) may perform functions related to video see-through (VST) and/or virtual reality (VR).
  • VST video see-through
  • VR virtual reality
  • the wearable device (101) may include a housing that covers the eyes of the user (103).
  • the wearable device (101) may include a display (e.g., a first display (750-1) and/or a second display (750-2) of FIG. 8A) disposed on a first surface facing the eyes (e.g., a first surface (810) of FIG. 8A).
  • the wearable device (101) may include a camera (e.g., cameras 840-5, 840-6, 840-7, 840-8, 840-9, 840-10 of FIG. 8B) disposed on a second surface opposite to the first surface (e.g., the second surface (820) of FIG. 8B). Using the camera, the wearable device (101) may obtain frames including ambient light. The wearable device (101) may output the frames within a display disposed on the first surface, thereby allowing a user to recognize the ambient light through the display. A display area of the display disposed on the first surface may be formed by one or more pixels included in the display. The wearable device (101) may synthesize a virtual object within the frames output through the display, thereby allowing a user to recognize the virtual object together with a real object recognized by the ambient light.
  • a camera e.g., cameras 840-5, 840-6, 840-7, 840-8, 840-9, 840-10 of FIG. 8B
  • the wearable device (101) may obtain frames
  • a wearable device (101) may display a screen (110) through a display disposed on a first surface of a housing.
  • the screen (110) may include a screen expressing a surrounding environment of the wearable device (101) based on an image acquired through a first camera exposed through a part of a second surface (130) opposite to the first surface.
  • the screen (110) may include a screen expressing virtual reality.
  • the wearable device (101) may identify a contact of an external object (120) on the second surface (130) while displaying the screen (110). For example, the wearable device (101) may display a first visual object (140) indicating the contacted first position within the screen (110) based on the contact of the external object (120) on the second surface (130).
  • the first visual object (140) may be referred to as a pointer.
  • the first visual object (140) may be expressed as a designated shape (e.g., a circle, a triangle, a square, a pentagon, a hexagon, an octagon, and/or an arrow).
  • the first visual object (140) may be expressed as a form in which the designated shape is filled with a designated color.
  • the wearable device (101) can identify a contact point of an external object (120) on the second surface (130).
  • the wearable device (101) can identify a touch input at a first location (131) on the second surface (130).
  • the wearable device (101) can identify movement of the external object (120).
  • the wearable device (101) can identify a movement path (133) of the external object (120).
  • the wearable device (101) can identify a second location (135) where the movement of the external object (120) is completed.
  • the wearable device (101) can display a first visual object (145) representing the external object (120) identified at the second location (135) through a display. For example, the wearable device (101) can move the first visual object (140) based on the movement path (143) of the external object (120).
  • the wearable device (101) can track the gaze of the user (103) through a second camera (e.g., the gaze tracking camera (241) of FIG. 2) exposed through a portion of the first surface on which the display is arranged.
  • the second camera can include a gaze tracking camera and/or a face recognition camera (e.g., the face recognition camera (242) of FIG. 2).
  • the wearable device (101) can identify a third location of the gaze of the user (103) within the screen (110) based on an image acquired through the second camera. Based on identifying the third location, the wearable device (101) can display a second visual object (150) to indicate the third location related to the gaze within the screen (110).
  • the location of the second visual object (150) within the screen (110) may correspond to the third location within the screen (110) identified by the wearable device (101).
  • the wearable device (101) can identify a distance between a first visual object (140) displayed based on a position of an external object (120) contacted on a second surface (130) (e.g., the first position) and a second visual object (150) displayed based on a position of a gaze of a user (103) (e.g., the third position).
  • the wearable device (101) can identify whether a touch input identified at a point of contact is valid by comparing the distance between the position of the external object (120) contacted on the second surface (130) and the position of the gaze of the user (103) with a preset distance (or reference distance) (d).
  • the distance can include a distance between the first visual object (140) indicating the position of the external object (120) and the second visual object (150) indicating the position of the gaze within the screen (110).
  • the wearable device (101) may, in response to identifying a valid touch input, provide feedback for the touch input.
  • the wearable device (101) may identify a third location of the user's gaze within the screen based on an image acquired through the second camera in response to a touch input.
  • the wearable device (101) may provide feedback for the touch input in response to the third location identified within a reference distance (d) from a location within the screen (110) corresponding to the touch input (e.g., a location of the first visual object (140) within the screen (110).
  • the wearable device (101) may provide feedback for the touch input without displaying the second visual object (150).
  • the wearable device (101) may, in response to a third location (e.g., a location of a third visual object (152) on the screen (110) identified outside a reference distance (d) from a location on the screen (110) corresponding to the touch input indicated by the first visual object (140), cease providing feedback for the touch input.
  • the wearable device (101) may, in response to a third location identified outside a reference distance (d) from a location on the screen (110) corresponding to the touch input, refrain from providing the feedback.
  • Such operations may be referred to as low-level touch based registration.
  • the wearable device (101) may display a second visual object (150) at a third location within the screen (110) of the user's (103) gaze based on the identification of the third location.
  • the second visual object (150) may be displayed in a different size from the first visual object (140).
  • the second visual object (150) may be displayed in a different color from the first visual object (140).
  • the wearable device (101) may identify the movement of the user's (103) gaze based on an image acquired through the second camera.
  • the wearable device (101) may display a second visual object (155) that has moved the second visual object (150) based on a movement path (153) corresponding to the movement of the user's (103) gaze.
  • the wearable device (101) may display a second visual object (155) at a fourth location.
  • the wearable device (101) can identify whether a touch input is valid based on a movement path (153) of a user's gaze corresponding to a movement path (133) of a touch input. For example, the wearable device (101) can identify that a location of a touch input indicated by a first visual object (140) and a location of a gaze indicated by a second visual object (150) overlap. The wearable device (101) can identify that a touch input at a first location is valid based on that the location of the touch input and the location of the gaze overlap for a specified duration. The wearable device (101) can provide feedback for the touch input based on identifying that the touch input is valid.
  • the wearable device (101) can identify a similarity between a movement path (133) of a touch input and a movement path (153) of a user's gaze.
  • the wearable device (101) can identify a direction of the movement path (133) of the touch input and the movement path (153) of the user's gaze.
  • the wearable device (101) can identify a first direction from a first location to a second location.
  • the first direction may be related to a direction in which a first visual object (140) moves within the screen (110).
  • the wearable device (101) can identify a second direction from a third location to a fourth location.
  • the second direction may be identified based on a movement of the user's gaze.
  • the wearable device (101) can move the second visual object (150) based on the movement of the gaze within the screen (110). For example, the wearable device (101) can identify that a first location indicated by the first visual object (140) and a third location indicated by the second visual object (150) overlap, and identify that the second location and the fourth location overlap. In response to identifying the overlap, the wearable device (101) can identify that a touch input (or touch gesture) moved from the first location to the second location is valid. The wearable device (101) can provide feedback for the touch input (or touch gesture) based on that the touch input (or touch gesture) is valid.
  • the wearable device (101) can identify that a location and/or path of a touch input (e.g., a location and/or path of a first visual object (140) within a screen (110)) and a location and/or path of a gaze of a user (103) at least partially match.
  • the wearable device (101) can provide feedback for the touch input based on the matching of the location of the touch input and the gaze of the user (103).
  • the wearable device (101) can provide feedback for the touch input desired by the user (103) of the wearable device (101).
  • FIG. 2 is a block diagram illustrating an exemplary configuration of a wearable device according to one embodiment.
  • the wearable device (101) of FIG. 2 may include the wearable device (101) of FIG. 1.
  • a wearable device (101) may include at least one of a processor (210) (e.g., including a processing circuit), a memory (220), a display (230), a camera (240), and/or a sensor (250).
  • the processor (210), the memory (220), the display (230), the camera (240), and the sensor (250) may be electronically and/or operably coupled with each other by an electrical component, such as a communication bus (205).
  • operably coupled hardware may refer to, for example, a direct connection, or an indirect connection established between the hardwares, wired or wireless, such that a second hardware is controlled by a first hardware among the hardwares.
  • Some of the hardware of FIG. 2 may be included in a single integrated circuit, such as a SoC (system on a chip).
  • SoC system on a chip
  • the type and/or number of hardware included in the wearable device (101) is not limited to that shown in FIG. 2.
  • the wearable device (101) may include only some of the hardware shown in FIG. 2.
  • the wearable device (101) may include hardware for processing data based on one or more instructions.
  • the hardware for processing data may include at least one processor (210), and the at least one processor (210) may include various processing circuitry.
  • processor may include various processing circuitry, including at least one processor, and one or more of the at least one processor may be configured to perform various functions described herein.
  • the at least one processor may include a combination of processors that perform various mentioned/disclosed functions.
  • the at least one processor may execute program instructions to achieve or perform various functions.
  • the hardware for processing data may include an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP).
  • the processor (210) may have a single-core processor structure, or may have a multi-core processor structure such as a dual core, a quad core, a hexa core, or an octa core.
  • the wearable device (101) may include a processor (210) within a housing.
  • the memory (220) of the wearable device (101) may include a hardware component for storing data and/or instructions input to and/or output from the processor (210) of the wearable device (101).
  • the memory (220) may include a volatile memory, such as a random-access memory (RAM), and/or a non-volatile memory, such as a read-only memory (ROM).
  • the volatile memory may include at least one of a dynamic RAM (DRAM), a static RAM (SRAM), a Cache RAM, and a pseudo SRAM (PSRAM).
  • DRAM dynamic RAM
  • SRAM static RAM
  • PSRAM pseudo SRAM
  • the non-volatile memory may include at least one of a programmable ROM (PROM), an erasable PROM (EPROM), an electrically erasable PROM (EEPROM), a flash memory, a hard disk, a compact disc, a solid state drive (SSD), and an embedded multi-media card (eMMC).
  • the wearable device (101) may store the user's biometric data (or information) in the memory (220).
  • the wearable device (101) may store registration information in the memory (220).
  • the registration information may be related to the user's biometric data and/or touch input (or touch gesture).
  • the wearable device (101) may identify whether the touch input and the user's biometric data match the registration information based on identifying the event. For example, the wearable device (101) may execute a function corresponding to the event when the touch input and the biometric data match the registration information. For example, the wearable device (101) may stop executing or bypass the function corresponding to the event when the touch input and the biometric data do not match the registration information. For example, the wearable device (101) may refrain from executing a function corresponding to the event if the touch input and the biometric data do not match the registration information.
  • the display (230) of the wearable device (101) can output visualized information to the user.
  • the display (230) can be controlled by the processor (210) including a circuit such as a graphic processing unit (GPU) to output visualized information to the user.
  • the display (230) can include, but is not limited to, a flat panel display (FPD), and/or electronic paper.
  • the FPD can include, but is not limited to, a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LEDs).
  • the LEDs can include organic LEDs (OLEDs).
  • the display (230) can be disposed on a first surface of the housing of the wearable device (101).
  • the first side may face the user when the user is wearing the wearable device (101).
  • the camera (240) of the wearable device (101) may include a lens assembly, a flash, or an image sensor.
  • the lens assembly may collect light emitted from a subject that is a target of an image capture.
  • the lens assembly may include one or more lenses.
  • the camera (240) may include a plurality of lens assemblies. For example, some of the plurality of lens assemblies may have the same lens properties (e.g., angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may have one or more lens properties that are different from the lens properties of the other lens assemblies.
  • the lens assembly may include a wide-angle lens or a telephoto lens.
  • the flash of the camera (240) may emit light that is used to enhance light emitted or reflected from a subject.
  • the flash may include one or more light emitting diodes (e.g., a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • the image sensor may obtain an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly into an electrical signal.
  • the image sensor may include one image sensor selected from among image sensors having different properties, such as, for example, an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, a plurality of image sensors having the same property, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor may be implemented using, for example, a CCD (charged coupled device) sensor or a CMOS (complementary metal oxide semiconductor) sensor.
  • the wearable device (101) may include a plurality of cameras (240) having different properties or functions.
  • at least one of the plurality of cameras (240) may be a wide-angle camera, and another may be a telephoto camera.
  • the camera (240) may be exposed through a portion of the first side, or may be exposed through a portion of the second side.
  • the camera (240) is illustrated as a single camera, there may be a plurality of cameras.
  • the camera (240) may include a gaze tracking camera (241) capable of tracking the user's gaze.
  • the wearable device (101) may identify the direction of the user's gaze based on the image acquired through the gaze tracking camera (241).
  • the wearable device (101) may identify the location of the user's gaze on the screen based on the image acquired through the gaze tracking camera (241).
  • the wearable device (101) may display a visual object (e.g., a visual object (150) of FIG. 1) at the location of the user's gaze on the screen.
  • the camera (240) may include a facial recognition camera (242) capable of identifying a user's face.
  • the wearable device (101) may identify a user's mouth shape and/or a user's facial expression using the facial recognition camera (242).
  • the user's mouth shape and/or facial expression may be included in biometric data.
  • the present invention is not limited thereto.
  • the wearable device (101) may identify the validity of a touch input using the user's mouth shape and/or facial expression.
  • the wearable device (101) may identify whether to provide feedback for a touch input based on the location of the touch input and the biometric data.
  • the wearable device (101) may identify whether to provide feedback for a touch input based on the user's biometric data acquired through the camera (240).
  • the wearable device (101) may include a sensor (250).
  • the sensor (250) of the wearable device (101) may include a touch sensor (251).
  • the touch sensor (251) may be referred to as a touch sensor panel (TSP).
  • TSP touch sensor panel
  • the wearable device (101) may identify a contact on a second surface opposite to a first surface on which the display (230) is disposed, using the touch sensor (251).
  • the wearable device (101) may identify the contact on the second surface based on data acquired through the touch sensor (251).
  • the contact may be referred to as a touch input and/or a touch gesture.
  • the wearable device (101) may identify a location of an external object that has come into contact with the second surface, a pressure applied to the second surface, and/or an area of the external object that has come into contact with the second surface based on data acquired through the touch sensor (251).
  • the wearable device (101) may identify an external object hovering on the second surface of the wearable device (101) based on data of the touch sensor (251).
  • the external object hovering on the second surface may include a state in which the external object is spaced apart from the second surface by less than a threshold distance set by the touch sensor (251).
  • the wearable device (101) can identify a location where a portion of the external object closest to the second surface is projected onto the second surface, based on identifying an external object hovering over the second surface, using data from the touch sensor (251). The wearable device (101) can identify the identified location as the location of the external object hovering over the second surface.
  • the sensor (250) of the wearable device (101) may include an acceleration sensor (252).
  • the wearable device (101) may identify a physical movement of the wearable device (101) based on the acceleration sensor (252).
  • the acceleration sensor (252) may output sensor data indicating a direction and/or magnitude of acceleration (e.g., gravitational acceleration) applied to the wearable device (101) using a plurality of designated axes (e.g., x-axis, y-axis, z-axis) that are perpendicular to each other.
  • the wearable device (101) may identify a physical movement (e.g., translation motion) of the wearable device (101).
  • the wearable device (101) may include sensors that output data dependent on the physical movement of the wearable device (101), such as a geomagnetic sensor, a gyro sensor, and/or a 6DoF (degrees of freedom) sensor.
  • the geomagnetic sensor may output sensor data indicating the direction of a magnetic field applied to the wearable device (101) (e.g., the direction of the N pole) using two-dimensional or three-dimensional axes.
  • a gyro sensor may be included in the wearable device (101) to measure the rotation of the wearable device (101).
  • the wearable device (101) can identify a contact on a second surface of a housing of the wearable device (101) using a touch sensor (251).
  • the second surface can face a second direction opposite to a first direction in which the first surface on which the display (230) is disposed faces.
  • the wearable device (101) can identify a first location of a touch input on the second surface based on the contact on the second surface identified using the touch sensor (251).
  • the wearable device (101) can display a first visual object representing the first location within a screen through the display (230).
  • the wearable device (101) can identify a touch input on a second surface. In response to the touch input, the wearable device (101) can identify a location where the user's gaze is directed based on an image acquired through the camera (240). The wearable device (101) can identify a second location within the screen of the user's gaze. For example, the wearable device (101) can identify the second location using the gaze tracking camera (241). For example, the wearable device (101) can display a second visual object different from a first visual object at the second location based on the identification of the second location.
  • the wearable device (101) can identify whether a distance between a first location indicated by a first visual object of a touch input and a second location corresponding to a user's gaze is within a reference distance.
  • the reference distance may be provided by the wearable device (101) or set by the user.
  • the wearable device (101) can identify that the distance between the first location and the second location is within the reference distance.
  • the wearable device (101) can provide feedback for the touch input in response to a second location identified within the reference distance from the first location of the first visual object.
  • the wearable device (101) can stop providing feedback for the touch input in response to a second location identified outside the reference distance from the first location of the first visual object.
  • the wearable device (101) may at least temporarily stop identifying a touch input on the second surface to provide the feedback based on a second location identified outside a reference distance from the first location.
  • the wearable device (101) may display virtual objects on the screen while displaying the screen.
  • the virtual objects may be expressed as numbers, shapes, and/or colors.
  • the wearable device (101) may obtain registration information or execute a function corresponding to an event based on an input to the virtual objects.
  • the wearable device (101) can identify an event.
  • the wearable device (101) can display virtual objects based on the event.
  • the wearable device (101) can identify an input to the virtual objects.
  • the wearable device (101) can identify an input to the virtual objects based on a contact of an external object on a second surface.
  • the wearable device (101) can identify an order of inputs to the virtual objects.
  • the wearable device (101) can identify whether a first order of inputs to the virtual objects and a second order included in registration information match.
  • the wearable device (101) can execute a function corresponding to the event based on the first order and the second order matching.
  • the function corresponding to the event can include a 'back' function that returns to a previous screen.
  • the function corresponding to the above event may include a 'go forward' function for moving to the next screen.
  • the function corresponding to the above event may include a 'go home' function for displaying the home screen.
  • the function corresponding to the above event may include a 'show running apps' function for displaying a list of running applications (e.g., software applications).
  • the function corresponding to the above event may include a 'run specific app' function for executing an application specified by the user or provided by the wearable device (101).
  • the function corresponding to the above event may include a 'change rendering mode' function for changing the rendering mode.
  • the function corresponding to the above event may include a 'password auto-fill' function for automatically entering the password in the text field for entering the password when entering the password.
  • the function corresponding to the above event may include a function set by the user.
  • the function set by the user may include connecting a call to a specified person, and/or connecting a video call to a specified person.
  • a function corresponding to the above event may include, but is not limited to, a function for releasing the HMD from a locked mode.
  • FIG. 3 is a diagram illustrating an example of a wearable device that recognizes a touch input on the wearable device according to one embodiment.
  • the wearable device (101) of FIG. 3 may include the wearable device (101) of FIG. 1 and/or FIG. 2.
  • the operations of FIG. 3 may be performed by the processor (210) of FIG. 2.
  • the third example (300) may be an example of a second side (130) opposite to the first side on which the display of the wearable device (101) (e.g., the display (230) of FIG. 2) is arranged.
  • the fourth example (305) may be an example of a screen (110) displayed through the display of the wearable device (101).
  • the wearable device (101) may track the gaze of the user (103) based on an image acquired via a camera (e.g., the camera (240) of FIG. 2 or the gaze tracking camera (241)) while identifying the first visual object (320). For example, the wearable device (101) may identify a second location of the gaze of the user (103) within the screen (110). In response to identifying the second location, the wearable device (101) may display a second visual object (330) at the second location on the screen (110). For example, the first visual object (320) and the second visual object (330) may be expressed in different colors. For example, the first visual object (320) and the second visual object (330) may be expressed in different sizes.
  • a camera e.g., the camera (240) of FIG. 2 or the gaze tracking camera (241)
  • the wearable device (101) may identify a second location of the gaze of the user (103) within the screen (110).
  • the wearable device (101) may display a second visual object (330) at the second location on the screen
  • the wearable device (101) can identify movement of an external object (120) on the second surface (130) while displaying the first visual object (320) and the second visual object (330).
  • the wearable device (101) can identify a movement path (313) of the external object (120) on the second surface (130).
  • the wearable device (101) can identify a moved third location (315) based on the movement path (313).
  • the wearable device (101) can identify contact of the external object (120) at the third location (315).
  • contact of the external object (120) from the first location (310) to the third location (315) can be referred to as a drag input (or drag gesture).
  • the drag input (or drag gesture) may be referred to as a touch input.
  • the wearable device (101) may refrain from moving the first visual object (320) displayed on the screen (110) even if it identifies the movement of the contact.
  • the wearable device (101) can provide feedback for the touch input based on the gaze of the user (103) that matches the position of the first visual object (320) corresponding to the touch input.
  • the wearable device (101) can accurately input the input desired by the user (103) of the wearable device (101).
  • FIG. 4 is a diagram illustrating an example of screens to be displayed based on the identification of an event according to one embodiment.
  • the operations of FIG. 4 may be performed by the processor (210) of FIG. 2.
  • the fifth example (401), the sixth example (402), and/or the seventh example (403) illustrated in FIG. 4 may be examples of screens displayed through the display of the wearable device (101).
  • the fifth example (401), the sixth example (402), and/or the seventh example (403) of FIG. 4 may be examples of screens for obtaining registration information.
  • the wearable device (101) may display a screen such as the fifth example (401).
  • the wearable device (101) may display an area divided into a plurality of sub-areas (410) within the screen.
  • the plurality of sub-areas (410) may include a first sub-area (411), a second sub-area (412), a third sub-area (413), a fourth sub-area (414), a fifth sub-area (415), and/or a sixth sub-area (416).
  • each of the plurality of sub-areas (410) may be expressed in different colors.
  • the wearable device (101) may display a first partial region (411) of a first color, a second partial region (412) of a second color, a third partial region (413) of a third color, a fourth partial region (414) of a fourth color, a fifth partial region (415) of a fifth color, and/or a sixth partial region (416) of a sixth color.
  • a plurality of partial regions (410) are divided into the first partial region (411) to the sixth partial region (416) is illustrated, but is not limited thereto.
  • the wearable device (101) may display a plurality of virtual objects (420) on the screen.
  • the plurality of virtual objects (420) may include polygons such as triangles, squares, pentagons, and hexagons.
  • the plurality of virtual objects (420) may be expressed in shapes such as circles, hearts, stars, the sun, and/or moons.
  • the present invention is not limited thereto.
  • the wearable device (101) may display a first virtual object (421) expressed as a square, a second virtual object (422) expressed as a circle, a third virtual object (423) expressed as a triangle, a fourth virtual object (424) expressed as a heart, and/or a fifth virtual object (425) expressed as a pentagon.
  • a first virtual object (421) expressed as a square
  • a second virtual object (422) expressed as a circle
  • a third virtual object (423) expressed as a triangle
  • a fourth virtual object (424) expressed as a heart
  • a fifth virtual object (425) expressed as a pentagon.
  • An example is shown in which multiple virtual objects (420) are indicated as the first virtual object (421) to the fifth virtual object (425), but is not limited thereto.
  • the wearable device (101) can display a first text (431) expressed as an Arabic numeral '1', a second text (432) expressed as an Arabic numeral '2', a third text (433) expressed as an Arabic numeral '3', a fourth text (434) expressed as an Arabic numeral '4', and/or a fifth text (435) expressed as an Arabic numeral '5'.
  • the wearable device (101) can identify inputs for partial regions (410), virtual objects (420), and/or texts (430) displayed on the screen while displaying a screen such as the fifth example (401) to the seventh example (403).
  • the wearable device (101) can identify the inputs and identify positions and/or directions of a user's gaze corresponding to the inputs while displaying a screen such as the fifth example (401) to the seventh example (403).
  • the wearable device (101) can store the order of the inputs, the positions and/or directions of the gaze as registration information in a memory (e.g., the memory (220) of FIG. 2).
  • the wearable device (101) can obtain registration information for executing a function corresponding to an event.
  • the registration information can be substantially the same as a password using a pattern in a mobile phone terminal.
  • the wearable device (101) can strengthen the security of the wearable device (101).
  • FIG. 5A is a diagram illustrating an example of a screen related to information stored in a memory according to one embodiment.
  • FIG. 5B is a diagram illustrating an example of a screen of a wearable device based on identification of an event according to one embodiment.
  • the wearable device (101) of FIGS. 5A and 5B may include the wearable device (101) of FIGS. 1 , 2 , 3 , and/or 4 .
  • the operations of FIGS. 5A and 5B may be performed by the processor (210) of FIG. 2 .
  • the touch gesture described below may include a touch input.
  • the touch gesture may be referred to as a user input.
  • the eighth example (501) of FIG. 5A may be an example of a wearable device (101) obtaining registration information.
  • the wearable device (101) may display a plurality of partial regions (510) on a screen, such as the fifth example (401) of FIG. 4. While displaying the plurality of partial regions (510) on the screen, the wearable device (101) may identify a contact on a second side opposite to a first side on which a display (e.g., the display (230) of FIG. 2) is arranged.
  • the wearable device (101) may identify a touch gesture based on the contact.
  • the wearable device (101) may display a first visual object at a first location (520) corresponding to a location of the contact.
  • the wearable device (101) can identify the user's gaze from an image acquired through a camera (e.g., camera (240) of FIG. 2) exposed through a part of the first surface while displaying the first visual object at the first location (520). For example, the wearable device (101) can identify a second location (530) of the user's gaze within the screen based on the image acquired through the camera. The wearable device (101) can display the second visual object based on the identification of the second location (530). For example, the wearable device (101) can display the first visual object and the second visual object on a fourth partial region (514) of a fourth color among the first partial region (511) to the sixth partial region (516).
  • a camera e.g., camera (240) of FIG. 2
  • the wearable device (101) can identify a second location (530) of the user's gaze within the screen based on the image acquired through the camera.
  • the wearable device (101) can display the second visual object based on the identification of the second location (530).
  • the wearable device (101) can identify a touch gesture that moves from the fourth sub-region (514) to the sixth sub-region (516) after displaying the first visual object and the second visual object in the fourth sub-region (514) of the fourth color.
  • the wearable device (101) can identify the user's gaze moving to the sixth sub-region (516) of the sixth color.
  • the wearable device (101) can identify the movement direction of the touch gesture and/or the movement speed of the touch gesture.
  • the wearable device (101) can identify the movement direction of the user's gaze and/or the movement speed of the user's gaze.
  • the wearable device (101) may display, on a sixth partial region (516) of a sixth color, a first visual object corresponding to the touch gesture (e.g., a first visual object displayed on a location (525)) and a second visual object corresponding to the user's gaze (e.g., a second visual object displayed on a location (535)).
  • the wearable device (101) may store, in registration information, the colors of the partial regions where the first visual object and the second visual object are displayed, based on the first visual object and the second visual object displayed on a fourth partial region (514) of a fourth color, and the first visual object and the second visual object moved from the fourth partial region (514) to the sixth partial region (516) along the directions (523, 533), respectively.
  • the wearable device (101) may store, in the registration information, a movement direction and/or a movement speed of the touch gesture.
  • the wearable device (101) can store the movement direction and/or movement speed of the user's gaze in the registration information.
  • the wearable device (101) can store the registration information in a memory (e.g., the memory (220) of FIG. 2).
  • the wearable device (101) may display a plurality of sub-regions (510) on a top layer of a screen in response to identification of an event.
  • the wearable device (101) may display a first sub-region (511) of a fourth color, a second sub-region (512) of a sixth color, a third sub-region (513) of a first color, a fourth sub-region (514) of a third color, a fifth sub-region (515) of a fifth color, and a sixth sub-region (516) of a second color.
  • the wearable device (101) may identify a touch gesture while displaying the plurality of sub-regions (510).
  • the wearable device (101) may display a first visual object at a third location (540).
  • the wearable device (101) may display a second visual object at a fourth location (550).
  • the wearable device (101) may identify a touch gesture moving from the first sub-area (511) to the second sub-area (512).
  • the wearable device (101) may move the first visual object using a direction and speed corresponding to the touch gesture (e.g., the first visual object moved from the third location (540) to the location (545)).
  • the wearable device (101) can move the second visual object in a direction and speed corresponding to the gaze of the user (103) moving from the first partial area (511) to the second partial area (512) (e.g., the second visual object moved from the fourth location (550) to the location (555)).
  • the wearable device (101) can compare the colors of each of the regions where the first visual object and the second visual object are displayed with the registration information. For example, if the registration information is identical or similar to the eighth example (501) of FIG. 5A, the wearable device (101) can identify data related to the fourth color and the sixth color in the registration information. The wearable device (101) can execute a function corresponding to the event based on displaying visual objects (e.g., the first visual object, the second visual object) in the first partial region (511) of the fourth color and the second partial region (512) of the sixth color through the gaze of the user (103). The wearable device (101) can execute the function corresponding to the event because the colors of the partial regions selected by the touch gesture and the gaze of the user (103) are identical or similar to the data related to the colors included in the registration information.
  • visual objects e.g., the first visual object, the second visual object
  • the wearable device (101) can execute the function corresponding to the event because the colors of the partial regions selected by the touch gesture and the
  • the wearable device (101) may display a plurality of sub-regions (510) on the top layer of the screen in response to an event.
  • the wearable device (101) may display a first sub-region (511) of a first color, a second sub-region (512) of a second color, a third sub-region (513) of a third color, a fourth sub-region (514) of a sixth color, a fifth sub-region (515) of a fifth color, and a sixth sub-region (516) of a fourth color.
  • the wearable device (101) may identify a touch gesture on the second surface that selects the fourth sub-region (514).
  • the wearable device (101) may identify a gaze of the user (103) toward the fourth sub-region (514).
  • the wearable device (101) can display a first visual object based on a touch gesture (e.g., a first visual object displayed on a location (560)) and a second visual object based on a gaze of the user (103) (e.g., a second visual object displayed on a location (570)) on the fourth sub-area (514).
  • the wearable device (101) can identify a touch gesture on the second surface moving from the fourth sub-area (514) to the sixth sub-area (516).
  • the wearable device (101) can identify a gaze of the user (103) moving from the fourth sub-area (514) to the sixth sub-area (516).
  • the wearable device (101) can display a first visual object moving from the fourth sub-area (514) to the sixth sub-area (516) (e.g., a first visual object moving from location (560) to location (565)), and a second visual object moving from the fourth sub-area (514) to the sixth sub-area (516) (e.g., a second visual object moving from location (570) to location (575)).
  • a first visual object moving from the fourth sub-area (514) to the sixth sub-area (516) e.g., a first visual object moving from location (560) to location (565)
  • a second visual object moving from the fourth sub-area (514) to the sixth sub-area (516) e.g., a second visual object moving from location (570) to location (575).
  • the wearable device (101) may compare the colors of the partial regions where the first visual object and the second visual object are displayed with the registration information.
  • the wearable device (101) may identify that the colors of the partial regions are different from the colors included in the registration information. For example, if the registration information includes data related to a fourth color and a sixth color, and the colors of the partial regions where the visual objects are displayed are the sixth color and the fourth color, the wearable device (101) may compare the order in which the colors are input.
  • the wearable device (101) may identify that the order in which the colors are input is different.
  • the wearable device (101) may stop executing a function corresponding to the event based on the difference in the order in which the colors are input. For example, the wearable device (101) may refrain from executing a function corresponding to the event in response to the order in which the colors are input being different.
  • the wearable device (101) may refrain from executing a function corresponding to the event because the order of the inputs for the colors is different, even if the user input is substantially the same as the location information included in the registration information.
  • the wearable device (101) can identify whether the user input and the registration information are the same.
  • the wearable device (101) can execute or stop a function corresponding to an event based on the user input and the registration information.
  • the wearable device (101) can enhance the security of the wearable device (101) by executing the function corresponding to the event based on the user input and the registration information.
  • FIG. 6A is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • FIG. 6B is a diagram illustrating an example of a screen related to information stored in a memory, according to one embodiment.
  • FIG. 6C is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • FIG. 6D is a diagram illustrating an example of a screen of a wearable device based on identification of an event, according to one embodiment.
  • the wearable device (101) of FIGS. 6A, 6B, 6C, and/or 6D may include the wearable device (101) of FIGS. 1, 2, 3, 4, 5A, and 5B.
  • the operations of FIGS. 6A, 6B, 6C, and/or 6D may be performed by the processor (210) of FIG. 2.
  • the wearable device (101) may obtain registration information.
  • the registration information may be obtained based on a touch input (or touch gesture) on a second surface different from a first surface on which a display (e.g., the display (230) of FIG. 2) is arranged, and a position of the user's gaze within the screen.
  • the wearable device (101) may display a plurality of virtual objects (610) (e.g., a first virtual object (611), a second virtual object (612), a third virtual object (613), a fourth virtual object (614), and/or a fifth virtual object (615)) on the screen.
  • the wearable device (101) may display the plurality of virtual objects (610) based on an event for obtaining registration information.
  • the wearable device (101) can identify user input for the plurality of virtual objects (610) while displaying the plurality of virtual objects (610).
  • the user input can be identified based on a touch input (or gesture) on the second surface and/or a location identified by the user's gaze.
  • the wearable device (101) can display an area including a plurality of virtual objects (610) on a screen.
  • the wearable device (101) can identify an input for selecting the plurality of virtual objects (610).
  • the wearable device (101) can display a first visual object (620) indicating a first location of a touch input on a second surface based on a contact on the second surface.
  • the wearable device (101) can display a first visual object (620) for selecting a second virtual object (612).
  • the wearable device (101) can identify a second location of the user's gaze within the screen based on an image acquired through a camera (e.g., the camera (240) of FIG. 2).
  • the wearable device (101) can display a second visual object (630) at the second location.
  • the wearable device (101) can identify a first user input for the second virtual object (612) based on identifying a second location adjacent to a location where the touch input is identified within a specified period of time from the time point at which the touch input is identified. For example, at the time point at which the wearable device (101) identifies the first user input for the second virtual object (612), the locations of the second visual object (630) displayed based on the gaze and the first visual object (620) displayed based on the touch input may overlap or be adjacent to each other within the screen.
  • the wearable device (101) can identify a third location of a touch input on the second surface. For example, the wearable device (101) can identify a drag input moved from a first location to a third location. For example, the wearable device (101) can identify a touch input at a first location and a touch input at a second location that is distinct from the touch input at the first location.
  • the wearable device (101) can display a first visual object (625) indicating the second location on the screen. For example, the wearable device (101) can display a first visual object (625) that selects a fourth visual object (614).
  • the wearable device (101) can identify a fourth location of the user's gaze on the screen based on an image acquired through a camera.
  • the wearable device (101) can display the second visual object (635) at the fourth location. For example, the wearable device (101) can identify a second user input for the fourth virtual object (614) based on the identification of a fourth location (e.g., the location of the second visual object (635)) included in the fourth virtual object (614) based on the gaze within a specified period of time from the time point at which the touch input for selecting the fourth virtual object (614) is identified.
  • a fourth location e.g., the location of the second visual object (635)
  • the wearable device (101) may obtain registration information based on the first user input and the second user input. For example, the wearable device (101) may obtain registration information including the order in which the first user input and the second user input are identified. The wearable device (101) may store the registration information in a memory (e.g., the memory (220) of FIG. 2).
  • a memory e.g., the memory (220) of FIG. 2.
  • the twelfth example (602) may be an example of a wearable device (101) that identifies a touch gesture by an external object (120) on a second side (130) opposite to the first side on which the display of the wearable device (101) is arranged.
  • the thirteenth example (603) may be an example of a screen (620) on which the wearable device (101) is booted.
  • the thirteenth example (603) may be an example of a screen (620) displayed when the wearable device (101) is in a locked state.
  • the screen (620) displayed in the locked state may be referred to as a lock screen.
  • the wearable device (101) may identify a contact of an external object (120) on a second surface (130) opposite to the first surface on which the display (620) is arranged while displaying the screen (620).
  • the wearable device (101) may identify a touch gesture (or touch input) based on the contact of the external object (120).
  • the twelfth example (602) may be an example in which a double-tap gesture (645) is identified on the second surface (130) of the wearable device (101).
  • the wearable device (101) may display a screen for unlocking the lock state based on the double-tap gesture (645).
  • the wearable device (101) may display a plurality of virtual objects (610) such as the fourteenth example (604) in response to the double-tap gesture (645) of FIG. 6b.
  • the wearable device (101) may identify an input for the plurality of virtual objects (610).
  • the double-tap gesture (645) may be an event for unlocking the wearable device (101).
  • the wearable device (101) can identify a first touch input on the second surface. For example, the wearable device (101) can identify a first location (650) of the first touch input on the screen in response to the first touch input on the second surface. For example, the wearable device (101) can display a first visual object at the first location (650) in response to the first touch input.
  • the wearable device (101) can identify a location of the user's gaze based on an image acquired through a camera. For example, the wearable device (101) can identify a second location (660) of the user's gaze on the screen by using a gaze tracking camera (e.g., the gaze tracking camera (241) of FIG. 2).
  • the wearable device (101) can identify the validity of the first touch input in response to a second location (660) identified within a reference distance from the first location (650).
  • the wearable device (101) can identify the validity of the first touch input in response to a second location (660) identified within a designated period from the time at which the first location (650) is identified. For example, the wearable device (101) can identify that the second virtual object (612) is selected by the first touch input.
  • the wearable device (101) can identify a third location (655) corresponding to the second touch input based on a second touch input on a second surface.
  • the wearable device (101) can display a first visual object at the third location (655).
  • the wearable device (101) can identify the user's gaze based on an image acquired through a camera. For example, the wearable device (101) can identify the user's gaze using a gaze tracking camera.
  • the wearable device (101) can identify a fourth location (665) of the user's gaze within a screen.
  • the wearable device (101) can identify the validity of the second touch input for the third location (655) in response to identifying the fourth location (665) within a specified period from the time at which the third location (655) is identified.
  • the wearable device (101) can identify the validity of the second touch input to the third location (655) based on identifying the fourth location (665) within a reference distance from the third location (655). The wearable device (101) can identify that the fourth visual object (614) is selected by the first touch input.
  • the wearable device (101) can compare the virtual objects selected by the first touch input and the second touch input with the registration information. For example, the wearable device (101) can compare the order in which the virtual objects are selected, which are included in the registration information, with the order in which the virtual objects are selected by the touch input. For example, in the eleventh example (601) of FIG. 6A, the wearable device (101) can identify, from the registration information, a first order in which the second virtual object (612) is selected and then the fourth virtual object (614) is selected. In the fourteenth example (604) of FIG. 6C, the wearable device (101) can identify a second order in which the second virtual object (612) is selected and then the fourth virtual object (614) is selected by the second touch input.
  • the wearable device (101) can identify that the first order and the second order have selected the same virtual objects in the same order.
  • the wearable device (101) can unlock the wearable device (101) in response to the first order and the second order being the same.
  • the wearable device (101) can execute an unlock function of the wearable device (101) in response to the first order and the second order being the same.
  • the screen (670) may include a home screen provided by the wearable device (101) and including a list of applications installed in the wearable device (101).
  • the screen (670) may include a screen displayed before the wearable device (101) entered the locked state.
  • the screen (670) may be provided from an application executed before the wearable device (101) entered the locked state.
  • the embodiment is not limited thereto, and the screen (670) may be displayed based on an application set to be executed based on the execution of the unlock function.
  • the wearable device (101) may display a plurality of virtual objects (610), such as the sixteenth example (606), in response to the double-tap gesture (645) of FIG. 6b.
  • the wearable device (101) may identify an input for the plurality of virtual objects (610).
  • the wearable device (101) can identify a third touch input on the second surface. For example, the wearable device (101) can identify a fifth location (680) of the third touch input on the screen in response to the third touch input on the second surface. For example, the wearable device (101) can display a first visual object at the fifth location (680) in response to the first touch input.
  • the wearable device (101) can identify a location of the user's gaze based on an image acquired through a camera. For example, the wearable device (101) can identify a sixth location (690) of the user's gaze on the screen using a gaze tracking camera. The wearable device (101) can stop executing the unlock function in response to a sixth location (690) identified outside a reference distance from the fifth location (680).
  • the wearable device (101) may identify a fourth touch input at a sixth location (685) after a third touch input at a fifth location (680). After identifying the fourth touch input at the sixth location (685), the wearable device (101) may identify that the fourth touch input at the sixth location (685) is invalid based on the fact that the position of the user's gaze is not identified within a reference distance from the sixth location (685) within a specified period of time.
  • the wearable device (101) may stop executing a function corresponding to an event based on the fact that the types of virtual objects included in the registration information and the order in which the virtual objects are selected are different from the virtual objects identified by the touch inputs.
  • the wearable device (101) may refrain from executing the function corresponding to the event based on the touch input being invalid.
  • the wearable device (101) may refrain from executing the function corresponding to the event based on the fact that the order of the touch inputs is different from the order included in the registration information.
  • the seventeenth example (607) of FIG. 6d may be an example of the wearable device (101) that suspends the unlock function and displays a screen (620) in a locked state.
  • the wearable device (101) may execute a function corresponding to an event based on a plurality of partial regions and/or a plurality of texts.
  • the wearable device (101) can identify a first order in which virtual objects included in the registration information are selected.
  • the wearable device (101) can identify a second order in which virtual objects are selected within a screen for executing a function corresponding to an event.
  • the wearable device (101) can identify whether to execute the function corresponding to the event based on the first order and the second order.
  • the wearable device (101) can execute the function corresponding to the event, and based on the first order and the second order being identified as being different, can stop executing the function corresponding to the event.
  • the wearable device (101) can enhance the security of the wearable device (101).
  • FIG. 7A is a perspective view illustrating a wearable device according to one embodiment.
  • FIG. 7B is a perspective view including an example of one or more hardware components disposed within the wearable device according to one embodiment.
  • the wearable device (700) of FIGS. 7A and 7B may include the wearable device (101) of FIGS. 1 , 2 , 3 , 4 , 5A, 5B, 6A, 6B, 6C, and/or 6D .
  • the wearable device (700) according to one embodiment may include at least one display (750) and a frame supporting the at least one display (750).
  • the wearable device (700) may be worn on a part of a user's body.
  • the wearable device (700) may provide augmented reality (AR), virtual reality (VR), or mixed reality (MR) that combines augmented reality and virtual reality to a user wearing the wearable device (700).
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • the wearable device (700) may output a virtual reality image to the user through at least one display (750) in response to a designated gesture of the user acquired through the motion recognition camera (740-2) of FIG. 7B.
  • At least one display (750) in the wearable device (700) can provide visual information to a user.
  • the at least one display (750) can include the display (230) of FIG. 2.
  • the at least one display (750) can include a transparent or translucent lens.
  • the at least one display (750) can include a first display (750-1) and/or a second display (750-2) spaced apart from the first display (750-1).
  • the first display (750-1) and the second display (750-2) can be arranged at positions corresponding to the user's left and right eyes, respectively.
  • At least one display (750) may form a display area on a lens to provide a user wearing the wearable device (700) with visual information included in external light passing through the lens, together with other visual information that is distinct from the visual information.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • the display area formed by at least one display (750) may be formed on a second surface (732) among a first surface (731) and a second surface (732) of the lens.
  • At least one display (750) may display a virtual reality image to be combined with a real screen transmitted through the external light.
  • the virtual reality image output from at least one display (750) can be transmitted to the user's eyes via one or more hardware (e.g., optical devices (782, 784), and/or at least one waveguide (733, 734)) included in the wearable device (700).
  • the waveguides (733, 734) may include at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)), and at least one reflective element (e.g., a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • the waveguides (733, 734) may be arranged in the wearable device (700) to guide a screen displayed by at least one display (750) to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) occurring within the waveguides (733, 734).
  • TIR total internal reflection
  • the wearable device (700) can analyze an object included in a real image collected through a shooting camera (740-1), combine a virtual object corresponding to an object to be provided with augmented reality among the analyzed objects, and display the virtual object on at least one display (750).
  • the virtual object can include at least one of text and image for various information related to the object included in the real image.
  • the wearable device (700) can analyze the object based on a multi-camera such as a stereo camera.
  • the wearable device (700) can execute ToF (time-of-flight) and/or SLAM (simultaneous localization and mapping) supported by the multi-camera.
  • a user wearing the wearable device (700) can view an image displayed on at least one display (750).
  • the frame may be formed as a physical structure that allows the wearable device (700) to be worn on the user's body.
  • the frame may be configured so that, when the user wears the wearable device (700), the first display (750-1) and the second display (750-2) can be positioned corresponding to the user's left and right eyes.
  • the frame may support at least one display (750).
  • the frame may support the first display (750-1) and the second display (750-2) to be positioned corresponding to the user's left and right eyes.
  • the frame may include a region (720) that at least partially contacts a portion of the user's body when the user wears the wearable device (700).
  • the region (720) of the frame that contacts a portion of the user's body may include a region that contacts a portion of the user's nose, a portion of the user's ear, and a portion of a side of the user's face that the wearable device (700) makes contact with.
  • the frame may include a nose pad (710) that contacts a portion of the user's body. When the wearable device (700) is worn by the user, the nose pad (710) may contact a portion of the user's nose.
  • the frame may include a first temple (704) and a second temple (705) that contact another portion of the user's body that is distinct from the portion of the user's body.
  • the frame may include a first rim (701) surrounding at least a portion of the first display (750-1), a second rim (702) surrounding at least a portion of the second display (750-2), a bridge (703) disposed between the first rim (701) and the second rim (702), a first pad (711) disposed along a portion of an edge of the first rim (701) from one end of the bridge (703), a second pad (712) disposed along a portion of an edge of the second rim (702) from the other end of the bridge (703), a first temple (704) extending from the first rim (701) and secured to a portion of an ear of the wearer, and a second temple (705) extending from the second rim (702) and secured to a portion of an ear opposite the ear.
  • a first rim (701) surrounding at least a portion of the first display (750-1)
  • a second rim (702) surrounding at least a portion of the second display (750-2)
  • the first pad (711) and the second pad (712) may be in contact with a portion of the user's nose, and the first temple (704) and the second temple (705) may be in contact with a portion of the user's face and a portion of the user's ear.
  • the temples (704, 705) may be rotatably connected to the rim via the hinge units (706, 707) of FIG. 7B.
  • the first temple (704) may be rotatably connected to the first rim (701) via the first hinge unit (706) disposed between the first rim (701) and the first temple (704).
  • the second temple (705) may be rotatably connected to the second rim (702) via the second hinge unit (707) disposed between the second rim (702) and the second temple (705).
  • the wearable device (700) can identify an external object (e.g., a user's fingertip) touching the frame and/or a gesture performed by the external object by using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of a surface of the frame.
  • the wearable device (700) may include hardwares that perform various functions (e.g., the hardwares described above based on the block diagram of FIG. 2).
  • the hardwares may include a battery module (770), an antenna module (775), optical devices (782, 784), speakers (792-1, 792-2), microphones (794-1, 794-2, 794-3), a light-emitting module (not shown), and/or a printed circuit board (790).
  • the various hardwares may be arranged within the frame.
  • the microphones (794-1, 794-2, 794-3) of the wearable device (700) may be arranged on at least a portion of the frame to acquire a sound signal.
  • a first microphone (794-1) arranged on the nose pad (710), a second microphone (794-2) arranged on the second rim (702), and a seventh microphone (794-3) arranged on the first rim (701) are illustrated in FIG. 7B, but the number and arrangement of the microphones (794) are not limited to the embodiment of FIG. 7B.
  • the wearable device (700) may identify a direction of a sound signal by using a plurality of microphones arranged on different portions of the frame.
  • the camera (740) may include an eye tracking camera (ET CAM) (740-1), a motion recognition camera (740-2), and/or a recording camera (740-3).
  • the recording camera (740-3), the eye tracking camera (740-1), and the motion recognition camera (740-2) may be positioned at different locations on the frame and may perform different functions.
  • the recording camera (740-3), the eye tracking camera (740-1), and the motion recognition camera (740-2) may be examples of the camera (240) of FIG. 2.
  • the gaze tracking camera (740-1) may output data representing a gaze of a user wearing the wearable device (700).
  • the wearable device (700) may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera (740-1).
  • FIG. 7B An example in which the gaze tracking camera (740-1) is positioned toward the user's right eye is illustrated in FIG. 7B, but the embodiment is not limited thereto, and the gaze tracking camera (740-1) may be positioned solely toward the user's left eye, or toward both eyes.
  • the capturing camera (740-3) can capture an actual image or background to be aligned with a virtual image in order to implement augmented reality or mixed reality content.
  • the capturing camera can capture an image of a specific object existing at a location where a user is looking and provide the image to at least one display (750).
  • the at least one display (750) can display a single image in which information about an actual image or background including an image of the specific object acquired using the capturing camera and a virtual image provided through optical devices (782, 784) are superimposed.
  • the capturing camera can be placed on a bridge (703) disposed between the first rim (701) and the second rim (702).
  • the gaze tracking camera (740-1) can implement more realistic augmented reality by tracking the gaze of a user wearing the wearable device (700) and thereby matching the user's gaze with visual information provided to at least one display (750). For example, when the wearable device (700) looks straight ahead, the wearable device (700) can naturally display environmental information related to the user's front at a location where the user is located on at least one display (750).
  • the gaze tracking camera (740-1) can be configured to capture an image of the user's pupil in order to determine the user's gaze. For example, the gaze tracking camera (740-1) can receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the gaze tracking camera (740-1) can be placed at positions corresponding to the user's left and right eyes.
  • the gaze tracking camera (740-1) may be positioned within the first rim (701) and/or the second rim (702) to face the direction in which the user wearing the wearable device (700) is positioned.
  • the gesture recognition camera (740-2) may provide a specific event on a screen provided on at least one display (750) by recognizing a movement of the user's entire body, such as the user's torso, hand, or face, or a part of the body.
  • the gesture recognition camera (740-2) may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide an indication corresponding to the signal on at least one display (750).
  • the processor may identify a signal corresponding to the gesture, and perform a designated function based on the identification.
  • the gesture recognition camera (740-2) may be disposed on the first rim (701) and/or the second rim (702).
  • the camera (740) included in the wearable device (700) is not limited to the gaze tracking camera (740-1) and the motion recognition camera (740-2) described above.
  • the wearable device (700) may identify an external object included in the FoV using the photographing camera (740-3) positioned toward the user's FoV.
  • the wearable device (700) identifying the external object may be performed based on a sensor for identifying the distance between the wearable device (700) and the external object, such as a depth sensor and/or a time of flight (ToF) sensor.
  • the camera (740) positioned toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device (700) may include a camera (740) (e.g., a face tracking (FT) camera) positioned toward the face to obtain an image including the face of a user wearing the wearable device (700).
  • FT face tracking
  • the wearable device (700) may further include a light source (e.g., an LED) that emits light toward a subject (e.g., a user's eye, face, and/or an external object within the FoV) being captured using the camera (740).
  • the light source may include an infrared wavelength LED.
  • the light source may be disposed on at least one of the frame and hinge units (706, 607).
  • the battery module (770) can supply power to the electronic components of the wearable device (700).
  • the battery module (770) can be disposed within the first temple (704) and/or the second temple (705).
  • the battery module (770) can be a plurality of battery modules (770). The plurality of battery modules (770) can be disposed within each of the first temple (704) and the second temple (705). In one embodiment, the battery module (770) can be disposed at an end of the first temple (704) and/or the second temple (705).
  • the antenna module (775) can transmit signals or power to, or receive signals or power from, the wearable device (700).
  • the antenna module (775) can be electrically and/or operatively connected to communication circuitry within the wearable device (700).
  • the antenna module (775) can be positioned within the first temple (704) and/or the second temple (705).
  • the antenna module (775) can be positioned proximate one surface of the first temple (704) and/or the second temple (705).
  • the speakers (792-1, 792-2) can output audio signals to the outside of the wearable device (700).
  • the audio output module may be referred to as a speaker.
  • the speakers (792-1, 792-2) can be positioned within the first temple (704) and/or the second temple (705) so as to be positioned adjacent to the ears of a user wearing the wearable device (700).
  • the wearable device (700) may include the second speaker (792-2) positioned within the first temple (704) and thus adjacent to the user's left ear, and the first speaker (792-1) positioned within the second temple (705) and thus adjacent to the user's right ear.
  • the light-emitting module may include at least one light-emitting element.
  • the light-emitting module may emit light of a color corresponding to a specific state or may emit light with an action corresponding to a specific state in order to visually provide information about a specific state of the wearable device (700) to a user. For example, when the wearable device (700) requires charging, the wearable device (700) may repeatedly emit red light at a designated time.
  • the light-emitting module may be disposed on the first rim (701) and/or the second rim (702).
  • a wearable device (700) may include a printed circuit board (PCB) (790).
  • the PCB (790) may be included in at least one of the first temple (704) or the second temple (705).
  • the PCB (790) may include an interposer positioned between at least two sub-PCBs.
  • One or more hardwares included in the wearable device (700) e.g., hardwares illustrated by the blocks described above with reference to FIG. 2 may be positioned on the PCB (790).
  • the wearable device (700) may include a flexible PCB (FPCB) for interconnecting the hardwares.
  • FPCB flexible PCB
  • the wearable device (700) may include at least one of a gyro sensor, a gravity sensor, and/or an acceleration sensor for detecting a posture of the wearable device (700) and/or a posture of a body part (e.g., a head) of a user wearing the wearable device (700).
  • a gyro sensor for detecting a posture of the wearable device (700) and/or a posture of a body part (e.g., a head) of a user wearing the wearable device (700).
  • Each of the gravity sensor and the acceleration sensor may measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (e.g., the x-axis, the y-axis, and the z-axis) that are perpendicular to each other.
  • the gyro sensor may measure an angular velocity about each of the designated three-dimensional axes (e.g., the x-axis, the y-axis, and the z-axis). At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the wearable device (700) may identify a user's motion and/or gesture performed to execute or terminate a specific function of the wearable device (700) based on the IMU.
  • the wearable device (700) may display a first virtual object corresponding to a user of an external electronic device while providing a screen related to a virtual reality service through the display (750).
  • the wearable device (700) may identify a distance between the first virtual object and a second virtual object corresponding to the user of the wearable device (700).
  • the wearable device (700) may activate the cameras (740-1, 740-2) based on the distance between the first virtual object and the second virtual object being within a reference distance.
  • the wearable device (700) may identify a user's status based on at least one image acquired using the activated cameras (740-1, 740-2).
  • the wearable device (700) may, in response to identifying the state of the user, transmit data to an external electronic device for changing the state of a second virtual object corresponding to the user of the wearable device (700) displayed through a display of the external electronic device based on the state of the user.
  • the wearable device (700) may enhance the user experience of the wearable device (700) and the external electronic device by transmitting data for changing the state of the second virtual object based on the at least one image.
  • FIGS. 8A and 8B are perspective views illustrating an example of an exterior appearance of a wearable device according to one embodiment.
  • the wearable device (800) of FIGS. 8A and 8B may include the wearable device (101) of FIGS. 1 , 2, 3, 4, 5A, 5B, 6A, 6B, 6C, and/or 6D.
  • the wearable device (800) of FIGS. 8A and 8B may include the wearable device (700) of FIGS. 7A and 7B.
  • an example of an appearance of a first side (810) of a housing of a wearable device (800) may be illustrated in FIG. 8a, and an example of an appearance of a second side (820) opposite to the first side (810) may be illustrated in FIG. 8b.
  • a first surface (810) of a wearable device (800) may have a form attachable on a body part of a user (e.g., the face of the user).
  • the wearable device (800) may further include a strap for being fixed on a body part of a user, and/or one or more temples (e.g., the first temple (704) and/or the second temple (705) of FIGS. 7A and 7B).
  • a first display (750-1) for outputting an image to a left eye among the user's two eyes, and a second display (750-2) for outputting an image to a right eye among the user's two eyes may be disposed on the first surface (810).
  • the wearable device (800) may further include a rubber or silicone packing formed on the first surface (810) to prevent and/or reduce interference by light (e.g., ambient light) different from light radiating from the first display (750-1) and the second display (750-2).
  • the wearable device (800) may include cameras (840-1, 840-2) for photographing and/or tracking both eyes of the user adjacent to each of the first display (750-1) and the second display (750-2).
  • the cameras (840-1, 840-2) may be referred to as ET cameras.
  • the wearable device (800) may include cameras (840-3, 840-4) for photographing and/or recognizing the face of the user.
  • the cameras (840-3, 840-4) may be referred to as FT cameras.
  • cameras e.g., cameras (840-5, 840-6, 840-7, 840-8, 840-9, 840-10)
  • sensors e.g., depth sensors
  • the cameras may be disposed on the second surface (820) to recognize external objects different from the wearable device (800).
  • the wearable device (800) can obtain images and/or media to be transmitted to each of the user's two eyes.
  • the camera (840-9) can be positioned on the second face (820) of the wearable device (800) to obtain an image to be displayed through the second display (750-2) corresponding to the right eye among the two eyes.
  • the camera (840-10) can be positioned on the second face (820) of the wearable device (800) to obtain an image to be displayed through the first display (750-1) corresponding to the left eye among the two eyes.
  • a microphone may be placed on the second side (820) of the wearable device (800) to acquire sound output from an external object.
  • the number of microphones may be one or more depending on the embodiment.
  • FIG. 9 is a flowchart illustrating an exemplary operation of a wearable device according to one embodiment.
  • the wearable device of FIG. 9 may include the wearable device (101) of FIG. 1 , FIG. 2 , FIG. 3 , FIG. 4 , FIG. 5a , FIG. 5b , FIG. 6a , FIG. 6b , FIG. 6c , and/or FIG. 6d .
  • the wearable device of FIG. 9 may include the wearable device (700) of FIGS. 7a to 7b and/or the wearable device (800) of FIGS. 8a to 8b .
  • the processor of the wearable device may identify whether a second location is identified within a reference distance from a first location indicated by a visual object. For example, the processor may identify whether a second location is identified within a reference distance from the first location of the visual object within a specified period of time from the time at which the first location is identified.
  • the processor of the wearable device may stop providing feedback for the touch input.
  • the processor may stop providing feedback for the touch input in response to the second location being identified outside the reference distance from the location of the visual object.
  • the processor may stop providing feedback for the touch input in response to the second location being identified after a specified period of time from the time the first location was identified, or in response to the second location being identified outside the reference distance from the first location.
  • the processor may at least temporarily stop identifying contact of the touch input on the second surface to provide the feedback based on the second location being identified after a specified period of time from the time the first location was identified, and/or identifying the second location outside the reference distance from the first location.
  • the wearable device can identify whether to provide feedback for the touch input in response to a first location where a touch input is identified and a second location within a screen of the user's gaze.
  • the wearable device can provide feedback for the touch input desired by a user of the wearable device by providing the feedback for the touch input in response to the first location and the second location.
  • a wearable device may include a housing, a display disposed on a first side of the housing, a camera exposed through a portion of the first side, a touch sensor configured to identify a contact on a second side opposite to the first side, and at least one processor disposed within the housing and including a processing circuit.
  • the at least one processor may be configured to display, on a screen, a visual object representing a first position of the touch input on the second side based on the contact on the second side identified using the touch sensor.
  • the at least one processor may be configured to identify, in response to the touch input, a second position of the user's gaze within the screen identified based on an image acquired through the camera. At least one processor may be configured to provide feedback for the touch input in response to the second location identified within the reference distance from the first location of the visual object. At least one processor may be configured to at least temporarily cease identifying the contact on the second surface to provide the feedback in response to the second location identified outside the reference distance from the first location.
  • the visual object may be a first visual object.
  • At least one processor may be configured to display a second visual object at a second location within the screen within the user's field of view.
  • At least one processor may be configured to display different colors of each of the first visual object and the second visual object.
  • At least one processor may be configured to display virtual objects within the screen based on identifying an event.
  • the at least one processor may be configured to execute a function corresponding to the event based on a sequence of the touch inputs to the virtual objects.
  • a wearable device may include a memory.
  • At least one processor may be configured to store information related to the order of the touch inputs to the virtual objects in the memory.
  • At least one processor may be configured to provide the feedback for the touch input based on identifying the second location within the reference distance from the visual object for a specified duration.
  • At least one processor may be configured to identify a first direction in which the touch gesture is input based on identifying a touch gesture including the touch input.
  • the at least one processor may be configured to provide the feedback based on a second direction in which the user's gaze moves corresponding to the first direction.
  • the visual object may be a first visual object.
  • the method may include an action of displaying a second visual object at the second location within the screen of the gaze.
  • the method may include an action of displaying virtual objects on the screen based on identifying the event.
  • the method may include an action of executing a function corresponding to the event based on a sequence of the touch inputs to the virtual objects.
  • the method may include storing information related to the order of the touch inputs to the virtual objects in a memory.
  • the method may include providing the feedback for the touch input based on identifying the second location within the reference distance from the visual object for a specified duration.
  • the method may include an operation of identifying a first direction in which the touch gesture is input based on identifying a touch gesture including the touch input.
  • the method may include an operation of providing the feedback based on a second direction in which the gaze is moved corresponding to the first direction.
  • the one or more programs when executed by at least one processor of the wearable device, cause the wearable device to display, on a screen, a visual object indicating a first position of a touch input on a second surface opposite the first surface through a display disposed on a first surface of the housing.
  • the one or more programs when executed by at least one processor of the wearable device, cause the wearable device to identify, in response to the touch input, a second position of a gaze identified on the screen based on an image acquired through a camera.
  • the one or more programs when executed by at least one processor of the wearable device, cause the wearable device to provide feedback for the touch input in response to the second position identified within a reference distance from the first position of the visual object.
  • Said one or more programs when executed by at least one processor of said wearable device, may cause said wearable device to at least temporarily cease identifying said second contact of said second surface to provide said feedback in response to said second location identified outside of said reference distance from said first location.
  • the visual object may include a first visual object.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to display a second visual object at the second location within the screen of the user's gaze.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to display different colors of each of the first visual object and the second visual object.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to display virtual objects on the screen based on the identified event.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to execute a function corresponding to the event based on a sequence of the touch inputs to the virtual objects.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to store, in a memory, information related to the order of the touch inputs to the virtual objects.
  • the sequence may include a first sequence.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to stop executing the function corresponding to the event in response to identifying a second sequence of touch inputs, different from the first sequence, based on the information associated with the first sequence stored in the memory.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to provide the feedback for the touch input based on identifying the second location within the reference distance from the visual object for a specified duration.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to identify a first direction in which the touch gesture was input based on identifying a touch gesture including the touch input.
  • the one or more programs when executed by at least one processor of the wearable device, may cause the wearable device to provide the feedback based on a second direction in which the gaze moved corresponding to the first direction.
  • the devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the various exemplary embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • the processing device is sometimes described as being used alone, but those skilled in the art will appreciate that the processing device may include multiple processing elements and/or multiple types of processing elements.
  • the processing device may include multiple processors, or a processor and a controller.
  • Other processing configurations, such as parallel processors, are also possible.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may independently or collectively command the processing device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium, or device for interpretation by the processing device or for providing instructions or data to the processing device.
  • the software may be distributed over network-connected computer systems and stored or executed in a distributed manner.
  • the software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may be one that continuously stores a program executable by a computer, or one that temporarily stores it for execution or downloading.
  • the medium may be various recording means or storage means in the form of a single or multiple hardware combinations, and is not limited to a medium directly connected to a computer system, and may also be distributed on a network. Examples of the medium may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, etc., configured to store program commands.
  • examples of other media may include recording media or storage media managed by app stores that distribute applications, sites that supply or distribute various software, servers, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 터치 센서를 이용하여 식별된 제2 면 상의 접촉에 기반하여, 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 디스플레이를 통해 표시할 수 있다. 웨어러블 장치는 터치 입력에 응답하여, 제1 면의 일부를 통해 노출된 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내 제2 위치를 식별할 수 있다. 웨어러블 장치는, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 웨어러블 장치는, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하는 것을 중단할 수 있다.

Description

터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법
본 개시(present disclosure)는, 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR), 및/또는 가상 현실(virtual reality, VR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예(an example embodiment)에 따른, 웨어러블 장치(wearable device)는, 하우징, 상기 하우징의 제1 면 상에 배치된 디스플레이, 상기 제1 면의 일부를 통해 노출된 카메라, 상기 제1 면과 반대인 제2 면 상의 접촉을 식별하도록 구성된 터치 센서, 및 프로세싱 회로를 포함하느 ㄴ적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 터치 센서를 이용하여 식별된 상기 제2 면 상의 접촉에 기반하여, 상기 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 상기 디스플레이를 통해 표시하도록, 구성될 수 있다. 적어도 하나의 프로세서는 상기 터치 입력에 응답하여, 상기 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하는 것을 중단하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치(wearable device)의 방법은, 하우징의 제1 면 상에 배치된 디스플레이를 통하여, 상기 제1 면과 반대인 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 터치 입력에 응답하여, 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하는 것을 중단하는 동작을 포함할 수 있다.
일 실시예에 따른, 하나 이상의 프로그램들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 하나 이상의 프로그램들은, 웨어러블 장치(wearable device)의 적어도 하나의 프로세서에 의해 실행될 때에, 하우징의 제1 면 상에 배치된 디스플레이를 통하여, 상기 제1 면과 반대인 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에 표시하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 터치 입력에 응답하여, 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하는 것을 중단하도록, 상기 웨어러블 장치를 야기할 수 있다.
상술된 그리고 다른 측면들, 특징들, 및 본 개시의 몇몇 실시예들의 이점들이, 첨부된 도면과 함께 결합되어, 뒤따르는 상세한 설명으로부터 보다 명백해질 것이다:
도 1은, 일 실시예에 따른, 웨어러블 장치 상의 터치 입력을 인식한 웨어러블 장치의 일 예를 도시한 다이어그램이다.
도 2는, 일 실시예에 따른, 웨어러블 장치의 예시적인 구성을 도시한 블록도(block diagram)이다.
도 3은, 일 실시예에 따른, 웨어러블 장치 상의 터치 입력을 인식한 웨어러블 장치의 일 예를 도시한 다이어그램이다.
도 4는, 일 실시예에 따른, 이벤트의 식별에 기반하여 표시될 화면들의 일 예를 도시한 다이어그램이다.
도 5a는, 일 실시예에 따른, 메모리 내에 저장된 정보와 관련된 화면의 일 예를 도시한 다이어그램이다.
도 5b는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다.
도 6a는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다.
도 6b는, 일 실시예에 따른, 메모리 내에 저장된 정보와 관련된 화면의 일 예를 도시한 다이어그램이다.
도 6c는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다.
도 6d는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다.
도 7a는, 일 실시예에 따른, 예시적인 웨어러블 장치를 도시한 사시도(perspective view)이다.
도 7b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 예시적인 하드웨어 부품들을 도시한 사시도이다.
도 8a 및 도 8b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한 사시도이다.
도 9는, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다.
이하, 본 개시의 다양한 실시예들이 첨부된 도면을 참조하여 보다 상세히 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나”, "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 어느 조합으로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치 상의 터치 입력을 인식한 웨어러블 장치의 일 예를 도시한 다이어그램이다. 도 1을 참고하면, 일 실시예에 따른 웨어러블 장치(101)는 사용자(103)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 비록 안경의 형태를 가지는 웨어러블 장치(101)의 외형이 도시되지만, 본 개시가 이에 제한되는 것은 아니다. 사용자(103)의 머리에 착용가능한 웨어러블 장치(101)의 구조의 일 예가 도 7a, 도 7b 및/또는 도 8a 및 도 8b를 참고하여 보다 상세히 설명된다. 웨어러블 장치(101) 내에 포함된 하나 이상의 하드웨어 부품들이, 도 2를 참고하여 설명된다.
일 실시예에 따른, 웨어러블 장치(101)(예, 도 7a 내지 도 7b의 웨어러블 장치(700) 및/또는 도 8a 내지 도 8b의 웨어러블 장치(800))는 증강 현실(augmented reality, AR), 및/또는 혼합 현실(mixed reality, MR)과 관련된 기능을 실행할 수 있다. 도 1을 참고하면, 사용자가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자의 눈에 인접하게 배치된 적어도 하나의 렌즈(예, 도 7b의 렌즈(730))를 포함할 수 있다. 웨어러블 장치(101)는 렌즈를 통과하는 주변 광(ambient light)을, 웨어러블 장치(101)의 디스플레이(예, 도 2의 디스플레이(230)))로부터 방사된 광과 결합할 수 있다. 상기 디스플레이의 표시 영역은, 주변 광이 통과되는 렌즈 내에서 형성될 수 있다. 웨어러블 장치(101)가 상기 주변 광 및 상기 디스플레이로부터 방사된 상기 광을 결합하기 때문에, 사용자(103)는 상기 주변 광에 의해 인식되는 실제 객체(real object) 및 상기 디스플레이로부터 방사된 상기 광에 의해 형성된 가상 객체(virtual object)가 혼합된 상(image)을 볼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 VST(video see-through) 및/또는 가상 현실(virtual reality, VR)과 관련된 기능을 실행할 수 있다. 도 1을 참고하면, 사용자가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(103)의 눈을 덮는 하우징을 포함할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서, 상기 눈을 향하는 제1 면(예, 도 8a의 제1 면(810))에 배치된 디스플레이(예, 도 8a의 제1 디스플레이(750-1) 및/또는 제2 디스플레이(750-2))를 포함할 수 있다. 웨어러블 장치(101)는 상기 제1 면과 반대인 제2 면(예, 도 8b의 제2 면(820)) 상에 배치된 카메라(예, 도 8b의 카메라들(840-5, 840-6, 840-7, 840-8, 840-9, 840-10))를 포함할 수 있다. 상기 카메라를 이용하여, 웨어러블 장치(101)는 주변 광이 포함된 프레임들을 획득할 수 있다. 웨어러블 장치(101)는 상기 제1 면에 배치된 디스플레이 내에, 상기 프레임들을 출력하여, 사용자가 상기 디스플레이를 통해 상기 주변 광을 인식하게 만들 수 있다. 상기 제1 면에 배치된 디스플레이의 표시 영역은, 상기 디스플레이에 포함된 하나 이상의 픽셀들에 의해 형성될 수 있다. 웨어러블 장치(101)는 상기 디스플레이를 통해 출력되는 프레임들 내에 가상 객체를 합성하여, 사용자가 주변 광에 의해 인식되는 실제 객체와 함께 상기 가상 객체를 인식하게 만들 수 있다.
도 1을 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 하우징의 제1 면 상에 배치된 디스플레이를 통하여 화면(110)을 표시할 수 있다. 예를 들어, 상기 화면(110)은, 상기 제1 면과 반대인 제2 면(130)의 일부를 통해 노출된 제1 카메라를 통하여 획득된 이미지에 기반하여, 웨어러블 장치(101)의 주변 환경을 표현한 화면을 포함할 수 있다. 예를 들어, 상기 화면(110)은, 가상 현실을 표현한 화면을 포함할 수 있다.
제1 예시(100) 및 제2 예시(105)를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 화면(110)을 표시하는 동안, 상기 제2 면(130) 상의 외부 객체(120)의 접촉을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제2 면(130) 상의 외부 객체(120)의 접촉에 기반하여, 상기 접촉된 제1 위치(position)를 나타내는 제1 시각적 객체(140)를 화면(110) 내에 표시할 수 있다. 예를 들어, 상기 제1 시각적 객체(140)는, 포인터로 지칭될 수 있다. 예를 들어, 상기 제1 시각적 객체(140)는, 지정된 모양(예, 원, 삼각형, 사각형, 오각형, 육각형, 팔각형, 및/또는 화살표)으로 표현될 수 있다. 예를 들어, 상기 제1 시각적 객체(140)는, 상기 지정된 모양이 지정된 색상으로 채워진 형태로 표현될 수 있다. 예를 들어, 웨어러블 장치(101)는, 제2 면(130) 상에서 외부 객체(120)의 접촉 점을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제2 면(130) 상의 제1 위치(131)에서의 터치 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 외부 객체(120)의 이동을 식별할 수 있다. 웨어러블 장치(101)는, 상기 외부 객체(120)의 이동 경로(133)를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 외부 객체(120)의 이동이 완료된 제2 위치(135)를 식별할 수 있다. 웨어러블 장치(101)는, 제2 위치(135)에서 식별된 외부 객체(120)를 나타내는 제1 시각적 객체(145)를, 디스플레이를 통해 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 외부 객체(120)의 이동 경로(133)에 기반하여, 제1 시각적 객체(140)를 이동 경로(143)에 기반하여 이동할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 디스플레이가 배치된 제1 면의 일부를 통해 노출된 제2 카메라(예, 도 2의 시선 추적 카메라(241))를 통하여 사용자(103)의 시선을 추적할(track) 수 있다. 예를 들어, 상기 제2 카메라는, 시선 추적 카메라, 및/또는 얼굴 인식 카메라(예, 도 2의 얼굴 인식 카메라(242))를 포함할 수 있다. 웨어러블 장치(101)는, 상기 제2 카메라를 통하여 획득된 이미지에 기반하여 상기 사용자(103)의 시선의 화면(110) 내에서의 제3 위치를 식별할 수 있다. 상기 제3 위치를 식별하는 것에 기반하여, 웨어러블 장치(101)는 화면(110) 내에서 상기 시선과 관련된 상기 제3 위치를 나타내기 위한 제2 시각적 객체(150)를 표시할 수 있다. 예를 들어, 화면(110) 내 제2 시각적 객체(150)의 위치는, 웨어러블 장치(101)에 의해 식별된, 화면(110) 내 상기 제3 위치에 대응할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제2 면(130) 상에 접촉된 외부 객체(120)의 위치(예, 상기 제1 위치)에 기반하여 표시된 제1 시각적 객체(140) 및 사용자(103)의 시선의 위치(예, 상기 제3 위치)에 기반하여 표시된 제2 시각적 객체(150) 사이의 거리를 식별할 수 있다. 웨어러블 장치(101)는, 제2 면(130) 상에 접촉된 외부 객체(120)의 위치 및 사용자(103)의 시선의 위치 사이의 거리를, 기준 거리(preset distance 또는 reference distance)(d)와 비교하여, 접촉 점에서 식별된 터치 입력이 유효한 지 여부를 식별할 수 있다. 상기 거리는, 화면(110) 내에서, 외부 객체(120)의 위치를 나타내는 제1 시각적 객체(140) 및 시선의 위치를 나타내는 제2 시각적 객체(150) 사이의 거리를 포함할 수 있다. 웨어러블 장치(101)는, 유효한 터치 입력을 식별한 것에 응답하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 터치 입력에 응답하여, 제2 카메라를 통하여 획득된 이미지에 기반하여 식별된 사용자의 시선의 화면 내에서의 제3 위치를 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력에 대응하는 화면(110) 내 위치(예, 제1 시각적 객체(140)의 화면(110) 내 위치)로부터 기준 거리(d) 이내에서 식별된 상기 제3 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제2 시각적 객체(150)를 표시하지 않고, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 시각적 객체(140)에 의해 나타나는 터치 입력에 대응하는 화면(110) 내 위치로부터 기준 거리(d) 밖에서 식별된 제3 위치(예, 제3 시각적 객체(152)의 화면(110) 내 위치)에 응답하여, 상기 터치 입력에 대한 피드백을 제공하는 것을 중단할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 터치 입력에 대응하는 화면(110) 내 위치로부터 기준 거리(d) 밖에서 식별된 제3 위치에 응답하여, 상기 피드백을 제공하는 것을 삼가할(refrain from) 수 있다. 상기 동작들은, low-level touch based registration로 지칭될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 사용자(103)의 시선의 화면(110) 내에서의 제3 위치를 식별한 것에 기반하여, 상기 제3 위치에 제2 시각적 객체(150)를 표시할 수 있다. 예를 들어, 상기 제2 시각적 객체(150)는, 제1 시각적 객체(140)와 상이한 사이즈로 표시될 수 있다. 예를 들어, 상기 제2 시각적 객체(150)는, 제1 시각적 객체(140)와 상이한 색상으로 표시될 수 있다. 웨어러블 장치(101)는, 제2 카메라를 통하여 획득된 이미지에 기반하여 사용자(103)의 시선의 이동을 식별할 수 있다. 웨어러블 장치(101)는, 상기 사용자(103)의 시선의 이동에 대응하는 이동 경로(153)에 기반하여 제2 시각적 객체(150)를 이동한 제2 시각적 객체(155)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제4 위치에서의 제2 시각적 객체(155)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 터치 입력의 이동 경로(133)에 대응하는 사용자의 시선의 이동 경로(153)에 기반하여 터치 입력이 유효한지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 시각적 객체(140)에 의해 나타나는 터치 입력의 위치 및 제2 시각적 객체(150)에 의해 나타나는 시선의 위치가 중첩된 것을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력의 위치 및 상기 시선의 위치가 지정된 기간(duration) 동안 중첩된 것에 기반하여, 제1 위치에서의 터치 입력이 유효함을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력의 유효함을 식별한 것에 기반하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 터치 입력의 이동 경로(133) 및 사용자의 시선의 이동 경로(153)의 유사성(similarity)을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 터치 입력의 이동 경로(133) 및 상기 사용자의 시선의 이동 경로(153)의 방향을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 위치로부터 제2 위치로의 제1 방향을 식별할 수 있다. 예를 들어, 상기 제1 방향은, 제1 시각적 객체(140)가 화면(110) 내에서 이동된 방향과 관련될 수 있다. 예를 들어, 웨어러블 장치(101)는, 제3 위치로부터 제4 위치로의 제2 방향을 식별할 수 있다. 예를 들어, 제2 방향은, 사용자의 시선의 이동에 기반하여 식별될 수 있다. 웨어러블 장치(101)는 화면(110) 내에서, 상기 시선의 이동에 기반하여 제2 시각적 객체(150)를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 시각적 객체(140)에 의해 나타나는 제1 위치 및 제2 시각적 객체(150)에 의해 나타나는 제3 위치가 중첩된 것을 식별하고, 제2 위치 및 제4 위치가 중첩된 것을 식별할 수 있다. 웨어러블 장치(101)는, 상기 중첩을 식별한 것에 응답하여, 제1 위치로부터 제2 위치로 이동된 터치 입력(또는 터치 제스처)이 유효한 것을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력(또는 터치 제스처)가 유효한 것에 기반하여, 상기 터치 입력(또는 터치 제스처)에 대한 피드백을 제공할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 터치 입력의 위치 및/또는 경로(예, 화면(110) 내 제1 시각적 객체(140)의 위치 및/또는 경로) 및 사용자(103)의 시선의 위치 및/또는 경로가 적어도 일부 매칭되는 것을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력의 위치 및 사용자(103)의 시선이 매칭되는 것에 기반하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 웨어러블 장치(101)는, 터치 입력 및 상기 사용자(103)의 시선의 매칭에 기반하여 터치 입력에 대한 피드백을 제공함으로써, 웨어러블 장치(101)의 사용자(103)가 원하는 터치 입력에 대한 피드백을 제공할 수 있다.
도 2는, 일 실시예에 따른, 웨어러블 장치의 예시적인 구성을 도시한 블록도(block diagram)이다. 도 2의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101)를 포함할 수 있다.
도 2를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, (예, 프로세싱 회로를 포함하는) 프로세서(210), 메모리(220), 디스플레이(230), 카메라(240) 및/또는 센서(250) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(220), 디스플레이(230), 카메라(240), 및 센서(250)는 통신 버스(a communication bus)(205)와 같은 전자 부품(electrical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 예를 들어, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 참조할 수 있다. 상이한 블록들에 도시되었으나, 실시 예가 이에 한정되는 것은 아니다. 도 2의 하드웨어들 중 일부분이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101) 내에 포함된 하드웨어의 타입, 및/또는 개수는 도 2에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는, 도 2에 도시된 하드웨어 중 일부만 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어는, 적어도 하나의 프로세서(210)를 포함할 수 있고, 적어도 하나의 프로세서(210)는, 다양한 프로세싱 회로를 포함할 수 있다. 예를 들어, 청구항들을 포함하는, 이하에 이용된 바와 같이, "프로세서" 용어는, 적어도 하나의 프로세서를 포함하는, 다양한 처리 회로를 포함할 수 있고, 하나 이상의 적어도 하나의 프로세서는 여기서 설명되는 다양한 기능들을 수행하도록, 구성될 수 있다. 추가적으로, 적어도 하나의 프로세서는 다양한 언급된/개시된 기능들을 수행하는 프로세서들의 조합을 포함할 수 있다. 적어도 하나의 프로세서는 다양한 기능들을 달성하거나, 또는 수행하기 위하여 프로그램 인스트럭션들을 실행할 수 있다. 예를 들어, 데이터를 처리하기 위한 하드웨어는, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(210)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core), 또는 옥타 코어(octa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다. 예를 들어, 웨어러블 장치(101)는, 하우징 내의 프로세서(210)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 메모리(220)는, 웨어러블 장치(101)의 프로세서(210)에 입력, 및/또는 출력되는 데이터, 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 예를 들어, 메모리(220)는, RAM(random-access memory)와 같은 휘발성 메모리(volatile memory), 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 예를 들어, 휘발성 메모리는, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM(pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 예를 들어, 비휘발성 메모리는, PROM(programmable ROM), EPROM(erasable PROM), EEPROM(electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi-media card) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자의 생체 데이터(또는 정보)를 메모리(220) 내에 저장할 수 있다. 예를 들어, 웨어러블 장치(101)는, 등록 정보(registration information)를 메모리(220) 내에 저장할 수 있다. 예를 들어, 상기 등록 정보는, 사용자의 생체 데이터 및/또는 터치 입력(또는 터치 제스처)와 관련될 수 있다. 예를 들어, 웨어러블 장치(101)는, 이벤트를 식별한 것에 기반하여, 터치 입력 및 사용자의 생체 데이터가 상기 등록 정보와 매칭되는지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 터치 입력 및 상기 생체 데이터가 상기 등록 정보와 매칭될 때, 상기 이벤트에 대응하는 기능을 실행할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 터치 입력 및 상기 생체 데이터가 상기 등록 정보와 매칭되지 않을 때, 상기 이벤트에 대응하는 기능을 실행하는 것을 중단하거나, 또는 바이패스(bypass)할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 터치 입력 및 상기 생체 데이터가 상기 등록 정보와 불일치하는 경우, 상기 이벤트에 대응하는 기능의 실행을 삼가할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 디스플레이(230)는, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 예를 들어, 디스플레이(230)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(210)에 의해 제어되어, 사용자에게 시각화된 정보를 출력할 수 있다. 디스플레이(230)는, 제한하지 않는, 예를 들어, FPD(flat panel display), 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는, 제한하지 않는, 예를 들어, LCD(liquid crystal display), PDP(plasma display panel), 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는, OLED(organic LED)를 포함할 수 있다. 예를 들어, 상기 디스플레이(230)는, 웨어러블 장치(101)의 하우징의 제1 면 상에 배치될 수 있다. 예를 들어, 상기 제1 면은, 사용자가 웨어러블 장치(101)를 착용한 상태에서, 사용자를 향하는 방향을 향할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 카메라(240)는, 렌즈 어셈블리(assembly), 플래쉬, 또는 이미지 센서를 포함할 수 있다. 상기 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시 예에 따른, 카메라(240)는, 복수의 렌즈 어셈블리들을 포함할 수 있다. 예를 들어, 복수의 렌즈 어셈블리들 중 일부는 동일한 렌즈 속성(예, 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 상이한 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리는, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 예를 들어, 카메라(240)의 플래쉬는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시예에 따른, 플래쉬는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 예를 들어, 이미지 센서는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시예에 따른, 이미지 센서는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다. 일 실시 예에 따른, 웨어러블 장치(101)는, 상이한 속성 또는 기능을 가진 복수의 카메라(240)들을 포함할 수 있다. 예를 들어, 상기 복수의 카메라(240)들 중 적어도 하나는 광각 카메라이고, 다른 하나는 망원 카메라일 수 있다. 예를 들어, 상기 카메라(240)는, 제1 면의 일부를 통해 노출되거나, 제2 면의 일부를 통해 노출될 수 있다. 상기 카메라(240)는, 단수로 도시되었으나, 복수 개일 수 있다.
예를 들어, 상기 카메라(240)는, 사용자의 시선을 추적할 수 있는 시선 추적 카메라(241)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 시선 추적 카메라(241)를 통해 획득된 이미지에 기반하여, 상기 사용자의 시선의 방향을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 시선 추적 카메라(241)를 통해 획득된 이미지에 기반하여, 사용자의 시선의 화면에서의 위치를 식별할 수 있다. 웨어러블 장치(101)는, 상기 사용자의 시선의 화면에서의 위치에 기반하여, 상기 위치에 시각적 객체(예, 도 1의 시각적 객체(150))를 표시할 수 있다.
예를 들어, 상기 카메라(240)는, 사용자의 얼굴을 식별할 수 있는 얼굴 인식 카메라(242)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 얼굴 인식 카메라(242)를 이용하여, 사용자의 입 모양 및/또는 상기 사용자의 얼굴 표정을 식별할 수 있다. 예를 들어, 상기 사용자의 입 모양 및/또는 얼굴 표정은, 생체 데이터에 포함될 수 있다. 하지만, 이에 제한되지 않는다. 웨어러블 장치(101)는, 상기 사용자의 입 모양 및/또는 얼굴 표정을 이용하여, 터치 입력의 유효성을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 터치 입력의 위치 및 생체 데이터에 기반하여, 터치 입력에 대한 피드백을 제공할지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 카메라(240)를 통해 획득된 사용자의 생체 데이터에 기반하여, 터치 입력에 대한 피드백을 제공할지 여부를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 센서(250)를 포함할 수 있다. 예를 들어, 상기 웨어러블 장치(101)의 상기 센서(250)는, 터치 센서(251)를 포함할 수 있다. 터치 센서(251)는, TSP(touch sensor panel)로 참조될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 터치 센서(251)를 이용하여, 디스플레이(230)가 배치된 제1 면과 반대인 제2 면 상의 접촉을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 센서(251)을 통해 획득된 데이터에 기반하여 상기 제2 면 상의 접촉을 식별할 수 있다. 상기 접촉은, 터치 입력, 및/또는 터치 제스처로 참조될 수 있다. 웨어러블 장치(101)는, 상기 터치 센서(251)를 통해 획득된 데이터에 기반하여, 상기 제2 면 상에 접촉된 외부 객체의 위치, 상기 제2 면 상에 적용되는(applied to) 압력, 및/또는 상기 제2 면 상에 접촉된 외부 객체의 면적을 식별할 수 있다. 하지만, 이에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 터치 센서(251)의 데이터에 기반하여, 웨어러블 장치(101)의 상기 제2 면 상에서 호버링되는 외부 객체를 식별할 수 있다. 외부 객체가 상기 제2 면 상에서 호버링 되는 것은, 외부 객체가 상기 제2 면으로부터, 터치 센서(251)에 의해 설정된 임계 거리 미만으로 이격된 상태를 포함할 수 있다. 웨어러블 장치(101)는, 상기 제2 면 상에서 호버링되는 외부 객체를 식별하는 것에 기반하여, 터치 센서(251)의 데이터를 이용하여, 상기 제2 면과 가장 가까운 상기 외부 객체의 일부분이 상기 제2 면 상에 투영된(projected onto) 위치를 식별할 수 있다. 웨어러블 장치(101)는 상기 식별된 위치를, 상기 제2 면 상에서 호버링되는 외부 객체의 위치로써 식별할 수 있다.
예를 들어, 웨어러블 장치(101)의 센서(250)는, 가속도 센서(252)를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 가속도 센서(252)에 기반하여 웨어러블 장치(101)의 물리적인 움직임을 식별할 수 있다. 가속도 센서(252)는, 서로 수직인(perpendicular to each other) 복수의 지정된 축들(예, x 축, y 축, z 축)을 이용하여, 웨어러블 장치(101)로 적용되는 가속도(예, 중력 가속도)의 방향, 및/또는 크기를 나타내는 센서 데이터를 출력할 수 있다. 상기 가속도를 나타내는 센서 데이터에 기반하여, 웨어러블 장치(101)는, 웨어러블 장치(101)의 물리적인 움직임(예, 병진 운동(translation motion))을 식별할 수 있다. 웨어러블 장치(101)는, 가속도 센서(252) 외에도, 지자기 센서, 자이로 센서, 및/또는 6DoF(degrees of freedom) 센서와 같이, 웨어러블 장치(101)의 물리적인 움직임에 종속되는 데이터를 출력하는 센서를 포함할 수 있다. 예를 들어, 지자기 센서는, 2 차원 내지 3 차원의 축들을 이용하여, 웨어러블 장치(101)에 적용되는 자계의 방향(예, N 극의 방향)을 나타내는 센서 데이터를 출력할 수 있다. 자이로 센서는, 웨어러블 장치(101)의 회전을 측정하기 위하여, 웨어러블 장치(101) 내에 포함될 수 있다. 예를 들어, 자이로 센서는, 상기 지정된 축들에 기반하여, 웨어러블 장치(101)의 회전을 나타내는 파라미터(예, 각 속도)를 나타내는 센서 데이터를 출력할 수 있다. 예를 들어, 6DoF 센서는, 웨어러블 장치(101)의 위치를 나타내는 3 개의 파라미터 및 웨어러블 장치(101)의 자세(orientation)를 나타내는 3 개의 파라미터를 나타내는 센서 데이터를 출력할 수 있다. 상기 가속도 센서(252), 상기 지자기 센서, 상기 자이로 센서, 상기 6DoF 센서, 또는 이들의 조합이 IMU(inertia measurement unit)으로 참조될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 터치 센서(251)를 이용하여 웨어러블 장치(101)의 하우징의 제2 면 상의 접촉을 식별할 수 있다. 예를 들어, 상기 제2 면은, 디스플레이(230)가 배치된 제1 면이 향하는 제1 방향과 반대인 제2 방향을 향할 수 있다. 웨어러블 장치(101)는, 상기 터치 센서(251)를 이용하여 식별된 상기 제2 면 상의 접촉에 기반하여, 상기 제2 면 상의 터치 입력의 제1 위치를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 위치를 식별한 것에 응답하여, 상기 제1 위치를 나타내는 제1 시각적 객체를 화면 내에서, 디스플레이(230)를 통하여 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제2 면 상의 터치 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력에 응답하여, 카메라(240)를 통하여 획득된 이미지에 기반하여, 사용자의 시선이 향하는 위치를 식별할 수 있다. 웨어러블 장치(101)는, 상기 사용자의 시선의 화면 내에서의 제2 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시선 추적 카메라(241)를 이용하여, 상기 제2 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제2 위치를 식별한 것에 기반하여, 상기 제2 위치에 제1 시각적 객체와 상이한 제2 시각적 객체를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 터치 입력의 제1 시각적 객체에 의해 나타나는 제1 위치 및 사용자의 시선에 대응하는 제2 위치 사이의 거리가 기준 거리 이내인지 여부를 식별할 수 있다. 예를 들어, 상기 기준 거리는, 웨어러블 장치(101)에 의해 제공되거나, 사용자에 의해 설정될(set) 수 있다. 웨어러블 장치(101)는, 상기 제1 위치 및 상기 제2 위치 사이의 거리가 기준 거리 이내임을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 시각적 객체의 상기 제1 위치로부터 기준 거리 밖에서 식별된 제2 위치에 응답하여, 상기 터치 입력에 대한 상기 피드백을 제공하는 것을 중단할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 위치로부터 기준 거리 밖에서 식별된 제2 위치에 기반하여, 상기 피드백을 제공하기 위하여 상기 제2 면 상의 터치 입력을 식별하는 것을 적어도 일시적으로 중단할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 화면을 표시하는 동안, 상기 화면 상에 가상 객체들을 표시할 수 있다. 예를 들어, 상기 가상 객체들은, 숫자, 도형, 및/또는 색상으로 표현될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 가상 객체들에 대한 입력에 기반하여, 등록 정보를 획득하거나 이벤트에 대응하는 기능을 실행할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 등록 정보를 생성하기 위해, 화면 상에 가상 객체들을 표시할 수 있다. 웨어러블 장치(101)는, 상기 가상 객체들을 표시하는 동안, 제2 면 상의 터치 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력에 기반하여, 상기 가상 객체들을 선택함을 식별할 수 있다. 웨어러블 장치(101)는, 상기 가상 객체들 각각을 선택하는 터치 입력의 순서를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 가상 객체들 각각을 선택하는 터치 입력의 순서와 관련된 등록 정보를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 가상 객체들 중 일부를 선택하는 터치 제스처에 기반한 등록 정보를 획득할 수 있다. 웨어러블 장치(101)는, 상기 등록 정보를 메모리(220) 내에 저장할 수 있다. 예를 들어, 상기 등록 정보는, high-level touch based registration으로 지칭될 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에 따른, 웨어러블 장치(101)는, 이벤트를 식별할 수 있다. 웨어러블 장치(101)는, 상기 이벤트에 기반하여 가상 객체들을 표시할 수 있다. 웨어러블 장치(101)는, 상기 가상 객체들에 대한 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제2 면 상의 외부 객체의 접촉에 기반하여 상기 가상 객체들에 대한 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 가상 객체들에 대한 입력의 순서를 식별할 수 있다. 웨어러블 장치(101)는, 상기 가상 객체들에 대한 입력의 제1 순서 및 등록 정보에 포함된 제2 순서가 매칭되는지 여부를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서가 매치되는 것에 기반하여, 상기 이벤트에 대응하는 기능을 실행할 수 있다. 예를 들어, 상기 이벤트에 대응하는 기능은, 이전의 화면으로 되돌아가는 '뒤로 가기' 기능을 포함할 수 있다. 상기 이벤트에 대응하는 기능은, 이후의 화면으로 넘어가는 '앞으로 가기' 기능을 포함할 수 있다. 상기 이벤트에 대응하는 기능은, 홈 화면을 표시하기 위한 '홈으로 가기' 기능을 포함할 수 있다. 상기 이벤트에 대응하는 기능은, 실행 중인 어플리케이션(예, 소프트웨어 어플리케이션)의 리스트를 표시하기 위한 '실행 중인 앱 표시' 기능을 포함할 수 있다. 상기 이벤트에 대응하는 기능은, 사용자에 의해 지정되거나 웨어러블 장치(101)에 의해 제공되는 어플리케이션을 실행하기 위한 '특정 앱 실행' 기능을 포함할 수 있다. 예를 들어, 상기 이벤트에 대응하는 기능은, 렌더링 모드를 변경하기 위한 '렌더링 모드 변경' 기능을 포함할 수 있다. 예를 들어, 상기 이벤트에 대응하는 기능은, 비밀번호를 입력할 때에, 상기 비밀번호를 입력하기 위한 텍스트 필드에 비밀번호를 자동을 입력하는 '비밀번호 자동 완성' 기능을 포함할 수 있다. 예를 들어, 상기 이벤트에 대응하는 기능은, 사용자에 의해 설정된 기능을 포함할 수 있다. 예를 들어, 상기 사용자에 의해 설정된 기능은, 지정된 사람에게 전화 연결하기, 및/또는 지정된 사람에게 화상 전화 연결하기를 포함할 수 있다. 예를 들어, 상기 이벤트에 대응하는 기능은, HMD의 잠금 모드를 해제하기 위한 기능을 포함할 수 있다. 하지만, 이에 제한되지 않는다.
도 3은, 일 실시예에 따른, 웨어러블 장치 상의 터치 입력을 인식한 웨어러블 장치의 일 예를 도시한 다이어그램이다. 도 3의 웨어러블 장치(101)는, 도 1, 및/또는 도 2의 웨어러블 장치(101)를 포함할 수 있다. 도 3의 동작들은, 도 2의 프로세서(210)에 의해 수행될 수 있다.
도 3을 참고하면, 제3 예시(300)는, 웨어러블 장치(101)의 디스플레이(예, 도 2의 디스플레이(230))가 배치된 제1 면과 반대인 제2 면(130)의 일 예일 수 있다. 제4 예시(305)는, 웨어러블 장치(101)의 디스플레이를 통해 표시되는 화면(110)의 일 예일 수 있다.
도 3을 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 제2 면(130) 상의 외부 객체(120)의 접촉을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 접촉에 대한 터치 입력(또는 터치 제스처)을 식별할 수 있다. 웨어러블 장치(101)는, 제1 위치(310)에서의 접촉을 식별한 것에 기반하여, 제1 시각적 객체(320)를 표시할 수 있다. 웨어러블 장치(101)는, 제1 위치(310)를 나타내는 제1 시각적 객체(320)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체(320)를 식별하는 동안, 카메라(예, 도 2의 카메라(240), 또는 시선 추적 카메라(241))를 통해 획득된 이미지에 기반하여, 사용자(103)의 시선을 추적할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 사용자(103)의 시선의 화면(110) 내에서의 제2 위치를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제2 위치를 식별한 것에 응답하여, 상기 화면(110)의 제2 위치에 제2 시각적 객체(330)를 표시할 수 있다. 예를 들어, 상기 제1 시각적 객체(320)와 상기 제2 시각적 객체(330)는, 상이한 색상으로 표현될 수 있다. 예를 들어, 상기 제1 시각적 객체(320)와 상기 제2 시각적 객체(330)는, 상이한 사이즈로 표현될 수 있다.
예를 들어, 웨어러블 장치(101)는, 상기 제1 시각적 객체(320) 및 상기 제2 시각적 객체(330)를 표시하는 동안, 제2 면(130) 상의 외부 객체(120)의 이동을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제2 면(130) 상의 외부 객체(120)의 이동 경로(313)를 식별할 수 있다. 웨어러블 장치(101)는, 상기 이동 경로(313)에 기반하여 이동된 제3 위치(315)를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제3 위치(315)에서의 외부 객체(120)의 접촉을 식별할 수 있다. 예를 들어, 제1 위치(310)로부터 제3 위치(315)로의 외부 객체(120)의 접촉은, 드래그 입력(또는 드래그 제스처)로 참조될 수 있다. 예를 들어, 상기 드래그 입력(또는 드래그 제스처)는, 터치 입력으로 참조될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 접촉의 이동을 식별하더라도, 화면(110)에 표시된 제1 시각적 객체(320)의 이동을 삼가할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 접촉 점의 이동 경로(313)에 대응하는 사용자(103)의 시선의 이동을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 외부 객체(120)에 의한 접촉이 이동되는 동안, 사용자(103)의 시선을 추적하여 화면(110) 내에 제2 시각적 객체(330)를 이동시킬 수 있다. 웨어러블 장치(101)는, 화면(110)에서의 사용자(103)의 시선의 이동 경로(333)에 대응하는 제2 시각적 객체(335)를 표시할 수 있다. 웨어러블 장치(101)는, 접촉 점의 이동 경로(313) 및 화면(110)에서의 제2 시각적 객체(330)에 의해 나타나는 시선의 이동 경로가 적어도 일부 매칭되는 것에 기반하여, 드래그 입력(또는 드래그 제스쳐)에 대한 피드백을 제공할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 터치 입력에 대응하는 제1 시각적 객체(320)의 위치에 매칭되는 사용자(103)의 시선에 기반하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 웨어러블 장치(101)는, 상기 제1 시각적 객체(320)의 위치 및 상기 사용자(103)의 시선에 기반하여 상기 피드백을 제공함으로써, 웨어러블 장치(101)의 사용자(103)가 원하는 입력을 정확하게 입력할 수 있다.
도 4는, 일 실시예에 따른, 이벤트의 식별에 기반하여 표시될 화면들의 일 예를 도시한 다이어그램이다. 도 4의 동작들은, 도 2의 프로세서(210)에 의해 수행될 수 있다. 도 4 내에 도시된 제5 예시(401), 제6 예시(402) 및/또는 제7 예시(403)는, 웨어러블 장치(101)의 디스플레이를 통하여 표시된 화면의 일 예일 수 있다. 도 4의 제5 예시(401), 제6 예시(402), 및/또는 제7 예시(403)는, 등록 정보를 획득하기 위한 화면의 일 예일 수 있다.
도 4를 참고하면, 제5 예시(401)에서, 일 실시예에 따른, 웨어러블 장치(101)는, 제5 예시(401)와 같은 화면을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 화면 내에, 복수의 부분 영역들(410)로 분할된 영역을 표시할 수 있다. 상기 복수의 부분 영역들(410)은, 제1 부분 영역(411), 제2 부분 영역(412), 제3 부분 영역(413), 제4 부분 영역(414), 제5 부분 영역(415), 및/또는 제6 부분 영역(416)을 포함할 수 있다. 예를 들어, 상기 복수의 부분 영역들(410) 각각은, 상이한 색상들로 표현될 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 색상의 제1 부분 영역(411), 제2 색상의 제2 부분 영역(412), 제3 색상의 제3 부분 영역(413), 제4 색상의 제4 부분 영역(414), 제5 색상의 제5 부분 영역(415), 및/또는 제6 색상의 제6 부분 영역(416)을 표시할 수 있다. 복수의 부분 영역들(410)이 제1 부분 영역(411) 내지 제6 부분 영역(416)으로 분할된 일 예를 도시하였으나, 이에 제한되는 것은 아니다.
제6 예시(402)에서, 일 실시예에 따른, 웨어러블 장치(101)는, 화면 내에 복수의 가상 객체들(420)을 표시할 수 있다. 예를 들어, 상기 복수의 가상 객체들(420)은, 삼각형, 사각형, 오각형, 육각형과 같은 다각형을 포함할 수 있다. 예를 들어, 상기 복수의 가상 객체들(420)은, 원, 하트, 별, 해, 및/또는 달과 같은 형태로 표현될 수 있다. 하지만, 이에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는, 사각형으로 표현된 제1 가상 객체(421), 원으로 표현된 제2 가상 객체(422), 삼각형으로 표현된 제3 가상 객체(423), 하트로 표현된 제4 가상 객체(424), 및/또는 오각형으로 표현된 제5 가상 객체(425)를 표시할 수 있다. 복수의 가상 객체들(420)이 제1 가상 객체(421) 내지 제5 가상 객체(425)로 표시된 일 예를 도시하였으나, 이에 제한되는 것은 아니다.
제7 예시(403)에서, 일 실시예에 따른, 웨어러블 장치(101)는, 화면 내에 복수의 텍스트들(430)을 표시할 수 있다. 예를 들어, 상기 복수의 텍스트들(430)은, 아라비아 숫자로 표현될 수 있다. 예를 들어, 상기 복수의 텍스트들(430)은, 로마 숫자(roman numerals)로 표현될 수 있다. 예를 들어, 상기 복수의 텍스트들(430)은, 알파벳으로 표현될 수 있다. 예를 들어, 상기 복수의 텍스트들(430)은, 그리스 문자로 표현될 수 있다. 하지만, 복수의 텍스트들(430)은, 상술한 예로 제한되는 것은 아니며, 사람에 의해 식별 가능한 문자들로 표현될 수 있다. 제7 예시(403)에서, 웨어러블 장치(101)는, 아라비아 숫자 '1'로 표현된 제1 텍스트(431), 아라비아 숫자 '2'로 표현된 제2 텍스트(432), 아라비아 숫자 '3'으로 표현된 제3 텍스트(433), 아라비아 숫자 '4'로 표현된 제4 텍스트(434), 및/또는 아라비아 숫자 '5'로 표현된 제5 텍스트(435)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제5 예시(401) 내지 제7 예시(403)과 같은 화면을 표시하는 동안, 화면에 표시된 부분 영역들(410), 가상 객체들(420), 및/또는 텍스트들(430)에 대한 입력들을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제5 예시(401) 내지 제7 예시(403)과 같은 화면을 표시하는 동안, 상기 입력들을 식별하고, 상기 입력들에 대응하는 사용자의 시선의 위치들 및/또는 방향들을 식별할 수 있다. 웨어러블 장치(101)는, 상기 입력들의 순서, 상기 시선의 위치들 및/또는 방향들을, 등록 정보로써 메모리(예, 도 2의 메모리(220)) 내에 저장할 수 있다.
도 4에서, 제5 예시(401) 내지 제7 예시(403)와 같이 표현된 화면들에 대해 설명하였으나, 상술한 화면들에 포함된 콘텐트들의 조합에 의해 등록 정보가 식별될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 이벤트에 대응하는 기능을 실행하기 위한 등록 정보를 획득할 수 있다. 예를 들어, 상기 등록 정보는, 휴대폰 단말에서의 패턴을 이용한 비밀번호와 실질적으로 동일할 수 있다. 웨어러블 장치(101)는, 상기 등록 정보를 획득함으로써, 웨어러블 장치(101)의 보안을 강화할 수 있다.
도 5a는, 일 실시예에 따른, 메모리 내에 저장된 정보와 관련된 화면의 일 예를 도시한 다이어그램이다. 도 5b는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다. 도 5a, 및 도 5b의 웨어러블 장치(101)는, 도 1, 도 2, 도 3, 및/또는 도 4의 웨어러블 장치(101)를 포함할 수 있다. 도 5a, 및 도 5b의 동작들은, 도 2의 프로세서(210)에 의해 수행될 수 있다. 이하에서 후술되는 터치 제스처는, 터치 입력을 포함할 수 있다. 상기 터치 제스처는, 사용자 입력으로 참조될 수 있다.
도 5a의 제8 예시(501)는, 웨어러블 장치(101)가 등록 정보를 획득하는 일 예일 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 화면 상에 도 4의 제5 예시(401)와 같은 복수의 부분 영역들(510)을 표시할 수 있다. 웨어러블 장치(101)는, 화면 상에 복수의 부분 영역들(510)을 표시하는 동안, 디스플레이(예, 도 2의 디스플레이(230))가 배치된 제1 면과 반대인 제2 면 상의 접촉을 식별할 수 있다. 웨어러블 장치(101)는, 상기 접촉에 기반하여 터치 제스처를 식별할 수 있다. 웨어러블 장치(101)는, 상기 접촉의 위치에 대응하는 제1 위치(520)에서 제1 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 상기 제1 위치(520)에서 제1 시각적 객체를 표시하는 동안, 상기 제1 면의 일부를 통해 노출된 카메라(예, 도 2의 카메라(240))를 통하여 획득된 이미지로부터 사용자의 시선을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 카메라를 통하여 획득된 이미지에 기반하여 사용자의 시선의 화면 내에서의 제2 위치(530)를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제2 위치(530)를 식별한 것에 기반하여 제2 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 부분 영역(511) 내지 제6 부분 영역(516) 중에서, 제4 색상의 제4 부분 영역(514) 상에서 제1 시각적 객체 및 제2 시각적 객체를 표시할 수 있다.
예를 들어, 웨어러블 장치(101)는, 제4 색상의 제4 부분 영역(514)에서 제1 시각적 객체 및 제2 시각적 객체를 표시한 후에, 제4 부분 영역(514)로부터 제6 부분 영역(516)으로 이동하는 터치 제스처를 식별할 수 있다. 웨어러블 장치(101)는, 제6 색상의 제6 부분 영역(516)으로 이동하는 사용자의 시선을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 제스처의 이동 방향, 및/또는 상기 터치 제스처의 이동 속도를 식별할 수 있다. 웨어러블 장치(101)는, 상기 사용자의 시선의 이동 방향, 및/또는 상기 사용자의 시선의 이동 속도를 식별할 수 있다. 웨어러블 장치(101)는, 제6 색상의 제6 부분 영역(516) 상에, 상기 터치 제스처에 대응하는 제1 시각적 객체(예, 위치(525) 상에 표시된 제1 시각적 객체), 및 상기 사용자의 시선에 대응하는 제2 시각적 객체(예, 위치(535) 상에 표시된 제2 시각적 객체)를 표시할 수 있다. 웨어러블 장치(101)는, 제4 색상의 제4 부분 영역(514) 상에서 표시된 제1 시각적 객체와 제2 시각적 객체, 및 상기 제4 부분 영역(514)으로부터 방향들(523, 533) 각각을 따라 제6 부분 영역(516)으로 이동된 제1 시각적 객체와 제2 시각적 객체에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체가 표시된 부분 영역의 색상을 등록 정보 내에 저장할 수 있다. 웨어러블 장치(101)는, 상기 터치 제스처의 이동 방향, 및/또는 이동 속도를 상기 등록 정보 내에 저장할 수 있다. 웨어러블 장치(101)는, 상기 사용자의 시선의 이동 방향, 및/또는 이동 속도를 상기 등록 정보 내에 저장할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 등록 정보를 메모리(예, 도 2의 메모리(220)) 내에 저장할 수 있다.
도 5b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 이벤트의 식별에 응답하여, 복수의 부분 영역들(510)을 화면의 최상위(top) 레이어에 표시할 수 있다. 제9 예시(502)에서, 웨어러블 장치(101)는, 제4 색상의 제1 부분 영역(511), 제6 색상의 제2 부분 영역(512), 제1 색상의 제3 부분 영역(513), 제3 색상의 제4 부분 영역(514), 제5 색상의 제5 부분 영역(515), 및 제2 색상의 제6 부분 영역(516)을 표시할 수 있다. 웨어러블 장치(101)는, 상기 복수의 부분 영역들(510)을 표시하는 동안, 터치 제스처를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 부분 영역(511)을 선택함을 나타내는 터치 제스처를 식별한 것에 응답하여, 제3 위치(540)에서 제1 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 상기 제1 부분 영역(511)을 향하는 사용자(103)의 시선을 식별한 것에 응답하여, 제4 위치(550)에서 제2 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 상기 제1 부분 영역(511)으로부터 제2 부분 영역(512)으로 이동하는 터치 제스처를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 부분 영역(511)으로부터 제2 부분 영역(512)으로 이동하는 터치 제스처에 응답하여, 제1 시각적 객체를 상기 터치 제스처에 대응하는 방향 및 속도를 이용하여 이동할 수 있다(예, 제3 위치(540)로부터 위치(545)로 이동된 제1 시각적 객체). 웨어러블 장치(101)는, 상기 제1 부분 영역(511)으로부터 제2 부분 영역(512)으로 이동하는 사용자(103)의 시선에 응답하여, 상기 제2 시각적 객체를 상기 사용자(103)의 시선에 대응하는 방향 및 속도를 이용하여 이동할 수 있다(예, 제4 위치(550)로부터 위치(555)로 이동된 제2 시각적 객체).
일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체 및 제2 시각적 객체가 표시된 영역들 각각의 색상과 등록 정보를 비교할 수 있다. 예를 들어, 상기 등록 정보가 도 5a의 제8 예시(501)와 동일하거나 또는 유사한 경우, 웨어러블 장치(101)는, 제4 색상 및 제6 색상과 관련된 데이터를 상기 등록 정보 내에서 식별할 수 있다. 웨어러블 장치(101)는 사용자(103)의 시선을 통해, 제4 색상의 제1 부분 영역(511) 및 제6 색상의 제2 부분 영역(512)에서 시각적 객체들(예, 제1 시각적 객체, 제2 시각적 객체)을 표시하는 것에 기반하여, 이벤트에 대응하는 기능을 실행할 수 있다. 웨어러블 장치(101)는, 등록 정보에 포함된 색상들과 관련된 데이터가 터치 제스처 및 사용자(103)의 시선에 의해 선택된 부분 영역들의 색상들이 동일하거나 또는 유사하므로, 상기 이벤트에 대응하는 기능을 실행할 수 있다.
제10 예시(503)를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 이벤트에 응답하여, 복수의 부분 영역들(510)을 화면의 최상위 레이어에 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 색상의 제1 부분 영역(511), 제2 색상의 제2 부분 영역(512), 제3 색상의 제3 부분 영역(513), 제6 색상의 제4 부분 영역(514), 제5 색상의 제5 부분 영역(515), 및 제4 색상의 제6 부분 영역(516)을 표시할 수 있다. 웨어러블 장치(101)는, 상기 복수의 부분 영역들(510)을 표시하는 동안, 제4 부분 영역(514)을 선택하는 제2 면 상의 터치 제스처를 식별할 수 있다. 웨어러블 장치(101)는, 제4 부분 영역(514)을 향하는 사용자(103)의 시선을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제4 부분 영역(514) 상에, 터치 제스처에 기반한 제1 시각적 객체(예, 위치(560) 상에 표시된 제1 시각적 객체) 및 사용자(103)의 시선에 기반한 제2 시각적 객체(예, 위치(570) 상에 표시된 제2 시각적 객체)를 표시할 수 있다. 웨어러블 장치(101)는, 상기 제4 부분 영역(514)으로부터 제6 부분 영역(516)으로 이동하는 제2 면 상의 터치 제스처를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제4 부분 영역(514)으로부터 제6 부분 영역(516)으로 이동하는 사용자(103)의 시선을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제4 부분 영역(514)으로부터 상기 제6 부분 영역(516)으로 이동하는 제1 시각적 객체(예, 위치(560)로부터 위치(565)로 이동된 제1 시각적 객체), 및 상기 제4 부분 영역(514)으로부터 상기 제6 부분 영역(516)으로 이동하는 제2 시각적 객체(예, 위치(570)로부터 위치(575)로 이동된 제2 시각적 객체)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체 및 제2 시각적 객체가 표시된 부분 영역들의 색상과 등록 정보를 비교할 수 있다. 웨어러블 장치(101)는, 상기 부분 영역들의 색상과 등록 정보에 포함된 색상이 상이함을 식별할 수 있다. 예를 들어, 상기 등록 정보에 제4 색상 및 제6 색상과 관련된 데이터가 포함되고, 시각적 객체들이 표시된 부분 영역들의 색상이 제6 색상과 제4 색상인 경우, 웨어러블 장치(101)는, 상기 색상들이 입력된 순서를 비교할 수 있다. 예를 들어, 등록 정보에서 제4 색상이 제6 색상보다 먼저 식별된 데이터가 포함되고, 이벤트에 응답한 사용자 입력(예, 터치 제스처 및 사용자의 시선)에 의해 제6 색상이 제4 색상보다 먼저 식별된 경우, 웨어러블 장치(101)는, 색상들이 입력된 순서가 상이함을 식별할 수 있다. 웨어러블 장치(101)는, 상기 색상들이 입력된 순서가 상이한 것에 기반하여, 이벤트에 대응하는 기능의 실행을 중단할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 색상들이 입력된 순서가 상이한 것에 응답하여, 상기 이벤트에 대응하는 기능의 실행을 삼가할 수 있다. 웨어러블 장치(101)는, 사용자 입력이 등록 정보에 포함된 위치 정보와 실질적으로 동일하더라도, 색상들에 대한 입력의 순서가 상이하므로, 이벤트에 대응하는 기능의 실행을 삼가할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 사용자 입력 및 등록 정보가 동일한지 여부를 식별할 수 있다. 웨어러블 장치(101)는, 상기 사용자 입력 및 등록 정보에 기반하여, 이벤트에 대응하는 기능을 실행하거나, 중단할 수 있다. 웨어러블 장치(101)는, 상기 사용자 입력 및 등록 정보에 기반하여, 상기 이벤트에 대응하는 기능을 실행함으로써, 웨어러블 장치(101)의 보안을 강화할 수 있다.
도 6a는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다. 도 6b는, 일 실시예에 따른, 메모리 내에 저장된 정보와 관련된 화면의 일 예를 도시한 다이어그램이다. 도 6c는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다. 도 6d는, 일 실시예에 따른, 이벤트의 식별에 기반한 웨어러블 장치의 화면의 일 예를 도시한 다이어그램이다. 도 6a, 도 6b, 도 6c, 및/또는 도 6d의 웨어러블 장치(101)는, 도 1, 도 2, 도 3, 도 4, 도 5a, 도 5b의 웨어러블 장치(101)를 포함할 수 있다. 도 6a, 도 6b, 도 6c, 및/또는 도 6d의 동작들은, 도 2의 프로세서(210)에 의해 수행될 수 있다.
도 6a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 등록 정보를 획득할 수 있다. 예를 들어, 상기 등록 정보는, 디스플레이(예, 도 2의 디스플레이(230))가 배치된 제1 면과 상이한 제2 면 상의 터치 입력(또는 터치 제스처) 및 화면 내에서의 사용자의 시선의 위치에 기반하여 획득될 수 있다. 제11 예시(601)에서, 웨어러블 장치(101)는, 화면 상에 복수의 가상 객체들(610)(예, 제1 가상 객체(611), 제2 가상 객체(612), 제3 가상 객체(613), 제4 가상 객체(614), 및/또는 제5 가상 객체(615))을 표시할 수 있다. 웨어러블 장치(101)는, 등록 정보를 획득하기 위한 이벤트에 기반하여, 상기 복수의 가상 객체들(610)을 표시할 수 있다. 웨어러블 장치(101)는, 상기 복수의 가상 객체들(610)을 표시하는 동안, 상기 복수의 가상 객체들(610)에 대한 사용자 입력을 식별할 수 있다. 예를 들어, 상기 사용자 입력은, 제2 면 상의 터치 입력(또는 제스쳐), 및/또는 사용자의 시선에 의해 식별된 위치에 기반하여 식별될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 화면 상에 복수의 가상 객체들(610)을 포함한 영역을 표시할 수 있다. 웨어러블 장치(101)는, 상기 복수의 가상 객체들(610)을 선택하는 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제2 면 상의 접촉에 기반하여, 상기 제2 면 상의 터치 입력의 제1 위치를 나타내는 제1 시각적 객체(620)를 표시할 수 있다. 웨어러블 장치(101)는, 제2 가상 객체(612)를 선택하는 제1 시각적 객체(620)를 표시할 수 있다. 웨어러블 장치(101)는, 카메라(예, 도 2의 카메라(240))를 통하여 획득된 이미지에 기반하여 사용자의 시선의 화면 내에서의 제2 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제2 위치에 제2 시각적 객체(630)를 표시할 수 있다. 웨어러블 장치(101)는, 상기 제2 가상 객체(612)를 선택하는 터치 입력을 식별한 시점으로부터, 지정된 기간 이내에 상기 터치 입력이 식별된 위치에 인접한 상기 제2 위치를 식별하는 것에 기반하여, 제2 가상 객체(612)에 대한 제1 사용자 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)가 제2 가상 객체(612)에 대한 제1 사용자 입력을 식별하는 시점에서, 상기 시선에 기반하여 표시된 제2 시각적 객체(630) 및 상기 터치 입력에 기반하여 표시된 제1 시각적 객체(620)의 위치가 화면 내에서 서로 중첩되거나, 또는 서로 인접할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제2 면 상의 터치 입력의 제3 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 위치로부터 제3 위치로 이동된 드래그 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 위치에서의 터치 입력을 식별하고, 상기 제1 위치에서의 터치 입력과 구분되는 제2 위치에서의 터치 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제2 위치를 나타내는 제1 시각적 객체(625)를 화면 내에 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제4 시각적 객체(614)를 선택하는 제1 시각적 객체(625)를 표시할 수 있다. 웨어러블 장치(101)는, 카메라를 통하여 획득된 이미지에 기반하여 사용자의 시선의 화면 내에서의 제4 위치를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제4 위치에 제2 시각적 객체(635)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제4 가상 객체(614)를 선택하는 터치 입력을 식별한 시점으로부터, 지정된 기간 이내에 상기 시선에 기반하고, 상기 제4 가상 객체(614)에 포함된, 제4 위치(예, 제2 시각적 객체(635)의 위치)를 식별한 것에 기반하여, 제4 가상 객체(614)에 대한 제2 사용자 입력을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 사용자 입력 및 제2 사용자 입력에 기반하여, 등록 정보를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 사용자 입력 및 상기 제2 사용자 입력이 식별된 순서가 포함된 등록 정보를 획득할 수 있다. 웨어러블 장치(101)는, 상기 등록 정보를, 메모리(예, 도 2의 메모리(220)) 내에 저장할 수 있다.
도 6b를 참고하면, 제12 예시(602)는, 웨어러블 장치(101)의 디스플레이가 배치된 제1 면과 반대인 제2 면(130) 상에서 외부 객체(120)에 의한 터치 제스처를 식별하는 웨어러블 장치(101)의 일 예일 수 있다. 제13 예시(603)는, 웨어러블 장치(101)가 부팅(booted)된 화면(620)의 일 예일 수 있다. 예를 들어, 제13 예시(603)는, 웨어러블 장치(101)가 잠금 상태에서 표시되는 화면(620)의 일 예일 수 있다. 예를 들어, 상기 잠금 상태에서 표시되는 화면(620)은, 잠금 화면으로 참조될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 화면(620)을 표시하는 동안, 상기 화면(620)이 표시되는 디스플레이가 배치된 제1 면과 반대인 제2 면(130) 상의 외부 객체(120)의 접촉을 식별할 수 있다. 웨어러블 장치(101)는, 상기 외부 객체(120)의 접촉에 기반하여, 터치 제스처(또는 터치 입력)을 식별할 수 있다. 제12 예시(602)는, 웨어러블 장치(101)의 제2 면(130) 상에 더블-탭(double-tap) 제스처(645)가 식별된 일 예일 수 있다. 웨어러블 장치(101)는, 상기 더블-탭 제스처(645)에 기반하여, 잠금 상태를 해제하기 위한 화면을 표시할 수 있다.
도 6c를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 도 6b의 더블-탭 제스처(645)에 응답하여, 제14 예시(604)와 같은 복수의 가상 객체들(610)을 표시할 수 있다. 웨어러블 장치(101)는, 상기 복수의 가상 객체들(610)에 대한 입력을 식별할 수 있다. 예를 들어, 상기 더블-탭 제스처(645)는, 웨어러블 장치(101)의 잠금 상태를 해제하기 위한 이벤트일 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제2 면 상의 제1 터치 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제2 면 상의 제1 터치 입력에 응답하여, 상기 제1 터치 입력의 화면에서의 제1 위치(650)를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 터치 입력에 응답하여 상기 제1 위치(650)에서 제1 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 카메라를 통하여 획득된 이미지에 기반하여 사용자의 시선의 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시선 추적 카메라(예, 도 2의 시선 추적 카메라(241))를 이용하여 상기 사용자의 시선의 화면 내에서의 제2 위치(660)를 식별할 수 있다. 웨어러블 장치(101)는, 제1 위치(650)로부터 기준 거리 이내에서 식별된 제2 위치(660)에 응답하여, 상기 제1 터치 입력의 유효함을 식별할 수 있다. 웨어러블 장치(101)는, 제1 위치(650)가 식별된 시점으로부터 지정된 기간 내에 식별된 제2 위치(660)에 응답하여, 제1 터치 입력의 유효함을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 터치 입력에 의해 제2 가상 객체(612)가 선택됨을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제2 면 상의 제2 터치 입력에 기반하여, 상기 제2 터치 입력에 대응하는 제3 위치(655)를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제3 위치(655)에 제1 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 카메라를 통하여 획득된 이미지에 기반하여 사용자의 시선을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시선 추적 카메라를 이용하여 상기 사용자의 시선을 식별할 수 있다. 웨어러블 장치(101)는, 상기 사용자의 시선의 화면 내에서의 제4 위치(665)를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제3 위치(655)가 식별된 시점으로부터 지정된 기간 내에 제4 위치(665)를 식별한 것에 응답하여, 상기 제3 위치(655)에 대한 제2 터치 입력의 유효함을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제3 위치(655)로부터 기준 거리 이내에서, 상기 제4 위치(665)를 식별한 것에 기반하여, 제3 위치(655)에 대한 제2 터치 입력의 유효함을 식별할 수 있다. 웨어러블 장치(101)는, 제1 터치 입력에 의해 제4 시각적 객체(614)가 선택됨을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 터치 입력 및 제2 터치 입력에 의해 선택된 가상 객체들을 등록 정보와 비교할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 등록 정보에 포함된, 가상 객체들이 선택된 순서 및 터치 입력에 의해 가상 객체들이 선택된 순서를 비교할 수 있다. 예를 들어, 도 6a의 제11 예시(601)에서, 웨어러블 장치(101)는, 등록 정보로부터, 제2 가상 객체(612)가 선택된 이후 제4 가상 객체(614)가 선택된 제1 순서를 식별할 수 있다. 도 6c의 제14 예시(604)에서, 웨어러블 장치(101)는, 제1 터치 입력에 의해 제2 가상 객체(612)가 선택된 이후 제2 터치 입력에 의해 선택된 제4 가상 객체(614)를 식별한 제2 순서를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서가 동일한 가상 객체들을 동일한 순서로 선택되었음을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서가 동일한 것에 응답하여, 웨어러블 장치(101)의 잠금 상태를 해제할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서가 동일한 것에 응답하여, 웨어러블 장치(101)의 잠금 해제 기능을 실행할 수 있다.
도 6c의 제15 예시(605)를 참고하면, 상기 잠금 해제 기능의 실행에 기반하여, 웨어러블 장치(101)에 의해 표시되는 화면(670)의 일 예가 도시된다. 화면(670)은, 웨어러블 장치(101)에 의해 제공되고, 웨어러블 장치(101)에 설치된 어플리케이션들의 리스트를 포함하는, 홈 화면을 포함할 수 있다. 화면(670)은, 웨어러블 장치(101)가 잠금 상태로 진입하기 이전에 표시하였던 화면을 포함할 수 있다. 화면(670)은, 웨어러블 장치(101)가 잠금 상태로 진입하기 이전에 실행하였던 어플리케이션으로부터 제공될 수 있다. 실시예가 이에 제한되는 것은 아니며, 화면(670)은, 상기 잠금 해제 기능의 실행에 기반하여 실행되도록 설정된 어플리케이션에 기반하여 표시될 수 있다.
도 6d를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 도 6b의 더블-탭 제스처(645)에 응답하여, 제16 예시(606)와 같은 복수의 가상 객체들(610)을 표시할 수 있다. 웨어러블 장치(101)는, 상기 복수의 가상 객체들(610)에 대한 입력을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제2 면 상의 제3 터치 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제2 면 상의 제3 터치 입력에 응답하여, 상기 제3 터치 입력의 화면에서의 제5 위치(680)를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 제1 터치 입력에 응답하여 상기 제5 위치(680)에서 제1 시각적 객체를 표시할 수 있다. 웨어러블 장치(101)는, 카메라를 통하여 획득된 이미지에 기반하여 사용자의 시선의 위치를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시선 추적 카메라를 이용하여 상기 사용자의 시선의 화면 내에서의 제6 위치(690)를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제5 위치(680)로부터 기준 거리 밖에서 식별된 제6 위치(690)에 응답하여, 잠금 해제 기능의 실행을 중단할 수 있다.
예를 들어, 웨어러블 장치(101)는, 제5 위치(680)에 대한 제3 터치 입력 이후, 제6 위치(685)에서 제4 터치 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 제6 위치(685)에서 제4 터치 입력을 식별한 이후, 지정된 기간 내에 사용자의 시선의 위치가 상기 제6 위치(685)로부터 기준 거리 내에서 식별되지 않음에 기반하여, 상기 제6 위치(685)에서의 제4 터치 입력이 유효하지 않음을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 등록 정보에 포함된 가상 객체들의 종류 및 가상 객체들을 선택한 순서가 터치 입력들에 의해 식별된 가상 객체가 상이한 것에 기반하여, 이벤트에 대응하는 기능의 실행을 중단할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력이 유효하지 않음에 기반하여, 상기 이벤트에 대응하는 기능의 실행을 삼가할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력의 순서가 등록 정보에 포함된 순서와 상이함에 기반하여, 상기 이벤트에 대응하는 기능의 실행을 삼가할 수 있다. 도 6d의 제17 예시(607)는, 잠금 해제 기능을 중단하여, 잠금 상태의 화면(620)을 표시하는, 웨어러블 장치(101)의 일 예일 수 있다.
도 6a, 도 6b, 도 6c, 및/또는 도 6d에서 가상 객체들에 기반하여 이벤트에 대응하는 기능을 실행하는 동작에 관해 상술하였으나, 웨어러블 장치(101)는, 복수의 부분 영역들 및/또는 복수의 텍스트들에 기반하여 이벤트에 대응하는 기능을 실행할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 등록 정보에 포함된 가상 객체들이 선택된 제1 순서를 식별할 수 있다. 웨어러블 장치(101)는, 이벤트에 대응하는 기능을 실행하기 위한 화면 내에서 가상 객체들이 선택된 제2 순서를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서에 기반하여, 상기 이벤트에 대응하는 기능을 실행할지 여부를 식별할 수 있다. 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서가 동일하게 식별된 것에 응답하여, 상기 이벤트에 대응하는 기능을 실행하고, 상기 제1 순서 및 상기 제2 순서가 상이하게 식별된 것에 기반하여, 상기 이벤트에 대응하는 기능의 실행을 중단할 수 있다. 웨어러블 장치(101)는, 상기 제1 순서 및 상기 제2 순서에 기반하여, 이벤트에 대응하는 기능을 실행함으로써, 웨어러블 장치(101)의 보안을 강화할 수 있다.
도 7a는, 일 실시예에 따른, 웨어러블 장치를 도시한 사시도(perspective view)이다. 도 7b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어 부품들의 일 예를 포함하는 사시도이다. 도 7a, 및 도 7b의 웨어러블 장치(700)는, 도 1, 도 2, 도 3, 도 4, 도 5a, 도 5b, 도 6a, 도 6b, 도 6c, 및/또는 도 6d의 웨어러블 장치(101)를 포함할 수 있다. 도 7a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(700)는, 적어도 하나의 디스플레이(750), 및 적어도 하나의 디스플레이(750)를 지지하는 프레임을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(700)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(700)는, 웨어러블 장치(700)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(700)는, 도 7b의 동작 인식 카메라(740-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(750)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른, 웨어러블 장치(700) 내 적어도 하나의 디스플레이(750)는, 사용자에게 시각 정보를 제공할 수 있다. 상기 적어도 하나의 디스플레이(750)는, 도 2의 디스플레이(230)를 포함할 수 있다. 예를 들면, 적어도 하나의 디스플레이(750)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(750)는, 제1 디스플레이(750-1) 및/또는 제1 디스플레이(750-1)로부터 이격된 제2 디스플레이(750-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(750-1), 및 제2 디스플레이(750-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 7b를 참조하면, 적어도 하나의 디스플레이(750)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(700)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(750)에 의해 형성된 표시 영역은, 렌즈의 제1 면(731), 및 제2 면(732) 중 제2 면(732) 상에 형성될 수 있다. 사용자가 웨어러블 장치(700)를 착용하였을 때, 외부 광은 제1 면(731)으로 입사되고, 제2 면(732)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(750)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(750)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(700)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(782, 784), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(733, 734))를 통하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(700)는 적어도 하나의 디스플레이(750)로부터 송신되고, 광학 장치들(782, 784)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(733, 734)을 포함할 수 있다. 웨이브가이드들(733, 734)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(733, 734)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(733, 734)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(733, 734)의 타 단으로 전파될 수 있다. 웨이브가이드들(733, 734)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(733, 734)은, 적어도 하나의 디스플레이(750)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(700) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(733, 734) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(700)는, 촬영 카메라(740-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(750)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(700)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(700)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(700)를 착용한 사용자는, 적어도 하나의 디스플레이(750)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임은, 웨어러블 장치(700)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(700)를 착용하였을 때, 제1 디스플레이(750-1) 및 제2 디스플레이(750-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(750)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(750-1) 및 제2 디스플레이(750-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 7a를 참조하면, 프레임은, 사용자가 웨어러블 장치(700)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(720)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(720)은, 웨어러블 장치(700)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(710)를 포함할 수 있다. 웨어러블 장치(700)가 사용자에 의해 착용될 시, 노즈 패드(710)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(704) 및 제2 템플(705)을 포함할 수 있다.
일 실시예에서, 프레임은, 제1 디스플레이(750-1)의 적어도 일부를 감싸는 제1 림(rim)(701), 제2 디스플레이(750-2)의 적어도 일부를 감싸는 제2 림(702), 제1 림(701)과 제2 림(702) 사이에 배치되는 브릿지(bridge)(703), 브릿지(703)의 일단으로부터 제1 림(701)의 가장자리 일부를 따라 배치되는 제1 패드(711), 브릿지(703)의 타단으로부터 제2 림(702)의 가장자리 일부를 따라 배치되는 제2 패드(712), 제1 림(701)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(704), 및 제2 림(702)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(705)을 포함할 수 있다. 제1 패드(711), 및 제2 패드(712)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(704) 및 제2 템플(705)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(704, 705)은, 도 7b의 힌지 유닛들(706, 707)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(704)은, 제1 림(701)과 제1 템플(704)의 사이에 배치된 제1 힌지 유닛(706)을 통해, 제1 림(701)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(705)은, 제2 림(702)과 제2 템플(705)의 사이에 배치된 제2 힌지 유닛(707)을 통해 제2 림(702)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(700)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(700)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 2의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(770), 안테나 모듈(775), 광학 장치들(782, 784), 스피커들(792-1, 792-2), 마이크들(794-1, 794-2, 794-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(790)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(700)의 마이크들(794-1, 794-2, 794-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(710) 상에 배치된 제1 마이크(794-1), 제2 림(702) 상에 배치된 제2 마이크(794-2), 및 제1 림(701) 상에 배치된 제7 마이크(794-3)가 도 7b 내에 도시되지만, 마이크(794)의 개수, 및 배치가 도 7b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(700) 내에 포함된 마이크(794)의 개수가 두 개 이상인 경우, 웨어러블 장치(700)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 광학 장치들(782, 784)은, 적어도 하나의 디스플레이(750)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(733, 734)로 송신할 수 있다. 예를 들면, 광학 장치들(782, 784)은, 프로젝터일 수 있다. 광학 장치들(782, 784)은, 적어도 하나의 디스플레이(750)에 인접하여 배치되거나, 적어도 하나의 디스플레이(750)의 일부로써, 적어도 하나의 디스플레이(750) 내에 포함될 수 있다. 제1 광학 장치(782)는, 제1 디스플레이(750-1)에 대응하고, 제2 광학 장치(784)는, 제2 디스플레이(750-2)에 대응할 수 있다. 제1 광학 장치(782)는, 제1 디스플레이(750-1)로부터 출력된 광을, 제1 웨이브가이드(733)로 송출할 수 있고, 제2 광학 장치(784)는, 제2 디스플레이(750-2)로부터 출력된 광을, 제2 웨이브가이드(734)로 송출할 수 있다.
일 실시예에서, 카메라(740)는, 시선 추적 카메라(eye tracking camera, ET CAM)(740-1), 동작 인식 카메라(740-2), 및/또는 촬영 카메라(740-3)를 포함할 수 있다. 촬영 카메라(740-3), 시선 추적 카메라(740-1) 및 동작 인식 카메라(740-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 촬영 카메라(740-3), 시선 추적 카메라(740-1) 및 동작 인식 카메라(740-2)는 도 2의 카메라(240)의 일 예일 수 있다. 시선 추적 카메라(740-1)는, 웨어러블 장치(700)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(700)는 시선 추적 카메라(740-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(740-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 7b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(740-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(740-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(750)로 제공할 수 있다. 적어도 하나의 디스플레이(750)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(782, 784)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(701) 및 제2 림(702) 사이에 배치되는 브릿지(703) 상에 배치될 수 있다.
일 실시예에서, 시선 추적 카메라(740-1)는, 웨어러블 장치(700)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(750)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(700)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(750)에 표시할 수 있다. 시선 추적 카메라(740-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(740-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(740-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(740-1)는, 제1 림(701) 및/또는 제2 림(702) 내에서, 웨어러블 장치(700)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에서, 동작 인식 카메라(740-2)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(750)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(740-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(750)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(740-2)는, 제1 림(701) 및/또는 제2 림(702)상에 배치될 수 있다.
일 실시예에서, 웨어러블 장치(700) 내에 포함된 카메라(740)는, 상술된 시선 추적 카메라(740-1), 동작 인식 카메라(740-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(700)는 사용자의 FoV를 향하여 배치된 촬영 카메라(740-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(700)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(700), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(740)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(700)는, 웨어러블 장치(700)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(740)(예, FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(700)는, 카메라(740)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(706, 607) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(770)은, 웨어러블 장치(700)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(770)은, 제1 템플(704) 및/또는 제2 템플(705) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(770)은, 복수의 배터리 모듈(770)들일 수 있다. 복수의 배터리 모듈(770)들은, 각각 제1 템플(704)과 제2 템플(705) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(770)은 제1 템플(704) 및/또는 제2 템플(705)의 단부에 배치될 수 있다.
일 실시예에서, 안테나 모듈(775)은, 신호 또는 전력을 웨어러블 장치(700)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(775)은, 웨어러블 장치(700) 내 통신 회로와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(775)은, 제1 템플(704) 및/또는 제2 템플(705) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(775)은, 제1 템플(704), 및/또는 제2 템플(705)의 일면에 가깝게 배치될 수 있다.
일 실시예에서, 스피커들(792-1, 792-2)은, 음향 신호를 웨어러블 장치(700)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(792-1, 792-2)은, 웨어러블 장치(700)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(704), 및/또는 제2 템플(705) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(700)는, 제1 템플(704) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(792-2), 및 제2 템플(705) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(792-1)를 포함할 수 있다.
일 실시예에서, 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(700)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(700)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(701) 및/또는 제2 림(702) 상에 배치될 수 있다.
도 7b를 참고하면, 일 실시예에 따른, 웨어러블 장치(700)는 PCB(printed circuit board)(790)을 포함할 수 있다. PCB(790)는, 제1 템플(704), 또는 제2 템플(705) 중 적어도 하나에 포함될 수 있다. PCB(790)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(790) 상에서, 웨어러블 장치(700)에 포함된 하나 이상의 하드웨어들(예, 도 2를 참고하여 상술된 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(700)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(700)는, 웨어러블 장치(700)의 자세, 및/또는 웨어러블 장치(700)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(700)는 IMU에 기반하여 웨어러블 장치(700)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.
상술한 바와 같이, 일 실시 예에 따른, 웨어러블 장치(700)는, 디스플레이(750)를 통하여, 가상 현실 서비스와 관련된 화면을 제공하는 동안, 외부 전자 장치의 사용자에 대응하는 제1 가상 객체를 표시할 수 있다. 웨어러블 장치(700)는, 상기 제1 가상 객체 및 웨어러블 장치(700)의 사용자에 대응하는 제2 가상 객체 사이의 거리를 식별할 수 있다. 웨어러블 장치(700)는, 상기 제1 가상 객체 및 상기 제2 가상 객체 사이의 거리가 기준 거리 내인 것에 기반하여, 카메라들(740-1, 740-2)을 활성화할 수 있다. 웨어러블 장치(700)는, 상기 활성화된 카메라들(740-1, 740-2)을 이용하여 획득된 적어도 하나의 이미지에 기반하여, 사용자의 상태를 식별할 수 있다. 웨어러블 장치(700)는, 상기 사용자의 상태를 식별하는 것에 응답하여, 외부 전자 장치에게, 상기 외부 전자 장치의 디스플레이를 통하여 표시된 웨어러블 장치(700)의 사용자에게 대응하는 제2 가상 객체의 상태를, 상기 사용자의 상태에 기반하여 변경하기 위한 데이터를 송신할 수 있다. 웨어러블 장치(700)는, 상기 적어도 하나의 이미지에 기반하여, 상기 제2 가상 객체의 상태를 변경하기 위한 데이터를 송신함으로써, 웨어러블 장치(700) 및 외부 전자 장치의 사용자 경험을 강화할 수 있다.
도 8a, 및 도 8b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한 사시도들이다. 도 8a, 및 도 8b의 웨어러블 장치(800)는, 도 1, 도 2, 도 3, 도 4, 도 5a, 도 5b, 도 6a, 도 6b, 도 6c, 및/또는 도 6d의 웨어러블 장치(101)를 포함할 수 있다. 도 8a, 및 도 8b의 웨어러블 장치(800)는, 도 7a, 및 도 7b의 웨어러블 장치(700)를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(800)의 하우징의 제1 면(810)의 외관의 일 예가 도 8a에 도시되고, 상기 제1 면(810)의 반대되는(opposite to) 제2 면(820)의 외관의 일 예가 도 8b에 도시될 수 있다.
도 8a를 참고하면, 일 실시예에 따른, 웨어러블 장치(800)의 제1 면(810)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(800)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 7a 내지 도 7b의 제1 템플(704), 및/또는 제2 템플(705))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(750-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(750-2)가 제1 면(810) 상에 배치될 수 있다. 웨어러블 장치(800)는 제1 면(810) 상에 형성되고, 상기 제1 디스플레이(750-1), 및 상기 제2 디스플레이(750-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하거나, 및/또는 줄이기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(800)는, 상기 제1 디스플레이(750-1), 및 상기 제2 디스플레이(750-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(840-1, 840-2)을 포함할 수 있다. 상기 카메라들(840-1, 840-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(800)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(840-3, 840-4)을 포함할 수 있다. 상기 카메라들(840-3, 840-4)은, FT 카메라로 참조될 수 있다.
도 8b를 참고하면, 도 8a의 제1 면(810)과 반대되는 제2 면(820) 상에, 웨어러블 장치(800)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(840-5, 840-6, 840-7, 840-8, 840-9, 840-10)), 및/또는 센서(예, 깊이 센서)가 배치될 수 있다. 예를 들어, 카메라들(840-5, 840-6, 840-7, 840-8, 840-9, 840-10)은, 웨어러블 장치(800)와 상이한 외부 객체를 인식하기 위하여, 제2 면(820) 상에 배치될 수 있다. 예를 들어, 카메라들(840-9, 840-10)을 이용하여, 웨어러블 장치(800)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 미디어를 획득할 수 있다. 카메라(840-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(750-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(800)의 제2 면(820) 상에 배치될 수 있다. 카메라(840-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(750-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(800)의 제2 면(820) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(800)는, 웨어러블 장치(800), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(820) 상에 배치된 깊이 센서(830)를 포함할 수 있다. 깊이 센서(830)를 이용하여, 웨어러블 장치(800)는, 웨어러블 장치(800)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
비록 도시되지 않았지만, 웨어러블 장치(800)의 제2 면(820) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
도 9는, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작을 도시한 흐름도이다. 도 9의 웨어러블 장치는, 도 1, 도 2, 도 3, 도 4, 도 5a, 도 5b, 도 6a, 도 6b, 도 6c, 및/또는 도 6d의 웨어러블 장치(101)를 포함할 수 있다. 도 9의 웨어러블 장치는, 도 7a 내지 도 7b의 웨어러블 장치(700) 및/또는 도 8a 내지 도 8b의 웨어러블 장치(800)를 포함할 수 있다.
도 9를 참고하면, 동작 901에서, 일 실시예에 따른, 웨어러블 장치는 프로세서(예: 도 2의 프로세서(210))를 포함할 수 있고, 하우징의 제1 면 상에 배치된 디스플레이(예, 도 2의 디스플레이(230))를 포함할 수 있다. 웨어러블 장치(101)는, 상기 제1 면과 반대인 제2 면 상의 터치 입력을 식별할 수 있다. 웨어러블 장치(101)는, 상기 터치 입력에 응답하여, 상기 터치 입력의 제1 위치를 나타내는 시각적 객체를 화면 내에 표시할 수 있다. 예를 들어, 상기 시각적 객체는, 포인터로 참조될 수 있다. 프로세서는, 하우징의 제1 면에 배치된 디스플레이를 통하여, 제1 면과 반대인 제2 면 상의 터치 입력의 제1 위치를 나타내는 시각적 객체를 화면 내에서 표시할 수 있다.
동작 903에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 터치 입력에 응답하여, 카메라(예, 도 2의 카메라(240))를 통하여 획득된 이미지에 기반하여 사용자의 시선을 식별할 수 있다. 예를 들어, 상기 카메라는, 시선 추적 카메라(예, 도 2의 시선 추적 카메라(241))를 포함할 수 있다. 프로세서는, 상기 카메라를 통해 획득된 이미지에 기반하여 식별된 사용자의 시선의 화면 내에서의 제2 위치를 식별할 수 있다. 예를 들어, 프로세서는, 터치 입력에 응답하여, 카메라를 통하여 획득된 이미지에 기반하여 식별된 사용자의 시선의 화면 내에서의 제2 위치를 식별할 수 있다.
동작 905에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 시각적 객체에 의해 나타나는 제1 위치로부터 기준 거리 이내에서 제2 위치가 식별되는지 여부를 식별할 수 있다. 예를 들어, 프로세서는, 상기 제1 위치가 식별된 시점으로부터 지정된 기간 내에, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 내에서 제2 위치가 식별되는지 여부를 식별할 수 있다.
시각적 객체로부터 기준 거리 이내에서 제2 위치가 식별된 경우(905-예), 동작 907에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 터치 입력에 대한 피드백을 제공할 수 있다. 예를 들어, 프로세서는, 시각적 객체의 제1 위치로부터 기준 거리 이내에서 식별된 제2 위치에 응답하여, 터치 입력에 대한 피드백을 제공할 수 있다. 프로세서는, 제1 위치가 식별된 시점으로부터 지정된 기간 이내에, 제1 위치로부터 기준 거리 내에서 식별된 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공할 수 있다. 예를 들어, 프로세서는, 상기 제2 위치에, 제1 시각적 객체인 상기 시각적 객체와 상이한 제2 시각적 객체를 표시할 수 있다.
상기 시각적 객체의 상기 제1 위치로부터 기준 거리 밖에서 제2 위치가 식별된 경우(905-아니오), 동작 909에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 터치 입력에 대한 피드백의 제공을 중단할 수 있다. 예를 들어, 프로세서는, 시각적 객체의 위치로부터 기준 거리 밖에서 식별된 제2 위치에 응답하여, 터치 입력에 대한 피드백을 제공하는 것을 중단할 수 있다. 예를 들어, 프로세서는, 상기 제1 위치가 식별된 시점으로부터 지정된 기간 후에 제2 위치가 식별되거나, 제1 위치로부터 기준 거리 밖에서 식별된 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백의 제공을 중단할 수 있다. 프로세서는, 제1 위치가 식별된 시점으로부터 지정된 기간 후에 제2 위치가 식별되거나, 및/또는 제1 위치로부터 기준 거리 밖에서 제2 위치를 식별하는 것에 기반하여, 상기 피드백을 제공하기 위하여 상기 제2 면 상의 상기 터치 입력의 접촉을 식별하는 것을 적어도 일시적으로 중단할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는, 터치 입력이 식별된 제1 위치, 및 사용자의 시선의 화면 내에서의 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공할지 여부를 식별할 수 있다. 웨어러블 장치는, 상기 제1 위치 및 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 상기 피드백을 제공함으로써, 웨어러블 장치의 사용자가 원하는 터치 입력에 대한 피드백을 제공할 수 있다.
웨어러블 장치의 디스플레이가 배치된 제1 면과 반대인 제2 면 상의 터치 입력을 사용자가 원하는 경우에 피드백을 제공하기 위한 방안이 요구될 수 있다. 상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(wearable device)는, 하우징, 상기 하우징의 제1 면 상에 배치된 디스플레이, 상기 제1 면의 일부를 통해 노출된 카메라, 상기 제1 면과 반대인 제2 면 상의 접촉을 식별하도록 구성된 터치 센서, 및 상기 하우징 내에 배치되고 프로세싱 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 터치 센서를 이용하여 식별된 상기 제2 면 상의 접촉에 기반하여, 상기 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 상기 디스플레이를 통해 표시하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 터치 입력에 응답하여, 상기 카메라를 통하여 획득된 이미지에 기반하여 식별된 사용자의 시선의 상기 화면 내에서의 제2 위치를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하기 위하여 상기 제2 면의 상기 접촉을 식별하는 것을 적어도 일시적으로 중단하도록, 구성될 수 있다.
일 실시예에 따른, 상기 시각적 객체는 제1 시각적 객체일 수 있다. 적어도 하나의 프로세서는, 상기 사용자의 시선의 상기 화면 내에서의 상기 제2 위치에 제2 시각적 객체를 표시하도록, 구성될 수 있다.
일 실시예에 따른, 적어도 하나의 프로세서는, 상기 제1 시각적 객체 및 상기 제2 시각적 객체 각각의 색상을 상이하게 표시 하도록, 구성될 수 있다.
일 실시예에 따른, 적어도 하나의 프로세서는, 이벤트를 식별한 것에 기반하여, 상기 화면 내에 가상 객체들을 표시하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 가상 객체들에 대한 상기 터치 입력의 순서에 기반하여, 상기 이벤트에 대응하는 기능을 실행하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치는, 메모리를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 가상 객체들에 대한 상기 터치 입력의 상기 순서와 관련된 정보를, 상기 메모리 내에 저장하도록, 구성될 수 있다.
일 실시예에 따른, 상기 순서는 제1 순서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 메모리 내에 저장된 상기 제1 순서와 관련된 정보에 기반하여, 상기 제1 순서와 상이한 제2 순서의 터치 입력을 식별한 것에 응답하여, 상기 이벤트에 대응하는 상기 기능의 실행을 중단하도록, 구성될 수 있다.
일 실시예에 따른, 적어도 하나의 프로세서는, 상기 시각적 객체로부터 상기 기준 거리 이내에서 지정된 기간(duration)동안 상기 제2 위치를 식별한 것에 기반하여, 상기 터치 입력에 대한 상기 피드백을 제공하도록, 구성될 수 있다.
일 실시예에 따른, 적어도 하나의 프로세서는, 상기 터치 입력을 포함하는 터치 제스처를 식별한 것에 기반하여, 상기 터치 제스처가 입력된 제1 방향을 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 상기 제1 방향에 대응하는 상기 사용자의 시선이 이동된 제2 방향에 기반하여, 상기 피드백을 제공하도록, 구성될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(wearable device)의 방법은, 하우징의 제1 면 상에 배치된 디스플레이를 통하여, 상기 제1 면과 반대인 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 터치 입력에 응답하여, 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하기 위하여 상기 제2 면의 상기 접촉을 식별하는 것을 적어도 일시적으로 중단하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 시각적 객체는 제1 시각적 객체일 수 있다. 상기 방법은, 상기 시선의 상기 화면 내에서의 상기 제2 위치에 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 상기 제1 시각적 객체 및 상기 제2 시각적 객체 각각의 색상을 상이하게 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 이벤트를 식별한 것에 기반하여, 상기 화면 상에 가상 객체들을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 가상 객체들에 대한 상기 터치 입력의 순서에 기반하여, 상기 이벤트에 대응하는 기능을 실행하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 상기 가상 객체들에 대한 상기 터치 입력의 상기 순서와 관련된 정보를, 메모리 내에 저장하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 순서는 제1 순서를 포함할 수 있다. 상기 방법은, 상기 메모리 내에 저장된 상기 제1 순서와 관련된 상기 정보에 기반하여, 상기 제1 순서와 상이한 제2 순서의 터치 입력을 식별한 것에 응답하여, 상기 이벤트에 대응하는 상기 기능의 실행을 중단하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 상기 시각적 객체로부터 상기 기준 거리 이내에서 지정된 기간(duration)동안 상기 제2 위치를 식별한 것에 기반하여, 상기 터치 입력에 대한 상기 피드백을 제공하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 상기 터치 입력을 포함하는 터치 제스처를 식별한 것에 기반하여, 상기 터치 제스처가 입력된 제1 방향을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 방향에 대응하는 상기 시선이 이동된 제2 방향에 기반하여, 상기 피드백을 제공하는 동작을 포함할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 하나 이상의 프로그램들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 하나 이상의 프로그램들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 하우징의 제1 면 상에 배치된 디스플레이를 통하여, 상기 제1 면과 반대인 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 표시하도록, 상기 웨어러블 장치 를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 터치 입력에 응답하여, 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하기 위하여 상기 제2 면의 상기 제2 접촉을 식별하는 것을 적어도 일시적으로 중단하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 시각적 객체는 제1 시각적 객체를 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 사용자의 시선의 상기 화면 내에서의 상기 제2 위치에 제2 시각적 객체를 표시하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 제1 시각적 객체 및 상기 제2 시각적 객체 각각의 색상을 상이하게 표시하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 이벤트를 식별한 것에 기반하여, 상기 화면 상에 가상 객체들을 표시하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 가상 객체들에 대한 상기 터치 입력의 순서에 기반하여, 상기 이벤트에 대응하는 기능을 실행하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 가상 객체들에 대한 상기 터치 입력의 상기 순서와 관련된 정보를, 메모리 내에 저장하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 순서는 제1 순서를 포함할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 메모리 내에 저장된 상기 제1 순서와 관련된 상기 정보에 기반하여, 상기 제1 순서와 상이한 제2 순서의 터치 입력을 식별한 것에 응답하여, 상기 이벤트에 대응하는 상기 기능의 실행을 중단하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 시각적 객체로부터 상기 기준 거리 이내에서 지정된 기간(duration) 동안 상기 제2 위치를 식별한 것에 기반하여, 상기 터치 입력에 대한 상기 피드백을 제공하도록, 상기 웨어러블 장치를 야기할 수 있다.
일 실시예에 따른, 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 터치 입력을 포함하는 터치 제스처를 식별한 것에 기반하여, 상기 터치 제스처가 입력된 제1 방향을 식별하도록, 상기 웨어러블 장치를 야기할 수 있다. 상기 하나 이상의 프로그램들은, 상기 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 때에, 상기 제1 방향에 대응하는 상기 시선이 이동된 제2 방향에 기반하여, 상기 피드백을 제공하도록, 상기 웨어러블 장치를 야기할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 다양한 예시적인 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 본 개시의 특허청구범위의 범위에 속한다. 또한, 여기에 개시된 어느 실시예(들)도 여기에 개시된 어느 다른 실시예(들)과 결합되도록 이용되는 것으로 이해되어야 한다.

Claims (15)

  1. 웨어러블 장치(wearable device)에 있어서,
    하우징;
    프로세싱 회로를 포함하는 적어도 하나의 프로세서;
    상기 하우징의 제1 면 상에 배치된 디스플레이;
    상기 제1 면의 일부를 통해 노출된 카메라; 및
    상기 제1 면과 반대인 제2 면 상의 접촉을 식별하도록 구성된 위한 터치 센서를 포함하고,
    처리 회로를 포함하는, 적어도 하나의 프로세서는,
    상기 터치 센서를 이용하여 식별된 상기 제2 면 상의 접촉에 기반하여, 상기 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 상기 디스플레이를 통해 표시하기 위하여, 상기 디스플레이를 제어하고;
    상기 터치 입력에 응답하여, 상기 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하고;
    상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하고; 및
    상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하는 것을 중단하도록, 구성된,
    웨어러블 장치.
  2. 제1 항에 있어서,
    상기 시각적 객체는 제1 시각적 객체를 포함고,
    적어도 하나의 프로세서는,
    상기 사용자의 시선의 상기 화면 내에서의 상기 제2 위치에 제2 시각적 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성된,
    웨어러블 장치.
  3. 제2 항에 있어서,
    적어도 하나의 프로세서는,
    상기 제1 시각적 객체 및 상기 제2 시각적 객체 각각의 색상을 상이하게 표시하기 위하여, 상기 디스플레이를 제어하도록, 구성된,
    웨어러블 장치.
  4. 제1 항에 있어서,
    적어도 하나의 프로세서는,
    이벤트를 식별한 것에 기반하여, 상기 화면 내에 가상 객체들을 표시하기 위하여, 상기 디스플레이를 제어하고; 및
    상기 가상 객체들에 대한 상기 터치 입력의 순서에 기반하여, 상기 이벤트에 대응하는 기능을 실행하도록, 구성된,
    웨어러블 장치.
  5. 제4 항에 있어서,
    메모리를 더 포함하고;
    적어도 하나의 프로세서는,
    상기 가상 객체들에 대한 상기 터치 입력의 상기 순서와 관련된 정보를, 상기 메모리 내에 저장하도록, 구성된,
    웨어러블 장치.
  6. 제5 항에 있어서,
    상기 순서는 제1 순서를 포함하고,
    적어도 하나의 프로세서는,
    상기 메모리 내에 저장된 상기 제1 순서와 관련된 정보에 기반하여, 상기 제1 순서와 상이한 제2 순서의 터치 입력을 식별한 것에 응답하여, 상기 이벤트에 대응하는 상기 기능의 실행을 중단하도록, 구성된,
    웨어러블 장치.
  7. 제1 항에 있어서,
    적어도 하나의 프로세서는,
    상기 시각적 객체로부터 상기 기준 거리 이내에서 지정된 기간(duration)동안 상기 제2 위치를 식별한 것에 기반하여, 상기 터치 입력에 대한 상기 피드백을 제공하도록, 구성된,
    웨어러블 장치.
  8. 제1 항에 있어서,
    적어도 하나의 프로세서는,
    상기 터치 입력을 포함하는 터치 제스처를 식별한 것에 기반하여, 상기 터치 제스처가 입력된 제1 방향을 식별하고; 및
    상기 제1 방향에 대응하는 상기 사용자의 시선이 이동된 제2 방향에 기반하여, 상기 피드백을 제공하도록, 구성된,
    웨어러블 장치.
  9. 웨어러블 장치(wearable device)의 방법에 있어서,
    하우징의 제1 면 상에 배치된 디스플레이를 통하여, 상기 제1 면과 반대인 제2 면 상의 터치 입력의 제1 위치(position)를 나타내는 시각적 객체를 화면 내에서 표시하는 동작;
    상기 터치 입력에 응답하여, 카메라를 통하여 획득된 이미지에 기반하여 식별된 시선의 상기 화면 내에서의 제2 위치를 식별하는 동작;
    상기 시각적 객체의 상기 제1 위치로부터 기준 거리 이내에서 식별된 상기 제2 위치에 응답하여, 상기 터치 입력에 대한 피드백을 제공하는 동작; 및
    상기 제1 위치로부터 상기 기준 거리 밖에서 식별된 상기 제2 위치에 응답하여, 상기 피드백을 제공하는 것을 중단하는 동작을 포함하는,
    방법.
  10. 제9 항에 있어서,
    상기 시각적 객체는 제1 시각적 객체를 포함하고,
    상기 방법은,
    상기 시선의 상기 화면 내에서의 상기 제2 위치에 제2 시각적 객체를 표시하는 동작을 포함하는,
    방법.
  11. 제10 항에 있어서,
    상기 방법은,
    상기 제1 시각적 객체 및 상기 제2 시각적 객체 각각의 색상을 상이하게 표시하는 동작을 포함하는,
    방법.
  12. 제9 항에 있어서,
    상기 방법은,
    이벤트를 식별한 것에 기반하여, 상기 화면 상에 가상 객체들을 표시하는 동작; 및
    상기 가상 객체들에 대한 상기 터치 입력의 순서에 기반하여, 상기 이벤트에 대응하는 기능을 실행하는 동작을 포함하는,
    방법.
  13. 제12 항에 있어서,
    상기 방법은,
    상기 가상 객체들에 대한 상기 터치 입력의 상기 순서와 관련된 정보를, 메모리 내에 저장하는 동작을 포함하는,
    방법.
  14. 제13 항에 있어서,
    상기 순서는 제1 순서를 포함하고,
    상기 방법은,
    상기 메모리 내에 저장된 상기 제1 순서와 관련된 상기 정보에 기반하여, 상기 제1 순서와 상이한 제2 순서의 터치 입력을 식별한 것에 응답하여, 상기 이벤트에 대응하는 상기 기능의 실행을 중단하는 동작을 포함하는,
    방법.
  15. 제9 항에 있어서,
    상기 방법은,
    상기 시각적 객체로부터 상기 기준 거리 이내에서 지정된 기간(duration)동안 상기 제2 위치를 식별한 것에 기반하여, 상기 터치 입력에 대한 상기 피드백을 제공하는 동작을 포함하는,
    방법.
PCT/KR2024/000872 2023-03-28 2024-01-17 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법 Ceased WO2024204986A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP24780981.7A EP4671943A4 (en) 2023-03-28 2024-01-17 PORTABLE DEVICE FOR PROVIDING FEEDBACK TO TOUCH INPUT AND ASSOCIATED METHOD
US18/429,918 US12353627B2 (en) 2023-03-28 2024-02-01 Head-wearable electronic, method, and non-transitory computer readable storage medium for executing function based on identification of contact point and gaze point

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20230040595 2023-03-28
KR10-2023-0040595 2023-03-28
KR10-2023-0063203 2023-05-16
KR1020230063203A KR20240145852A (ko) 2023-03-28 2023-05-16 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/429,918 Continuation US12353627B2 (en) 2023-03-28 2024-02-01 Head-wearable electronic, method, and non-transitory computer readable storage medium for executing function based on identification of contact point and gaze point

Publications (1)

Publication Number Publication Date
WO2024204986A1 true WO2024204986A1 (ko) 2024-10-03

Family

ID=92907012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/000872 Ceased WO2024204986A1 (ko) 2023-03-28 2024-01-17 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2024204986A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335321A1 (en) * 2012-06-13 2013-12-19 Sony Corporation Head-mounted video display device
KR20160111904A (ko) * 2014-01-23 2016-09-27 소니 주식회사 화상 표시 장치 및 화상 표시 방법
US20190056861A1 (en) * 2016-01-26 2019-02-21 Adobe Inc. Input techniques for virtual reality headset devices with front touch screens
WO2021131023A1 (ja) * 2019-12-27 2021-07-01 マクセル株式会社 ヘッドマウント型情報出力装置
WO2022258348A1 (en) * 2021-06-09 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Method, system, and computer program for touch stabilization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335321A1 (en) * 2012-06-13 2013-12-19 Sony Corporation Head-mounted video display device
KR20160111904A (ko) * 2014-01-23 2016-09-27 소니 주식회사 화상 표시 장치 및 화상 표시 방법
US20190056861A1 (en) * 2016-01-26 2019-02-21 Adobe Inc. Input techniques for virtual reality headset devices with front touch screens
WO2021131023A1 (ja) * 2019-12-27 2021-07-01 マクセル株式会社 ヘッドマウント型情報出力装置
WO2022258348A1 (en) * 2021-06-09 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Method, system, and computer program for touch stabilization

Similar Documents

Publication Publication Date Title
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2022055204A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2022196869A1 (ko) 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024136383A1 (ko) 외부 전자 장치에 의해 제공되는 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
US12353627B2 (en) Head-wearable electronic, method, and non-transitory computer readable storage medium for executing function based on identification of contact point and gaze point
WO2024204986A1 (ko) 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법
WO2025033754A1 (ko) 반사체를 포함하는 외부 공간에 대한 정보를 획득하기 위한 웨어러블 장치 및 그 방법
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024090896A1 (ko) 휠을 포함하는 웨어러블 전자 장치
WO2024122801A1 (ko) 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법
WO2024043564A1 (ko) 제 1 렌즈 상에 배치되는 발광 소자를 포함하는 렌즈 어셈블리 및 이를 포함하는 웨어러블 전자 장치
CN121057991A (zh) 用于使用手势移动虚拟对象的可穿戴设备及其方法
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2024204985A1 (ko) 외부 객체에 의한 터치 입력을 인식하기 위한 웨어러블 장치 및 그 방법
KR20240145852A (ko) 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
WO2025009720A1 (ko) 엘이디를 제어하기 위한 데이터 세트들의 순서를 조절하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025023474A1 (ko) 가상 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 매체
WO2024177293A1 (ko) 디스플레이를 통해 표시되는 가상 공간 상에 외부 공간에 대응하는 이미지를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024128728A1 (ko) 임계 거리 내에 포함된 시각적 객체들을 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024228464A1 (ko) 가상 객체의 가시성을 조절하는 시각적 객체를 표시하기 위한 웨어러블 장치 및 그 방법
WO2025110461A1 (ko) 외부 객체에 기반하여 하나 이상의 가상 객체를 표시하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024128843A1 (ko) 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24780981

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024780981

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024780981

Country of ref document: EP

Effective date: 20250923

ENP Entry into the national phase

Ref document number: 2024780981

Country of ref document: EP

Effective date: 20250923

WWP Wipo information: published in national office

Ref document number: 2024780981

Country of ref document: EP