WO2024090914A1 - 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법 - Google Patents

가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법 Download PDF

Info

Publication number
WO2024090914A1
WO2024090914A1 PCT/KR2023/016427 KR2023016427W WO2024090914A1 WO 2024090914 A1 WO2024090914 A1 WO 2024090914A1 KR 2023016427 W KR2023016427 W KR 2023016427W WO 2024090914 A1 WO2024090914 A1 WO 2024090914A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
visual object
avatar
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/016427
Other languages
English (en)
French (fr)
Inventor
이화준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230140766A external-priority patent/KR20240058013A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP23883020.2A priority Critical patent/EP4592809A4/en
Priority to CN202380070056.1A priority patent/CN119895373A/zh
Priority to US18/384,459 priority patent/US12266056B2/en
Publication of WO2024090914A1 publication Critical patent/WO2024090914A1/ko
Priority to US19/067,550 priority patent/US20250200899A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • This disclosure relates to an electronic device and method for displaying changes to a virtual object.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a display, a processor, and memory for storing instructions.
  • the instructions when executed by the processor, may cause the wearable device to display the virtual space on the display based on receiving an input to enter the virtual space.
  • the instructions when executed by the processor, may cause the wearable device to display, within the virtual space, a first avatar that has a first appearance and is a current representation of the user. there is.
  • the instructions when executed by the processor, cause the wearable device to create visual output for a second avatar that has a second appearance that is different from the first appearance of the first avatar and is a previous representation of the user.
  • An object may be caused to be displayed in the virtual space together with the first avatar.
  • a non-transitory computer readable storage medium may be configured to store instructions.
  • the instructions when executed by the at least one processor of the wearable device, cause the at least one to display the virtual space on the display of the virtual wearable device based on receiving an input for entering the virtual space. This can cause the processor.
  • the instructions when executed by the at least one processor of the wearable device, cause the at least one processor to display in the virtual space a first avatar that has a first appearance and is a current representation of the user. can do.
  • the instructions when executed by at least one processor of a wearable device, generate a visual object for a second avatar that is a past representation of the user and has a second appearance that is different from the first appearance of the first avatar. and cause the at least one processor to display within the virtual space with a first avatar.
  • a method of an electronic device including a display, memory, and processor.
  • the method may include displaying the virtual space on the display based on receiving an input for entering the virtual space.
  • the method may include displaying a first avatar, which has a first appearance and is a current representation of the user, within the virtual space.
  • the method includes creating a visual object for a second avatar, which has a second appearance different from the first appearance of the first avatar and is a previous representation of the user, in the virtual space together with the first avatar. It may include a display action.
  • a wearable device may include a display, a memory for storing instructions, and at least one processor for executing the instructions.
  • the at least one processor may be configured to receive information from an external electronic device associated with an avatar located within the virtual space based on an input indicating entry into the virtual space.
  • the at least one processor may be configured to display at least a portion of the virtual space including a first avatar in a first appearance based on receiving the information.
  • a non-transitory computer readable storage medium may be configured to store instructions.
  • the instructions when executed by at least one processor of the wearable device, are configured to: receive information from an external electronic device associated with an avatar located within the virtual space based on an input indicating entry into the virtual space; may cause the processor to The instructions, when executed by the at least one processor, cause the at least one to display at least a portion of the virtual space that includes a first avatar of a first appearance based on receiving the information.
  • the instructions when executed by the at least one processor, with the avatar based on the information further comprising the avatar in a second appearance that was displayed by the wearable device prior to identifying the input, and cause the at least one processor to display a visual object representing the avatar in the second appearance.
  • a method of an electronic device may include identifying information about an avatar within a virtual space based on a request from a wearable device to enter the virtual space.
  • the method based on identifying the information of the first appearance of the avatar, determines that the second appearance of the avatar displayed by the wearable device prior to the request is different from the first appearance of the avatar. Based on the identification, transmitting the information including the avatar in the first appearance and a change history of the avatar from the first appearance to the second appearance to the wearable device.
  • the method may further include, based on identifying the information of the first avatar of the first appearance, identifying that the first appearance of the avatar is the same as the second appearance, 1 may include transmitting the information including the avatar in appearance to the wearable device.
  • an electronic device may include a display, a communication circuit, and a processor.
  • the processor may be configured to display a first visual object representing a user in the display based on information received from an external electronic device connected through the communication circuit.
  • the processor may be configured to identify, based on the information, the number of times the first visual object was displayed through the display.
  • the processor may be configured to display, within the display, along with the first visual object, a second visual object representing the user before the first visual object, based on identifying the number of times less than a specified number of times. You can.
  • a method of an electronic device includes displaying a first visual object representing a user within a display of the electronic device based on information received from an external electronic device connected through a communication circuit of the electronic device.
  • the method may include an operation of identifying the number of times the first visual object is displayed through the display, based on the information.
  • the method includes displaying a second visual object representing the user before the first visual object within the display, together with the first visual object, based on identifying less than a specified number of times. can do.
  • an electronic device may include a display, a communication circuit, and a processor.
  • the processor may be configured to display a first visual object included in a virtual space and representing the second user to the first user of the electronic device through the display.
  • the processor may be configured to obtain information indicating a visual object that has been browsed by the first user from an external electronic device through the communication circuit. the processor to display the second visual object along with the first visual object displayed to the first user based on identifying, from the information, a second visual object that is different from the first visual object, It can be configured.
  • a method of an electronic device may include displaying a first visual object included in a virtual space and representing a second user to a first user of the electronic device.
  • the method may include obtaining information indicating a visual object that has been browsed by the first user from an external electronic device.
  • the method further comprises displaying, based on identifying, from the information, a second visual object that is different from the first visual object, the second visual object along with the first visual object displayed to the first user. may include.
  • FIG. 1 illustrates an example of a user interface (UI) displayed by an electronic device based on information obtained from an external electronic device, according to an embodiment.
  • UI user interface
  • Figure 2 is a block diagram of an electronic device, according to one embodiment.
  • FIG. 3 illustrates an example of an operation in which an electronic device displays at least a portion of a virtual space, according to an embodiment.
  • FIGS. 4A, 4B, and 4C illustrate an example of an operation in which an electronic device displays a visual object representing a virtual object, according to an embodiment.
  • FIGS. 5A and 5B illustrate an example of an operation in which an electronic device displays a visual object based on a history of virtual object changes, according to an embodiment.
  • FIG. 6 illustrates an example of an operation in which an electronic device identifies an input for a visual object corresponding to a virtual object, according to an embodiment.
  • Figure 7 shows an example of a signal flow diagram between an electronic device and an external electronic device, according to an embodiment.
  • Figure 8 shows an example of a flow chart for an electronic device, according to one embodiment.
  • Figure 9 shows an example of a flow chart for an electronic device, according to an embodiment.
  • Figure 10 is an example diagram of a first embodiment environment in which metaverse services are provided through a server.
  • Figure 11 is an example diagram of a second embodiment environment in which the metaverse service is provided through direct connection between user terminals and the second terminal.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 illustrates an example of a user interface (UI) displayed by an electronic device based on information obtained from an external electronic device, according to an embodiment.
  • UI user interface
  • 1 is a diagram illustrating a plurality of electronic devices connected to each other based on a network. Referring to FIG. 1, an example situation in which a first electronic device 101-1, a second electronic device 101-2, and a third electronic device 120 are connected to each other based on a wired network and/or a wireless network. This is shown. Hardware components included in the plurality of electronic devices of FIG. 1 will be described with reference to FIG. 2 .
  • the wired network may include a network such as the Internet, a local area network (LAN), a wide area network (WAN), Ethernet, or a combination thereof.
  • the wireless network is a network such as long term evolution (LTE), 5g new radio (NR), wireless fidelity (WiFi), Zigbee, near field communication (NFC), Bluetooth, bluetooth low-energy (BLE), or a combination thereof. may include.
  • LTE long term evolution
  • NR 5g new radio
  • WiFi wireless fidelity
  • Zigbee wireless fidelity
  • NFC near field communication
  • BLE bluetooth low-energy
  • the plurality of electronic devices in FIG. 1 are shown as being directly connected, the plurality of electronic devices include one or more intermediate nodes (e.g., a router and/or an access point (AP)). It can be indirectly connected through .
  • AP access point
  • the first electronic device 101-1 and the second electronic device 101-2 are used by users (e.g., the first user 110-1 and the second user 110-2). It may be a terminal owned by a user (110) including each. Terminals may include, for example, personal computers (PCs) such as laptops and desktops, smartphones, smartpads, and/or tablet PCs. The terminal may include smart accessories such as a smartwatch and/or a head-mounted device (HMD). Referring to FIG. 1 , example forms of a first electronic device 101-1 and a second electronic device 101-2 having a HMD form factor are shown, but the embodiment is not limited thereto. Hereinafter, a terminal including the first electronic device 101-1 and the second electronic device 101-2 may be referred to as the electronic device 101. Users 110 of the electronic device 101 may be subscribers to a service provided by the third electronic device 120.
  • PCs personal computers
  • HMD head-mounted device
  • the third electronic device 120 may include a service provider's server.
  • a server may include one or more PCs and/or workstations.
  • the service provider may operate video conference and/or metaverse services as services that enhance interconnectivity between subscribers.
  • the third electronic device 120 may be referred to as an external electronic device 120.
  • the electronic device 101 may provide a user experience based on the virtual space 140 to the user 110 of the electronic device 101.
  • the electronic device 101 may communicate with the external electronic device 120 to obtain information about the virtual space 140.
  • the electronic device 101 may output an audio signal related to the virtual space 140.
  • the electronic device 101 may output vibration related to the virtual space 140.
  • the external electronic device 120 may provide functions related to an immersive service platform using at least one virtual space (eg, virtual space 140).
  • the external electronic device 120 is located within a virtual space 140 formed along a coordinate system (e.g., a two-dimensional coordinate system or a three-dimensional coordinate system) formed by a plurality of axes (e.g., x-axis, y-axis, and/or z-axis).
  • the above virtual objects can be arranged.
  • a first virtual object 130-1 and a second virtual object 130-2 arranged by the external electronic device 120 in the virtual space 140 are shown.
  • the external electronic device 120 based on a signal (e.g., a signal for accessing the virtual space 140) received from the electronic device 101, within the virtual space 140, the user of the electronic device 101
  • a signal e.g., a signal for accessing the virtual space 140
  • An avatar representing (110) can be placed.
  • the avatar may be referred to as a character.
  • an avatar may be created using information related to the user.
  • An avatar is a combination of three dimensional graphical objects, for example, a virtual object representing one or more clothes and body parts (e.g., a part of the user such as the upper body and/or body parts), as described below. or a combination of virtual objects representing the user's entire body).
  • An avatar may be created by the electronic device 101 that receives user input for combining or modifying one or more virtual objects. The embodiment is not limited thereto, and the avatar may be created by the electronic device 101 receiving a photo representing the user's face and/or body parts.
  • the first virtual object 130-1 is an avatar representing the user 110-1 of the first electronic device 101-1
  • the second virtual object 130-2 may be an avatar representing the user 110-2 of the second electronic device 101-2.
  • the position, size, and/or shape of the avatar within the virtual space 140 may be changed by a signal transmitted from the electronic device 101 to the external electronic device 120.
  • the electronic device 101 may transmit the signal to the external electronic device 120 based on the input of the user 110 corresponding to the avatar.
  • the input of the user 110 may include an input instructing to move the avatar within the virtual space 140.
  • Virtual objects placed within the virtual space 140 are not limited to avatars, and the external electronic device 120 may include other virtual objects (e.g., terrain and/or A virtual object representing a building) can be placed.
  • the electronic device 101 may display at least a portion of the virtual space 140 on the screen.
  • a portion of the virtual space 140 displayed by the first electronic device 101-1 on the screen 150-1 of the first electronic device 101-1 is shown as an example.
  • a portion of the virtual space 140 displayed on the screen 150-1 of the first electronic device 101-1 is a virtual space 140 included within the viewing angle of the first virtual object 130-1.
  • the first virtual object 130-1 may be an avatar representing the user 110-1 of the first electronic device 101-1.
  • a second virtual object 130-2 is represented.
  • a visual object 160-2 may be displayed on the screen 150-1 of the first electronic device 110-1.
  • the second visual object 160-2 represents the second virtual object 130-2
  • the second visual object 160-2 is displayed on the screen 150-1 of the first electronic device 101-1. Please note that they are listed separately within ).
  • the second virtual object 130-2 is a three-dimensional object based on a three-dimensional coordinate system
  • the second visual object 160-2 is a view of the first virtual object 130-1 within the virtual space 140. It may be an image of the second virtual object 130-2 projected onto an angle.
  • a portion of the virtual space 140 displayed by the second electronic device 101-2 on the screen 150-2 of the second electronic device 101-2 is shown as an example.
  • the first visual object 160-1 representing the first virtual object 130-1 may be displayed.
  • the first visual object 160-1 represents the first virtual object 130-1
  • the first visual object 160-1 is displayed on the screen 150-2 of the second electronic device 101-2. Please note that they are listed separately within ).
  • the electronic device 101 including the first electronic device 101-1 and the second electronic device 101-2, provides a virtual space 140 to the user 110 of the electronic device 101. ), and may display a visual object representing a user different from the user 110 of the electronic device 101.
  • the electronic device 101 displays a visual object corresponding to a user other than the user 110 of the electronic device 101 to the user 110, and then displays a virtual object corresponding to the visual object.
  • Objects e.g., avatars
  • the first electronic device 101-1 displays a second virtual object 130-2 within the screen 150-1 that displays the second visual object 160-2.
  • the object 130-2 may display a visual object 170 based on the change history.
  • the second virtual object 130-2 is an avatar corresponding to the user 110-2
  • the first electronic device 101-1 displays a history of changes to the avatar in the visual object 170. can do.
  • a visual object 170 having the shape of a bubble is shown, but the embodiment is not limited thereto.
  • the first electronic device 101-1 is sent to the first user 110-1 before the second virtual object 130-2 corresponding to the second visual object 160-2.
  • a visual object 172 representing another virtual object that has been displayed may be displayed.
  • the visual object 172 is a representation of the second user 110-2 before the second virtual object 130-2 corresponding to the second visual object 160-2.
  • the other virtual object displayed through the display of the electronic device 101-1 may be indicated.
  • the first electronic device 101-1 displays text (e.g., year-month) guiding the timing or moment at which the avatar corresponding to the second user 110-2 changed.
  • the first electronic device 101-1 guides the location within the virtual space 140 where the first user 110-1 and the second user 110-2 interacted.
  • Can display text e.g., “Last Meeting: A Virtual Space”.
  • the first electronic device 101-1 may display a visual object 174 in the form of a button including designated text (eg, confirmation). The first electronic device 101-1 may stop displaying the visual object 170 in response to an input indicating selection of the visual object 174.
  • a second virtual object ( At least part of 130-2) can be changed.
  • the external electronic device 120 and/or the first electronic device 101-1 displays at least a portion of the second virtual object 130-2 through the display of the first electronic device 101-1 (e.g., In the state of the second visual object 160-2, it may be identified whether the second user 110-2 has changed at least part of the second virtual object 130-2.
  • the first electronic device 101-1 changes the at least a part of the second virtual object 130-2. It can be identified that changes have been made.
  • the first electronic device 101-1 displays a first visual object 160-2 within the first viewpoint, together with a second visual object 160-2 representing a second virtual object 130-2 within the third viewpoint.
  • a visual object 172 that has been browsed by the user 110-1 may be displayed.
  • the first electronic device 101-1 creates a virtual space representing the second user 101-2 ( 140)
  • the change history of my second virtual object 130-2 can be visualized. Because the first electronic device 101-1 visualizes the history of changes to the second virtual object 130-2, the first user 110-1 of the first electronic device 101-1 displays the history. Based on this, the second visual object 160-2 corresponding to the second virtual object 130-2 corresponding to the second user 110-2 can be identified more quickly.
  • UI user interface
  • the first electronic device 101-1 displays the second visual object 160-2 representing the second virtual object 130-2. 1 has been browsed by the first user 110-1 of the electronic device 101-1 as an expression of the second user 110-2 corresponding to the second virtual object 130-2
  • a visual object 172 may be identified.
  • the first electronic device 101-1 may obtain information indicating the visual object 172 from the external electronic device 120.
  • the first electronic device 101-1 selects a second visual object 160-2 based on identifying a visual object 172 that is different from the second visual object 160-2 displayed through the display, from the information. Together with 2), the visual object 172 can be displayed.
  • the first electronic device 101-1 displays the second user 110-2 at the current time to the first user 110-1.
  • the representation e.g., avatar and/or video
  • the other time point may be the last time the first user 110-1 communicated with the second user 110-2 through the first electronic device 101-1.
  • Figure 2 is a block diagram of an electronic device 101, according to one embodiment.
  • the electronic device 101 and the external electronic device 120 of FIG. 2 may include the electronic device 101 and the external electronic device 120 of FIG. 1 .
  • the electronic device 101 may include at least one of a processor 210, a memory 220, a communication circuit 230, a display 240, or a sensor 250.
  • the processor 210, memory 220, communication circuit 230, display 240, and sensor 250 are electrically connected to each other by electronic components such as a communication bus 202. and/or may be operably coupled with each other.
  • hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can. Although shown based on different blocks, the embodiment is not limited thereto, and some of the hardware in FIG.
  • the processor 210 e.g., the processor 210, the memory 220, and at least a portion of the communication circuit 230
  • SoC system on a chip
  • the type and/or number of hardware components included in the electronic device 101 are not limited to those shown in FIG. 2 .
  • electronic device 101 may include only some of the hardware components shown in FIG. 2 .
  • the electronic device 101 may take the form of glasses 204-1 that can be worn on the head of a user (eg, user 110 in FIG. 1).
  • the electronic device 101 may take the form of a mobile phone 204-2.
  • the electronic device 101 may take the form of a laptop PC 204-3.
  • the processor 210 of the electronic device 101 may include hardware components for processing data based on one or more instructions.
  • Hardware components for processing data include, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP).
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • AP application processor
  • the number of processors 210 may be one or more.
  • the processor 210 may have a multi-core processor structure such as dual core, quad core, or hexa core.
  • the memory 220 of the electronic device 101 may include hardware components for storing data and/or instructions input and/or output to the processor 210.
  • Memory 220 may include, for example, volatile memory such as random-access memory (RAM) and/or non-volatile memory such as read-only memory (ROM). there is.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • Non-volatile memory includes, for example, programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • SSD solid state drive
  • one or more instructions indicating operations and/or operations to be performed on data by the processor 210 may be stored.
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • the electronic device 101 and/or the processor 210 executes a set of a plurality of instructions distributed in the form of an operating system, firmware, driver, and/or application. , at least one of the operations of FIGS. 7, 8, and 9 may be performed.
  • This may mean stored in a format executable by the processor 210 (eg, a file with an extension specified by the operating system of the electronic device 101).
  • the communication circuit 230 of the electronic device 101 may include hardware to support transmission and/or reception of electrical signals between the electronic device 101 and the external electronic device 120. . Although only one external electronic device 120 connected to the electronic device 101 through the communication circuit 230 is shown, the embodiment is not limited thereto, and for example, the electronic device 101 may be connected to the external electronic device 120. It is possible to communicate with a plurality of external electronic devices including.
  • the communication circuit 230 may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • MODEM modem
  • O/E optical/electronic
  • the communication circuit 230 includes Ethernet, local area network (LAN), wide area network (WAN), wireless fidelity (WiFi), Bluetooth, bluetooth low energy (BLE), ZigBee, long term evolution (LTE), It can support transmission and/or reception of electrical signals based on various types of protocols, such as 5G new radio (NR).
  • LAN local area network
  • WAN wide area network
  • WiFi wireless fidelity
  • BLE bluetooth low energy
  • BLE bluetooth low energy
  • ZigBee ZigBee
  • LTE long term evolution
  • NR 5G new radio
  • the display 240 of the electronic device 101 displays information visualized to the user (e.g., of FIGS. 3, 4A, 4B, 4C, 5A, 5B, and/or 6). At least one of the screens) can be output.
  • the display 240 may be controlled by a controller such as a GPU (graphic processing unit) to output visualized information to the user.
  • the display 240 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • the senor 250 of the electronic device 101 receives non-electronic information related to the electronic device 101 by the processor 210 and/or memory 220. It can generate electrical information that can be processed.
  • an image sensor 252, an inertial measurement unit (IMU) 254, and/or a microphone 256 are shown as examples of the sensor 250. The examples are not limited thereto.
  • the sensor 250 may additionally include a sensor not shown in FIG. 2 .
  • the sensor 250 may further include a global positioning system (GPS) sensor for detecting the geographic location of the electronic device 101.
  • GPS global positioning system
  • the image sensor 252 of the electronic device 101 includes one or more optical sensors (e.g., charged coupled device (CCD) sensor, CMOS) that generate electrical signals representing the color and/or brightness of light. (complementary metal oxide semiconductor) sensor).
  • a plurality of optical sensors included in the image sensor 252 may be arranged in the form of a 2-dimensional array.
  • the image sensor 252 may obtain electrical signals from each of the variable optical sensors substantially simultaneously and generate two-dimensional frame data corresponding to light reaching the optical sensors of the two-dimensional grid.
  • photo data captured using the image sensor 252 may mean one image acquired from the image sensor 252.
  • video data captured using the image sensor 252 may mean a sequence of a plurality of images acquired from the image sensor 252 according to a designated frame rate.
  • the electronic device 101 includes an image sensor 252
  • the number of image sensors included in the electronic device 101 may be plural.
  • the electronic device 101 includes a first image sensor disposed toward the eyes of a user wearing the glasses 204-1, and It may include a second image sensor disposed toward the direction in which the user's head faces (eg, forward).
  • the IMU 254 of the electronic device 101 may include an acceleration sensor, a gyro sensor, a geomagnetic sensor, or a combination thereof.
  • the acceleration sensor measures the gravitational acceleration and/or acceleration of each of a plurality of axes (e.g., x-axis, y-axis, and z-axis) that are perpendicular to each other and are based on a designated origin within the electronic device 101.
  • An electrical signal can be output.
  • the gyro sensor may output an electrical signal representing the angular velocity of each of the plurality of axes.
  • the geomagnetic sensor may output an electrical signal indicating the magnitude of the magnetic field formed in the electronic device 101 along each of a plurality of axes (e.g., x-axis, y-axis, and/or z-axis).
  • a plurality of axes e.g., x-axis, y-axis, and/or z-axis.
  • an acceleration sensor, a gyro sensor, and/or a geomagnetic sensor may include accelerations, angular velocities, and/or magnetic field magnitudes of the number of axes, based on a specified period (e.g., 1 millisecond). sensor data can be output repeatedly.
  • the electronic device 101 may include a microphone 256 that outputs an electrical signal indicating vibration of the atmosphere.
  • the electronic device 101 may output an audio signal containing the user's speech using the microphone 256.
  • the user's remarks included in the audio signal may be converted into information in a format recognizable by the electronic device 101 based on a voice recognition model and/or a natural language understanding model.
  • the electronic device 101 may recognize a user's speech and execute one or more functions among a plurality of functions that can be provided by the electronic device 101.
  • the electronic device 101 may include an output means for outputting information in a form other than a visualized form.
  • the electronic device 101 may include a speaker for outputting an acoustic signal.
  • the electronic device 101 may include a motor to provide haptic feedback based on vibration.
  • the external electronic device 120 may include at least one of a processor 210, a memory 220, or a communication circuit 230.
  • processor 210, memory 220, and communication circuitry 230 may be electrically and/or operatively coupled to each other by electronic components, such as communication bus 202.
  • electronic components such as communication bus 202.
  • hardware that performs similar functions e.g., processor 210, memory 220, and/or communication circuit 230
  • a matching reference number is assigned to assign a matching reference number. It can be shown based on Descriptions of the hardware included in each of the electronic device 101 and the external electronic device 120 may be omitted to reduce repetition of description.
  • the external electronic device 120 uses a virtual space (e.g., the virtual space 140 of FIG. 1) to connect users and/or their electronic devices (e.g., the electronic device 101). ) can relay the exchange of information between.
  • the external electronic device 120 may track and/or monitor interactions between users that occur within the virtual space. Interaction between users occurs within a virtual space provided by the external electronic device 120, using avatars corresponding to each of the users (e.g., the first virtual object 130-1 in FIG. 1 and/or It may be generated by the second virtual object 130-2).
  • the external electronic device 120 may store information for displaying avatars of users accessing the virtual space in the memory 220 of the external electronic device 120.
  • the information for displaying an avatar may be referred to as account information and/or user information of a user corresponding to the avatar.
  • the account information and/or the user information may include information (eg, identification (ID), password, personal identification number (PIN), and/or biometric information) for authenticating the user corresponding to the avatar.
  • ID identification
  • PIN personal identification number
  • biometric information for authenticating the user corresponding to the avatar.
  • the external electronic device 120 based on identifying the interaction of users within the virtual space, the external electronic device 120, within the memory 220 of the external electronic device 120, at the first point in time when the interaction occurred.
  • the first states of virtual objects corresponding to the users may be stored.
  • the first states of the virtual objects may indicate the appearances of the virtual objects at the first point in time.
  • the external electronic device 120 determines the first states of the virtual objects at a second time point when the interaction occurred again, and the memory, based on re-identifying the interaction of the users.
  • the first states stored in 220 may be compared.
  • the external electronic device 120 may transmit a signal including the difference between the first states and the second states to at least one electronic device 101 among the users.
  • the electronic device 101 that has received the information can visualize the difference included in the signal in the display 240.
  • the electronic device 101 may display the visual object 170 of FIG. 1 .
  • the electronic device 101 may display a first visual object representing the user on the display 240 based on information received from the external electronic device 120.
  • the user may include other users who interact with the user of the electronic device 101 through a virtual space provided by the external electronic device 120.
  • the information that the electronic device 101 acquires from the external electronic device 120 includes the interaction history of the user corresponding to the first visual object and the user of the electronic device within the virtual space. can do.
  • the electronic device 101 may identify the number of times the first visual object has been displayed through the display 240.
  • the electronic device 101 may identify the number of times the first visual object was viewed by the user of the electronic device 101 through the display 240 from the information.
  • electronic device 101 displays a display within display 240 along with the first visual object but before the first visual object.
  • a second visual object representing the user may be displayed.
  • the second visual object may be a visual object displayed through the display 240 as a user's expression corresponding to the first visual object.
  • the electronic device 101 displays a visual object representing another user connected to the user of the electronic device 101 through a virtual space provided by the external electronic device 120.
  • the electronic device 101 may display another visual object that was displayed as the other user's expression along with the visual object.
  • the electronic device 101 displays the other party's current appearance displayed through the display 240 in parallel with the other party's past appearance (e.g., another appearance displayed through the display 240). parallel) can be displayed.
  • FIG. 3 illustrates an example of an operation in which the electronic device 101 displays at least a portion of a virtual space, according to an embodiment.
  • the electronic device 101 and the external electronic device 120 of FIG. 3 may be examples of the electronic device 101 and the external electronic device 120 of FIG. 2 .
  • FIG. 3 an example of the electronic device 101 displaying visual objects 320, 330, 340, 345, 350, 355, 360, and 365 on the screen 310 is shown, according to one embodiment.
  • the electronic device 101 has the appearance of glasses that can be worn on the head of the user 110 (e.g., glasses 204-1 in FIG. 2)
  • the electronic device 101 has the appearance of glasses 204-1 in FIG. 3 on the lenses of the glasses.
  • the screen 310 can be projected. Because screen 310 is projected onto the lens, the user can view screen 310 with ambient light passing through the lens.
  • the embodiment is not limited to this, and the electronic device 101 may have a structure to block the external light.
  • the electronic device 101 which has a structure for blocking external light, displays a screen 310 based on VR (virtual reality), or displays visual objects 320 and 330 on an image including the external light. , 340, 345, 350, 355, 360, and 365) can be composited to provide a user experience based on VST (video see through).
  • VR virtual reality
  • VST video see through
  • the electronic device 101 may display at least a portion of a virtual space (eg, the virtual space 140 of FIG. 1) provided by the external electronic device 120.
  • the electronic device 101 may display a screen 310 including at least a portion of the virtual space based on identifying an input indicating entry into the virtual space from the user 110.
  • the electronic device 101 may display the screen 310 in response to an input indicating entering a conference room or chat room provided by the external electronic device 120.
  • Screen 310 may include at least a portion of a virtual space corresponding to the conference room or the chat room associated with the input.
  • the electronic device 101 displays one or more visual objects (e.g., visual objects 320, 330, 340, 345, 350, 355, 360, 365) included within at least a portion of the virtual space. ) is shown as an example.
  • the electronic device 101 may display the one or more visual objects based on information received from the external electronic device 120.
  • the electronic device 101 is connected to the external electronic device 120 based on the account information of the user 110, the electronic device 101 is included within the view angle of the avatar placed in the virtual space according to the account information.
  • the information for displaying at least a portion of the virtual space may be received from the external electronic device 120.
  • the visual objects 320, 330, 340, 345, 350, 355, 360, and 365 included in the screen 310 of FIG. 3 correspond to the user 110 among a plurality of virtual objects arranged in the virtual space. It can correspond to virtual objects included in the view angle of the avatar.
  • the electronic device 101 may display a visual object 320 representing at least a portion of an object (eg, a table) placed in the virtual space on the screen 310.
  • the electronic device 101 may display a visual object 320 on the screen 310 based on at least a portion of the object shown through the view angle of the avatar corresponding to the user 110 within the virtual space. there is.
  • the electronic device 101 displays visual objects 330, 340, and 350 that are included within the view angle of the avatar corresponding to the user 110 and represent virtual objects of other users different from the user 110. , 360) can be displayed.
  • the electronic device 101 may display visual objects 330, 340, and 360 corresponding to at least some of the avatars of other users on the screen 310.
  • visual objects 330 , 340 , and 360 may correspond to at least a portion of the other users' avatars shown through the viewing angle of the avatar corresponding to user 110 .
  • the embodiment is not limited to this, and the electronic device 101 may display a visual object 350 on the screen 310 based on video received from the external electronic device 120.
  • the video may be streamed from a camera of the user's electronic device (eg, the second electronic device 101-2 in FIG. 1) corresponding to the visual object 350.
  • the electronic device 101 identifies whether the representation of the users corresponding to each of the visual objects 330, 340, 350, and 360 has been changed based on the history of displaying the users. can do. For example, when the user corresponding to the visual object 330 first interacts with the user 110 of the electronic device 101 through the virtual space of the external electronic device 120, the electronic device 101 displays the visual object 330. The history of changes to the avatar corresponding to the object 330 may not be displayed on the screen 310 . The external electronic device 120 and/or the electronic device 101 displays a visual object 330 displayed within the screen 310 and/or the avatar corresponding to the visual object 330, and displays the avatar corresponding to the visual object 330. It can be saved as a user-displayed history.
  • the electronic device 101 displays the visual object 330
  • the avatar change history corresponding to may not be displayed on the screen 310.
  • the electronic device 101 when the avatar corresponding to the visual object 340 is changed by the visual object 340 and/or the user corresponding to the avatar, the electronic device 101 is displayed along with the visual object 340.
  • a visual object 345 representing the avatar before being changed by the user may be displayed.
  • electronic device 101 may display images and/or video representing at least a portion of the avatar that was last viewed by user 110 .
  • the electronic device 101 may display information for describing the time when the avatar was last viewed by the user 110 along with the image and/or the video within the visual object 345. there is.
  • the information may include a timestamp for the viewpoint and/or a location in virtual space where the avatar was placed within the viewpoint. Exemplary operations by which the electronic device 101 displays the information within the visual object 345 are described with reference to FIGS. 4A, 4B, 4C and/or 5A and 5B.
  • the electronic device 101 may display a visual object 355 including the avatar on the screen 310.
  • a portion e.g., a thumbnail
  • electronic device 101 may use visual object 350 to , At least a portion of the video from the user's current viewpoint corresponding to the visual object 350 may be played on the screen 310.
  • the electronic device 101 displays the video in the screen 310.
  • a visual object 365 including at least a portion of a video may be displayed.
  • the electronic device 101 uses the visual object 365 to display at least a portion (e.g., a thumbnail) of a video from a user's past viewpoint corresponding to the visual object 360 on the screen 310. You can.
  • an embodiment of the electronic device 101 displays visual objects 345, 355, and 365 in the form of bubbles, but the embodiment is not limited thereto.
  • the electronic device 101 may further display user information corresponding to the bubble within the bubble.
  • the information may include, for example, data about the last time the user interacted with the user through the virtual space (e.g., a timestamp indicating that time and/or the location of the virtual space with which the user interacted at the time) location) may be included.
  • the electronic device 101 performs example operations of displaying user expressions of different viewpoints (e.g., current viewpoint and past viewpoint) that are associated with or linked with each other, such as on the screen 310, FIG. 5A and FIG. 5B.
  • a first representation of the user at a first time point may be displayed in screen 310 with respect to a second representation of the user at a second time point (e.g., a past time point). It can be arranged in .
  • expressions of users to be displayed through the virtual space e.g., visual objects 330, 340, 350, 360
  • FIGS. 4A, 4B, and 4C The operation of visualizing the changed history is explained with reference to FIGS. 4A, 4B, and 4C.
  • the electronic device 101 can identify whether the user 110 has viewed one or more visual objects included in the screen 310. For example, the electronic device 101 may determine the direction of the user's 110's eyes, the direction that the user's 110 head is facing, the direction of a designated body part of the user 110, such as a hand, or the user's 110 utterance. Based on at least one of (speech), a visual object focused on the user 110 may be identified among visual objects displayed on the screen 310. For example, the electronic device 101 may track the direction of the eyes of the user 110 to identify an input indicating viewing the visual object 340 and/or the visual object 345.
  • the electronic device 101 may determine the direction of the user's 110 eyes to determine a specified number of times to gaze at the visual object 340 and/or a specified period of time on the visual object 340 (The input can be identified based on whether it is stopped by exceeding the duration. For example, the electronic device 101 may identify an input indicating selection of the visual object 345 (eg, a finger pointing toward the visual object 345). An example of an operation by the electronic device 101 to identify the input is described with reference to FIG. 6 .
  • electronic device 101 may stop displaying visual object 345 .
  • the electronic device 101 determines the state of the visual object 340 and/or the avatar corresponding to the visual object 340, and the interaction between the user 110 and the user corresponding to the visual object 340. As an operation history, it can be saved.
  • the electronic device 101 may transmit a signal indicating that the visual object 340 has been viewed by the user 110 of the electronic device 101 to the external electronic device 120.
  • the external electronic device 120 may store the state of the visual object 340 and/or the avatar corresponding to the visual object 340 in information including the interaction history.
  • the electronic device 101 may display the screen 310 including at least a portion of the virtual space provided by the external electronic device 120.
  • electronic device 101 displays visual objects 330, 340, 350, 360 indicating different users interacting with user 110 of electronic device 101 through the virtual space. It can be displayed.
  • Each of the visual objects 330, 340, 350, and 360 may be representations (e.g., avatars, photo IDs, and/or videos containing the users) of the users accessed in the virtual space at the current time. there is.
  • the electronic device 101 can visualize the history of changes to the users' expressions.
  • the electronic device 101 displays, within the screen 310, an expression of the user that is different from the visual objects 330, 340, 350, and 360 and displayed through the electronic device 101 before the current point in time.
  • Visual objects eg, visual objects 345, 355, and 365 may be displayed.
  • FIGS. 4A, 4B, and 4C and/or FIGS. 5A and 5B an operation of the electronic device 101 to visualize the history of changes to virtual objects included in a virtual space, according to an embodiment, will be described. An example is explained.
  • FIGS. 4A, 4B, and 4C illustrate an example of an operation in which the electronic device 101 displays a visual object representing a virtual object, according to an embodiment.
  • the electronic device 101 and 410 of FIGS. 4A, 4B, and 4C may include the electronic device 101 of FIGS. 1, 2, and 3.
  • the electronic device 101 and the electronic device 410 may be terminals of the user 110.
  • the electronic device 101 and the electronic device 410 may communicate with the external electronic device 120 based on the account information of the user 110.
  • the electronic device 101 has the appearance of glasses and the electronic device 410 has the appearance of a mobile phone (e.g., mobile phone 204-2 in FIG. 2), the embodiment is limited to this. It doesn't work.
  • the electronic device 101 and/or the electronic device 410 is configured to use a virtual space (e.g., the virtual space of FIG. 1) provided by the external electronic device 120 based on the account information of the user 110. It can be accessed by space 140).
  • the external electronic device 120 may provide services (eg, metaverse service and/or video conference service) for conversation between physically separated users based on the virtual space.
  • the external electronic device 120 may reserve a video conference for a plurality of users, including the user 110, based on the virtual space. The reservation for the video conference may be created based on information received from at least one of a plurality of users.
  • the external electronic device 120 may store information indicating the reservation of the video conference in the memory of the external electronic device 120 (eg, memory 220 in FIG. 2).
  • the information may include information indicating when the video conference will start and/or a location in the virtual space where the video conference will occur.
  • the external electronic device 120 before the time point indicated by the information, allows the electronic devices of the plurality of users indicated by the information to access the virtual space based on the reservation.
  • a message (e.g., push notification) can be transmitted to guide the user.
  • the external electronic device 120 may be referred to as a push server.
  • the external electronic device 120 identifies that the user 110 is wearing the electronic device 101
  • the external electronic device 120 selectively sends the message to the electronic device 101 among the electronic device 101 and the electronic device 410 ( Can be transmitted selectively.
  • the embodiment is not limited to this, and the external electronic device 120 is configured as at least one of the electronic device 101 and/or the electronic device 410, independently of whether the user 110 is wearing the electronic device 101.
  • the message can be sent.
  • FIG. 4A an example of a visual object 430 displayed by the electronic device 101 and/or the electronic device 410 in response to the message received from the external electronic device 120 is shown.
  • the electronic device 101 displays a visual object 430 within the field-of-view (FoV) of the user 110 wearing the electronic device 101 through a display (e.g., display 240 in FIG. 2). can do.
  • the electronic device 410 may display a visual object 430 based on the message on the display 420.
  • the electronic device 101 and/or the electronic device 410 such as text within the visual object 430 (e.g., "It's 10 minutes before you enter the VR improvement meeting"), may display a video based on a virtual space. It may display when the conference will start and/or the title assigned to the video conference.
  • the electronic device 101 and/or the electronic device 410 identifies another user different from the user 110 among the users who will attend the video conference corresponding to the message.
  • Text e.g., "Member Jessica has changed her character. Click to check the changed character before the meeting" can be displayed to guide that the representations have changed.
  • the electronic device 101 and/or the electronic device 410 may display the nickname (“Jessica” in the example of FIG. 4A) of the user whose avatar has been changed.
  • the external electronic device 120 guides the user 110 that the expression of at least one of the other users has changed. You can.
  • the electronic device 410 may display the visual object 440 in response to a gesture of touching and/or clicking the visual object 430 displayed within the display 420.
  • the electronic device 101 may identify an input indicating selection of a visual object 430 based on the gaze and/or gesture of the user 110 wearing the electronic device 101.
  • the electronic device 101 may display a visual object 440 to the user 110 in response to the input.
  • the electronic device 101 and/or the electronic device 410 may display a history of changes in the expressions of one or more users.
  • electronic device 101 and/or electronic device 410 may display text containing the point in time at which the other user's avatar changed (e.g., “Jessica changed character on 2022-07-22”). ) can be displayed.
  • the electronic device 101 and/or the electronic device 410 displays the history of changes in the avatar of another user distinct from the user 110 using the visual objects 442 and 444. can do.
  • Visual objects 442 and 444 may be images that visualize at least a portion of the other user's avatar from different viewpoints.
  • Visual object 442 corresponds to the state of the avatar that was last viewed by user 110 of electronic device 101
  • visual object 444 corresponds to the state of the avatar to be displayed via a video conference associated with visual object 440. It can respond to the state of the avatar.
  • visual object 442 may point to an avatar that has been displayed to user 110 through another video conference conducted prior to the video conference, such that visual object 442 may represent a past point in time or a past state.
  • the electronic device 101 and/or the electronic device 410 displays the avatar change history based on a contact list stored in the electronic device 101 and/or the electronic device 410. You can. Referring to FIG. 4B , an embodiment in which the electronic device 101 and/or the electronic device 410 displays a screen 450 including a contact list is shown. Within the screen 450, the electronic device 101 and/or the electronic device 410 may display items 451, 452, 453, and 454 corresponding to each of a plurality of users stored in the contact list. . Each of the items 451, 452, 453, and 454 may include the name and/or photo of the corresponding user.
  • the electronic device 101 and/or the electronic device 410 displays a screen 450 containing the contact list. ), an image for at least part of the avatar may be displayed.
  • the electronic device 101 and/or the electronic device 410 may include, within the item 451, the user's name (e.g., "Jessica") corresponding to the item 451, and the user's photo 451-1. ), a visual object 451-2 representing an avatar matching the user may be displayed.
  • electronic device 101 and/or electronic device 410 may display, within item 453, a user's name corresponding to item 453 (e.g., "Jenny"), a photo of the user 453-1
  • a visual object 453-2 representing an avatar matching the user may be displayed.
  • the electronic device 101 and/or the electronic device 410 displays at least a portion of the avatar (e.g., the avatar) within the screen 450.
  • An image and/or video representing a face (including a portion of the face) may be displayed.
  • the electronic device 101 and/or the electronic device 410 may display options for adding and/or searching the contact list within a screen 450 including the contact list.
  • the electronic device 101 and/or the electronic device 410 may display, within the screen 450, a visual object 455 in the form of a button for adding a user to the contact list.
  • the electronic device 101 and/or the electronic device 410 may display, within the screen 450, a visual object 456 in the form of a button for searching at least one user within the contact list.
  • the electronic device 101 and/or the electronic device 410 may display, within the screen 450, a visual object 457 for displaying options different from the visual objects 455 and 456.
  • the electronic device 101 and/or the electronic device 410 determines the user's avatar included in the contact list based on information received from the external electronic device 120. Changed history can be identified. The electronic device 101 and/or the electronic device 410 may display an indicator on the screen 450 notifying that the avatar has changed based on the history. For example, when the user's avatar corresponding to the item 451 is changed, the electronic device 101 and/or the electronic device 410 displays a change in the avatar within the item 451 displayed on the screen 450. A visual object 451-3 for notification may be displayed. Although the visual object 451-3 having the appearance of a star is shown as an example, the embodiment is not limited thereto.
  • the display of the visual object 451-3 may include the expression of the user corresponding to the item 451, the user 110 of the electronic device 101 and/or the electronic device 410, and the user corresponding to the item 451. It can indicate that a change occurred after the interaction. Referring to FIG. 4B, when the user's avatar corresponding to the item 453 has not changed, the electronic device 101 and/or the electronic device 410 displays an indicator, such as a visual object 451-3, on the item 453. ), you can refrain from marking it (refrain from).
  • the electronic device 101 and/or the electronic device 410 may display a visual object 460 to guide the history of changes in the user's avatar corresponding to the item 451.
  • the visual object 460 may be displayed within the display 420 of the electronic device 410 in the form of a pop-up window, or may be displayed to the user 110 wearing the electronic device 101.
  • the electronic device 101 and/or the electronic device 410 displays the history of changes in the user's avatar corresponding to the visual object 460 using the visual objects 462 and 464. can do. Similar to the visual objects 442 and 444 of FIG.
  • the electronic device 101 and/or the electronic device 410 uses the visual objects 462 and 464 to display the states of the avatar at different viewpoints. You can visualize it.
  • the visual object 464 corresponding to the visual object 451-2 in the screen 450 may express the current state of the avatar.
  • the visual object 462 may represent the avatar that was last viewed by the user 110, as a past state of the avatar.
  • the electronic device 101 and/or the electronic device 410 may display a pop-up window summarizing the change history of the avatars of users included in the contact list.
  • a pop-up window summarizing the change history of the avatars of users included in the contact list.
  • FIG. 4B an example in which the electronic device 101 and/or the electronic device 410 displays a visual object 470 in the form of the pop-up window is shown.
  • electronic device 101 and/or electronic device 410 may display a visual object 470.
  • the electronic device 101 and/or the electronic device 410 selects one or more avatars from among the avatars of users included in the contact list that have a state that is different from the state that was viewed by the user 110. You can display a list of them. Referring to the embodiment of FIG. 4B, the electronic device 101 and/or the electronic device 410 displays visual objects within the visual object 470 that visualize the history of changes in the user's avatar corresponding to the item 451. (462, 464) can be displayed. Within the visual object 470, the electronic device 101 may display visual objects 472 and 474 for changing one user's avatar change history to another user's avatar change history in the visual object 470. You can.
  • the electronic device 101 and/or the electronic device 410 may execute a function for sharing the history of changes in the avatar of a user included in the contact list to another user different from the user 110. .
  • the electronic device 101 and/or the electronic device 410 may display a button (eg, the visual object 466) for executing the function.
  • electronic device 101 and/or electronic device 410 may display a button (e.g., visual object 468) to stop displaying visual object 460 within FIG. 4C. You can.
  • a button e.g., visual object 468 to stop displaying visual object 460 within FIG. 4C. You can.
  • visual object 470 of FIG. 4B electronic device 101 and/or electronic device 410. may display the button for executing the function.
  • electronic device 101 and/or electronic device 410 may share a history of avatar changes associated with visual object 460.
  • a pop-up window (eg, visual object 480) may be displayed.
  • the electronic device 101 and/or the electronic device 410 creates a list of at least one user who has viewed the avatar displayed through the visual object 460 from among the users stored in the contact list. It can be displayed. For example, users corresponding to each of the items 481, 482, and 483 displayed within the visual object 480 are among the users stored in the contact list of the electronic device 101 and/or the electronic device 410. These may be users who have viewed the avatar visualized through the visual object 460 through the device.
  • the avatar in the state associated with the visual object 462 may be displayed on the electronic device 101 and/or the electronic device 483 based on the history displayed through the electronic devices of the users corresponding to each of the items 481, 482, and 483.
  • Device 410 may display items 481, 482, and 483.
  • the electronic device 101 and/or the electronic device 410 may identify the history based on information transmitted from the external electronic device 120.
  • the electronic device 101 and/or the electronic device 410 includes check boxes for selecting each of the items 481, 482, and 483 within each of the items 481, 482, and 483. (481-1, 482-1, 483-1) can be displayed. Referring to FIG. 4C, inputs indicating selection of checkboxes 481-1 and 483-1 among the checkboxes 481-1, 482-1, and 483-1 from the user 110 are identified. A subsequent exemplary state is shown. Within the visual object 480, the electronic device 101 and/or the electronic device 410 may display a button (eg, the visual object 484) to stop displaying the visual object 480.
  • a button eg, the visual object 484
  • the electronic device 101 and/or the electronic device 410 provides an avatar associated with the visual object 460 to at least one user selected by the inputs within the visual object 480.
  • a button e.g., visual object 485 for sharing the changed history may be displayed.
  • electronic device 101 and/or electronic device 410 selects checkboxes 481-1, 483-1.
  • Information indicating the history can be transmitted to the electronic devices of users corresponding to the corresponding items 481 and 483, respectively, and thus correspond to the check boxes 481-1 and 483-1, respectively.
  • Users can display a visual object 462 of the avatar in a past state and display a visual object 464 of the avatar in a current state.
  • the electronic device 101 and/or the electronic device 410 based on information received from the external electronic device 120, identifies another user distinct from the user 110. You can visualize the history of expression changes. For example, the electronic device 101 and/or the electronic device 410 may visualize a history of avatar changes in a virtual space (e.g., virtual space 140 of FIG. 1) that matches the other user. The point at which the electronic device 101 and/or the electronic device 410 visualizes the history is when the avatar is viewed through the virtual space provided by the external electronic device 120, as described above with reference to FIG. 4A. It may include a point in time prior to the following.
  • a virtual space e.g., virtual space 140 of FIG.
  • the electronic device 101 and/or the electronic device 410 may visualize the history based on the contact list, as described above with reference to FIGS. 4B and 4C.
  • the electronic device 101 and/or the electronic device 410 such as the visual objects 462 and 464 of FIGS. 4B and 4C, display visual objects representing the states of avatars at different viewpoints. can be displayed.
  • the viewpoints may include a first viewpoint, which is the current viewpoint, and a second viewpoint, when the avatar was viewed before the current viewpoint. Based on the visual objects, the electronic device 101 and/or the electronic device 410 may visualize changes in the avatar between the viewpoints.
  • the electronic device 101 displays a screen (e.g., the screen of FIG. 3) including a portion of the virtual space provided by the external electronic device 120.
  • a screen e.g., the screen of FIG. 3
  • 310) an example of an operation for visualizing a history of changes in the representation of a user (e.g., another user distinct from the user 110 of the electronic device 101) is described.
  • FIGS. 5A and 5B illustrate an example of an operation in which the electronic device 101 displays a visual object based on a history of virtual object changes, according to an embodiment.
  • the electronic device 101 and the external electronic device 120 of FIGS. 5A and 5B are the electronic device 101 and the external electronic device 120 of FIGS. 1, 2, and 3, and/or the electronic device 101 and the external electronic device ( 120) may be included.
  • the electronic device 101 may display at least a portion of the virtual space on the screen 310 based on information transmitted from the external electronic device 120. At least a portion of the virtual space displayed through the screen 310 may be a portion of the virtual space included within the view angle of the avatar of the user 110.
  • the electronic device 101 may display a visual object 340 representing a virtual object within the screen 310.
  • the electronic device 101 may display the visual object 340 on the screen 310 based on identifying the virtual object within the viewing angle of the avatar of the user 110.
  • the virtual object corresponding to the visual object 340 may be a representation (eg, an avatar) of another user that is different from the user 110 .
  • the visual object 340 of FIGS. 5A and 5B may include the visual object 340 of FIG. 3 .
  • the electronic device 101 may visualize a change history of a virtual object corresponding to the visual object 340 on the screen 310.
  • the electronic device 101 may display a history of changes in the avatar corresponding to the visual object 340 along with the visual object 340 .
  • the electronic device 101 may visualize a history of changes in the expression of a user (eg, another user distinct from the user 110) matched to the visual object 340.
  • the electronic device 101 may display a visual object 510 including a history of changes in the avatar corresponding to the visual object 340 along with the visual object 340 within the screen 310. there is.
  • the visual object 510 having the form of a bubble is shown as an example, the embodiment is not limited thereto.
  • the electronic device 101 displays a visual object 510 for visualizing the history of an avatar corresponding to the visual object 340, and displays an identifier (e.g., ID) uniquely assigned to the avatar on the screen. Based on whether it is displayed within 310, it can be displayed. For example, when the identifier is displayed at a point in the screen 310 adjacent to the visual object 340, the user 110 viewing the screen 310 corresponds to the visual object 340 based on the identifier. You can recognize your counterpart. When the identifier is displayed together with the visual object 340, the electronic device 101 may not display the visual object 510 for visualizing the history of the avatar.
  • ID e.g., ID
  • electronic device 101 instead of not displaying visual object 510, electronic device 101 displays an indicator (e.g., a dot with a designated color, such as red) indicating a change in the avatar on visual object 340. It can be displayed at a point within the adjacent screen 310.
  • an indicator e.g., a dot with a designated color, such as red
  • the electronic device 101 may determine whether to display the visual object 510 for visualizing the history of the avatar based on the source of the avatar corresponding to the visual object 340. For example, if the avatar is created using the three-dimensional shape of the user's 110 face, the electronic device 101 may not display the visual object 510. For example, if information related to an avatar includes a specified parameter (or flag) indicating that the avatar was created based on the shape of the face of the user 110, the electronic device 101 may display the visual object 510. You can refrain from displaying it.
  • the electronic device 101 when information related to an avatar corresponding to the visual object 340 is stored in the electronic device 101, the electronic device 101 stores at least a portion of the information related to the avatar in the visual object 510. It can be displayed. Referring to FIG. 5A, at least part of the information displayed by the electronic device 101 in the visual object 510 includes the name of the user corresponding to the avatar (e.g., “Jessica”) and the time when the avatar was changed (e.g. , "Character changed on 2022-07-22"), and/or the user's personal information (e.g., an email address such as "j_ca@s.com").
  • the personal information displayed by the electronic device 101 in the visual object 510 may include personal information disclosed by the user corresponding to the visual object 340 .
  • the electronic device 101 may display personal information in the visual object 510 based on Table 1.
  • the values in Table 1 may be set by the user of the avatar corresponding to the visual object 340.
  • the electronic device 101 displays personal information (e.g., nickname, avatar change history, interaction history in virtual space, and email address) may be displayed.
  • the electronic device 101 may refrain from displaying, among the user's personal information, in the visual object 510 personal information having a second designated value (eg, “off”) that is different from the first designated value.
  • the external electronic device 120 may selectively transmit personal information having the first designated value among the user's personal information to the electronic device 101.
  • the electronic device 101 may obtain a value from the user 110 to adjust the range of personal information to be displayed along with the history of changes to the user's avatar.
  • the electronic device 101 can distinguish and display avatars corresponding to different users with matching names.
  • the electronic device 101 may distinguish the users by displaying photo IDs corresponding to the users along with visual objects representing the avatars.
  • the electronic device 101 may display a button within the visual object 510 to visualize the history of avatar changes related to the visual object 340 .
  • a visual object 515 with designated text such as “Details” is exemplarily shown.
  • the electronic device 101 may display a pop-up window (e.g., a visual object 520) on the screen 310 to guide the history of the avatar. there is.
  • the electronic device 101 may display visual objects 522 and 524 representing the states of the avatar at different viewpoints in a linked manner within the visual object 520.
  • the electronic device 101 may display a visual object 522 representing the state of the avatar at the time the avatar was viewed by the user 110 before the current time.
  • the electronic device 101 may display text (“2022-04-02” in the example of FIG. 5A ) to guide the viewpoint along with the visual object 522 .
  • the electronic device 101 may display a visual object 524 representing the state of the avatar at the current time along with the visual object 522.
  • the electronic device 101 can visualize the order in which the avatar was changed using arrows disposed between the visual objects 522 and 524 (e.g., an arrow pointing from the visual object 522 to the visual object 524). there is.
  • the avatar displayed by the electronic device 101 may have a combined form of virtual objects representing clothing (e.g., tops, bottoms, shoes, gloves, and/or accessories such as hats). there is.
  • the electronic device 101 may visualize, within the visual object 520 , a change history of one or more clothes associated with an avatar corresponding to the visual object 340 .
  • the electronic device 101 may identify a change history of one or more clothes combined with an avatar corresponding to the visual object 340 from information acquired from the external electronic device 120.
  • the electronic device 101 may compare information for displaying the visual objects 522 and 524 to identify a change history of one or more clothes associated with the avatar.
  • the electronic device 101 may visualize the change history of the one or more clothes together with the visual object 520 .
  • the electronic device 101 generates an avatar using the same image (or video) as the first photo, and then uses a second photo different from the first photo to create at least one of the avatars.
  • Some parts can be changed.
  • the electronic device 101 may change at least a portion of the avatar using a change in the body (or clothing) of a specific user, which is recognized by comparing the first photo and the second photo for the specific user. You can.
  • the electronic device 101 may visualize a history of changes in at least part of the avatar.
  • the electronic device 101 uses visual objects to guide the history of the combination of the glasses and the top.
  • An example showing (530, 535) is shown.
  • the electronic device 101 may display visual objects 530 and 535 in the form of bubbles associated with the visual object 524 .
  • electronic device 101 may highlight (e.g., blink) the glasses and top within visual object 524, independently of displaying visual objects 530, 535.
  • the electronic device 101 may repeatedly display a shape with a specified transparency and a specified color overlapping with the glasses and/or the top, thereby emphasizing the glasses and/or the top.
  • the electronic device 101 displays the name of the clothing (e.g., glasses) associated with the avatar corresponding to the visual object 524 and the clothing associated with the avatar. Text guiding the point in time (e.g., 2022-07-01) can be displayed.
  • the electronic device 101 may display a button to stop displaying the visual object 530 (e.g., the visual object 531 containing designated text, such as “OK”).
  • the electronic device 101 displays the name of the top associated with the avatar (e.g., jacket) and the time when the top on the avatar was replaced (e.g., 2022-07-22). can be displayed.
  • the electronic device 101 may stop displaying the visual object 535.
  • the visual objects 530 and 535 of FIG. 5A an example case is shown where the last time the avatar corresponding to the visual object 340 was changed was July 22, 2022, when the top was replaced. .
  • the electronic device 101 may display text indicating the point in time (e.g., July 22, 2022) within the visual object 510 of the screen 310.
  • the electronic device 101 which displays an avatar based on a combination of a plurality of graphic objects, displays a graphic object exceeding a specified number at a second timing after the first timing when the avatar was last displayed. Based on whether objects are changed, added, and/or deleted, the avatar's change history can be visualized. Referring to Figure 5a, the time when the avatar was viewed between the time when the clothing was attached to the avatar (e.g., 2022-07-01) and the time when the top attached to the avatar was replaced (2022-07-22) Since only one graphic object (eg, clothing) has changed since (eg, 2022-04-02), the electronic device 101 may not display the visual object 510.
  • the electronic device 101 displays two graphic objects at a time after the top connected to the avatar is replaced (2022-07-22) at the time the avatar is viewed (e.g., 2022-04). Since the change was made after -02), the electronic device 101 can display the visual object 510.
  • the embodiment is not limited thereto.
  • information related to the avatar corresponding to the visual object 340 is not stored in the electronic device 101, or user information corresponding to the avatar is not shared with the user 110 of the electronic device 101.
  • the electronic device 101 may display the visual object 520 among the visual objects 510 and 520.
  • the electronic device 101 uses the visual object 520 to create a visual object 522 representing the avatar that was last viewed by the user 110, a visual object representing the current state of the avatar ( 340).
  • electronic device 101 displays visual object 522 along with visual object 340, such that the avatar of visual object 522 is Change history can be visualized.
  • the visual object 510 may be displayed among the visual objects 510 and 520.
  • the information may be stored in a contact list within the electronic device 101.
  • a visual object 510 including at least part of the data may be displayed.
  • At least one of the visual objects 510 and 520 may be displayed conditionally based on a history of changes to the avatar corresponding to the visual object 340 .
  • the electronic device 101 visualizing the avatar change history within the screen 310 containing at least a portion of the virtual space is not limited to the example operations of FIGS. 3 and/or 5A.
  • the electronic device 101 may display a visual object 540 representing an avatar in the virtual space provided by the external electronic device 120 on the screen 310.
  • the electronic device 101 may sequentially change the shape of the visual object 540 within a time domain to visualize the history of changes to the avatar.
  • Time t1 may include the time when the electronic device 101 starts displaying the screen 310 on the display, or a time after a designated period of time from that time.
  • Time t1 may be a time when the electronic device 101 identifies an input indicating that the visual object 540 is to be viewed.
  • the first state 540-1 of the visual object 540 displayed by the electronic device 101 on the screen 310 is the user ( 110) can correspond to the status of the avatar that was last viewed.
  • the third state 540-3 of the visual object 540 displayed by the electronic device 101 on the screen 310 may correspond to the current state of the avatar among the states.
  • the second state 540-2 of the visual object 540 displayed by the electronic device 101 on the screen 310 is the first state of the visual object 540. It may include an intermediate state (or intermediate form) between (540-1) and the third state (540-3). Based on the intermediate state, the electronic device 101 changes the shape of the visual object 540 from the first state 540-1 to the third state 540-3 within a time interval between time t1 and time t3. You can display a transforming animation.
  • the electronic device 101 may identify one or more intermediate states of the visual object 540, including the second state 540-2, based on visual effects such as morphing.
  • the electronic device 101 displays at least one visual object (e.g., a visual object 340) can be displayed.
  • the electronic device 101 may visualize a history of avatar changes while a visual object 340 representing an avatar of another user different from the user 110 is displayed on the screen 310 .
  • the electronic device 101 visualizes the history, the first state of the avatar corresponding to the visual object 340 and the last displayed through the display of the electronic device 101 before the visual object 340 It may be related to the difference between the second state of the avatar.
  • the electronic device 101 displays a visual object representing the avatar in the second state within the screen 310 (e.g., the visual object 522 of FIG. 5A and/or FIG.
  • the first state 540-1 of the visual object 540 in 5b may be displayed.
  • the electronic device 101 can visualize a history of changes in the state of the avatar from the second state to the first state.
  • the electronic device 101 displays the visual object 340 within the electronic device 101 and/or the external electronic device 120 based on an input indicating viewing the visual object 340 within the screen 310.
  • the state of the avatar corresponding to the visual object 340 may be stored as the state of the avatar last viewed by the user 110.
  • the electronic device 101 may identify the input by comparing a portion of the screen 310 focused by the user 110 and a portion of the screen 310 on which the visual object 340 is displayed. Below, with reference to FIG. 6 , an example of an operation in which the electronic device 101 identifies a portion of the screen 310 focused by the user 110 according to an embodiment will be described.
  • FIG. 6 illustrates an example of an operation in which the electronic device 101 identifies an input for a visual object 340 corresponding to a virtual object, according to an embodiment.
  • the electronic device 101 and the external electronic device 120 of FIG. 6 include the electronic device 101 and the external electronic device 120 of FIGS. 1 to 3, 4A to 4C, and/or 5A to 5B. It can be included.
  • the electronic device 101 displays at least one of the virtual space (e.g., the virtual space 140 of FIG. 1) provided by the external electronic device 120 within the screen 310.
  • An exemplary state showing a portion is shown.
  • the electronic device 101 may display a visual object 340 representing an avatar of another user that is different from the user 110 . If the first state of the avatar corresponding to the visual object 340 is different from the second state of the avatar last viewed by the user 110 or last displayed via the electronic device 101, Device 101 may display a visual object 522 representing an avatar in the second state.
  • the virtual space e.g., the virtual space 140 of FIG. 1
  • FIG. 6 An exemplary state showing a portion is shown.
  • the electronic device 101 may display a visual object 340 representing an avatar of another user that is different from the user 110 . If the first state of the avatar corresponding to the visual object 340 is different from the second state of the avatar last viewed by the user 110 or last displayed via the electronic device 101, Device 101 may display a visual object 522 representing
  • the electronic device 101 may display a visual object 520 in the form of a bubble including the visual object 522 along with the visual object 340 .
  • the electronic device 101 displays a visual object 524 representing the avatar in the first state, so that the appearance of the avatar has changed from the second state to the first state. can be visualized.
  • the electronic device 101 may identify information related to the user 110 using a sensor (eg, sensor 250 of FIG. 2 ). For example, the electronic device 101 may identify information indicating the motion of the head of the user 110 wearing the electronic device 101 based on the IMU 254 of FIG. 2 . Based on the above information, the electronic device 101 can identify the direction 620 of the user's 110 head. Based on the head direction 620, the electronic device 101 can identify the portion 610 within the screen 310 toward which the direction 620 faces.
  • a sensor eg, sensor 250 of FIG. 2
  • the electronic device 101 may identify information indicating the motion of the head of the user 110 wearing the electronic device 101 based on the IMU 254 of FIG. 2 .
  • the electronic device 101 can identify the direction 620 of the user's 110 head. Based on the head direction 620, the electronic device 101 can identify the portion 610 within the screen 310 toward which the direction 620 faces.
  • the electronic device 101 may identify information indicating the motion of the hand 640 (e.g., frames including the hand 640) based on the image sensor 252 of FIG. 2. .
  • the information related to the hand 640 may be obtained through an image sensor disposed within the electronic device 101 facing in one direction toward the head of the user 110 and in another direction opposite to the head of the user 110 .
  • the electronic device 101 can identify the direction of at least one finger included in the hand 640.
  • the electronic device 101 may identify the portion 610 within the screen 310 pointed by the at least one finger, based on the direction of the at least one finger.
  • the electronic device 101 may identify information indicating the direction of the user's gaze based on the image sensor 252 of FIG. 2 .
  • the information may include frames 630 including the user's eyes. Frames 630 may be acquired through an image sensor disposed within the electronic device 101 toward the eyes of the user 110. Based on the information, the electronic device 101 can identify the portion 610 within the screen 310 toward which the user's eyes are directed. Based on identifying the direction of the gaze toward a portion of screen 310 on which visual object 340 is displayed, such as portion 610, electronic device 101 indicates viewing of visual object 340. input can be identified.
  • the electronic device 101 Based on identifying the input, the electronic device 101 displays a visual object (e.g., a bounding box) that includes at least a portion of the visual object 340 (e.g., the face of an avatar, represented by the visual object 340). ) can be displayed.
  • a visual object e.g., a bounding box
  • the electronic device 101 may display a visual object in the form of a specified color (eg, yellow).
  • the electronic device 101 may use the microphone 256 of FIG. 2 to identify information indicating the user's speech 650.
  • the information may include an audio signal output from the microphone 256.
  • the information may include a result of performing speech-to-text (STT) on the audio signal (eg, text indicating the speech).
  • STT speech-to-text
  • the electronic device 101 selects a natural language sentence (e.g., “Hello Jessica”) that calls the name of the user associated with the visual object 340 (“Jessica” in one embodiment of FIG. 6) from among the text included in the information. Based on identifying , it can be identified that the visual object 340 is viewed by the user 110 .
  • the electronic device 101 is based on the direction of the head 620 of the user 110, the direction of the gaze, the direction of the hand 640, and/or the speech 650 of the user 110.
  • an input indicating viewing of the visual object 340 can be identified.
  • the electronic device 101 may detect the user 110 as a visual object based on the head direction 620, the gaze direction, the hand 640 direction, and/or the user 110's utterance 650. It is possible to identify whether (340) is being viewed.
  • the electronic device 101 ceases displaying the visual object 520 including the history of the avatar associated with the visual object 340 based on whether the user 110 has viewed the visual object 340. can do.
  • the electronic device 101 may stop displaying the visual object 520.
  • the embodiment is not limited to this, and the electronic device 101 may stop displaying the visual object 520 in response to an input indicating selection of the visual object 520.
  • the embodiment is not limited thereto, and while not displaying the visual object 520 representing the history of the avatar corresponding to the visual object 340, the electronic device 101 indicates viewing the visual object 340.
  • a visual object 520 may be displayed within the screen 310 .
  • the electronic device 101 determines that the user 110 ) can identify whether the visual object 340 is being viewed. For example, it may be possible to identify whether the period and/or number of times the direction of the user's 110 gaze is still within portion 610 exceeds a specified period and/or number of times. If the gaze of the user 110 is stopped within the portion 610 for more than a specified period of time and/or enters the portion 610 more than a specified number of times, the electronic device 101 displays the visual object 520. The display can be stopped. Based on the designated period and/or the designated number of times, the electronic device 101 can more accurately identify whether the user 110 is viewing the visual object 340 .
  • the electronic device 101 may transmit information indicating whether the user 110 is viewing the visual object 340 to the external electronic device 120.
  • the electronic device 101 may transmit the head direction 620, the hand direction 640, the utterance 650, and/or the frames 630 to the external electronic device 120.
  • the electronic device 101 may transmit information about an input indicating viewing the visual object 340 to the external electronic device 120.
  • the external electronic device 120 may identify whether the visual object 340 has been viewed by the user 110 based on information transmitted from the electronic device 101 .
  • the external electronic device 120 may store information related to the visual object 340.
  • the information may include data for displaying an avatar corresponding to the visual object 340.
  • the information may include data indicating the state of the avatar corresponding to the visual object 340.
  • the information may include data indicating one or more clothes attached to the avatar.
  • the information includes a timestamp indicating when the visual object 340 was viewed by the user 110 and/or when the electronic device 101 displayed the visual object 340 within the screen 310. can do.
  • the electronic device 101 indicates that the visual object 340 has been viewed by the user 110 within the electronic device 101, similar to the operation of the external electronic device 120 to store the information.
  • the indicated information can be stored.
  • the electronic device 101 may store data indicating the state of an avatar corresponding to the visual object 340.
  • the electronic device 101 may store a timestamp indicating when the visual object 340 was displayed on the screen 310.
  • the electronic device 101 may store data indicating one or more virtual objects corresponding to each of one or more clothes combined with the avatar.
  • stopping the display of the visual object 520 may be performed similarly to what was described above with reference to FIG. 5A.
  • the electronic device 101 may communicate with the external electronic device 120 to display a visual object 340 representing another user distinct from the user 110.
  • Visual objects 340 may include images and/or videos recorded by the other user's electronic device.
  • the visual object 340 may correspond to at least a portion of an avatar registered in the external electronic device 120 by the other user.
  • electronic device 101 may display other visual objects (e.g., visual object 522) that were displayed via electronic device 101 to represent the other user prior to visual object 340. can be displayed.
  • the electronic device 101 allows the user 110 to visualize the history of changes to virtual objects (e.g., avatars, images, and/or videos) representing the other users. can do.
  • the user 110 who has a history of viewing the other visual object, based on the other visual object displayed together with the visual object 340, determines that the visual object 340 is an expression of the other user corresponding to the other visual object ( representation) can be recognized more quickly.
  • FIG. 7 shows an example of a signal flow diagram between the electronic device 101 and an external electronic device 120, according to an embodiment.
  • the electronic device 101 and the external electronic device 120 of FIG. 7 are the electronic devices 101 of FIGS. 1 , 2, 3, 4A, 4B, 4C, 5A, 5B, and/or 6. and an external electronic device 120.
  • Operations of the electronic device 101 of FIG. 7 may be performed by the electronic device 101 of FIG. 2 and/or the processor 210 within the electronic device 101 of FIG. 2 .
  • Operations of the external electronic device 120 of FIG. 7 may be performed by the external electronic device 120 of FIG. 2 and/or the processor 210 within the external electronic device 120 of FIG. 2 .
  • the external electronic device 120 may transmit information for displaying a virtual object.
  • the external electronic device 120 is one or more electronic devices (e.g., the communication circuit 230 in the external electronic device 120 in FIG. 2) connected to the external electronic device 120 through a communication circuit (e.g., the communication circuit 230 in the external electronic device 120 in FIG. 2).
  • the information can be transmitted to the electronic device 101).
  • the information may include data for visualizing a virtual space (eg, virtual space 140 of FIG. 1) including one or more virtual objects.
  • the virtual object of operation 710 may indicate a user accessed on another electronic device that is different from the electronic device 101 that receives information of operation 710.
  • the virtual object of action 710 may include the user's avatar.
  • the virtual object of operation 710 may include images and/or video streamed from the other electronic device.
  • the electronic device 101 may display a first visual object representing a virtual object. Based on receiving information of the action 710, the electronic device 101 may display the first visual object representing the virtual object of the action 710.
  • the first visual object includes the second visual object 160-2 in FIG. 1, the visual objects 330, 340, 350, and 360 in FIG. 3, the visual object 444 in FIG. 4A, and FIGS. 4B and 4C. associated with the virtual object in its current state, such as visual object 464 in , visual objects 340, 524 in Figure 5A, and/or visual object 540 in third state 540-3 in Figure 5B. It can be.
  • the electronic device 101 changes the first state of the virtual object corresponding to the first visual object based on the history of changes in the state of the virtual object.
  • the previous second state can be identified.
  • the electronic device 101 may identify the second state based on the history stored in the electronic device 101 and/or the external electronic device 120.
  • the electronic device 101 may identify the history that displayed the user corresponding to the virtual object within the memory of the electronic device 101.
  • the electronic device 101 may request information indicating the history from the external electronic device 120.
  • the external electronic device 120 may transmit information indicating the history of the virtual object displayed to the user of the electronic device.
  • the electronic device 101 may identify the second state of the virtual object that was viewed by the user of the electronic device 101 (e.g., the user 110 in FIGS. 1 to 6). .
  • the electronic device 101 displays a second visual object representing the identified virtual object in the second state together with the first visual object. You can. If the virtual object in the second state is different from the first state of the virtual object corresponding to the first visual object in operation 720, the electronic device 101 performs operation 740 to display the first visual object in operation 720. The object and the second visual object may be displayed together.
  • the second visual object of action 740 is visual object 170 in Figure 1, visual objects 345, 355, and 365 in Figure 3, visual object 442 in Figure 4A, and visual object in Figures 4B and 4C. 462 , may include the visual object 522 of FIG. 5A, the visual object 540 in the first state 540-1 of FIG. 5B, and the visual object 522 of FIG. 6.
  • the electronic device 101 may identify an input indicating browsing a first visual object.
  • the electronic device 101 detects body parts (e.g., the user's head, eyes, and/or hands) of the user of the electronic device 101 (e.g., the user 110 in FIG. 6 ). ) and/or the user's utterance (e.g., utterance 650 in FIG. 6), the input may be identified.
  • the electronic device 101 may store information indicating that the virtual object in the first state was viewed by the user of the electronic device 101. there is.
  • the electronic device 101 may transmit information related to the input to the external electronic device 120.
  • the external electronic device 120 generates a virtual object in the first state to the user of the electronic device based on the input identified by the electronic device. Information indicating that it has been viewed can be stored.
  • the external electronic device 120 may perform operation 760 based on identifying information related to the input of operation 750 from the electronic device 101. Based on operation 760, the external electronic device 120 may store the first visual object of operation 720 and/or information indicating the first state of the virtual object for displaying the first visual object. there is.
  • the external electronic device 120 may store information indicating the first state of the virtual object as the state of the virtual object last viewed by the user of the electronic device 101. For example, after operation 760, when the state of the virtual object changes, the external electronic device 120 sends the electronic device 101 to the electronic device 101, along with data about the virtual object in the first state, in the changed state. Data about virtual objects can be transmitted.
  • Figure 8 shows an example of a flow chart for an electronic device, according to one embodiment.
  • the electronic device of FIG. 8 may include the electronic device 101 of FIGS. 1 , 2 , 3 , 4A , 4B , 4C , 5A , 5B , 6 , and 7 .
  • Operations of the electronic device of FIG. 8 may be performed by the electronic device 101 of FIG. 2 and/or the processor 210 within the electronic device 101 of FIG. 2 .
  • At least one of the operations of the electronic device 101 of FIG. 8 may be related to at least one of the operations of the electronic device 101 of FIG. 7 .
  • the electronic device may display a first visual object representing a virtual object in a first state.
  • the electronic device may perform operation 810 of FIG. 8 similar to operation 720 of FIG. 7 .
  • the electronic device Based on receiving information related to the virtual object in the first state from an external electronic device different from the electronic device (e.g., the external electronic device 120 of FIGS. 1 to 7), the electronic device detects the virtual object in the first state.
  • the first visual object representing an object may be displayed.
  • the electronic device may identify information related to the number of times the virtual object in the first state has been viewed. Within the state in which the first visual object representing the virtual object in the first state is displayed based on the operation 810, the electronic device may identify information on the operation 820.
  • the information may be stored in the electronic device of operation 810 and/or the external electronic device of operation 810.
  • the information may include the status of the virtual object that was last viewed by the user of the electronic device.
  • the information may include a history of the electronic device displaying the virtual object.
  • the electronic device may determine whether the number of times the virtual object in the first state has been viewed is less than a specified number.
  • the designated number of times may include a number indicating whether the virtual object in the first state was viewed for the first time by the user of the electronic device, such as the number 1.
  • the electronic device may A second visual object representing a virtual object may be displayed together with the first visual object.
  • the electronic device may perform operation 840 of FIG. 8 similar to operation 740 of FIG. 7 . If the number of times the virtual object in the first state has been viewed exceeds the designated number (830-No), the electronic device may bypass displaying the second visual object in operation 840. For example, when the number of times a virtual object in the first state has been viewed exceeds a specified number (830-No), the electronic device may refrain from displaying the second visual object.
  • the electronic device may determine whether an input indicating viewing of the first visual object has been identified.
  • the input may be identified by a sensor included in the electronic device (eg, sensor 250 in FIG. 2) based on what was described above with reference to FIG. 6.
  • the electronic device may perform operation 850 of FIG. 8 similarly to operation 750 of FIG. 7 .
  • the electronic device may maintain displaying the first visual object.
  • the electronic device displays the second visual object of action 840, prior to identifying an input indicating viewing the first visual object (850-No), the electronic device displays the second visual object together with the first visual object. 2 Able to maintain display of visual objects.
  • the electronic device in a state where an input indicating viewing of the first visual object is identified (850-Yes), based on operation 860, the electronic device provides information indicating that the first visual object has been viewed. can be saved.
  • the electronic device may perform operations 850 and 860 of FIG. 8 similar to operation 750 of FIG. 7 .
  • the information may include data for visualizing the virtual object in the first state of operation 810.
  • the information may be stored in an electronic device or in an external electronic device that provides the virtual object in the first state.
  • the information stored by operation 860 is provided to the user of the electronic device when the state of the virtual object changes to another state different from the first state after operation 860. It can be used to represent a virtual object of a state.
  • Figure 9 shows an example of a flow chart for an electronic device, according to one embodiment.
  • the electronic device of FIG. 9 may include the electronic device 101 of FIGS. 1 , 2 , 3 , 4A , 4B , 4C , 5A , 5B , 6 , and 7 .
  • Operations of the electronic device 101 of FIG. 9 may be performed by the electronic device 101 of FIG. 2 and/or the processor 210 within the electronic device 101 of FIG. 2 .
  • At least one of the operations of FIG. 9 may be related to the operations of the electronic device 101 of FIG. 7 and/or at least one of the operations of FIG. 8 .
  • the electronic device may display a first visual object representing a virtual object.
  • the electronic device may perform operation 910 of FIG. 9 similarly to operation 720 of FIG. 7 and/or operation 810 of FIG. 8 .
  • the electronic device receives a message from an external electronic device (e.g., the external electronic device 120 of FIGS. 1 to 7), a user of the electronic device (e.g., , information indicating the status of the virtual object that has been viewed by the user 110 of FIGS. 1 to 6 can be obtained.
  • the electronic device may request to transmit information in operation 735 of FIG. 7 to an external electronic device.
  • the electronic device may identify the information within a signal transmitted from the external electronic device to display the first visual object of the operation 910. Based on operation 920, the electronic device may obtain the information including a history of displaying the virtual object to the user of the electronic device.
  • the electronic device determines that the state of the virtual object indicated by the information in operation 920 is the state of the virtual object for displaying the first visual object. It is possible to identify whether it is different from the first state. For example, the electronic device may identify whether the state of the virtual object displayed by the user of the electronic device is different from the first state. For example, if the virtual object is changed between a first time point at which the first visual object is displayed based on the action 910 and a second time point at which the virtual object is displayed before the action 910, the electronic device operates. It may be identified that the first state of the virtual object at 910 is different from the state of the virtual object within the second viewpoint.
  • the electronic The device may display a second visual object representing a virtual object in a second state indicated by the information in operation 930 together with the first visual object.
  • the electronic device may perform operation 940 of FIG. 9 similarly to operation 740 of FIG. 7 and/or operation 840 of FIG. 8 . If the first state and the second state match (930-Yes), the electronic device may bypass performing operation 940. Within the state in which performing operation 940 is bypassed, the electronic device may refrain from displaying the second visual object of operation 940 .
  • the electronic device may identify whether an input indicating viewing of the first visual object has been identified.
  • the electronic device may perform operation 950 of FIG. 9 similarly to operation 750 of FIG. 7 and/or operation 850 of FIG. 8 .
  • the electronic device may maintain displaying the first visual object.
  • the electronic device provides information indicating that the first visual object has been viewed. can be saved.
  • the electronic device may perform operation 960 of FIG. 9 similarly to operation 860 of FIG. 8 .
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual', 'transcendence', etc., and 'Universe', meaning universe. It is a world where social, economic and cultural activities similar to the real world take place. It refers to a dimensional virtual world. Metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to experience life-like experiences in a virtual world created on a computer), and is a concept that uses avatars to simply enjoy games or virtual reality. Not only that, it has the characteristic of being able to engage in social and cultural activities similar to actual reality.
  • VR virtual reality
  • Such metaverse services can be provided in at least two forms. The first is that services are provided to users using a server, and the second is that services are provided through individual contact between users.
  • FIG. 10 is an exemplary diagram of a first embodiment environment 1001 that receives metaverse services through the server 1010.
  • the first embodiment environment 1001 includes a server 1010 providing a metaverse service, the server 1010, and each user terminal (e.g., the first terminal 1020-1, and the second terminal 1020-1).
  • a network connecting the user terminal 1020 including the terminal 1020-2 e.g., a network formed by at least one intermediate node 1030 including an access point (AP) and/or a base station
  • AP access point
  • base station a network formed by at least one intermediate node 1030 including an access point (AP) and/or a base station
  • the server 1010 provides input and output to the metaverse service to the user.
  • the server 1010 provides a virtual space so that the user terminal 1020 can perform activities in the virtual space.
  • the user terminal 1020 installs a S/W agent to access the virtual space provided by the server 1010 to express information provided by the server 1010 to the user, or to express information that the user wishes to express in the virtual space. Transmit information to the server.
  • the S/W agent can be provided directly through the server 1010, downloaded from a public server, or embedded when purchasing a terminal.
  • FIG. 11 is an exemplary diagram of a second embodiment environment 1002 in which metaverse services are provided through direct connection between user terminals (e.g., first terminal 1020-1 and second terminal 1020-2). am.
  • user terminals e.g., first terminal 1020-1 and second terminal 1020-2.
  • the second embodiment environment 1002 includes a first terminal 1020-1 providing a metaverse service, a network connecting each user terminal (e.g., to at least one intermediate node 1030), network formed by a network), and a second terminal (1020-2) that connects to the first terminal (1020-1) through the network and allows the second user to use the service by inputting and outputting the metaverse service.
  • a first terminal 1020-1 providing a metaverse service
  • a network connecting each user terminal (e.g., to at least one intermediate node 1030), network formed by a network)
  • a second terminal (1020-2) that connects to the first terminal (1020-1) through the network and allows the second user to use the service by inputting and outputting the metaverse service.
  • the second embodiment is characterized in that the metaverse service is provided by the first terminal 1020-1 performing the role of the server (eg, server 1010 in FIG. 10) in the first embodiment.
  • the server eg, server 1010 in FIG. 10.
  • the user terminal 1020 may be made in various form factors. It is characterized in that it includes an output device that provides images and/or sounds to the user and an input device that inputs information to the metaverse service.
  • Examples of various form factors of the user terminal 1020 include a smartphone (e.g., the second terminal (1020-2)), an AR device (e.g., the first terminal (1020-1)), a VR device, an MR device, and a VST device. , may include a TV or projector capable of input and output.
  • a user terminal may seamlessly transition between operations within example environment 1001 and environment 1002.
  • a user terminal may operate within example environments 1001 and 1002.
  • a network (e.g., a network formed by at least one intermediate node 1030) of one or more embodiments of the present invention may include various broadband networks including 3G, 4G, and 5G, and local area networks (e.g., including Wifi, BT, etc.) It includes a wired network or a wireless network directly connecting the first terminal 1020-1 and the second terminal 1020-2.
  • the user terminal 1020 of FIGS. 10 and 11 may be an example of the electronic device 101 of FIGS. 1 to 7 and/or the electronic device of FIGS. 8 and 9.
  • the server 1010 of FIG. 10 may be an example of the external electronic device 120 of FIGS. 1 to 7 and/or the external electronic device of FIGS. 8 and 9.
  • the electronic device displays a visual representation of another user connected to the user of the electronic device through the virtual space within a state in which at least a portion of the virtual space provided by the external electronic device is visualized.
  • Objects can be displayed.
  • the electronic device may identify a history of displaying the visual object in the second state, which is different from the first state, as a visual object representing the other user. Based on identifying the history, the electronic device may display other visual objects in the second state along with the visual object in the first state.
  • an electronic device e.g., electronic device 101 of FIGS. 1 to 7 includes a display (e.g., display 240 of FIG. 2) and a communication circuit (e.g., FIG. 2). may include a communication circuit 230), and a processor (eg, processor 210 of FIG. 2).
  • the processor is configured to display a first device representing a user within the display based on information received from an external electronic device (e.g., the external electronic device 120 of FIGS. 1 to 7) connected through the communication circuit.
  • Visual objects e.g., visual objects 330, 340, 350, 360 in FIG. 3, visual object 442 in FIG. 4A, visual object 462 in FIGS. 4B and 4C, visual object 524 in FIG. 5A) and/or visual object 340 of FIG. 6).
  • the processor may be configured to identify, based on the information, the number of times the first visual object was displayed through the display.
  • the processor is further configured to, based on identifying less than a specified number of times, display a second visual object (e.g., of FIG. 3 ) that represents the user before the first visual object, together with the first visual object, within the display. It may be configured to display visual objects 345, 355, 365).
  • the electronic device may display a first visual object representing the user together with a second visual object that was displayed as an expression of the user before the first visual object.
  • the processor may, within a virtual space (e.g., virtual space 140 of FIG. 1) including the first visual object, identify the user corresponding to the first visual object and the user of the electronic device. and may be configured to obtain the information, including interaction history.
  • a virtual space e.g., virtual space 140 of FIG. 1
  • the processor may, within a virtual space (e.g., virtual space 140 of FIG. 1) including the first visual object, identify the user corresponding to the first visual object and the user of the electronic device. and may be configured to obtain the information, including interaction history.
  • the processor may be configured to identify, from the information, the number of times the first visual object was viewed by a user of the electronic device via the display.
  • the processor may be configured to store, based on an input indicating viewing the first visual object, other information related to the first visual object along with the time at which the input was identified.
  • the electronic device may further include a sensor (eg, sensor 250 of FIG. 2).
  • the processor may be configured to identify the input based on the direction of gaze of the user of the electronic device, identified by data from the sensor.
  • the processor may be configured to display the first visual object (eg, the visual object 350 of FIG. 3) based on the video received from the external electronic device.
  • the first visual object eg, the visual object 350 of FIG. 3
  • the processor may, based on receiving information including an avatar representing the user from the external electronic device, display the first visual object (e.g., the visual object of FIG. 3) corresponding to at least a portion of the avatar. It may be configured to display objects 330, 340, and 360).
  • the first visual object e.g., the visual object of FIG. 3
  • the electronic device may further include memory (eg, memory 220 in the electronic device 101 of FIG. 2).
  • the processor refrains from displaying at least a portion of the second visual object based on identifying data indicating a user corresponding to the first visual object within a contact list stored in the memory ( refrain from), together with the first visual object, may be configured to display at least a portion of the data.
  • the processor is configured to display an animation transforming from the second visual object to the first visual object within a state of displaying the second visual object together with the first visual object. It can be.
  • a method of an electronic device includes the operation of displaying a first visual object included in a virtual space and representing a second user to a first user of the electronic device (e.g., FIG. It may include operation 910 of 9.
  • the method may include an operation (e.g., operation 920 of FIG. 9) of obtaining information indicating a visual object that has been browsed by the first user from an external electronic device. You can.
  • the method further comprises displaying, based on identifying, from the information, a second visual object that is different from the first visual object, the second visual object along with the first visual object displayed to the first user. (e.g., operation 940 of FIG. 9).
  • the operation of displaying the second visual object may include displaying the visual object indicated by the information based on the states of one or more virtual objects associated with the avatar of the second user obtained by the information. It may include an operation to identify whether the object is different from the first visual object (eg, operation 930 of FIG. 9).
  • the operation of displaying the second visual object may include sending the information stored in the external electronic device to the external electronic device in response to an input indicating viewing the first visual object, and sending the information stored in the external electronic device to the first visual object. It may include an operation of transmitting a signal to change based on the visual object.
  • the operation of displaying the second visual object may include the operation of identifying the direction of the gaze of the first user within the display of the electronic device based on data from a sensor of the electronic device.
  • the operation of displaying the second visual object may include the operation of identifying the input based on the identified direction.
  • the operation of identifying the input may include the operation of obtaining at least one of the duration or number of times the first visual object was viewed, based on the identified direction.
  • the operation of identifying the input may include the operation of identifying the input based on at least one of the period or the number of times.
  • the operation of displaying the second visual object may include the operation of displaying an intermediate form between the second visual object and the first visual object.
  • a method of an electronic device includes a first display that represents a user in the display of the electronic device based on information received from an external electronic device connected through a communication circuit of the electronic device. It may include an operation to display a visual object (e.g., operation 810 of FIG. 8). The method may include an operation (eg, operation 820 of FIG. 8) of identifying the number of times the first visual object is displayed through the display, based on the information. The method may further include, based on identifying less than a specified number of times, displaying, within the display, together with the first visual object, a second visual object representing the user before the first visual object (e.g. , may include operation 840 of FIG. 8).
  • the identifying operation may include obtaining the information including the interaction history of the user corresponding to the first visual object and the user of the electronic device within a virtual space containing the first visual object. It may include actions such as:
  • the identifying operation may include identifying, from the information, the number of times the first visual object has been viewed by the user of the electronic device through the display.
  • the identifying operation may include, based on an input indicating viewing the first visual object, storing other information related to the first visual object together with the time of identifying the input. You can.
  • the operation of displaying the first visual object may include the operation of displaying the first visual object based on video received from the external electronic device.
  • the method may include displaying at least a portion of the second visual object based on identifying data indicating a user corresponding to the first visual object within a contact list stored in a memory of the electronic device. Refrain from and display at least a portion of the data together with the first visual object.
  • the operation of displaying the second visual object may include the operation of displaying an animation that transforms the second visual object into the first visual object.
  • an electronic device e.g., electronic device 101 of FIGS. 1 to 7) includes a display (e.g., display 240 of FIG. 2), a communication circuit ( For example, it may include a communication circuit 230 in FIG. 2) and a processor (for example, the processor 210 in FIG. 2).
  • the processor is included in a virtual space (e.g., virtual space 140 of FIG. 1) to a first user of the electronic device (e.g., first user 110-1 of FIG. 1) through the display, A first visual object (e.g., the second visual object 160-2 of FIG. 1, the visual objects 330 of FIG. 3) representing a second user (e.g., the second user 110-2 of FIG.
  • the processor receives a visual object that has been browsed by the first user from an external electronic device (e.g., the external electronic device 120 of FIGS. 1 to 7) through the communication circuit. It may be configured to obtain indicated information.
  • the processor identifies, from the information, a second visual object (e.g., visual object 172 in FIG. 1 and/or visual objects 345, 355, 365 in FIG. 3) that is different from the first visual object. Based on this, it may be configured to display the second visual object together with the first visual object displayed to the first user.
  • the processor may determine, based on the states of one or more virtual objects associated with the avatar of the second user obtained by the information, that the visual object indicated by the information is the first visual object. It may be configured to identify whether it is different from.
  • the processor in response to an input indicating viewing the first visual object, causes the external electronic device to change the information stored in the external electronic device based on the first visual object. It may be configured to transmit a signal for.
  • the electronic device may further include a sensor (eg, sensor 250 of FIG. 2).
  • the processor may be configured to identify a direction of the first user's gaze within the display based on data from the sensor.
  • the processor may be configured to identify the input based on the identified direction.
  • the processor may be configured to obtain at least one of a period or number of times the first visual object was viewed, based on the identified direction.
  • the processor may be configured to identify the input based on at least one of the period of time or the number of times.
  • the processor may be configured to display an intermediate form between the second visual object and the first visual object.
  • the wearable device may include a display, a processor, and memory for storing instructions.
  • the instructions when executed by the processor, may cause the wearable device to display the virtual space on the display based on receiving an input to enter the virtual space.
  • the instructions when executed by the processor, may cause the wearable device to display, within the virtual space, a first avatar that has a first appearance and is a current representation of the user. there is.
  • the instructions when executed by the processor, cause the wearable device to create visual output for a second avatar that has a second appearance that is different from the first appearance of the first avatar and is a previous representation of the user.
  • An object may be caused to be displayed in the virtual space together with the first avatar.
  • a wearable device may include a display, a memory for storing instructions, and at least one processor for executing the instructions.
  • the at least one processor may be configured to receive information from an external electronic device associated with an avatar located within the virtual space based on an input indicating entry into the virtual space.
  • the at least one processor may be configured to display at least a portion of the virtual space including a first avatar in a first appearance based on receiving the information.
  • the at least one processor may be configured to display the visual object including text related to the timing at which the avatar changed from the second appearance to the first appearance.
  • the at least one processor may display the visual object to visualize a change history of the clothing associated with the avatar. It can be configured to display .
  • the at least one processor while displaying the avatar and the visual object, stops displaying the visual object based on identifying the direction of the user's gaze toward the visual object or the avatar. It can be configured to do so.
  • the at least one processor may be configured, while displaying the avatar and the visual object, to stop displaying the visual object based on identifying an audio signal associated with an identifier of the avatar. there is.
  • the at least one processor may display an indicator positioned in conjunction with the avatar based on the information further including the avatar in the second appearance displayed by the wearable device before receiving the input. may be configured to display together with the avatar. The at least one processor may be configured to display the visual object and stop displaying the indicator based on different inputs to the indicator.
  • the at least one processor may be configured to stop displaying the visual object while displaying the identifier of the avatar.
  • a non-transitory computer-readable storage medium may be configured to store instructions.
  • the instructions when executed by the at least one processor of the wearable device, cause the at least one to display the virtual space on the display of the virtual wearable device based on receiving an input for entering the virtual space. This can cause the processor.
  • the instructions when executed by the at least one processor of the wearable device, cause the at least one processor to display in the virtual space a first avatar that has a first appearance and is a current representation of the user. can do.
  • the instructions when executed by at least one processor of a wearable device, generate a visual object for a second avatar that is a past representation of the user and has a second appearance that is different from the first appearance of the first avatar. and cause the at least one processor to display within the virtual space with a first avatar.
  • a non-transitory computer readable storage medium may be configured to store instructions.
  • the instructions when executed by at least one processor of the wearable device, are configured to: receive information from an external electronic device associated with an avatar located within the virtual space based on an input indicating entry into the virtual space; may cause the processor to The instructions, when executed by the at least one processor, cause the at least one to display at least a portion of the virtual space that includes a first avatar of a first appearance based on receiving the information.
  • the instructions when executed by the at least one processor, with the avatar based on the information further comprising the avatar in a second appearance that was displayed by the wearable device prior to identifying the input, and cause the at least one processor to display a visual object representing the avatar in the second appearance.
  • the instructions when executed by at least one processor of a wearable device, cause the visual object to display the visual object including text related to the timing at which the avatar changed from the second appearance to the first appearance. Can cause at least one processor.
  • the instructions when executed by at least one processor of a wearable device, display the clothing associated with the avatar while displaying the avatar having a form combined with at least one visual object representing clothing. may cause the at least one processor to display the visual object to visualize the change history.
  • the instructions when executed by at least one processor of a wearable device, are based on identifying the direction of the user's gaze toward the visual object or the avatar while displaying the avatar and the visual object. thereby causing the at least one processor to stop displaying the visual object.
  • the instructions when executed by at least one processor of a wearable device, while displaying the avatar and the visual object, based on identifying an audio signal associated with an identifier of the avatar, and cause the at least one processor to stop displaying.
  • the instructions when executed by at least one processor of a wearable device, may be based on the information further comprising the avatar in the second appearance that was displayed by the wearable device prior to receiving the input.
  • it may be configured to display an indicator located in conjunction with the avatar together with the avatar.
  • the instructions when executed by the at least one processor of the wearable device, cause the at least one processor to display the visual object and stop displaying the indicator based on another input to the indicator. You can.
  • the instructions when executed by at least one processor of a wearable device, may cause the at least one processor to stop displaying the visual object while displaying the identifier of the avatar.
  • a method of an electronic device may include an operation of identifying information about an avatar in the virtual space based on a request from a wearable device to enter the virtual space.
  • the method based on identifying the information of the first appearance of the avatar, determines that the second appearance of the avatar displayed by the wearable device prior to the request is different from the first appearance of the avatar. Based on the identification, transmitting the information including the avatar in the first appearance and a change history of the avatar from the first appearance to the second appearance to the wearable device.
  • the method may further include, based on identifying the information of the first avatar of the first appearance, identifying that the first appearance of the avatar is the same as the second appearance, 1 may include transmitting the information including the avatar in appearance to the wearable device.
  • a method of an electronic device including a display, memory, and processor.
  • the method may include displaying the virtual space on the display based on receiving an input for entering the virtual space.
  • the method may include displaying a first avatar, which has a first appearance and is a current representation of the user, within the virtual space.
  • the method includes creating a visual object for a second avatar, which has a second appearance different from the first appearance of the first avatar and is a previous representation of the user, in the virtual space together with the first avatar. It may include a display action.
  • transmitting the information along with the history may include transmitting the information including text related to the timing at which the avatar changed from the second appearance to the first appearance.
  • the identifying operation may include identifying the information of the avatar that has a form in which at least one visual object representing clothing is combined.
  • the information may include the timing at which the at least one virtual object is combined with the avatar.
  • the identifying operation may include comparing the timing with the latest timing of the avatar displayed by the wearable device, and determining whether to transmit the information including the history.
  • the identifying operation may include, based on the request, identifying the information of the avatar as different from another avatar representing a user logged in to the wearable device.
  • the method may include, in response to a signal indicating that an input for viewing the avatar or the visual object is received from the wearable device, information indicating that the avatar in the first appearance has been viewed by a user of the wearable device.
  • An operation to save may further be included.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른, 웨어러블 장치의 적어도 하나의 프로세서는, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 디스플레이 상에 가상 공간을 표시할 수 있다. 상기 적어도 하나의 프로세서는, 제1 모습을 가지고, 사용자의 현재 표현인 제1 아바타를 상기 가상 공간 내에 표시할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시할 수 있다. 예를 들면, 상기 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.

Description

가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법
본 개시(present disclosure)는 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예에 따른, 웨어러블 장치는, 디스플레이, 프로세서, 및 인스트럭션들을 저장하기 위한 메모리를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 디스플레이 상에 상기 가상 공간을 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 제1 모습(appearance)을 가지고, 사용자의 현재 표현(current representation)인 제1 아바타를, 상기 가상 공간 내에 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하도록, 야기할 수 있다.
일 실시예에 따른, 비-일시적 컴퓨터 판독 가능 저장 매체는 인스트럭션들을 저장하도록, 구성될 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 가상 웨어러블 장치의 디스플레이 상에 상기 가상 공간을 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 제1 모습(appearance)을 가지고, 사용자의 현재 표현인 제1 아바타를, 상기 가상 공간 내에 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
일 실시예에서, 디스플레이, 메모리 및 프로세서를 포함하는 전자 장치의 방법이 제공된다. 상기 방법은, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 디스플레이 상에 상기 가상 공간을 표시하는 동작을 포함할 수 있다. 상기 방법은, 제1 모습(appearance)을 가지고, 사용자의 현재 표현(current representation)인 제1 아바타를, 상기 가상 공간 내에 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 디스플레이, 인스트럭션들을 저장하기 위한 메모리 및 상기 인스트럭션들을 실행하기 위한 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 가상 공간으로 진입함을 나타내는 입력에 기반하여, 상기 가상 공간 내에 위치된 아바타와 관련된 외부 전자 장치로부터 정보를 수신하도록, 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 정보를 수신하는 것에 기반하여, 제1 모습(appearance)의 제1 아바타를 포함하는 상기 가상 공간의 적어도 일부분을 표시하도록, 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 입력을 식별하기 이전에 상기 웨어러블 장치에 의해 표시되었던 제2 모습의 상기 아바타를 더(further) 포함하는 상기 정보에 기반하여, 상기 아바타와 함께, 상기 제2 모습의 상기 아바타를 표현하는 시각적 객체를 표시하도록, 구성될 수 있다.
일 실시예에 따른, 비-일시적 컴퓨터 판독 가능 저장 매체는 인스트럭션들을 저장하도록, 구성될 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 가상 공간으로 진입함을 나타내는 입력에 기반하여, 상기 가상 공간 내에 위치된 아바타와 관련된 외부 전자 장치로부터 정보를 수신하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 시에, 상기 정보를 수신하는 것에 기반하여, 제1 모습(appearance)의 제1 아바타를 포함하는 상기 가상 공간의 적어도 일부분을 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 시에, 상기 입력을 식별하기 이전에 상기 웨어러블 장치에 의해 표시되었던 제2 모습의 상기 아바타를 더 포함하는 상기 정보에 기반하여, 상기 아바타와 함께, 상기 제2 모습의 상기 아바타를 표현하는 시각적 객체를 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 가상 공간으로 진입하기 위한 웨어러블 장치의 요청에 기반하여, 상기 가상 공간 내에서 아바타의 정보를 식별하는 동작을 포함할 수 있다. 상기 방법은, 제1 모습의 상기 제1 아바타의 상기 정보를 식별하는 것에 기반하여, 상기 요청 이전에 상기 웨어러블 장치에 의해 표시되었던 상기 아바타의 제2 모습이 상기 아바타의 상기 제1 모습과 다름을 식별하는 것에 기반하여, 상기 제1 모습의 상기 아바타를 포함하고, 상기 제1 모습으로부터 상기 제2 모습으로 상기 아바타의 변경 이력을 포함하는 상기 정보를 상기 웨어러블 장치로 송신하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 모습의 상기 제1 아바타의 상기 정보를 식별하는 것에 기반하여, 상기 아바타의 상기 제1 모습이 상기 제2 모습과 동일함을 식별하는 것에 기반하여, 상기 이력 없이 상기 제1 모습의 상기 아바타를 포함하는 상기 정보를 상기 웨어러블 장치로 송신하는 동작을 포함할 수 있다.
일 실시예(an embodiment)에 따른, 전자 장치(electronic device)는, 디스플레이, 통신 회로, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로를 통해 연결된 외부 전자 장치로부터 수신된 정보에 기반하여, 상기 디스플레이 내에, 사용자를 표현하는 제1 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 정보에 기반하여, 상기 제1 시각적 객체가 상기 디스플레이를 통해 표시된 횟수를 식별하도록, 구성될 수 있다. 상기 프로세서는, 지정된 횟수 미만의 횟수를 식별하는 것에 기반하여, 상기 디스플레이 내에서 상기 제1 시각적 객체와 함께, 상기 제1 시각적 객체 이전에 상기 사용자를 표현하는 제2 시각적 객체를 표시하도록, 구성될 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 통신 회로를 통해 연결된 외부 전자 장치로부터 수신된 정보에 기반하여, 상기 전자 장치의 디스플레이 내에, 사용자를 표현하는 제1 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 정보에 기반하여, 상기 제1 시각적 객체가 상기 디스플레이를 통해 표시된 횟수를 식별하는 동작을 포함할 수 있다. 상기 방법은, 지정된 횟수 미만의 횟수를 식별하는 것에 기반하여, 상기 디스플레이 내에서 상기 제1 시각적 객체와 함께, 상기 제1 시각적 객체 이전에 상기 사용자를 표현하는 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 전자 장치(electronic device)는, 디스플레이, 통신 회로 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이를 통하여 상기 전자 장치의 제1 사용자에게, 가상 공간 내에 포함되고, 제2 사용자를 표현하는 제1 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 외부 전자 장치로부터, 상기 제1 사용자에 의해 열람되었던(has been browsed) 일(a) 시각적 객체를 지시하는 정보를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 정보로부터, 상기 제1 시각적 객체와 상이한 제2 시각적 객체를 식별하는 것에 기반하여, 상기 제1 사용자에게 표시되는 상기 제1 시각적 객체와 함께, 상기 제2 시각적 객체를 표시하도록, 구성될 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 제1 사용자에게, 가상 공간 내에 포함되고, 제2 사용자를 표현하는 제1 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 외부 전자 장치로부터, 상기 제1 사용자에 의해 열람되었던(has been browsed) 일(a) 시각적 객체를 지시하는 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 정보로부터, 상기 제1 시각적 객체와 상이한 제2 시각적 객체를 식별하는 것에 기반하여, 상기 제1 사용자에게 표시되는 상기 제1 시각적 객체와 함께, 상기 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
도 1은, 일 실시예에 따른, 전자 장치가, 외부 전자 장치로부터 획득된 정보에 기반하여 표시하는 UI(user interface)의 일 예를 도시한다.
도 2는, 일 실시예에 따른, 전자 장치의 블록도이다.
도 3은, 일 실시예에 따른, 전자 장치가 가상 공간의 적어도 일부분을 표시하는 동작의 일 예를 도시한다.
도 4a, 도 4b 및 도 4c는, 일 실시예에 따른, 전자 장치가, 가상 객체를 표현한 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 5a 및 도 5b는, 일 실시예에 따른, 전자 장치가, 가상 객체가 변경된 히스토리에 기반하여 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 6은, 일 실시예에 따른, 전자 장치가 가상 객체에 대응하는 시각적 객체에 대한 입력을 식별하는 동작의 일 예를 도시한다.
도 7은, 일 실시예에 따른, 전자 장치 및 외부 전자 장치 사이의 신호 흐름도의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다.
도 9는, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다.
도 10은, 서버를 통해 메타버스 서비스를 제공받는 제1 실시예 환경에 대한 예시도이다.
도 11은 사용자 단말들 및 제2 단말의 직접 연결을 통해 메타버스 서비스를 제공받는 제2 실시예 환경에 대한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 일 실시예에 따른, 전자 장치가, 외부 전자 장치로부터 획득된 정보에 기반하여 표시하는 UI(user interface)의 일 예를 도시한다. 도 1은 네트워크에 기반하여 서로 연결된 복수의 전자 장치들을 도시한 도면이다. 도 1을 참고하면, 제1 전자 장치(101-1), 제2 전자 장치(101-2), 및 제3 전자 장치(120)가 유선 네트워크 및/또는 무선 네트워크에 기반하여 서로 연결된 예시적인 상황이 도시된다. 도 1의 복수의 전자 장치들에 포함된 하드웨어 컴포넌트는 도 2를 참고하여 설명한다.
상기 유선 네트워크는, 인터넷, LAN(local area network), WAN(wide area network), 이더넷 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 상기 무선 네트워크는, LTE(long term evolution), 5g NR(new radio), WiFi(wireless fidelity), Zigbee, NFC(near field communication), Bluetooth, BLE(bluetooth low-energy) 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 비록, 도 1의 복수의 전자 장치들이 직접적으로 연결된(directly connected) 것으로 도시되었으나, 상기 복수의 전자 장치들은, 하나 이상의 중간 노드들(intermediate nodes)(예, 라우터 및/또는 AP(access point))를 통해 간접적으로 연결될 수 있다.
도 1을 참고하면, 제1 전자 장치(101-1), 및 제2 전자 장치(101-2)는, 사용자(예, 제1 사용자(110-1), 및 제2 사용자(110-2) 각각을 포함하는 사용자(110))에 의해 소유되는(be owned by) 단말일 수 있다. 단말은, 예를 들어, 랩톱 및 데스크톱과 같은 개인용 컴퓨터(personal computer, PC), 스마트폰(smartphone), 스마트패드(smartpad) 및/또는 태블릿 PC를 포함할 수 있다. 단말은, 스마트워치(smartwatch) 및/또는 HMD(head-mounted device)와 같은 스마트액세서리를 포함할 수 있다. 도 1을 참고하면, HMD의 폼 팩터를 가지는 제1 전자 장치(101-1), 및 제2 전자 장치(101-2)의 예시적인 형태들이 도시되지만, 실시예가 이에 제한되는 것은 아니다. 이하에서, 제1 전자 장치(101-1), 및 제2 전자 장치(101-2)를 포함하는 단말이, 전자 장치(101)로 참조될 수 있다. 전자 장치(101)의 사용자(110)는, 제3 전자 장치(120)에 의해 제공되는 서비스의 가입자들(subscribers)일 수 있다.
도 1을 참고하면, 제3 전자 장치(120)는 서비스 제공자의 서버를 포함할 수 있다. 서버는 하나 이상의 PC 및/또는 워크스테이션을 포함할 수 있다. 일 실시예에서, 상기 서비스 제공자는 가입자들 사이의 상호연결성(interconnectivity)을 강화하는 서비스로써, 비디오 컨퍼런스(video conference) 및/또는 메타버스 서비스를 운영할 수 있다. 이하에서, 사용자의 단말인 전자 장치(101)와 구분하는 관점에서(in terms of), 제3 전자 장치(120)는 외부 전자 장치(120)로 참조될 수 있다.
일 실시예에 따른, 전자 장치(101)는, 전자 장치(101)의 사용자(110)에게 가상 공간(140)에 기반하는 사용자 경험(user experience)을 제공할 수 있다. 전자 장치(101)는 외부 전자 장치(120)와 통신하여, 가상 공간(140)에 대한 정보를 획득할 수 있다. 비록, 전자 장치(101)가 상기 정보에 기반하여, 가상 공간(140)의 적어도 일부분을 시각화하는 일 실시예가 설명되지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 전자 장치(101)는 가상 공간(140)과 관련된 오디오 신호를 출력할 수 있다. 예를 들어, 전자 장치(101)는 가상 공간(140)과 관련된 진동을 출력할 수 있다.
도 1을 참고하면, 외부 전자 장치(120)는 적어도 하나의 가상 공간(예, 가상 공간(140))을 이용하여, 몰입형 서비스 플랫폼(immersive service platform)과 관련된 기능들을 제공할 수 있다. 외부 전자 장치(120)는 복수의 축들(예, x 축, y 축 및/또는 z 축)에 의해 형성된 좌표계(예, 2차원 좌표계 또는 3차원 좌표계)를 따라 형성된 가상 공간(140) 내에, 하나 이상의 가상 객체들을 배치(arrange)할 수 있다. 도 1을 참고하면, 외부 전자 장치(120)가 가상 공간(140) 내에 배치한 제1 가상 객체(130-1), 및 제2 가상 객체(130-2)가 도시된다. 외부 전자 장치(120)는, 전자 장치(101)로부터 수신된 신호(예, 가상 공간(140)으로 액세스하기 위한 신호)에 기반하여, 가상 공간(140) 내에, 상기 전자 장치(101)의 사용자(110)를 표현하는(represents) 아바타를 배치할 수 있다. 상기 아바타는, 캐릭터로 지칭될(referred as) 수 있다.
일 실시예에서, 아바타는, 사용자와 관련된 정보를 이용하여 생성될 수 있다. 아바타는, 3차원 그래픽적 객체들(three dimensional graphical objects)의 조합으로, 예를 들어, 후술하는 바와 같이, 하나 이상의 의류들을 표현하는 가상 객체 및 신체 부위(예, 상반신과 같은 사용자의 일부분 및/또는 사용자의 전체 신체)를 표현하는 가상 객체의 조합을 포함할 수 있다. 아바타는, 하나 이상의 가상 객체들을 조합하거나 변형하기 위한 사용자 입력을 수신한 전자 장치(101)에 의해 생성될 수 있다. 실시예가 이에 제한되는 것은 아니며, 아바타는, 사용자의 얼굴 및/또는 신체 부위를 표현하는 사진을 수신한 전자 장치(101)에 의해 생성될 수 있다.
도 1의 일 실시예에서, 제1 가상 객체(130-1)는, 제1 전자 장치(101-1)의 사용자(110-1)를 표현하는 아바타이고, 제2 가상 객체(130-2)는, 제2 전자 장치(101-2)의 사용자(110-2)를 표현하는 아바타일 수 있다. 가상 공간(140) 내 아바타의 위치, 크기, 및/또는 형태는, 전자 장치(101)가 외부 전자 장치(120)로 송신한 신호에 의해 변경될 수 있다. 예를 들어, 전자 장치(101)는, 아바타에 대응하는 사용자(110)의 입력에 기반하여, 외부 전자 장치(120)로 상기 신호를 송신할 수 있다. 사용자(110)의 상기 입력은, 가상 공간(140) 내에서 상기 아바타를 이동함을 지시하는 입력을 포함할 수 있다. 가상 공간(140) 내에 배치된 가상 객체는, 아바타에 제한되는 것은 아니며, 외부 전자 장치(120)는, 가상 공간(140) 내에 상기 아바타와 상이한 다른 가상 객체(예, 지형(terrain) 및/또는 건물을 표현하는 가상 객체)를 배치할 수 있다.
일 실시예에 따른, 전자 장치(101)는 화면 내에, 가상 공간(140)의 적어도 일부분을 표시할 수 있다. 도 1을 참고하면, 제1 전자 장치(101-1)가, 제1 전자 장치(101-1)의 화면(150-1) 내에 표시한 가상 공간(140)의 일부분이 예시적으로 도시된다. 제1 전자 장치(101-1)의 화면(150-1) 내에 표시된 가상 공간(140)의 일부분은, 제1 가상 객체(130-1)의 뷰 앵글(viewing angle) 내에 포함된 가상 공간(140)의 적어도 일부분일 수 있다. 상기 제1 가상 객체(130-1)는 제1 전자 장치(101-1)의 사용자(110-1)를 표현한 아바타일 수 있다. 가상 공간(140) 내에서, 제2 가상 객체(130-2)가 상기 제1 가상 객체(130-1)의 상기 뷰 앵글 내에 포함되기 때문에, 제2 가상 객체(130-2)를 표현하는 제2 시각적 객체(160-2)가, 제1 전자 장치(110-1)의 화면(150-1) 내에 표시될 수 있다. 제2 시각적 객체(160-2)가 제2 가상 객체(130-2)를 표현함에도 불구하고, 제2 시각적 객체(160-2)가 제1 전자 장치(101-1)의 화면(150-1) 내에 구분되어 기재되어 있음에 주의해야 한다. 제2 가상 객체(130-2)가 3차원 좌표계에 기반하는 3차원의 객체인 경우, 제2 시각적 객체(160-2)는 가상 공간(140) 내 제1 가상 객체(130-1)의 뷰 앵글로 투영된(projected onto) 상기 제2 가상 객체(130-2)의 상(image)일 수 있다.
도 1을 참고하면, 제2 전자 장치(101-2)가, 제2 전자 장치(101-2)의 화면(150-2) 내에 표시한 가상 공간(140)의 일부분이 예시적으로 도시된다. 가상 공간(140) 내에서, 제1 가상 객체(130-1)가 제2 가상 객체(130-2)의 뷰 앵글 내에 포함되는 경우, 제2 전자 장치(101-2)는 화면(150-2) 내에, 제1 가상 객체(130-1)를 표현하는 제1 시각적 객체(160-1)를 표시할 수 있다. 제1 시각적 객체(160-1)가 제1 가상 객체(130-1)를 표현함에도 불구하고, 제1 시각적 객체(160-1)가 제2 전자 장치(101-2)의 화면(150-2) 내에 구분되어 기재되어 있음에 주의해야 한다. 상술한 바와 같이, 제1 전자 장치(101-1) 및 제2 전자 장치(101-2)를 포함하는 전자 장치(101)는, 전자 장치(101)의 사용자(110)에게, 가상 공간(140) 내에 포함되고, 전자 장치(101)의 사용자(110)와 다른 사용자를 표현하는 시각적 객체를 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는 사용자(110)에게, 전자 장치(101)의 사용자(110)와 다른 사용자에 대응하는 시각적 객체를 표시한 상태 내에서, 상기 시각적 객체에 대응하는 가상 객체(예, 아바타)가 변경된 히스토리를 표시할 수 있다. 예를 들어, 제1 전자 장치(101-1)는, 제2 가상 객체(130-2)를 표현한 제2 시각적 객체(160-2)를 표시한 화면(150-1) 내에서, 제2 가상 객체(130-2)가 변경된 히스토리에 기반하는 시각적 객체(170)를 표시할 수 있다. 제2 가상 객체(130-2)가 사용자(110-2)에 대응하는 아바타인 일 실시예에서, 제1 전자 장치(101-1)는 상기 시각적 객체(170) 내에 상기 아바타가 변경된 히스토리를 표시할 수 있다.
도 1을 참고하면, 버블의 형태를 가지는 시각적 객체(170)가 도시되지만, 실시예가 이에 제한되는 것은 아니다. 시각적 객체(170) 내에서, 제1 전자 장치(101-1)는 제2 시각적 객체(160-2)에 대응하는 제2 가상 객체(130-2) 이전에 제1 사용자(110-1)에게 표시되었던(has been displayed) 다른 가상 객체를 표현하는 시각적 객체(172)를 표시할 수 있다. 예를 들어, 시각적 객체(172)는, 제2 시각적 객체(160-2)에 대응하는 제2 가상 객체(130-2) 이전에 제2 사용자(110-2)의 표현(representation)으로써 제1 전자 장치(101-1)의 디스플레이를 통해 표시되었던, 상기 다른 가상 객체를 지시할(indicate) 수 있다. 시각적 객체(170) 내에서, 제1 전자 장치(101-1)는, 제2 사용자(110-2)에 대응하는 상기 아바타가 변경된 시점(timing 또는 moment)을 가이드하는 텍스트(예, 연-월-일을 표현하는 "변경시간: yyyy-mm-dd")를 표시할 수 있다. 시각적 객체(170) 내에서, 제1 전자 장치(101-1)는, 제1 사용자(110-1) 및 제2 사용자(110-2)가 상호작용하였던 가상 공간(140) 내 위치를 가이드하는 텍스트(예, "마지막 만남: A 가상 공간")를 표시할 수 있다. 시각적 객체(170) 내에서, 제1 전자 장치(101-1)는 지정된 텍스트(예, 확인)을 포함하는 버튼 형태의 시각적 객체(174)를 표시할 수 있다. 제1 전자 장치(101-1)는, 상기 시각적 객체(174)를 선택함을 나타내는 입력에 응답하여, 상기 시각적 객체(170)를 표시하는 것을 중지할 수 있다.
예를 들어, 제2 사용자(110-2)는 가상 공간(140)에 기반하여 제1 사용자(110-1)와 통신한 이후, 제2 사용자(110-2)에 대응하는 제2 가상 객체(130-2)의 적어도 일부분을 변경할 수 있다. 외부 전자 장치(120) 및/또는 제1 전자 장치(101-1)는, 제1 전자 장치(101-1)의 디스플레이를 통해 제2 가상 객체(130-2)의 적어도 일부분을 표시(예, 제2 시각적 객체(160-2))하는 상태 내에서, 제2 사용자(110-2)가 제2 가상 객체(130-2)의 적어도 일부분을 변경하였는지 여부를 식별할 수 있다. 제1 시점 내에서, 가상 공간(140) 내에서 제1 사용자(110-1) 및 제2 사용자(110-2) 사이의 통신이 발생되었고, 상기 제1 시점 이후의 제2 시점 내에서, 제2 가상 객체(130-2)의 적어도 일부분이 변경된 경우, 상기 제2 시점 이후의 제3 시점 내에서, 제1 전자 장치(101-1)는 제2 가상 객체(130-2)의 적어도 일부분이 변경되었음을 식별할 수 있다. 제1 전자 장치(101-1)는, 상기 제3 시점 내에서의 제2 가상 객체(130-2)를 표현하는 제2 시각적 객체(160-2)와 함께, 상기 제1 시점 내에서 제1 사용자(110-1)에 의해 열람되었던(has been browsed) 시각적 객체(172)를 표시할 수 있다.
도 1을 참고하면, 제2 시각적 객체(160-2) 및 시각적 객체(172)를 함께 표시하여, 제1 전자 장치(101-1)는 제2 사용자(101-2)를 표현하는 가상 공간(140) 내 제2 가상 객체(130-2)가 변경된 히스토리를 시각화할 수 있다. 제1 전자 장치(101-1)가, 상기 제2 가상 객체(130-2)가 변경된 히스토리를 시각화하기 때문에, 제1 전자 장치(101-1)의 제1 사용자(110-1)는 상기 히스토리에 기반하여 제2 사용자(110-2)에 대응하는 상기 제2 가상 객체(130-2)에 대응하는 제2 시각적 객체(160-2)를 보다 신속하게 식별할 수 있다. 시각적 객체(170)와 같이, 제1 전자 장치(101-1)가 상기 제2 가상 객체(130-2)가 변경된 히스토리를 시각화하기 위하여 표시하는 UI(user interface)의 일 예가, 도 3, 도 4a, 도 4b, 도 4c, 도 5a 및 도 5b를 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 제1 전자 장치(101-1)는 제2 가상 객체(130-2)를 표현하는 제2 시각적 객체(160-2)를 표시하는 상태 내에서, 제1 전자 장치(101-1)의 제1 사용자(110-1)에 의해 상기 제2 가상 객체(130-2)에 대응하는 제2 사용자(110-2)의 표현으로써 열람되었던(has been browsed) 시각적 객체(172)를 식별할 수 있다. 예를 들어, 제1 전자 장치(101-1)는 외부 전자 장치(120)로부터 시각적 객체(172)를 지시하는 정보를 획득할 수 있다. 제1 전자 장치(101-1)는, 상기 정보로부터, 디스플레이를 통해 표시되는 제2 시각적 객체(160-2)와 상이한 시각적 객체(172)를 식별하는 것에 기반하여, 제2 시각적 객체(160-2)와 함께, 시각적 객체(172)를 표시할 수 있다. 제2 시각적 객체(160-2) 및 시각적 객체(172)를 함께 표시하여, 제1 전자 장치(101-1)는 제1 사용자(110-1)에게, 현재 시점의 제2 사용자(110-2)의 표현(representation)(예, 아바타 및/또는 비디오)과 함께 현재 시점 이전의 다른 시점의 제2 사용자(110-2)의 표현을 표시할 수 있다. 상기 다른 시점은, 제1 사용자(110-1)가 제1 전자 장치(101-1)를 통해 제2 사용자(110-2)와 통신한 마지막 시점일 수 있다.
이하에서는 도 2를 참고하여, 일 실시예에 따른, 전자 장치(101) 및 외부 전자 장치(120) 내에 포함된 하드웨어의 구조의 일 예가 설명된다.
도 2는, 일 실시예에 따른, 전자 장치(101)의 블록도이다. 도 2의 전자 장치(101) 및 외부 전자 장치(120)는 도 1의 전자 장치(101) 및 외부 전자 장치(120)를 포함할 수 있다.
도 2를 참고하면, 전자 장치(101)는, 프로세서(210), 메모리(220), 통신 회로(230), 디스플레이(240), 또는 센서(250) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(220), 통신 회로(230), 디스플레이(240), 및 센서(250)는 통신 버스(a communication bus)(202)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 2의 하드웨어들 중 일부분(예, 프로세서(210), 메모리(220), 및 통신 회로(230)의 적어도 일부분)이 단일 집적 회로(single integrated circuit)(예, SoC(system on a chip))에 포함될 수 있다. 전자 장치(101)에 포함된 하드웨어 컴포넌트의 타입 및/또는 개수는 도 2에 도시된 바에 제한되지 않는다. 예를 들어, 전자 장치(101)는 도 2에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
도 2를 참고하면, 전자 장치(101)의 외형들(appearances)이 예시적으로 도시된다. 전자 장치(101)는 사용자(예, 도 1의 사용자(110))의 머리에 착용가능한 안경(204-1)의 형태를 가질 수 있다. 전자 장치(101)는 휴대 전화(204-2)의 형태를 가질 수 있다. 전자 장치(101)는 랩톱 PC(204-3)의 형태를 가질 수 있다.
일 실시예에 따른, 전자 장치(101)의 프로세서(210)는 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(210)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(210)는 듀얼 코어(dual core), 쿼드 코어(quad core) 또는 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에 따른, 전자 장치(101)의 메모리(220)는 프로세서(210)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(220)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 메모리(220) 내에서, 프로세서(210)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 전자 장치(101), 및/또는 프로세서(210)는, 운영체제, 펌웨어, 드라이버, 및/또는 어플리케이션 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)이 실행될 시에, 도 7, 도 8 및 도 9의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 전자 장치(101)에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 전자 장치(101)의 메모리(220) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치(101)의 프로세서(210)에 의해 실행 가능한(executable) 포맷(예, 전자 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
일 실시예에 따른, 전자 장치(101)의 통신 회로(230)는 전자 장치(101) 및 외부 전자 장치(120) 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어를 포함할 수 있다. 통신 회로(230)를 통해 전자 장치(101)와 연결된 하나의 외부 전자 장치(120) 만이 도시되었으나, 실시예가 이에 제한되지 않으며, 예를 들어, 전자 장치(101)는 외부 전자 장치(120)를 포함하는 복수의 외부 전자 장치들과 통신할 수 있다. 통신 회로(230)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(230)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio)와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다.
일 실시예에 따른, 전자 장치(101)의 디스플레이(240)는 사용자에게 시각화된 정보(예를 들어, 도 3, 도 4a, 도 4b, 도 4c, 도 5a, 도 5b 및/또는 도 6의 화면들 중 적어도 하나)를 출력할 수 있다. 예를 들어, 디스플레이(240)는, GPU(graphic processing unit)와 같은 컨트롤러에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(240)는 FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 센서(250)는, 전자 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터, 프로세서(210) 및/또는 메모리(220)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 도 2를 참고하면, 센서(250)의 일 예로, 이미지 센서(252), IMU(inertial measurement unit)(254), 및/또는 마이크(256)가 도시된다. 실시예가 이에 제한되는 것은 아니다. 예를 들어, 실시예에 따라, 도 2에 도시된 센서(250) 중 적어도 하나가 생략될 수 있다. 실시예에 따라, 센서(250)는 도 2에 도시되지 않은 센서를 추가적으로 포함할 수 있다. 예를 들어, 센서(250)는 전자 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서를 더 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 이미지 센서(252)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하는, 하나 이상의 광 센서들(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)을 포함할 수 있다. 이미지 센서(252) 내에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 이미지 센서(252)는 변경 광 센서들 각각의 전기 신호를 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(252)를 이용하여 캡쳐한 사진 데이터는 이미지 센서(252)로부터 획득한 하나의 이미지를 의미할 수 있다. 예를 들어, 이미지 센서(252)를 이용하여 캡쳐한 비디오 데이터는 이미지 센서(252)로부터 지정된 프레임율(frame rate)을 따라 획득한 복수의 이미지들의 시퀀스(sequence)를 의미할 수 있다. 전자 장치(101)가 이미지 센서(252)를 포함하는 일 실시예에서, 전자 장치(101) 내에 포함된 이미지 센서의 개수는 복수 개일 수 있다. 전자 장치(101)가 안경(204-1)의 형태를 가지는 일 실시예에서, 전자 장치(101)는, 안경(204-1)을 착용한 사용자의 눈을 향하여 배치된 제1 이미지 센서, 및 상기 사용자의 머리가 향하는 방향(예, 전방)을 향하여 배치된 제2 이미지 센서를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)의 IMU(254)는, 가속도 센서, 자이로 센서, 지자기 센서, 또는 이들의 조합을 포함할 수 있다. 가속도 센서는, 서로 수직이고(perpendicular to each other), 전자 장치(101) 내 지정된 원점에 기반하는, 복수의 축들(예, x축, y축 및 z축) 각각의 중력 가속도 및/또는 가속도를 나타내는 전기 신호를 출력할 수 있다. 일 실시예에 따른, 자이로 센서는, 상기 복수의 축들 각각의 각속도를 나타내는 전기 신호를 출력할 수 있다. 일 실시예에 따른, 지자기 센서는, 전자 장치(101)에 형성된 자계의 크기를, 복수의 축들(예, x축, y축, 및/또는 z축) 각각을 따라 나타내는 전기 신호를 출력할 수 있다. 예를 들어, 가속도 센서, 자이로 센서 및/또는 지자기 센서는, 지정된 주기(예, 1 밀리초)에 기반하여, 상기 복수의 축들의 개수의 가속도들, 각속도들, 및/또는 자계의 크기들을 포함하는 센서 데이터를 반복적으로 출력할 수 있다.
일 실시예에 따른, 전자 장치(101)는 대기의 진동을 지시하는 전기 신호를 출력하는 마이크(256)를 포함할 수 있다. 예를 들어, 전자 장치(101)는 마이크(256)를 이용하여 사용자의 발언(speech)을 포함하는 오디오 신호(audio signal)를 출력할 수 있다. 오디오 신호에 포함된 사용자의 발언은 음성 인식 모델 및/또는 자연어 이해 모델에 기반하여, 전자 장치(101)에 의해 인식 가능한 포맷의 정보로 변환될 수 있다. 예를 들어, 전자 장치(101)는 사용자의 발언을 인식하여, 전자 장치(101)에 의해 제공 가능한 복수의 기능들 중에서 하나 이상의 기능들을 실행할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 전자 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 전자 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커를 포함할 수 있다. 예를 들어, 전자 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
도 2를 참고하면, 외부 전자 장치(120)는, 프로세서(210), 메모리(220), 또는 통신 회로(230) 중 적어도 하나를 포함할 수 있다. 외부 전자 장치(120) 내에서, 프로세서(210), 메모리(220), 및 통신 회로(230)는 통신 버스(202)와 같은 전자 부품에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다. 전자 장치(101), 및 외부 전자 장치(120) 내에서, 유사한 기능을 수행하는 하드웨어들(예, 프로세서(210), 메모리(220) 및/또는 통신 회로(230))이 일치된 참조 번호에 기반하여 도시될 수 있다. 전자 장치(101) 및 외부 전자 장치(120) 각각에 포함된 상기 하드웨어들의 설명이, 설명의 반복을 줄이기 위하여 생략될 수 있다.
일 실시예에 따른, 외부 전자 장치(120)는 가상 공간(예, 도 1의 가상 공간(140))을 이용하여, 사용자들 및/또는 상기 사용자들의 전자 장치들(예, 전자 장치(101)) 사이의 정보의 교환을 중계(relay)할 수 있다. 외부 전자 장치(120)는 가상 공간 내에서 발생되는 사용자들 사이의 상호작용(interaction)을 추적 및/또는 모니터링할 수 있다. 사용자들 사이의 상호작용은, 외부 전자 장치(120)에 의해 제공되는 가상 공간 내에서, 상기 사용자들 각각에 대응하는 아바타들(예, 도 1의 제1 가상 객체(130-1) 및/또는 제2 가상 객체(130-2))에 의해 발생될 수 있다. 외부 전자 장치(120)는, 외부 전자 장치(120)의 메모리(220) 내에 가상 공간으로 액세스하는 사용자들의 아바타들을 표시하기 위한 정보를 저장할 수 있다. 아바타를 표시하기 위한 상기 정보는, 상기 아바타에 대응하는 사용자의 계정 정보(account information) 및/또는 사용자 정보로 지칭될 수 있다. 상기 계정 정보 및/또는 상기 사용자 정보는, 상기 아바타에 대응하는 사용자를 인증하기 위한 정보(예, ID(identification), 암호, PIN(personal identification number) 및/또는 생체 정보)를 포함할 수 있다.
일 실시예에서, 가상 공간 내 사용자들의 상호작용을 식별하는 것에 기반하여, 외부 전자 장치(120)는, 외부 전자 장치(120)의 메모리(220) 내에, 상기 상호작용이 발생된 제1 시점에서의 상기 사용자들에 대응하는 가상 객체들의 제1 상태들을 저장할 수 있다. 상기 가상 객체들의 제1 상태들은, 상기 제1 시점에서의 상기 가상 객체들의 외형들을 지시할 수 있다. 외부 전자 장치(120)는 상기 제1 시점 이후, 상기 사용자들의 상호작용을 다시 식별하는 것에 기반하여, 상기 상호작용이 다시 발생된 제2 시점에서의 상기 가상 객체들의 제1 상태들, 및 상기 메모리(220) 내에 저장된 상기 제1 상태들을 비교할 수 있다. 외부 전자 장치(120)는 상기 사용자들 중 적어도 하나의 전자 장치(101)로, 상기 제1 상태들, 및 상기 제2 상태들의 차이를 포함하는 신호를 송신할 수 있다. 상기 정보를 수신한 전자 장치(101)는, 디스플레이(240) 내에 상기 신호에 포함된 상기 차이를 시각화할 수 있다. 예를 들어, 전자 장치(101)는 도 1의 시각적 객체(170)를 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)로부터 수신된 정보에 기반하여, 디스플레이(240) 내에, 사용자를 표현하는(representing) 제1 시각적 객체를 표시할 수 있다. 상기 사용자는, 외부 전자 장치(120)에 의해 제공되는 가상 공간을 통해 전자 장치(101)의 사용자와 상호작용하는, 다른 사용자를 포함할 수 있다. 예를 들어, 전자 장치(101)가 외부 전자 장치(120)로부터 획득하는 정보는, 상기 가상 공간 내에서, 상기 제1 시각적 객체에 대응하는 상기 사용자 및 상기 전자 장치의 사용자의 상호작용 히스토리를 포함할 수 있다. 외부 전자 장치(120)로부터 수신된 상기 정보에 기반하여, 전자 장치(101)는, 상기 제1 시각적 객체가 디스플레이(240)를 통해 표시된 횟수를 식별할 수 있다. 전자 장치(101)는 상기 정보로부터, 디스플레이(240)를 통해 상기 제1 시각적 객체가 전자 장치(101)의 사용자에 의해 열람된 상기 횟수를 식별할 수 있다.
일 실시예에서, 지정된 횟수(예, 1 회) 미만의 횟수를 식별하는 것에 기반하여, 전자 장치(101)는 디스플레이(240) 내에서 상기 제1 시각적 객체와 함께, 상기 제1 시각적 객체 이전에 상기 사용자를 표현하는 제2 시각적 객체를 표시할 수 있다. 예를 들어, 제1 시각적 객체가 디스플레이(240) 내에, 제1 시각적 객체에 대응하는 사용자의 표현으로써 처음 표시되는 경우, 전자 장치(101)는 디스플레이(240) 내에 상기 제2 시각적 객체를 표시할 수 있다. 예를 들어, 상기 제2 시각적 객체는, 제1 시각적 객체에 대응하는 사용자의 표현으로써 디스플레이(240)를 통해 표시되었던 시각적 객체일 수 있다. 제1 시각적 객체 및 제2 시각적 객체를 동시에 표시하여, 전자 장치(101)는 제1 시각적 객체에 대응하는 사용자의 표현이 변경된 히스토리를 시각화할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)에 의해 제공되는 가상 공간을 통해 전자 장치(101)의 사용자와 연결된 다른 사용자를 표현하는 시각적 객체를 표시하는 상태 내에서, 상기 시각적 객체가 상기 다른 사용자의 표현으로써 처음 표시되는지 여부를 식별할 수 있다. 상기 시각적 객체가 상기 다른 사용자의 표현으로 처음 표시되는 경우, 전자 장치(101)는 상기 다른 사용자의 표현으로써 표시되었던 다른 시각적 객체를, 상기 시각적 객체와 함께 표시할 수 있다. 예를 들어, 전자 장치(101)는, 디스플레이(240)를 통해 표시되는 상대방의 현재 외형과 함께, 상기 상대방의 과거의 외형(예, 디스플레이(240)를 통해 표시되었던 다른 외형)과 병렬로(parallelly) 표시할 수 있다.
이하에서는 도 3을 참고하여, 일 실시예에 따른, 전자 장치(101)가 디스플레이(240)를 통해 표시되는 상대방의 현재 외형, 및 과거의 외형을 동시에 표시하는 UI의 일 예가 설명된다.
도 3은, 일 실시예에 따른, 전자 장치(101)가 가상 공간의 적어도 일부분을 표시하는 동작의 일 예를 도시한다. 도 3의 전자 장치(101) 및 외부 전자 장치(120)는 도 2의 전자 장치(101) 및 외부 전자 장치(120)의 일 예일 수 있다.
도 3을 참고하면, 일 실시예에 따른, 전자 장치(101)가 화면(310) 내에 시각적 객체들(320, 330, 340, 345, 350, 355, 360, 365)을 표시하는 일 예가 도시된다. 전자 장치(101)가 사용자(110)의 머리에 착용가능한 안경(예, 도 2의 안경(204-1))의 외형을 가지는 경우, 전자 장치(101)는 상기 안경의 렌즈 상에 도 3의 화면(310)을 투사(project)할 수 있다. 화면(310)이 상기 렌즈 상에 투사되기 때문에, 상기 사용자는 상기 렌즈를 통과하는 외부 광(ambient light)과 함께, 화면(310)을 열람할 수 있다. 실시예가 이에 제한되는 것은 아니며, 전자 장치(101)는 상기 외부 광을 차단하기 위한 구조를 가질 수 있다. 상기 외부 광을 차단하기 위한 구조를 가지는 전자 장치(101)는, VR(virtual reality)에 기반하는 화면(310)을 표시하거나, 또는 상기 외부 광을 포함하는 이미지 상에 시각적 객체들(320, 330, 340, 345, 350, 355, 360, 365)을 포함하는 화면(310)을 합성하여, VST(video see through)에 기반하는 사용자 경험을 제공할 수 있다.
일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)에 의해 제공되는 가상 공간(예, 도 1의 가상 공간(140))의 적어도 일부분을 표시할 수 있다. 전자 장치(101)는 사용자(110)로부터 상기 가상 공간으로 진입함을 나타내는 입력을 식별하는 것에 기반하여, 상기 가상 공간의 적어도 일부분을 포함하는 화면(310)을 표시할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(120)에 의해 제공되는 컨퍼런스 룸 또는 채팅 룸으로 진입함을 나타내는 입력에 응답하여, 화면(310)을 표시할 수 있다. 화면(310)은 상기 입력과 관련된 상기 컨퍼런스 룸 또는 상기 채팅 룸에 대응하는 가상 공간의 적어도 일부분을 포함할 수 있다.
도 3을 참고하면, 전자 장치(101)가 상기 가상 공간의 적어도 일부분 내에 포함된, 하나 이상의 시각적 객체들(예, 시각적 객체들(320, 330, 340, 345, 350, 355, 360, 365))을 표시한 일 예가 도시된다. 전자 장치(101)는 외부 전자 장치(120)로부터 수신된 정보에 기반하여, 상기 하나 이상의 시각적 객체들을 표시할 수 있다. 전자 장치(101)가 사용자(110)의 계정 정보에 기반하여 외부 전자 장치(120)와 연결된 경우, 전자 장치(101)는 상기 계정 정보에 의해 상기 가상 공간 내에 배치된 아바타의 뷰 앵글 내에 포함된 상기 가상 공간의 적어도 일부분을 표시하기 위한 상기 정보를, 외부 전자 장치(120)로부터 수신할 수 있다. 도 3의 화면(310) 내에 포함된 시각적 객체들(320, 330, 340, 345, 350, 355, 360, 365)은, 가상 공간 내에 배치된 복수의 가상 객체들 중에서, 사용자(110)에 대응하는 아바타의 뷰 앵글 내에 포함된 가상 객체들에 대응할 수 있다.
도 3을 참고하면, 전자 장치(101)는 상기 가상 공간 내에 배치된 객체(예, 테이블)의 적어도 일부분을 표현한 시각적 객체(320)를, 화면(310) 내에 표시할 수 있다. 전자 장치(101)는 상기 가상 공간 내에서, 사용자(110)에 대응하는 아바타의 뷰 앵글을 통해 보여지는 상기 객체의 적어도 일부분에 기반하여, 화면(310) 내에 시각적 객체(320)를 표시할 수 있다. 전자 장치(101)는 상기 가상 공간 내에서, 사용자(110)에 대응하는 아바타의 뷰 앵글 내에 포함되고, 사용자(110)와 상이한 다른 사용자들의 가상 객체들을 표현하는 시각적 객체들(330, 340, 350, 360)을 표시할 수 있다.
예를 들어, 전자 장치(101)는 상기 다른 사용자들의 아바타들의 적어도 일부분에 대응하는 시각적 객체들(330, 340, 360)을, 화면(310) 내에 표시할 수 있다. 예를 들어, 시각적 객체들(330, 340, 360)은, 사용자(110)에 대응하는 아바타의 뷰 앵글을 통해 보여지는, 상기 다른 사용자들의 아바타들의 적어도 일부분에 대응할 수 있다. 실시예가 이에 제한되는 것은 아니며, 전자 장치(101)는 화면(310) 내에, 외부 전자 장치(120)로부터 수신된 비디오에 기반하여, 시각적 객체(350)를 표시할 수 있다. 예를 들어, 상기 비디오는, 시각적 객체(350)에 대응하는 사용자의 전자 장치(예, 도 1의 제2 전자 장치(101-2))의 카메라로부터 스트리밍될 수 있다.
일 실시예에 따른, 전자 장치(101)는 시각적 객체들(330, 340, 350, 360) 각각에 대응하는 사용자들을 표시한 히스토리에 기반하여, 상기 사용자들의 표현(representation)이 변경되었는지 여부를 식별할 수 있다. 예를 들어, 시각적 객체(330)에 대응하는 사용자가, 외부 전자 장치(120)의 가상 공간을 통해 전자 장치(101)의 사용자(110)와 처음 상호작용하는 경우, 전자 장치(101)는 시각적 객체(330)에 대응하는 아바타가 변경된 히스토리를, 화면(310) 내에 표시하지 않을 수 있다. 외부 전자 장치(120) 및/또는 전자 장치(101)는 화면(310) 내에 표시된 시각적 객체(330) 및/또는 시각적 객체(330)에 대응하는 상기 아바타를, 상기 시각적 객체(330)에 대응하는 사용자를 표시한 히스토리로써 저장할 수 있다. 다른 예를 들어, 시각적 객체(330) 및/또는 시각적 객체(330)에 대응하는 아바타가, 화면(310)을 표시하기 이전에 표시되었음을 식별하는 경우, 전자 장치(101)는 시각적 객체(330)에 대응하는 상기 아바타가 변경된 히스토리를, 화면(310) 내에 표시하지 않을 수 있다.
도 3을 참고하면, 시각적 객체(340)에 대응하는 아바타가, 상기 시각적 객체(340) 및/또는 상기 아바타에 대응하는 사용자에 의해 변경된 경우, 전자 장치(101)는 시각적 객체(340)와 함께, 상기 사용자에 의해 변경되기 이전의 아바타를 표현하는 시각적 객체(345)를 표시할 수 있다. 시각적 객체(345) 내에서, 전자 장치(101)는, 사용자(110)에 의해 마지막으로 열람되었던 상기 아바타의 적어도 일부분을 표현하는 이미지 및/또는 비디오를 표시할 수 있다. 전자 장치(101)는 시각적 객체(345) 내에서 상기 이미지 및/또는 상기 비디오와 함께, 상기 아바타가 사용자(110)에 의해 마지막으로 열람되었던 시점을 설명하기 위한(for describing) 정보를 표시할 수 있다. 상기 정보는, 상기 시점에 대한 타임스탬프 및/또는 상기 시점 내에서 상기 아바타가 배치되었던 가상 공간 내 위치를 포함할 수 있다. 전자 장치(101)가 상기 시각적 객체(345) 내에 상기 정보를 표시하는 예시적인 동작이 도 4a, 도 4b, 도 4c 및/또는 도 5a 및 도 5b를 참고하여 설명된다.
도 3을 참고하면, 전자 장치(101)와 상이한 다른 전자 장치로부터 스트리밍된 비디오를 포함하는 시각적 객체(350) 이전에, 상기 다른 전자 장치의 사용자에 대응하는 아바타를 표시한 히스토리가 존재하는 경우, 전자 장치(101)는 화면(310) 내에 상기 아바타를 포함하는 시각적 객체(355)를 표시할 수 있다. 예를 들어, 전자 장치(101)가 시각적 객체(355)에 대응하는 사용자의 과거의 비디오의 적어도 일부분(예, 썸네일)을 표시하는 동안, 전자 장치(101)는 시각적 객체(350)를 이용하여, 시각적 객체(350)에 대응하는 사용자의 현재 시점의 비디오의 적어도 일부분을, 화면(310) 내에 재생할 수 있다. 또한, 시각적 객체(360)에 대응하는 아바타 이전에, 상기 시각적 객체(360)에 대응하는 사용자의 전자 장치로부터 비디오를 스트리밍한 히스토리가 존재하는 경우, 전자 장치(101)는 화면(310) 내에 상기 비디오의 적어도 일부분을 포함하는 시각적 객체(365)를 표시할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(365)를 이용하여, 시각적 객체(360)에 대응하는 사용자의 과거 시점의 비디오의 적어도 일부분(예, 썸네일)을, 화면(310) 내에 표시할 수 있다.
도 3을 참고하면, 전자 장치(101)가 버블의 형태를 가지는 시각적 객체들(345, 355, 365)을 표시하는 일 실시예가 도시되었지만, 실시예가 이에 제한되는 것은 아니다. 전자 장치(101)는 상기 버블 내에, 상기 버블에 대응하는 사용자의 정보를 더 표시할 수 있다. 상기 정보는, 예를 들어, 가상 공간을 통해 상기 사용자와 마지막으로 상호작용한 시점에 대한 데이터(예, 상기 시점을 지시하는 타임스탬프 및/또는 상기 시점에서 상기 사용자와 상호작용한 상기 가상 공간의 위치)를 포함할 수 있다. 전자 장치(101)는 화면(310)과 같이, 서로 연계된(associated with 또는 linked with), 상이한 시점들(예, 현재 시점 및 과거 시점)의 사용자의 표현들을 표시하는 예시적인 동작들이, 도 5a 및 도 5b를 참고하여 설명된다. 예를 들면, 제1 시점(예, 현재 시점)의 사용자의 제1 표현은, 제2 시점(예, 과거 시점)의 사용자의 제2 표현과 관련하여(with respect to), 화면(310) 내에서 정렬될(arranged) 수 있다. 전자 장치(101)가 가상 공간의 적어도 일부분을 포함하는 화면(310)을 표시하기 이전에, 상기 가상 공간을 통해 표시될 사용자들의 표현들(예, 시각적 객체들(330, 340, 350, 360))이 변경된 히스토리를 시각화하는 동작이, 도 4a, 도 4b 및 도 4c를 참고하여 설명된다.
도 3을 참고하면, 화면(310)을 표시한 상태 내에서, 전자 장치(101)는 사용자(110)가 화면(310) 내에 포함된 하나 이상의 시각적 객체들을 열람하였는지 여부를 식별할 수 있다. 예를 들어, 전자 장치(101)는 사용자(110)의 눈의 방향, 사용자(110)의 머리가 향하는 방향, 손과 같은 사용자(110)의 지정된 신체 부위의 방향, 또는 사용자(110)의 발언(speech) 중 적어도 하나에 기반하여, 화면(310) 내에 표시된 시각적 객체들 중에서 사용자(110)에 포커스된 일 시각적 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)는 사용자(110)의 눈의 방향을 추적하여, 시각적 객체(340) 및/또는 시각적 객체(345)를 열람함을 지시하는 입력을 식별할 수 있다. 예를 들어, 전자 장치(101)는, 사용자(110)의 눈의 방향이 시각적 객체(340) 상에서 시각적 객체(340)를 응시하기 위한 지정된 횟수 및/또는 시각적 객체(340) 상에서의 지정된 기간(duration)을 초과하여 정지되는지 여부에 기반하여, 상기 입력을 식별할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(345)를 선택함을 나타내는 입력(예, 시각적 객체(345)를 향하는 손가락)을 식별할 수 있다. 전자 장치(101)가 상기 입력을 식별하는 동작의 일 예가, 도 6을 참고하여 설명된다.
일 실시예에서, 시각적 객체(340) 및/또는 시각적 객체(345)를 열람함을 지시하는 입력에 응답하여, 전자 장치(101)는 시각적 객체(345)의 표시를 중단할 수 있다. 상기 입력에 응답하여, 전자 장치(101)는 시각적 객체(340) 및/또는 시각적 객체(340)에 대응하는 아바타의 상태를, 사용자(110) 및 시각적 객체(340)에 대응하는 사용자 사이의 상호작용 히스토리로써, 저장할 수 있다. 전자 장치(101)는 상기 입력에 기반하여, 외부 전자 장치(120)로, 상기 시각적 객체(340)가 전자 장치(101)의 사용자(110)에 의해 열람되었음을 지시하는 신호를 송신할 수 있다. 상기 신호에 기반하여, 외부 전자 장치(120)는, 시각적 객체(340) 및/또는 시각적 객체(340)에 대응하는 아바타의 상태를, 상기 상호작용 히스토리를 포함하는 정보 내에 저장할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)에 의해 제공되는 가상 공간의 적어도 일부분을 포함하는 화면(310)을 표시할 수 있다. 화면(310) 내에서, 전자 장치(101)는 상기 가상 공간을 통해 전자 장치(101)의 사용자(110)와 상호작용하는 상이한 사용자들을 지시하는 시각적 객체들(330, 340, 350, 360)을 표시할 수 있다. 시각적 객체들(330, 340, 350, 360) 각각은, 현재 시점에서 가상 공간으로 액세스된 상기 사용자들의 표현들(representations)(예, 아바타, 포토 ID, 및/또는 사용자를 포함하는 비디오)일 수 있다. 전자 장치(101)는 상기 사용자들의 표현들을 변경한 히스토리를 시각화할 수 있다. 예를 들어, 전자 장치(101)는 화면(310) 내에, 상기 시각적 객체들(330, 340, 350, 360)과 상이하고, 상기 현재 시점 이전에 전자 장치(101)를 통해 표시된 사용자의 표현을 포함하는 시각적 객체(예, 시각적 객체들(345, 355, 365))를 표시할 수 있다.
이하에서는, 도 4a, 도 4b 및 도 4c 및/또는 도 5a 및 도 5b를 참고하여, 일 실시예에 따른, 전자 장치(101)가 가상 공간 내에 포함된 가상 객체가 변경된 히스토리를 시각화하는 동작의 일 예가 설명된다.
도 4a, 도 4b 및 도 4c는, 일 실시예에 따른, 전자 장치(101)가, 가상 객체를 표현한 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 4a, 도 4b 및 도 4c의 전자 장치(101) 및 전자 장치(410)는 도 1, 도 2 및 도 3의 전자 장치(101)를 포함할 수 있다. 전자 장치(101) 및 전자 장치(410)는 사용자(110)의 단말일 수 있다. 예를 들어, 전자 장치(101) 및 전자 장치(410)는 사용자(110)의 계정 정보에 기반하여, 외부 전자 장치(120)와 통신할 수 있다. 비록, 전자 장치(101)가 안경의 외형을 가지고, 전자 장치(410)가 휴대 전화(예, 도 2의 휴대 전화(204-2))의 외형을 가지는 일 실시예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에 따른, 전자 장치(101) 및/또는 전자 장치(410)는 사용자(110)의 계정 정보에 기반하여, 외부 전자 장치(120)에 의해 제공되는 가상 공간(예, 도 1의 가상 공간(140))으로 액세스할 수 있다. 외부 전자 장치(120)는, 상기 가상 공간에 기반하여, 물리적으로 이격된 사용자들의 대화(conversation)를 위한 서비스(예, 메타버스 서비스 및/또는 비디오 컨퍼런스 서비스)를 제공할 수 있다. 예를 들어, 외부 전자 장치(120)는, 상기 가상 공간에 기반하여, 사용자(110)를 포함하는 복수의 사용자들의 비디오 컨퍼런스를 예약할 수 있다. 상기 비디오 컨퍼런스의 예약은, 복수의 사용자들 중 적어도 하나로부터 수신된 정보에 의해 생성될 수 있다. 외부 전자 장치(120)는 상기 비디오 컨퍼런스의 예약을 지시하는 정보를, 외부 전자 장치(120)의 메모리(예, 도 2의 메모리(220)) 내에 저장할 수 있다. 상기 정보는, 상기 비디오 컨퍼런스가 개시될 시점, 및/또는 상기 비디오 컨퍼런스가 발생될 가상 공간 내 위치를 지시하는 정보를 포함할 수 있다.
일 실시예에서, 상기 정보에 의해 지시되는 상기 시점 이전에, 외부 전자 장치(120)는 상기 정보에 의해 지시되는 상기 복수의 사용자들의 전자 장치들로, 상기 예약에 기반하여 상기 가상 공간으로 액세스할 것을 가이드하기 위한 메시지(예, 푸쉬 알림(push notification))를 송신할 수 있다. 푸쉬 알림을 송신하는 관점에서(in terms of), 외부 전자 장치(120)는 푸쉬 서버로 지칭될 수 있다. 외부 전자 장치(120)는, 사용자(110)가 전자 장치(101)를 착용하였음을 식별한 경우, 전자 장치(101) 및 전자 장치(410) 중에서 전자 장치(101)로 상기 메시지를 선택적으로(selectively) 송신할 수 있다. 실시예가 이에 제한되는 것은 아니며, 외부 전자 장치(120)는, 사용자(110)가 전자 장치(101)를 착용하였는지 여부와 독립적으로, 전자 장치(101) 및/또는 전자 장치(410) 중 적어도 하나로 상기 메시지를 송신할 수 있다.
도 4a를 참고하면, 외부 전자 장치(120)로부터 수신된 상기 메시지에 응답하여, 전자 장치(101) 및/또는 전자 장치(410)가 표시하는 시각적 객체(430)의 일 예가 도시된다. 전자 장치(101)는 디스플레이(예, 도 2의 디스플레이(240))를 통해, 전자 장치(101)를 착용한 사용자(110)의 FoV(field-of-view) 내에 시각적 객체(430)를 표시할 수 있다. 전자 장치(410)는 디스플레이(420) 내에 상기 메시지에 기반하는 시각적 객체(430)를 표시할 수 있다. 도 4a를 참고하면, 시각적 객체(430) 내 텍스트(예, "VR 개선 회의 입장 10분 전 입니다")와 같이, 전자 장치(101) 및/또는 전자 장치(410)는 가상 공간에 기반하는 비디오 컨퍼런스가 개시될 시점 및/또는 상기 비디오 컨퍼런스에 할당된(assigned) 타이틀을 표시할 수 있다.
도 4a를 참고하면, 시각적 객체(430) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는, 상기 메시지에 대응하는 비디오 컨퍼런스 내에 참석할 사용자들 중에서, 사용자(110)와 상이한 다른 사용자들의 표현들(representations)이 변경되었음을 가이드하기 위한 텍스트(예, "제시카 멤버께서 캐릭터를 변경하였습니다. 회의 전 변경된 캐릭터를 확인하시려면 눌러보세요")를 표시할 수 있다. 시각적 객체(430) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는, 아바타가 변경된 사용자의 닉네임(도 4a의 일 실시예에서, "제시카")을 표시할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)를 통해 표시되는 상기 텍스트를 이용하여, 외부 전자 장치(120)는 사용자(110)에게, 상기 다른 사용자들 중 적어도 하나의 표현이 변경되었음을 가이드할 수 있다.
도 4a를 참고하면, 전자 장치(410)는 디스플레이(420) 내에 표시된 시각적 객체(430)를 터치 및/또는 클릭하는 제스쳐에 응답하여, 시각적 객체(440)를 표시할 수 있다. 전자 장치(101)는, 전자 장치(101)를 착용한 사용자(110)의 시선 및/또는 상기 사용자의 제스쳐에 기반하여, 시각적 객체(430)를 선택함을 나타내는 입력을 식별할 수 있다. 전자 장치(101)는 상기 입력에 응답하여, 상기 사용자(110)에게 시각적 객체(440)를 표시할 수 있다.
도 4a를 참고하면, 버블의 형태를 가지는 시각적 객체(440) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 하나 이상의 사용자들의 표현들이 변경된 히스토리를 표시할 수 있다. 시각적 객체(440) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 상기 다른 사용자의 아바타가 변경된 시점을 포함하는 텍스트(예, "제시카가 2022-07-22에 캐릭터 변경함")를 표시할 수 있다. 시각적 객체(440) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 사용자(110)와 구분되는 다른 사용자의 아바타가 변경된 히스토리를, 시각적 객체들(442, 444)을 이용하여 표시할 수 있다. 시각적 객체들(442, 444)은 상이한 시점들에서 상기 다른 사용자의 아바타의 적어도 일부분을 시각화한 이미지일 수 있다. 시각적 객체(442)는 전자 장치(101)의 사용자(110)에 의해 마지막으로 열람되었던 상기 아바타의 상태에 대응하고, 시각적 객체(444)는 시각적 객체(440)와 관련된 비디오 컨퍼런스를 통해 표시될 상기 아바타의 상태에 대응할 수 있다. 예를 들어, 시각적 객체(442)는, 상기 비디오 컨퍼런스 이전에 수행되었던 다른 비디오 컨퍼런스를 통해 사용자(110)에게 표시되었던, 아바타를 지시할 수 있고, 따라서 시각적 객체(442)는 과거 시점 또는 과거 상태의 아바타를 표현한다.
일 실시예에서, 전자 장치(101) 및/또는 전자 장치(410)는 아바타가 변경된 히스토리를 전자 장치(101) 및/또는 전자 장치(410) 내에 저장된 연락처 리스트(contact list)에 기반하여 표시할 수 있다. 도 4b를 참고하면, 전자 장치(101) 및/또는 전자 장치(410)가 연락처 리스트를 포함하는 화면(450)을 표시한 일 실시예가 도시된다. 화면(450) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 상기 연락처 리스트 내에 저장된 복수의 사용자들 각각에 대응하는 아이템들(451, 452, 453, 454)을 표시할 수 있다. 아이템들(451, 452, 453, 454) 각각은, 대응하는 사용자의 이름 및/또는 사진을 포함할 수 있다. 연락처 리스트 내에 포함된 사용자가, 외부 전자 장치(120) 내에 저장된 계정 정보에 의해 시각화된 아바타를 가지는 경우, 전자 장치(101) 및/또는 전자 장치(410)는 상기 연락처 리스트를 포함하는 화면(450) 내에, 상기 아바타의 적어도 일부분에 대한 이미지를 표시할 수 있다.
예를 들어, 전자 장치(101) 및/또는 전자 장치(410)는 아이템(451) 내에, 아이템(451)에 대응하는 사용자의 명칭(예, "제시카"), 상기 사용자의 사진(451-1)과 함께, 상기 사용자에 매칭되는 아바타를 표현하는 시각적 객체(451-2)를 표시할 수 있다. 유사하게, 전자 장치(101) 및/또는 전자 장치(410)는 아이템(453) 내에, 아이템(453)에 대응하는 사용자의 명칭(예, "제니"), 상기 사용자의 사진(453-1)과 함께, 상기 사용자에 매칭되는 아바타를 표현하는 시각적 객체(453-2)를 표시할 수 있다. 시각적 객체(453-2) 및/또는 시각적 객체(451-2)를 참고하면, 전자 장치(101) 및/또는 전자 장치(410)는 화면(450) 내에 상기 아바타의 적어도 일부분(예, 상기 아바타의 얼굴을 포함하는 일부분)을 표현하는 이미지 및/또는 비디오를 표시할 수 있다.
도 4b를 참고하면, 전자 장치(101) 및/또는 전자 장치(410)는 연락처 리스트를 포함하는 화면(450) 내에서, 상기 연락처 리스트의 추가 및/또는 검색을 위한 옵션들을 표시할 수 있다. 예를 들어, 전자 장치(101) 및/또는 전자 장치(410)는 화면(450) 내에서, 버튼의 형태를 가지고, 상기 연락처 리스트 내에 사용자를 추가하기 위한 시각적 객체(455)를 표시할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)는 화면(450) 내에서, 버튼의 형태를 가지고, 상기 연락처 리스트 내에서 적어도 하나의 사용자를 검색하기 위한 시각적 객체(456)를 표시할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)는 화면(450) 내에서, 시각적 객체들(455, 456)과 상이한 옵션들을 표시하기 위한 시각적 객체(457)를 표시할 수 있다.
도 4b를 참고하면, 일 실시예에 따른, 전자 장치(101) 및/또는 전자 장치(410)는, 외부 전자 장치(120)로부터 수신된 정보에 기반하여, 연락처 리스트 내에 포함된 사용자의 아바타가 변경된 히스토리를 식별할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)는 화면(450) 내에, 상기 히스토리에 기반하여, 상기 아바타가 변경되었음을 알리는 인디케이터(indicator)를 표시할 수 있다. 예를 들어, 아이템(451)에 대응하는 사용자의 아바타가 변경된 경우, 전자 장치(101) 및/또는 전자 장치(410)는 화면(450) 내에 표시되는 아이템(451) 내에, 상기 아바타가 변경되었음을 알리기 위한 시각적 객체(451-3)를 표시할 수 있다. 비록, 별의 외형을 가지는 시각적 객체(451-3)가 예시적으로 도시되지만, 실시예가 이에 제한되는 것은 아니다. 시각적 객체(451-3)의 표시는, 아이템(451)에 대응하는 사용자의 표현이, 전자 장치(101) 및/또는 전자 장치(410)의 사용자(110) 및 아이템(451)에 대응하는 사용자의 상호작용 이후에 변경되었음을, 지시할 수 있다. 도 4b를 참고하면, 아이템(453)에 대응하는 사용자의 아바타가 변경되지 않은 경우, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체(451-3)와 같은 인디케이터를 아이템(453) 내에 표시하는 것을 삼갈(refrain from) 수 있다.
도 4b를 참고하면, 연락처 리스트 내에서 시각적 객체(451-3)와 같은 인디케이터가 포함된 아이템(451)을 선택함을 지시하는 입력에 응답하여, 전자 장치(101) 및/또는 전자 장치(410)는 아이템(451)에 대응하는 사용자의 아바타가 변경된 히스토리를 가이드하기 위한 시각적 객체(460)를 표시할 수 있다. 시각적 객체(460)는 팝업 윈도우의 형태로, 전자 장치(410)의 디스플레이(420) 내에 표시되거나, 또는 전자 장치(101)를 착용한 사용자(110)에게 표시될 수 있다. 시각적 객체(460) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체(460)에 대응하는 사용자의 아바타가 변경된 히스토리를, 시각적 객체들(462, 464)을 이용하여 표시할 수 있다. 도 4a의 시각적 객체들(442, 444)과 유사하게, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체들(462, 464)을 이용하여 상이한 시점들에서의 상기 아바타의 상태들을 시각화할 수 있다. 예를 들어, 화면(450) 내 시각적 객체(451-2)에 대응하는 시각적 객체(464)는, 상기 아바타의 현재 상태를 표현할 수 있다. 예를 들어, 시각적 객체(462)는 상기 아바타의 과거 상태로써, 사용자(110)에 의해 마지막으로 열람되었던 아바타를 표현할 수 있다.
일 실시예에 따른, 전자 장치(101) 및/또는 전자 장치(410)는 연락처 리스트 내에 포함된 사용자들의 아바타들이 변경된 히스토리가 요약된 팝업 윈도우를 표시할 수 있다. 도 4b를 참고하면, 전자 장치(101) 및/또는 전자 장치(410)가 상기 팝업 윈도우의 형태를 가지는 시각적 객체(470)를 표시하는 일 예가 도시된다. 화면(450) 내에서 시각적 객체(470)의 표시를 가이드하기 위한 버튼(예, 시각적 객체(458))을 선택함을 지시하는 입력에 응답하여, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체(470)를 표시할 수 있다. 시각적 객체(470) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 연락처 리스트 내에 포함된 사용자들의 아바타들 중에서, 사용자(110)에 의해 열람되었던 상태와 상이한 상태를 가지는 하나 이상의 아바타들의 리스트를 표시할 수 있다. 도 4b의 일 실시예를 참고하면, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체(470) 내에, 아이템(451)에 대응하는 사용자의 아바타가 변경된 히스토리를 시각화한 시각적 객체들(462, 464)을 표시할 수 있다. 시각적 객체(470) 내에서, 전자 장치(101)는 시각적 객체(470)에 일 사용자의 아바타 변경의 히스토리를 다른 사용자의 아바타 변경의 다른 히스토리로 변경하기 위한 시각적 객체(472, 474)들을 표시할 수 있다.
일 실시예에 따른, 전자 장치(101) 및/또는 전자 장치(410)는 연락처 리스트 내에 포함된 사용자의 아바타가 변경된 히스토리를, 사용자(110)와 상이한 다른 사용자에게 공유하기 위한 기능을 실행할 수 있다. 도 4c를 참고하면, 시각적 객체(460) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 상기 기능을 실행하기 위한 버튼(예, 시각적 객체(466))을 표시할 수 있다. 시각적 객체(460) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 도 4c 내에서 시각적 객체(460)의 표시를 중단하기 위한 버튼(예, 시각적 객체(468))을 표시할 수 있다. 비록 도 4b의 시각적 객체(460)에 기반하는 일 실시예가 설명되지만, 도 4a의 시각적 객체(440), 도 4b의 시각적 객체(470) 내에, 전자 장치(101) 및/또는 전자 장치(410)는 상기 기능을 실행하기 위한 상기 버튼을 표시할 수 있다.
도 4c를 참고하면, 시각적 객체(466)를 선택함을 나타내는 입력에 응답하여, 전자 장치(101) 및/또는 전자 장치(410)는, 시각적 객체(460)와 관련된 아바타가 변경된 히스토리를 공유하기 위한 팝업 윈도우(예, 시각적 객체(480))를 표시할 수 있다. 시각적 객체(480) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는, 연락처 리스트 내에 저장된 사용자들 중에서, 시각적 객체(460)를 통해 표시된 아바타를 열람한 적어도 하나의 사용자의 리스트를 표시할 수 있다. 예를 들어, 시각적 객체(480) 내에 표시된 아이템들(481, 482, 483) 각각에 대응하는 사용자들은, 전자 장치(101) 및/또는 전자 장치(410)의 연락처 리스트 내에 저장된 사용자들 중에서, 전자 장치를 통해 시각적 객체(460)를 통해 시각화된 아바타를 본 사용자들일 수 있다. 예를 들어, 시각적 객체(462)와 관련된 상태 내 아바타가, 아이템들(481, 482, 483) 각각에 대응하는 사용자들의 전자 장치들을 통해 표시된 히스토리에 기반하여, 전자 장치(101) 및/또는 전자 장치(410)는 아이템들(481, 482, 483)을 표시할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)는 외부 전자 장치(120)로부터 송신된 정보에 기반하여, 상기 히스토리를 식별할 수 있다.
일 실시예에 따른, 전자 장치(101) 및/또는 전자 장치(410)는 아이템들(481, 482, 483) 각각 내에서, 아이템들(481, 482, 483) 각각의 선택을 위한 체크박스들(481-1, 482-1, 483-1)을 표시할 수 있다. 도 4c를 참고하면, 사용자(110)로부터 체크박스들(481-1, 482-1, 483-1) 중 체크박스들(481-1, 483-1)을 선택함을 지시하는 입력들을 식별한 이후의 예시적인 상태가 도시된다. 시각적 객체(480) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체(480)의 표시를 중단하기 위한 버튼(예, 시각적 객체(484))을 표시할 수 있다. 시각적 객체(480) 내에서, 전자 장치(101) 및/또는 전자 장치(410)는 시각적 객체(480) 내에서 상기 입력들에 의해 선택된 적어도 하나의 사용자에게, 시각적 객체(460)와 관련된 아바타가 변경된 히스토리를 공유하기 위한 버튼(예, 시각적 객체(485))을 표시할 수 있다. 도 4c의 예시적인 상기 상태 내에서, 시각적 객체(485)를 선택함을 나타내는 입력에 응답하여, 전자 장치(101) 및/또는 전자 장치(410)는 체크박스들(481-1, 483-1) 각각에 대응하는 아이템들(481, 483)에 대응하는 사용자들의 전자 장치들로 상기 히스토리를 지시하는 정보를 송신할 수 있고, 따라서, 체크박스들(481-1, 483-1) 각각에 대응하는 사용자들이 과거 상태 내 아바타의 시각적 객체(462)를 표시하게 할 수 있고, 현재 상태 내 아바타의 시각적 객체(464)를 표시하게 할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101) 및/또는 전자 장치(410)는, 외부 전자 장치(120)로부터 수신된 정보에 기반하여, 사용자(110)와 구분되는 다른 사용자의 표현이 변경된 히스토리를 시각화할 수 있다. 예를 들어, 전자 장치(101) 및/또는 전자 장치(410)는 상기 다른 사용자에 매칭되는 가상 공간(예 도 1의 가상 공간(140)) 내 아바타가 변경된 히스토리를 시각화할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)가 상기 히스토리를 시각화하는 시점은, 도 4a를 참고하여 상술한 바와 같이, 외부 전자 장치(120)에 의해 제공되는 가상 공간을 통해 상기 아바타를 열람하기 이전의 시점을 포함할 수 있다. 전자 장치(101) 및/또는 전자 장치(410)는, 도 4b 및 도 4c를 참고하여 상술한 바와 같이, 연락처 리스트에 기반하여 상기 히스토리를 시각화할 수 있다. 상기 히스토리를 시각화하는 상태 내에서, 도 4b 및 도 4c의 시각적 객체들(462, 464)과 같이, 전자 장치(101) 및/또는 전자 장치(410)는 상이한 시점들의 아바타들의 상태들을 표현한 시각적 객체들을 표시할 수 있다. 상기 시점들은, 현재 시점인 제1 시점 및 상기 현재 시점 이전에 상기 아바타를 열람하였던 시점의 제2 시점을 포함할 수 있다. 상기 시각적 객체들에 기반하여, 전자 장치(101) 및/또는 전자 장치(410)는 상기 시점들 사이의 아바타의 변화를 시각화할 수 있다.
이하에서는, 도 5a 및 도 5b를 참고하여, 일 실시예에 따른, 전자 장치(101)가, 외부 전자 장치(120)에 의해 제공되는 가상 공간의 일부분을 포함하는 화면(예, 도 3의 화면(310)) 내에서, 사용자(예, 전자 장치(101)의 사용자(110)와 구분되는 다른 사용자)의 표현이 변경된 히스토리를 시각화하는 동작의 일 예가 설명된다.
도 5a 및 도 5b는, 일 실시예에 따른, 전자 장치(101)가, 가상 객체가 변경된 히스토리에 기반하여 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 5a 및 도 5b의 전자 장치(101) 및 외부 전자 장치(120)는 도 1, 도 2 및 도 3, 및/또는 도 4a, 도 4b 및 도 4c의 전자 장치(101) 및 외부 전자 장치(120)를 포함할 수 있다.
도 5a를 참고하면, 일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)로부터 송신된 정보에 기반하여, 화면(310) 내에 가상 공간의 적어도 일부분을 표시할 수 있다. 화면(310)을 통해 표시되는 상기 가상 공간의 적어도 일부분은, 사용자(110)의 아바타의 뷰 앵글 내에 포함된 상기 가상 공간의 일부분일 수 있다. 전자 장치(101)는 화면(310) 내에서, 가상 객체를 표현한 시각적 객체(340)를 표시할 수 있다. 전자 장치(101)는, 사용자(110)의 아바타의 뷰 앵글 내에서 상기 가상 객체를 식별하는 것에 기반하여, 화면(310) 내에 상기 시각적 객체(340)를 표시할 수 있다. 시각적 객체(340)에 대응하는 상기 가상 객체는, 사용자(110)와 상이한 다른 사용자의 표현(예, 아바타)일 수 있다. 도 5a 및 도 5b의 시각적 객체(340)는 도 3의 시각적 객체(340)를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)는 화면(310) 내에, 시각적 객체(340)에 대응하는 가상 객체가 변경된 히스토리를 시각화할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(340)와 함께, 시각적 객체(340)에 대응하는 아바타가 변경된 히스토리를 표시할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(340)에 매칭된 사용자(예, 사용자(110)와 구분되는 다른 사용자)의 표현이 변경된 히스토리를 시각화할 수 있다. 도 5a를 참고하면, 전자 장치(101)는 화면(310) 내에서 시각적 객체(340)와 함께, 시각적 객체(340)에 대응하는 아바타가 변경된 히스토리가 포함된 시각적 객체(510)를 표시할 수 있다. 비록 버블의 형태를 가지는 시각적 객체(510)가 예시적으로 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에 따른, 전자 장치(101)는, 시각적 객체(340)에 대응하는 아바타의 히스토리를 시각화하기 위한 시각적 객체(510)를, 상기 아바타에게 고유하게 할당된 식별자(예, ID)가 화면(310) 내에 표시되는지 여부에 기반하여, 표시할 수 있다. 예를 들어, 시각적 객체(340)에 인접한 화면(310) 내 지점에 상기 식별자를 표시하는 경우, 화면(310)을 열람하는 사용자(110)는 상기 식별자에 기반하여 상기 시각적 객체(340)에 대응하는 상대방(counterpart)을 인식할 수 있다. 식별자가 시각적 객체(340)와 함께 표시된 경우, 전자 장치(101)는 상기 아바타의 히스토리를 시각화하기 위한 시각적 객체(510)를 표시하지 않을 수 있다. 일 실시예에서, 시각적 객체(510)를 표시하지 않는 대신에, 전자 장치(101)는 상기 아바타의 변경을 나타내는 인디케이터(예, 적색과 같은 지정된 색상을 가지는 도트)를, 시각적 객체(340)에 인접한 화면(310) 내 지점에 표시할 수 있다.
일 실시예에 따른, 전자 장치(101)는, 시각적 객체(340)에 대응하는 아바타의 소스에 기반하여, 상기 아바타의 히스토리를 시각화하기 위한 시각적 객체(510)를 표시할지 여부를 결정할 수 있다. 예를 들어, 상기 아바타가 사용자(110)의 얼굴의 입체적인 형태를 이용하여 생성된 경우, 전자 장치(101)는 시각적 객체(510)를 표시하지 않을 수 있다. 예를 들어, 아바타와 관련된 정보가, 상기 아바타가 사용자(110)의 얼굴의 형태에 기반하여 생성되었음을 나타내는 지정된 파라미터(또는 플래그)를 포함하는 경우, 전자 장치(101)는 시각적 객체(510)를 표시하는 것을 삼갈 수 있다.
일 실시예에 따른, 시각적 객체(340)에 대응하는 아바타와 관련된 정보가 전자 장치(101) 내에 저장된 경우, 전자 장치(101)는 시각적 객체(510) 내에 상기 아바타와 관련된 상기 정보의 적어도 일부분을 표시할 수 있다. 도 5a를 참고하면, 전자 장치(101)가 시각적 객체(510) 내에 표시하는 상기 정보의 적어도 일부분으로, 상기 아바타에 대응하는 사용자의 명칭(예, "제시카"), 상기 아바타가 변경된 시점(예, "2022-07-22에 캐릭터 변경함"), 및/또는 상기 사용자의 개인 정보(personal information)(예, "j_ca@s.com"과 같은 이메일 주소)를 표시할 수 있다. 전자 장치(101)가 시각적 객체(510) 내에 표시하는 상기 개인 정보는, 시각적 객체(340)에 대응하는 상기 사용자에 의해 공개된 개인 정보를 포함할 수 있다. 예를 들어, 전자 장치(101)는 표 1에 기반하여, 시각적 객체(510) 내에 개인 정보를 표시할 수 있다.
개인 정보의 타입 값
이름 off
닉네임 on
사진(포토 ID) off
아바타가 변경된 히스토리 on
가상 공간 내 상호작용 히스토리 on
스케줄 정보 off
기타(extra) 개인 정보
(예, 연령, 직업, 주소, 전화번호, 이메일 주소)		 on(이메일 주소)
표 1의 값은, 시각적 객체(340)에 대응하는 아바타의 사용자에 의해 설정될(set by) 수 있다. 표 1을 참고하면, 전자 장치(101)는 시각적 객체(510) 내에 제1 지정된 값(예, "on")을 가지는 개인 정보(예, 닉네임, 아바타가 변경된 히스토리, 가상 공간 내 상호작용 히스토리, 및 이메일 주소)의 적어도 일부분을 표시할 수 있다. 전자 장치(101)는 시각적 객체(510) 내에, 상기 사용자의 개인 정보 중에서, 상기 제1 지정된 값과 상이한 제2 지정된 값(예, "off")을 가지는 개인 정보를 표시하는 것을 삼갈 수 있다. 실시예가 이에 제한되는 것은 아니며, 외부 전자 장치(120)는 전자 장치(101)로, 상기 사용자의 개인 정보 중에서, 상기 제1 지정된 값을 가지는 개인 정보를 선택적으로 송신할 수 있다. 유사하게, 전자 장치(101)는, 사용자(110)의 아바타가 변경된 히스토리와 함께 표시될 개인 정보의 범위를 조절하기 위한 값을, 사용자(110)로부터 획득할 수 있다.
표 1 내에서 예시적으로 열거된 개인 정보에 기반하여, 전자 장치(101)는 일치된 이름을 가지는 상이한 사용자들에 대응하는 아바타들을 구분하여 표시할 수 있다. 전자 장치(101)는 상기 아바타들을 표현한 시각적 객체들과 함께, 상기 사용자들에 대응하는 포토 ID들을 표시하여, 상기 사용자들을 구분할 수 있다.
도 5a를 참고하면, 전자 장치(101)는 시각적 객체(510) 내에, 시각적 객체(340)와 관련된 아바타가 변경된 히스토리를 시각화하기 위한 버튼을 표시할 수 있다. 도 5a를 참고하면, 상기 버튼의 일 예로, "자세히"와 같은 지정된 텍스트를 가지는 시각적 객체(515)가 예시적으로 도시된다. 시각적 객체(515)를 선택함을 지시하는 입력에 응답하여, 전자 장치(101)는 화면(310) 내에 상기 아바타의 히스토리를 가이드하기 위한 팝업 윈도우(예, 시각적 객체(520))를 표시할 수 있다.
도 5a를 참고하면, 전자 장치(101)는 시각적 객체(520) 내에서, 상이한 시점들 내에서 상기 아바타의 상태들을 표현한 시각적 객체들(522, 524)을 연계로 표시할 수 있다. 예를 들어, 전자 장치(101)는, 현재 시점 이전에 사용자(110)에 의해 상기 아바타가 열람된 시점의 상기 아바타의 상태를 표현한 시각적 객체(522)를 표시할 수 있다. 전자 장치(101)는 시각적 객체(522)와 함께, 상기 시점을 가이드하기 위한 텍스트(도 5a의 일 예에서, "2022-04-02")를 표시할 수 있다. 전자 장치(101)는 시각적 객체(522)와 함께, 상기 현재 시점의 상기 아바타의 상태를 표현한 시각적 객체(524)를 표시할 수 있다. 전자 장치(101)는 시각적 객체들(522, 524) 사이에 배치된 화살표(예, 시각적 객체(522)로부터 시각적 객체(524)로 향하는 화살표)를 이용하여, 상기 아바타가 변경된 순서를 시각화할 수 있다.
일 실시예에서, 전자 장치(101)에 의해 표시되는 아바타는 의류(garment)(예, 상의, 하의, 신발, 장갑 및/또는 모자와 같은 액세서리)를 표현하는 가상 객체가 결합된 형태를 가질 수 있다. 전자 장치(101)는 시각적 객체(520) 내에서, 시각적 객체(340)에 대응하는 아바타에 결합된 하나 이상의 의류들이 변경된 히스토리를 시각화할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(120)로부터 획득된 정보로부터, 시각적 객체(340)에 대응하는 아바타에 결합된 하나 이상의 의류들이 변경된 히스토리를 식별할 수 있다. 전자 장치(101)는 시각적 객체들(522, 524)을 표시하기 위한 정보를 비교하여, 상기 아바타에 결합된 하나 이상의 의류들이 변경된 히스토리를 식별할 수 있다. 전자 장치(101)는 시각적 객체(520)와 함께, 상기 하나 이상의 의류들이 변경된 히스토리를 시각화할 수 있다. 실시예가 이에 제한되는 것은 아니며, 전자 장치(101)는, 제1 사진과 같은 이미지(또는 비디오)를 이용하여 아바타를 생성한 이후, 상기 제1 사진과 상이한 제2 사진을 이용하여 상기 아바타의 적어도 일부분을 변경할 수 있다. 예를 들어, 전자 장치(101)는 특정 사용자에 대한 상기 제1 사진 및 상기 제2 사진을 비교하여 인식된, 상기 특정 사용자의 신체(또는 의류)의 변화를 이용하여, 아바타의 적어도 일부분을 변경할 수 있다. 일 실시예에 따른 전자 장치(101)는, 상기 아바타의 적어도 일부분이 변경된 히스토리를 시각화할 수 있다.
도 5a를 참고하면, 시각적 객체(340)와 관련된 아바타에 안경 및 상의가 새롭게 결합된 예시적인 케이스 내에서, 전자 장치(101)가 상기 안경 및 상기 상의가 결합된 히스토리를 가이드하기 위한 시각적 객체들(530, 535)을 표시하는 일 예가 도시된다. 전자 장치(101)는 시각적 객체(524)와 연계된 버블의 형태를 가지는 시각적 객체들(530, 535)를 표시할 수 있다. 상기 케이스 내에서, 전자 장치(101)는 시각적 객체들(530, 535)을 표시하는 것과 독립적으로, 시각적 객체(524) 내에서 상기 안경 및 상기 상의를 강조(예, 깜박임(blink))할 수 있다. 예를 들어, 전자 장치(101)는 상기 안경 및/또는 상기 상의와 중첩으로, 지정된 투명도 및 지정된 색상을 가지는 도형을 반복적으로 표시하여, 상기 안경 및/또는 상기 상의를 강조할 수 있다.
도 5a를 참고하면, 시각적 객체(530) 내에서, 전자 장치(101)는 상기 시각적 객체(524)에 대응하는 아바타에 결합된 의류의 명칭(예, 안경) 및 상기 의류가 상기 아바타에 결합된 시점(예, 2022-07-01)을 가이드하는 텍스트를 표시할 수 있다. 시각적 객체(530) 내에서, 전자 장치(101)는 시각적 객체(530)의 표시를 중단하기 위한 버튼(예, "확인"과 같은 지정된 텍스트를 포함하는 시각적 객체(531))을 표시할 수 있다. 유사하게, 시각적 객체(535) 내에서, 전자 장치(101)는, 상기 아바타에 결합된 상의의 명칭(예, 자켓) 및 상기 아바타의 상기 상의가 교체된 시점(예, 2022-07-22)을 표시할 수 있다. 시각적 객체(536)를 선택함을 지시하는 입력에 기반하여, 전자 장치(101)는 시각적 객체(535)의 표시를 중단할 수 있다. 도 5a의 시각적 객체들(530, 535)을 참고하면, 시각적 객체(340)에 대응하는 아바타가 마지막으로 변경된 시점이, 상기 상의가 교체된 시점인 2022년 7월 22일인 예시적인 케이스가 도시된다. 상기 케이스 내에서, 전자 장치(101)는 화면(310)의 시각적 객체(510) 내에, 상기 시점을 지시하는 텍스트(예, 2022년 7월 22일)를 표시할 수 있다.
일 실시예에서, 복수의 그래픽적 객체들의 조합에 기반하는 아바타를 표시하는 전자 장치(101)는, 상기 아바타를 마지막으로 표시하였던 제1 타이밍 이후의 제2 타이밍에서, 지정된 개수를 초과하는 그래픽적 객체들이 변경, 추가 및/또는 삭제되는지 여부에 기반하여, 상기 아바타가 변경된 히스토리를 시각화할 수 있다. 도 5a를 참고하면, 의류가 아바타에 결합된 시점(예, 2022-07-01) 및 아바타에 결합된 상의가 교체된 시점(2022-07-22) 사이의 시점에서, 상기 아바타가 열람된 시점(예, 2022-04-02) 이후 1 개의 그래픽적 객체(예, 의류) 만이 변경되었기 때문에, 전자 장치(101)는, 시각적 객체(510)를 표시하지 않을 수 있다. 예를 들어, 전자 장치(101)는, 아바타에 결합된 상의가 교체된 시점(2022-07-22) 이후의 시점에서, 2 개의 그래픽적 객체들이 상기 아바타가 열람된 시점(예, 2022-04-02) 이후 변경되었기 때문에, 전자 장치(101)는 시각적 객체(510)를 표시할 수 있다.
비록, 전자 장치(101)가 시각적 객체(515)에 기반하여 시각적 객체들(510, 520)을 순차적으로 표시하는 예시적인 동작이 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 시각적 객체(340)에 대응하는 아바타와 관련된 정보가 전자 장치(101) 내에 저장되지 않았거나, 또는 상기 아바타에 대응하는 사용자의 정보가 전자 장치(101)의 사용자(110)에게 공유되지 않은 경우, 전자 장치(101)는 시각적 객체들(510, 520) 중 시각적 객체(520)를 표시할 수 있다. 상기 예시 내에서, 전자 장치(101)는 시각적 객체(520)를 이용하여, 사용자(110)에 의해 마지막으로 열람되었던 아바타를 표현한 시각적 객체(522)를, 상기 아바타의 현재 상태를 표현한 시각적 객체(340)와 함께 표시할 수 있다. 상기 예시 내에서, 사용자(110)는 시각적 객체(522) 만을 열람하였기 때문에, 전자 장치(101)는 시각적 객체(340)와 함께 시각적 객체(522)를 표시하여, 시각적 객체(522)의 아바타가 변경된 히스토리를 시각화할 수 있다.
예를 들어, 시각적 객체(340)와 관련된 상기 사용자의 정보를 전자 장치(101)의 메모리로부터 식별하였거나, 또는 상기 정보가 사용자(110)에게 공유된 히스토리를 식별하는 것에 기반하여, 전자 장치(101)는 시각적 객체들(510, 520) 중 시각적 객체(510)를 표시할 수 있다. 상기 정보는, 전자 장치(101) 내에서 연락처 리스트 내에 저장될 수 있다. 예를 들어, 전자 장치(101)의 메모리 내에 저장된 연락처 리스트 내에서, 시각적 객체(340)에 대응하는 사용자를 지시하는 데이터를 식별하는 것에 기반하여, 상기 전자 장치(101)는 상기 시각적 객체(340)와 함께, 상기 데이터의 적어도 일부분을 포함하는 시각적 객체(510)를 표시할 수 있다. 시각적 객체들(510, 520) 중 적어도 하나는 시각적 객체(340)에 대응하는 아바타가 변경된 히스토리에 기반하여, 조건부로(conditionally) 표시될 수 있다.
일 실시예에 따른, 전자 장치(101)가 가상 공간의 적어도 일부분이 포함된 화면(310) 내에서, 아바타가 변경된 히스토리를 시각화하는 것은 도 3 및/또는 도 5a의 예시적인 동작에 제한되지 않는다. 도 5b를 참고하면, 전자 장치(101)는 화면(310) 내에서, 외부 전자 장치(120)에 의해 제공되는 상기 가상 공간 내 아바타를 표현한 시각적 객체(540)를 표시할 수 있다. 전자 장치(101)는, 시간 영역(time domain) 내에서, 시각적 객체(540)의 형태를 순차적으로 변경하여, 상기 아바타가 변경된 히스토리를 시각화할 수 있다.
도 5b를 참고하면, 시점 t1 부터 시점 t3 사이의 시간 구간 내에서, 전자 장치(101)에 의해 화면(310) 내에 표시되는 시각적 객체(540)의 상이한 상태들(540-1, 540-2, 540-3)이 도시된다. 시점 t1은, 전자 장치(101)가 디스플레이 내에 화면(310)을 표시하는 것을 개시한 시점, 또는 상기 시점부터 지정된 기간 이후의 시점을 포함할 수 있다. 시점 t1은, 전자 장치(101)가 시각적 객체(540)를 열람함을 지시하는 입력을 식별한 시점일 수 있다. 시점 t1 내에서, 전자 장치(101)가 화면(310) 내에 표시하는 시각적 객체(540)의 제1 상태(540-1)는, 시각적 객체(540)에 대응하는 아바타의 상태들 중에서, 사용자(110)에 의해 마지막으로 열람되었던 아바타의 일 상태에 대응할 수 있다. 시점 t3 내에서, 전자 장치(101)가 화면(310) 내에 표시하는 시각적 객체(540)의 제3 상태(540-3)는, 상기 상태들 중에서, 상기 아바타의 현재 상태에 대응할 수 있다.
도 5b를 참고하면, 시점 t2 내에서, 전자 장치(101)가 화면(310) 내에 표시하는 시각적 객체(540)의 제2 상태(540-2)는, 시각적 객체(540)의 상기 제1 상태(540-1) 및 상기 제3 상태(540-3) 사이의 중간 상태(intermediate state)(또는, 중간 형태(intermediate form))를 포함할 수 있다. 상기 중간 상태에 기반하여, 전자 장치(101)는 시점 t1 내지 시점 t3 사이의 시간 구간 내에서, 시각적 객체(540)의 형태가 제1 상태(540-1)로부터 제3 상태(540-3)로 변형되는(transforming) 애니메이션을 표시할 수 있다. 전자 장치(101)는 모핑(morphing)과 같은 시각 효과에 기반하여, 제2 상태(540-2)를 포함하는 시각적 객체(540)의 하나 이상의 중간 상태들을 식별할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는, 가상 공간의 일부분을 표현한 화면(310) 내에서, 상기 일부분 내에 포함된 적어도 하나의 가상 객체를 표현한 적어도 하나의 시각적 객체(예, 시각적 객체(340))를 표시할 수 있다. 전자 장치(101)는, 사용자(110)와 상이한 다른 사용자의 아바타를 표현한 시각적 객체(340)를, 화면(310) 내에 표시한 상태 내에서, 상기 아바타가 변경된 히스토리를 시각화할 수 있다. 전자 장치(101)가 상기 히스토리를 시각화하는 것은, 시각적 객체(340)에 대응하는 상기 아바타의 제1 상태, 및 시각적 객체(340) 이전에, 전자 장치(101)의 디스플레이를 통해 마지막으로 표시된 상기 아바타의 제2 상태 사이의 차이와 관련될 수 있다. 상기 제1 상태 및 상기 제2 상태가 상이한 경우, 전자 장치(101)는 화면(310) 내에 상기 제2 상태 내 상기 아바타를 표현한 시각적 객체(예, 도 5a의 시각적 객체(522) 및/또는 도 5b의 시각적 객체(540)의 제1 상태(540-1))를 표시할 수 있다. 상기 제2 상태 내 상기 아바타를 표현한 상기 시각적 객체를 이용하여, 전자 장치(101)는, 상기 아바타의 상태가 상기 제2 상태로부터 상기 제1 상태로 변경된 히스토리를 시각화할 수 있다.
일 실시예에 따른, 전자 장치(101)는 화면(310) 내에서, 시각적 객체(340)를 열람함을 나타내는 입력에 기반하여, 전자 장치(101) 및/또는 외부 전자 장치(120) 내에 상기 시각적 객체(340)에 대응하는 아바타의 상태를, 사용자(110)에 의해 마지막으로 열람된 상기 아바타의 상태로 저장할 수 있다. 전자 장치(101)는, 사용자(110)에 의해 포커스된 화면(310) 내 일부분 및 시각적 객체(340)가 표시된 화면(310)의 일부분을 비교하여, 상기 입력을 식별할 수 있다. 이하에서는, 도 6을 참고하여, 일 실시예에 따른, 전자 장치(101)가 사용자(110)에 의해 포커스된 화면(310) 내 일부분을 식별하는 동작의 일 예가 설명된다.
도 6은, 일 실시예에 따른, 전자 장치(101)가 가상 객체에 대응하는 시각적 객체(340)에 대한 입력을 식별하는 동작의 일 예를 도시한다. 도 6의 전자 장치(101) 및 외부 전자 장치(120)는 도 1 내지 도 3, 도 4a 내지 도 4c, 및/또는 도 5a 내지 도 5b의 전자 장치(101) 및 외부 전자 장치(120)를 포함할 수 있다.
도 6을 참고하면, 일 실시예에 따른, 전자 장치(101)가 화면(310) 내에, 외부 전자 장치(120)에 의해 제공되는 가상 공간(예, 도 1의 가상 공간(140))의 적어도 일부분을 표시한 예시적인 상태가 도시된다. 도 6의 상태 내에서, 전자 장치(101)는 사용자(110)와 상이한 다른 사용자의 아바타를 표현하는 시각적 객체(340)를 표시할 수 있다. 시각적 객체(340)에 대응하는 상기 아바타의 제1 상태가, 사용자(110)에 의해 마지막으로 열람되었거나, 또는 전자 장치(101)를 통해 마지막으로 표시된, 상기 아바타의 제2 상태와 상이한 경우, 전자 장치(101)는 상기 제2 상태 내 아바타를 표현하는 시각적 객체(522)를 표시할 수 있다. 도 6을 참고하면, 전자 장치(101)는 시각적 객체(340)와 함께, 상기 시각적 객체(522)를 포함하는 버블의 형태를 가지는 시각적 객체(520)를 표시할 수 있다. 시각적 객체(520) 내에서, 전자 장치(101)는 상기 제1 상태의 상기 아바타를 표현하는 시각적 객체(524)를 표시하여, 상기 아바타의 외형이 상기 제2 상태로부터 상기 제1 상태로 변경된 히스토리를 시각화할 수 있다.
도 6의 예시적인 상태 내에서, 일 실시예에 따른, 전자 장치(101)는 센서(예, 도 2의 센서(250))를 이용하여 사용자(110)와 관련된 정보를 식별할 수 있다. 예를 들어, 전자 장치(101)는 도 2의 IMU(254)에 기반하여, 전자 장치(101)를 착용한 사용자(110)의 머리의 모션을 지시하는 정보를 식별할 수 있다. 상기 정보에 기반하여, 전자 장치(101)는 사용자(110)의 머리의 방향(620)을 식별할 수 있다. 상기 머리의 방향(620)에 기반하여, 전자 장치(101)는 상기 방향(620)이 향하는 화면(310) 내 부분(610)을 식별할 수 있다.
예를 들어, 전자 장치(101)는 도 2의 이미지 센서(252)에 기반하여, 손(640)의 모션을 지시하는 정보(예, 손(640)을 포함하는 프레임들)를 식별할 수 있다. 손(640)과 관련된 상기 정보는, 전자 장치(101) 내에서 사용자(110)의 머리를 향하는 일 방향과 반대인 다른 방향을 향하여 배치된 이미지 센서를 통해 획득될 수 있다. 상기 정보에 기반하여, 전자 장치(101)는, 상기 손(640)에 포함된 적어도 하나의 손가락의 방향을 식별할 수 있다. 전자 장치(101)는 상기 적어도 하나의 손가락의 방향에 기반하여, 상기 적어도 하나의 손가락이 가리키는 화면(310) 내 부분(610)을 식별할 수 있다.
예를 들어, 전자 장치(101)는 도 2의 이미지 센서(252)에 기반하여, 사용자의 시선의 방향을 지시하는 정보를 식별할 수 있다. 상기 정보는, 상기 사용자의 눈이 포함된 프레임들(630)을 포함할 수 있다. 프레임들(630)은, 전자 장치(101) 내에서 사용자(110)의 상기 눈을 향하여 배치된 이미지 센서를 통해 획득될 수 있다. 상기 정보에 기반하여, 전자 장치(101)는 상기 사용자의 눈이 향하는 화면(310) 내 부분(610)을 식별할 수 있다. 부분(610)과 같이, 화면(310) 내에서 시각적 객체(340)가 표시된 일부분을 향하는 상기 시선의 방향을 식별하는 것에 기반하여, 전자 장치(101)는 시각적 객체(340)를 열람함을 지시하는 입력을 식별할 수 있다. 상기 입력을 식별하는 것에 기반하여, 전자 장치(101)는 시각적 객체(340)의 적어도 일부분(예, 시각적 객체(340)에 의해 표현된, 아바타의 얼굴)을 포함하는 시각적 객체(예, 바운딩 박스)를 표시할 수 있다. 예를 들어, 전자 장치(101)는 지정된 색상(예, 노란색)의 형태를 가지는 시각적 객체를 표시할 수 있다.
예를 들어, 전자 장치(101)는 도 2의 마이크(256)를 이용하여, 사용자의 발언(650)을 지시하는 정보를 식별할 수 있다. 상기 정보는, 상기 마이크(256)로부터 출력된 오디오 신호를 포함할 수 있다. 상기 정보는, 상기 오디오 신호에 대한 STT(speech-to-text)를 수행한 결과(예, 상기 발언을 지시하는 텍스트)를 포함할 수 있다. 전자 장치(101)는 상기 정보 내에 포함된 텍스트 중에서, 시각적 객체(340)와 관련된 사용자의 이름(도 6의 일 실시예에서, "제시카")을 호출하는 자연어 문장(예, "안녕 제시카")을 식별하는 것에 기반하여, 시각적 객체(340)가 사용자(110)에 의해 열람됨을 식별할 수 있다.
상술된 예시들과 같이, 전자 장치(101)는 사용자(110)의 머리의 방향(620), 시선의 방향, 손(640)의 방향 및/또는 사용자(110)의 발언(650)에 기반하여, 시각적 객체(340)를 열람함을 지시하는 입력을 식별할 수 있다. 예를 들어, 전자 장치(101)는 머리의 방향(620), 시선의 방향, 손(640)의 방향 및/또는 사용자(110)의 발언(650)에 기반하여, 사용자(110)가 시각적 객체(340)를 열람하는지 여부를 식별할 수 있다. 전자 장치(101)는, 사용자(110)가 시각적 객체(340)를 열람하였는지 여부에 기반하여, 시각적 객체(340)와 관련된 아바타의 히스토리를 포함하는 시각적 객체(520)의 표시를 중단(cease)할 수 있다. 예를 들어, 상기 아바타에 대응하는 사용자의 이름이 포함된 발언(650)을 식별하는 것에 기반하여, 전자 장치(101)는 시각적 객체(520)의 표시를 중단할 수 있다. 실시예가 이에 제한되는 것은 아니며, 전자 장치(101)는 시각적 객체(520)를 선택함을 나타내는 입력에 응답하여, 시각적 객체(520)의 표시를 중단할 수 있다. 실시예가 이에 제한되는 것은 아니며, 시각적 객체(340)에 대응하는 아바타의 히스토리를 나타내는 시각적 객체(520)를 표시하지 않는 동안, 전자 장치(101)는 시각적 객체((340)를 열람함을 지시하는 입력에 응답하여, 화면(310) 내에 시각적 객체(520)를 표시할 수 있다.
예를 들어, 프레임들(630)에 의해 식별된 사용자(110)의 시선의 방향이, 시각적 객체(340) 내에서 정지된 기간 및/또는 횟수에 기반하여, 전자 장치(101)는 사용자(110)가 시각적 객체(340)를 열람하는 지 여부를 식별할 수 있다. 예를 들어, 사용자(110)의 시선의 방향이 부분(610) 내에서 정지된 기간 및/또는 횟수가 지정된 기간 및/또는 지정된 횟수를 초과하는지 여부를 식별할 수 있다. 사용자(110)의 시선이 지정된 기간을 초과하여 부분(610) 내에서 정지되거나, 및/또는 지정된 횟수를 초과하여 부분(610) 안으로 진입하는 경우, 전자 장치(101)는 시각적 객체(520)의 표시를 중단할 수 있다. 상기 지정된 기간 및/또는 상기 지정된 횟수에 기반하여, 전자 장치(101)는, 사용자(110)가 시각적 객체(340)를 열람하는지 여부를 보다 정확하게 식별할 수 있다.
일 실시예에 따른, 전자 장치(101)는, 사용자(110)가 시각적 객체(340)를 열람하는 지 여부를 지시하는 정보를, 외부 전자 장치(120)로 송신할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(120)로, 머리의 방향(620), 손(640)의 방향, 발언(650) 및/또는 프레임들(630)을 송신할 수 있다. 예를 들어, 전자 장치(101)는, 시각적 객체(340)를 열람함을 지시하는 입력에 대한 정보를, 외부 전자 장치(120)로 송신할 수 있다.
일 실시예에서, 외부 전자 장치(120)는, 전자 장치(101)로부터 송신된 정보에 기반하여, 시각적 객체(340)가 사용자(110)에 의해 열람되었는지 여부를 식별할 수 있다. 시각적 객체(340)가 사용자(110)에 의해 열람된 경우, 외부 전자 장치(120)는 시각적 객체(340)와 관련된 정보를 저장할 수 있다. 상기 정보는, 시각적 객체(340)에 대응하는 아바타를 표시하기 위한 데이터를 포함할 수 있다. 상기 정보는, 시각적 객체(340)에 대응하는 상기 아바타의 상태를 지시하는 데이터를 포함할 수 있다. 상기 정보는, 상기 아바타에 부착된 하나 이상의 의류들을 지시하는 데이터를 포함할 수 있다. 상기 정보는, 시각적 객체(340)가 사용자(110)에 의해 열람된 시점, 및/또는 전자 장치(101)가 화면(310) 내에 시각적 객체(340)를 표시한 시점을 지시하는 타임스탬프를 포함할 수 있다.
일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)가 상기 정보를 저장하는 동작과 유사하게, 전자 장치(101) 내에, 시각적 객체(340)가 사용자(110)에 의해 열람되었음을 지시하는 정보를 저장할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(340)에 대응하는 아바타의 상태를 지시하는 데이터를 저장할 수 있다. 예를 들어, 전자 장치(101)는, 화면(310)을 통해 시각적 객체(340)를 표시한 시점을 지시하는 타임스탬프를 저장할 수 있다. 전자 장치(101)는, 상기 아바타에 결합된 하나 이상의 의류들 각각에 대응하는 하나 이상의 가상 객체들을 지시하는 데이터를 저장할 수 있다. 전자 장치(101)가 시각적 객체(340)를 열람함을 지시하는 입력에 응답하여, 시각적 객체(520)의 표시를 중단하는 것은, 도 5a를 참고하여 상술한 바와 유사하게 수행될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(101)는 외부 전자 장치(120)와 통신하여, 사용자(110)와 구분되는 다른 사용자를 표현하는 시각적 객체(340)를 표시할 수 있다. 시각적 객체(340)는 상기 다른 사용자의 전자 장치에 의해 레코딩된 이미지 및/또는 비디오를 포함할 수 있다. 시각적 객체(340)는 상기 다른 사용자에 의해 외부 전자 장치(120) 내에 등록된(registered) 아바타의 적어도 일부분에 대응할 수 있다. 시각적 객체(340)와 함께, 전자 장치(101)는 시각적 객체(340) 이전에 상기 다른 사용자를 표현하기 위하여 전자 장치(101)를 통해 표시되었던, 다른 시각적 객체(예, 시각적 객체(522))를 표시할 수 있다. 시각적 객체(340)와 함께 상기 다른 시각적 객체를 표시하여, 전자 장치(101)는 사용자(110)에게, 상기 다른 사용자를 표현한 가상 객체(예, 아바타, 이미지 및/또는 비디오)가 변경된 히스토리를 시각화할 수 있다. 상기 다른 시각적 객체를 본 히스토리를 가진 사용자(110)는, 시각적 객체(340)와 함께 표시된 상기 다른 시각적 객체에 기반하여, 시각적 객체(340)가 상기 다른 시각적 객체에 대응하는 상기 다른 사용자의 표현(representation)임을 보다 신속하게 인지할 수 있다.
이하에서는, 도 7을 참고하여, 일 실시예에 따른, 전자 장치(101) 및 외부 전자 장치(120)가 교환하는 하나 이상의 신호들이 설명된다.
도 7은, 일 실시예에 따른, 전자 장치(101) 및 외부 전자 장치(120) 사이의 신호 흐름도의 일 예를 도시한다. 도 7의 전자 장치(101) 및 외부 전자 장치(120)는 도 1 , 도 2, 도 3, 도 4a, 도 4b, 도 4c, 도 5a, 도 5b 및/또는 도 6의 전자 장치(101) 및 외부 전자 장치(120)를 포함할 수 있다. 도 7의 전자 장치(101)의 동작들은, 도 2의 전자 장치(101) 및/또는 도 2의 전자 장치(101) 내 프로세서(210)에 의해 수행될 수 있다. 도 7의 외부 전자 장치(120)의 동작들은, 도 2의 외부 전자 장치(120) 및/또는 도 2의 외부 전자 장치(120) 내 프로세서(210)에 의해 수행될 수 있다.
도 7을 참고하면, 동작(710) 내에서, 일 실시예에 따른, 외부 전자 장치(120)는, 가상 객체를 표시하기 위한 정보를 송신할 수 있다. 외부 전자 장치(120)는 통신 회로(예, 도 2의 외부 전자 장치(120) 내 통신 회로(230))를 통해, 외부 전자 장치(120)에 연결된 하나 이상의 전자 장치들(예, 도 2의 전자 장치(101))로, 상기 정보를 송신할 수 있다. 상기 정보는, 하나 이상의 가상 객체들이 포함된 가상 공간(예, 도 1의 가상 공간(140))을 시각화하기 위한 데이터를 포함할 수 있다. 동작(710)의 상기 가상 객체는, 동작(710)의 정보를 수신하는 전자 장치(101)와 상이한 다른 전자 장치에 액세스된 사용자를 지시할 수 있다. 예를 들어, 동작(710)의 상기 가상 객체는 상기 사용자의 아바타를 포함할 수 있다. 예를 들어, 동작(710)의 상기 가상 객체는 상기 다른 전자 장치로부터 스트리밍된 이미지 및/또는 비디오를 포함할 수 있다.
도 7을 참고하면, 동작(720) 내에서, 일 실시예에 따른, 전자 장치(101)는, 가상 객체를 표현한 제1 시각적 객체를 표시할 수 있다. 동작(710)의 정보를 수신하는 것에 기반하여, 전자 장치(101)는 동작(710)의 가상 객체를 표현한 상기 제1 시각적 객체를 표시할 수 있다. 상기 제1 시각적 객체는, 도 1의 제2 시각적 객체(160-2), 도 3의 시각적 객체들(330, 340, 350, 360), 도 4a의 시각적 객체(444), 도 4b 및 도 4c의 시각적 객체(464), 도 5a의 시각적 객체들(340, 524), 및/또는 도 5b의 제3 상태(540-3)의 시각적 객체(540)와 같이, 현재 상태의 상기 가상 객체와 관련될 수 있다.
도 7을 참고하면, 동작(730) 내에서, 일 실시예에 따른, 전자 장치(101)는, 가상 객체의 상태가 변경된 히스토리에 기반하여, 제1 시각적 객체에 대응하는 가상 객체의 제1 상태 이전의 제2 상태를 식별할 수 있다. 전자 장치(101)는, 전자 장치(101) 및/또는 외부 전자 장치(120) 내에 저장된 상기 히스토리에 기반하여, 상기 제2 상태를 식별할 수 있다. 예를 들어, 전자 장치(101)는, 전자 장치(101)의 메모리 내에서 상기 가상 객체에 대응하는 사용자를 표시하였던 상기 히스토리를 식별할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(120)로, 상기 히스토리를 지시하는 정보를 요청할 수 있다. 상기 정보의 요청에 기반하여, 동작(735) 내에서, 일 실시예에 따른, 외부 전자 장치(120)는, 가상 객체가 전자 장치의 사용자에게 표시된 히스토리를 지시하는 정보를 송신할 수 있다. 상기 히스토리에 기반하여, 전자 장치(101)는 전자 장치(101)의 사용자(예, 도 1 내지 도 6의 사용자(110))에 의해 열람되었던 상기 가상 객체의 상기 제2 상태를 식별할 수 있다.
도 7을 참고하면, 동작(740) 내에서, 일 실시예에 따른, 전자 장치(101)는, 식별된 제2 상태의 가상 객체를 표현한 제2 시각적 객체를, 제1 시각적 객체와 함께 표시할 수 있다. 상기 제2 상태의 가상 객체가, 동작(720)의 제1 시각적 객체에 대응하는 가상 객체의 상기 제1 상태와 다른 경우, 전자 장치(101)는 동작(740)을 수행하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 함께 표시할 수 있다. 동작(740)의 제2 시각적 객체는 도 1의 시각적 객체(170), 도 3의 시각적 객체들(345, 355, 365), 도 4a의 시각적 객체(442), 도 4b 및 도 4c의 시각적 객체(462), 도 5a의 시각적 객체(522), 도 5b의 제1 상태(540-1)의 시각적 객체(540) 및 도 6의 시각적 객체(522)를 포함할 수 있다.
도 7을 참고하면, 동작(750) 내에서, 일 실시예에 따른, 전자 장치(101)는, 제1 시각적 객체를 열람함(browsing)을 나타내는 입력을 식별할 수 있다. 전자 장치(101)는 도 6을 참고하여 상술한 바와 같이, 전자 장치(101)의 사용자(예, 도 6의 사용자(110))의 신체 부위(예, 사용자의 머리, 눈, 및/또는 손)의 방향 및/또는 상기 사용자의 발언(예, 도 6의 발언(650))에 기반하여, 상기 입력을 식별할 수 있다. 제1 시각적 객체를 열람함을 나타내는 상기 입력을 식별하는 것에 기반하여, 전자 장치(101)는 상기 제1 상태의 가상 객체가, 전자 장치(101)의 사용자에 의해 열람되었음을 지시하는 정보를 저장할 수 있다. 도 7을 참고하면, 상기 입력을 식별하는 것에 기반하여, 전자 장치(101)는 외부 전자 장치(120)로 상기 입력과 관련된 정보를 송신할 수 있다.
도 7을 참고하면, 동작(760) 내에서, 일 실시예에 따른, 외부 전자 장치(120)는, 전자 장치에 의해 식별된 입력에 기반하여, 제1 상태의 가상 객체가 전자 장치의 사용자에 의해 열람되었음을 지시하는 정보를 저장할 수 있다. 외부 전자 장치(120)는 전자 장치(101)로부터 동작(750)의 입력과 관련된 정보를 식별하는 것에 기반하여, 동작(760)을 수행할 수 있다. 동작(760)에 기반하여, 외부 전자 장치(120)는 동작(720)의 제1 시각적 객체 및/또는 제1 시각적 객체를 표시하기 위한 상기 가상 객체의 상기 제1 상태를 지시하는 정보를 저장할 수 있다. 외부 전자 장치(120)는 상기 가상 객체의 상기 제1 상태를 지시하는 정보를, 전자 장치(101)의 사용자에 의해 마지막으로 열람된 상기 가상 객체의 상태로써 저장할 수 있다. 예를 들어, 동작(760) 이후에, 상기 가상 객체의 상태가 변경된 경우, 외부 전자 장치(120)는 전자 장치(101)로, 상기 제1 상태의 가상 객체에 대한 데이터와 함께, 상기 변경된 상태의 가상 객체에 대한 데이터를 송신할 수 있다.
도 8은, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다. 도 8의 전자 장치는, 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 4c, 도 5a, 도 5b, 도 6 및 도 7의 전자 장치(101)를 포함할 수 있다. 도 8의 전자 장치의 동작들은, 도 2의 전자 장치(101) 및/또는 도 2의 전자 장치(101) 내 프로세서(210)에 의해 수행될 수 있다. 도 8의 전자 장치의 동작들 중 적어도 하나는, 도 7의 전자 장치(101)의 동작들 중 적어도 하나와 관련될 수 있다.
도 8을 참고하면, 동작(810) 내에서, 일 실시예에 따른, 전자 장치는, 제1 상태의 가상 객체를 표현하는 제1 시각적 객체를 표시할 수 있다. 전자 장치는 도 7의 동작(720)과 유사하게, 도 8의 동작(810)을 수행할 수 있다. 전자 장치와 상이한 외부 전자 장치(예, 도 1 내지 도 7의 외부 전자 장치(120))로부터 제1 상태의 가상 객체와 관련된 정보를 수신하는 것에 기반하여, 전자 장치는 상기 제1 상태의 상기 가상 객체를 표현하는 상기 제1 시각적 객체를 표시할 수 있다.
도 8을 참고하면, 동작(820) 내에서, 일 실시예에 따른, 전자 장치는, 제1 상태의 가상 객체가 열람된 횟수와 관련된 정보를 식별할 수 있다. 동작(810)에 기반하여 제1 상태의 가상 객체를 표현하는 제1 시각적 객체를 표시한 상태 내에서, 전자 장치는 동작(820)의 정보를 식별할 수 있다. 상기 정보는, 동작(810)의 전자 장치 및/또는 동작(810)의 상기 외부 전자 장치 내에 저장될 수 있다. 상기 정보는, 전자 장치의 사용자에 의해 마지막으로 열람되었던 상기 가상 객체의 상태를 포함할 수 있다. 상기 정보는, 전자 장치가 상기 가상 객체를 표시한 히스토리를 포함할 수 있다.
도 8을 참고하면, 동작(830) 내에서, 일 실시예에 따른, 전자 장치는, 제1 상태의 가상 객체가 열람된 횟수가 지정된 횟수 미만인지 여부를 판단할 수 있다. 지정된 횟수는 숫자 1과 같이, 상기 제1 상태의 가상 객체가 전자 장치의 사용자에 의해 처음 열람되었는지를 지시하는 숫자를 포함할 수 있다.
도 8을 참고하면, 제1 상태의 가상 객체가 열람된 횟수가 지정된 횟수 미만인 경우(830-예), 동작(840)에 기반하여, 일 실시예에 따른, 전자 장치는, 제1 상태 이전의 가상 객체를 표현하는 제2 시각적 객체를, 제1 시각적 객체와 함께 표시할 수 있다. 전자 장치는 도 7의 동작(740)과 유사하게, 도 8의 동작(840)을 수행할 수 있다. 제1 상태의 가상 객체가 열람된 횟수가 지정된 횟수를 초과하는 경우(830-아니오), 전자 장치는 동작(840)의 제2 시각적 객체를 표시하는 것을 우회(bypass)할 수 있다. 예를 들어, 제1 상태의 가상 객체가 열람된 횟수가 지정된 횟수를 초과하는 경우(830-아니오), 전자 장치는 상기 제2 시각적 객체를 표시하는 것을 삼갈 수 있다.
도 8을 참고하면, 동작(850) 내에서, 일 실시예에 따른, 전자 장치는, 제1 시각적 객체를 열람함을 나타내는 입력을 식별하였는지 여부를 판단할 수 있다. 상기 입력은, 도 6을 참고하여 상술한 바에 기반하여, 전자 장치에 포함된 센서(예, 도 2의 센서(250))에 의해 식별될 수 있다. 전자 장치는 도 7의 동작(750)과 유사하게 도 8의 동작(850)을 수행할 수 있다. 제1 시각적 객체를 열람함을 나타내는 입력을 식별하기 이전에(850-아니오), 전자 장치는 제1 시각적 객체를 표시하는 것을 유지할 수 있다. 전자 장치가 동작(840)의 제2 시각적 객체를 표시한 경우, 제1 시각적 객체를 열람함을 나타내는 입력을 식별하기 이전에(850-아니오), 전자 장치는 상기 제1 시각적 객체와 함께 상기 제2 시각적 객체를 표시하는 것을 유지할 수 있다.
도 8을 참고하면, 제1 시각적 객체를 열람함을 나타내는 입력을 식별한 상태 내에서(850-예), 동작(860)에 기반하여, 전자 장치는, 제1 시각적 객체가 열람되었음을 지시하는 정보를 저장할 수 있다. 전자 장치는 도 7의 동작(750)과 유사하게, 도 8의 동작들(850, 860)을 수행할 수 있다. 예를 들어, 상기 정보는, 동작(810)의 상기 제1 상태의 상기 가상 객체를 시각화하기 위한 데이터를 포함할 수 있다. 상기 정보는, 전자 장치 내에 저장되거나, 또는 상기 제1 상태의 상기 가상 객체를 제공한 외부 전자 장치 내에 저장될 수 있다. 동작(860)에 의해 저장된 상기 정보는, 동작(860) 이후 가상 객체의 상태가 상기 제1 상태와 상이한 다른 상태로 변경된 경우, 전자 장치의 사용자에게 상기 다른 상태의 상기 가상 객체와 함께 상기 제1 상태의 가상 객체를 표현하기 위해 이용될 수 있다.
도 9는, 일 실시예에 따른, 전자 장치에 대한 흐름도의 일 예를 도시한다. 도 9의 전자 장치는 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 4c, 도 5a, 도 5b, 도 6 및 도 7의 전자 장치(101)를 포함할 수 있다. 도 9의 전자 장치(101)의 동작들은, 도 2의 전자 장치(101) 및/또는 도 2의 전자 장치(101) 내 프로세서(210)에 의해 수행될 수 있다. 도 9의 동작들 중 적어도 하나는 도 7의 전자 장치(101)의 동작들, 및/또는 도 8의 동작들 중 적어도 하나와 관련될 수 있다.
도 9를 참고하면, 동작(910) 내에서, 일 실시예에 따른, 전자 장치는, 가상 객체를 표현하는 제1 시각적 객체를 표시할 수 있다. 전자 장치는 도 7의 동작(720) 및/또는 도 8의 동작(810)과 유사하게 도 9의 동작(910)을 수행할 수 있다.
도 9를 참고하면, 동작(920) 내에서, 일 실시예에 따른, 전자 장치는, 외부 전자 장치(예, 도 1 내지 도 7의 외부 전자 장치(120))로부터, 전자 장치의 사용자(예, 도 1 내지 도 6의 사용자(110))에 의해 열람되었던 가상 객체의 상태를 지시하는 정보를 획득할 수 있다. 예를 들어, 전자 장치는 외부 전자 장치로, 도 7의 동작(735)의 정보를 송신할 것을 요청할 수 있다. 예를 들어, 전자 장치는 동작(910)의 제1 시각적 객체를 표시하기 위하여 상기 외부 전자 장치로부터 송신된 신호 내에서, 상기 정보를 식별할 수 있다. 전자 장치는, 동작(920)에 기반하여, 전자 장치의 사용자에게 상기 가상 객체를 표시한 히스토리를 포함하는 상기 정보를 획득할 수 있다.
도 9를 참고하면, 동작(930) 내에서, 일 실시예에 따른, 전자 장치는, 동작(920)의 정보에 의해 지시되는 가상 객체의 상태가, 제1 시각적 객체를 표시하기 위한 가상 객체의 제1 상태와 상이한지 여부를 식별할 수 있다. 예를 들어, 전자 장치는, 전자 장치의 사용자에 의해 표시되었던 가상 객체의 상태가, 상기 제1 상태와 상이한지 여부를 식별할 수 있다. 예를 들어, 동작(910)에 기반하여 제1 시각적 객체가 표시된 제1 시점, 및 동작(910) 이전에 상기 가상 객체가 표시된 제2 시점 사이에서, 상기 가상 객체가 변경된 경우, 전자 장치는 동작(910)의 상기 가상 객체의 상기 제1 상태가, 상기 제2 시점 내 가상 객체의 상태와 상이함을 식별할 수 있다.
제1 시각적 객체를 표시하기 위한 가상 객체의 제1 상태 및 동작(920)의 정보에 의해 지시되는 상기 가상 객체의 제2 상태가 상이한 경우(930-예), 동작(940)에 기반하여, 전자 장치는 동작(930)의 상기 정보에 의해 지시되는 제2 상태의 가상 객체를 표현하는 제2 시각적 객체를, 제1 시각적 객체와 함께 표시할 수 있다. 전자 장치는 도 7의 동작(740) 및/또는 도 8의 동작(840)과 유사하게, 도 9의 동작(940)을 수행할 수 있다. 상기 제1 상태 및 상기 제2 상태가 일치하는 경우(930-예), 전자 장치는 동작(940)을 수행하는 것을 우회할 수 있다. 동작(940)을 수행하는 것이 우회되는 상태 내에서, 전자 장치는 동작(940)의 제2 시각적 객체를 표시하는 것을 삼갈 수 있다.
도 9를 참고하면, 동작(950) 내에서, 일 실시예에 따른, 전자 장치는, 제1 시각적 객체를 열람함을 나타내는 입력을 식별하였는지 여부를 식별할 수 있다. 전자 장치는 도 7의 동작(750) 및/또는 도 8의 동작(850)과 유사하게 도 9의 동작(950)을 수행할 수 있다. 동작(950)의 입력을 식별하기 이전에, 전자 장치는 제1 시각적 객체를 표시하는 것을 유지할 수 있다.
제1 시각적 객체를 열람함을 나타내는 입력을 식별한 상태 내에서(950-예), 동작(960)에 기반하여, 일 실시예에 따른, 전자 장치는, 제1 시각적 객체가 열람되었음을 지시하는 정보를 저장할 수 있다. 전자 장치는 도 8의 동작(860)과 유사하게 도 9의 동작(960)을 수행할 수 있다.
메타버스는 '가상', '초월' 등을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다.
이와 같은 메타버스 서비스는 적어도 2가지 형태로 제공될 수 있다. 첫번째는 서버를 이용하여 사용자에게 서비스가 제공되는 것이고, 두번째는 사용자 간의 개별 접촉을 통해 서비스가 제공되는 것이다.
도 10은 서버(1010)를 통해 메타버스 서비스를 제공받는 제 1 실시예 환경(1001)에 대한 예시도이다.
도 10을 보면, 제 1 실시예 환경(1001)은, 메타버스 서비스를 제공하는 서버(1010), 서버(1010)와 각각의 사용자 단말(예, 제1 단말(1020-1), 및 제2 단말(1020-2)을 포함하는 사용자 단말(1020))을 연결하는 네트워크(예, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(1030)에 의해 형성된 네트워크), 네트워크를 통해 서버로 접속하여 서비스를 이용하게 하는 사용자 단말로 구성된다. 서버(1010)는 사용자에게 메타버스 서비스에 입출력을 제공한다.
이 때, 서버(1010)는 가상 공간을 제공하여 사용자 단말(1020)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(1020)은 서버(1010)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(1010)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다.
상기 S/W 에이전트는 서버(1010)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩(embedded)되어 제공될 수 있다.
도 11은 사용자 단말들(예, 제1 단말(1020-1) 및 제2 단말(1020-2))의 직접 연결을 통해 메타버스 서비스를 제공받는 제 2 실시예 환경(1002)에 대한 예시도이다.
도 11을 보면, 제 2 실시예 환경(1002)은, 메타버스 서비스를 제공하는 제 1 단말(1020-1), 각각의 사용자 단말을 연결하는 네트워크(예, 적어도 하나의 중간 노드(1030)에 의해 형성된 네트워크), 네트워크를 통해 제 1 단말(1020-1)과 접속하여 제 2 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 제 2 단말(1020-2)로 구성된다.
제 2 실시예는 제 1 실시예에서 서버(예, 도 10의 서버(1010))의 역할을 제 1 단말(1020-1)이 수행함으로써 메타버스 서비스를 제공하는 것을 특징으로 한다. 즉, 디바이스와 디바이스의 연결만으로 메타버스 환경을 구성할 수 있음을 알 수 있다.
제 1 실시예와 제 2 실시예에서, 사용자 단말(1020)(혹은 제 1 단말(1020-1), 제 2 단말(1020-2)을 포함하는 사용자 단말(1020))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(1020)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(1020-2)), AR 기기(예, 제1 단말(1020-1)), VR 기기, MR 기기, VST 기기, 입출력 가능한 TV 또는 프로젝터 등을 포함할 수 있다. 도시의 목적을 위해 제1 실시예 및 제2 실시예가 설명되었지만, 환경(1001) 및 환경(1002)은 서로 배타적임을 의미하는 것으로 이해되서는 안 된다. 하나 이상의 실시예들에서, 사용자 단말은 예시적인 환경(1001) 및 환경(1002) 내 동작 사이에서 경계 없이(seamlessly) 전환할 수 있다. 하나 이상의 실시예들에서, 사용자 단말은 예시적인 환경들(1001, 1002) 내에서 동작할 수 있다.
본 발명의 하나 이상의 실시예들의 네트워크(예, 적어도 하나의 중간 노드(1030)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 Wifi, BT 등을 포함하는 근거리 네트워크(예, 제1 단말(1020-1), 및 제2 단말(1020-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
도 10 내지 도 11의 사용자 단말(1020)은, 도 1 내지 도 7의 전자 장치(101) 및/또는 도 8 및 도 9의 전자 장치의 일 예일 수 있다. 도 10의 서버(1010)는 도 1 내지 도 7의 외부 전자 장치(120) 및/또는 도 8 및 도 9의 외부 전자 장치의 일 예일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치는, 외부 전자 장치에 의해 제공된 가상 공간의 적어도 일부분을 시각화한 상태 내에서, 상기 가상 공간을 통해 전자 장치의 사용자와 연결된 다른 사용자를 표현하는 시각적 객체를 표시할 수 있다. 제1 상태의 상기 시각적 객체가 표시된 상태 내에서, 전자 장치는 상기 제1 상태와 상이한 제2 상태의 시각적 객체를, 상기 다른 사용자를 표현하는 시각적 객체로써 표시하였던 히스토리를 식별할 수 있다. 상기 히스토리를 식별하는 것에 기반하여, 전자 장치는 상기 제1 상태의 상기 시각적 객체와 함께, 상기 제2 상태의 다른 시각적 객체를 표시할 수 있다.
전자 장치의 사용자에게, 상기 사용자와 구분되는 다른 사용자를 표현한, 시각적 객체가 변경된 히스토리를 표시하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 전자 장치(예, 도 1 내지 도 7의 전자 장치(101))는, 디스플레이(예, 도 2의 디스플레이(240)), 통신 회로(예, 도 2의 통신 회로(230)), 및 프로세서(예, 도 2의 프로세서(210))를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로를 통해 연결된 외부 전자 장치(예, 도 1 내지 도 7의 외부 전자 장치(120))로부터 수신된 정보에 기반하여, 상기 디스플레이 내에, 사용자를 표현하는(representing) 제1 시각적 객체(예, 도 3의 시각적 객체들(330, 340, 350, 360), 도 4a의 시각적 객체(442), 도 4b 및 도 4c의 시각적 객체(462), 도 5a의 시각적 객체(524) 및/또는 도 6의 시각적 객체(340))를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 정보에 기반하여, 상기 제1 시각적 객체가 상기 디스플레이를 통해 표시된 횟수를 식별하도록, 구성될 수 있다. 상기 프로세서는, 지정된 횟수 미만의 횟수를 식별하는 것에 기반하여, 상기 디스플레이 내에서 상기 제1 시각적 객체와 함께, 상기 제1 시각적 객체 이전에 상기 사용자를 표현하는 제2 시각적 객체(예, 도 3의 시각적 객체들(345, 355, 365))를 표시하도록, 구성될 수 있다. 일 실시예에 따른, 전자 장치는, 사용자를 표현하는 제1 시각적 객체와 함께, 제1 시각적 객체 이전에 상기 사용자의 표현으로써 표시되었던 제2 시각적 객체를 함께 표시할 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시각적 객체가 포함된 가상 공간(예, 도 1의 가상 공간(140)) 내에서, 상기 제1 시각적 객체에 대응하는 상기 사용자 및 상기 전자 장치의 사용자의 상호작용 히스토리를 포함하는 상기 정보를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 정보로부터, 상기 디스플레이를 통해 상기 제1 시각적 객체가 상기 전자 장치의 사용자에 의해 열람된 상기 횟수를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시각적 객체를 열람함을 나타내는 입력에 기반하여, 상기 제1 시각적 객체와 관련된 다른 정보를, 상기 입력을 식별한 시점과 함께 저장하도록, 구성될 수 있다.
예를 들어, 상기 전자 장치는 센서(예, 도 2의 센서(250))를 더 포함할 수 있다. 상기 프로세서는, 상기 센서의 데이터에 의해 식별된, 전자 장치의 사용자의 시선의 방향에 기반하여, 상기 입력을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 전자 장치로부터 수신된 비디오에 기반하여, 상기 제1 시각적 객체(예, 도 3의 시각적 객체(350))를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 전자 장치로부터 상기 사용자를 표현하는 아바타를 포함하는 정보를 수신하는 것에 기반하여, 상기 아바타의 적어도 일부분에 대응하는 상기 제1 시각적 객체(예, 도 3의 시각적 객체들(330, 340, 360))를 표시하도록, 구성될 수 있다.
예를 들어, 상기 전자 장치는 메모리(예, 도 2의 전자 장치(101) 내 메모리(220))를 더 포함할 수 있다. 상기 프로세서는, 상기 메모리에 저장된 연락처 리스트(contact list) 내에서 상기 제1 시각적 객체에 대응하는 사용자를 지시하는 데이터를 식별하는 것에 기반하여, 상기 제2 시각적 객체의 적어도 일부분을 표시하는 것을 삼가고(refrain from), 상기 제1 시각적 객체와 함께, 상기 데이터의 적어도 일부분을 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시각적 객체와 함께 상기 제2 시각적 객체를 표시하는 상태 내에서, 상기 제2 시각적 객체로부터 상기 제1 시각적 객체로 변형되는(transforming) 애니메이션을 표시하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 제1 사용자에게, 가상 공간 내에 포함되고, 제2 사용자를 표현하는 제1 시각적 객체를 표시하는 동작(예, 도 9의 동작(910))을 포함할 수 있다. 상기 방법은, 외부 전자 장치로부터, 상기 제1 사용자에 의해 열람되었던(has been browsed) 일(a) 시각적 객체를 지시하는 정보를 획득하는 동작(예, 도 9의 동작(920))을 포함할 수 있다. 상기 방법은, 상기 정보로부터, 상기 제1 시각적 객체와 상이한 제2 시각적 객체를 식별하는 것에 기반하여, 상기 제1 사용자에게 표시되는 상기 제1 시각적 객체와 함께, 상기 제2 시각적 객체를 표시하는 동작(예, 도 9의 동작(940))을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 정보에 의하여 획득된, 상기 제2 사용자의 아바타와 결합된 하나 이상의 가상 객체들의 상태들에 기반하여, 상기 정보에 의해 지시되는 시각적 객체가, 상기 제1 시각적 객체와 상이한지 여부를 식별하는 동작(예, 도 9의 동작(930))을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 제1 시각적 객체를 열람함을 지시하는 입력에 응답하여, 상기 외부 전자 장치로, 상기 외부 전자 장치 내에 저장된 상기 정보를, 상기 제1 시각적 객체에 기반하여 변경하기 위한 신호를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 전자 장치의 센서의 데이터에 기반하여, 상기 전자 장치의 디스플레이 내에서 상기 제1 사용자의 시선의 방향을 식별하는 동작을 포함할 수 있다. 상기 제2 시각적 객체를 표시하는 동작은, 상기 식별된 방향에 기반하여, 상기 입력을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 입력을 식별하는 동작은, 상기 식별된 방향에 기반하여, 상기 제1 시각적 객체가 열람된 기간(duration), 또는 횟수 중 적어도 하나를 획득하는 동작을 포함할 수 있다. 상기 입력을 식별하는 동작은, 상기 기간, 또는 상기 횟수 중 적어도 하나에 기반하여, 상기 입력을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 제2 시각적 객체, 및 상기 제1 시각적 객체 사이의 중간 형태(intermediate form)를 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 통신 회로를 통해 연결된 외부 전자 장치로부터 수신된 정보에 기반하여, 상기 전자 장치의 디스플레이 내에, 사용자를 표현하는 제1 시각적 객체를 표시하는 동작(예, 도 8의 동작(810))을 포함할 수 있다. 상기 방법은, 상기 정보에 기반하여, 상기 제1 시각적 객체가 상기 디스플레이를 통해 표시된 횟수를 식별하는 동작(예, 도 8의 동작(820))을 포함할 수 있다. 상기 방법은, 지정된 횟수 미만의 횟수를 식별하는 것에 기반하여, 상기 디스플레이 내에서 상기 제1 시각적 객체와 함께, 상기 제1 시각적 객체 이전에 상기 사용자를 표현하는 제2 시각적 객체를 표시하는 동작(예, 도 8의 동작(840))을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 제1 시각적 객체가 포함된 가상 공간 내에서, 상기 제1 시각적 객체에 대응하는 상기 사용자 및 상기 전자 장치의 사용자의 상호작용 히스토리를 포함하는 상기 정보를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 정보로부터, 상기 디스플레이를 통해 상기 제1 시각적 객체가 상기 전자 장치의 사용자에 의해 열람된 횟수를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 제1 시각적 객체를 열람함을 나타내는 입력에 기반하여, 상기 제1 시각적 객체와 관련된 다른 정보를, 상기 입력을 식별한 시점과 함께 저장하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 시각적 객체를 표시하는 동작은, 상기 외부 전자 장치로부터 수신된 비디오에 기반하여, 상기 제1 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 전자 장치의 메모리 내에 저장된 연락처 리스트 내에서 상기 제1 시각적 객체에 대응하는 사용자를 지시하는 데이터를 식별하는 것에 기반하여, 상기 제2 시각적 객체의 적어도 일부분을 표시하는 것을 삼가고(refrain from), 상기 제1 시각적 객체와 함께, 상기 데이터의 적어도 일부분을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 제2 시각적 객체로부터 상기 제1 시각적 객체로 변형되는 애니메이션을 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치(electronic device)(예, 도 1 내지 도 7의 전자 장치(101))는, 디스플레이(예, 도 2의 디스플레이(240)), 통신 회로(예, 도 2의 통신 회로(230)) 및 프로세서(예, 도 2의 프로세서(210))를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이를 통하여 상기 전자 장치의 제1 사용자(예, 도 1의 제1 사용자(110-1))에게, 가상 공간(예, 도 1의 가상 공간(140)) 내에 포함되고, 제2 사용자(예, 도 1의 제2 사용자(110-2))를 표현하는 제1 시각적 객체(예, 도 1의 제2 시각적 객체(160-2), 도 3의 시각적 객체들(330, 340, 350, 360), 도 4a의 시각적 객체(442), 도 4b 및 도 4c의 시각적 객체(462), 도 5a의 시각적 객체(524) 및/또는 도 6의 시각적 객체(340))를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 외부 전자 장치(예, 도 1 내지 도 7의 외부 전자 장치(120))로부터, 상기 제1 사용자에 의해 열람되었던(has been browsed) 일(a) 시각적 객체를 지시하는 정보를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 정보로부터, 상기 제1 시각적 객체와 상이한 제2 시각적 객체(예, 도 1의 시각적 객체(172) 및/또는 도 3의 시각적 객체들(345, 355, 365))를 식별하는 것에 기반하여, 상기 제1 사용자에게 표시되는 상기 제1 시각적 객체와 함께, 상기 제2 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 정보에 의하여 획득된, 상기 제2 사용자의 아바타와 결합된 하나 이상의 가상 객체들의 상태들에 기반하여, 상기 정보에 의해 지시되는 시각적 객체가, 상기 제1 시각적 객체와 상이한지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시각적 객체를 열람함을 지시하는 입력에 응답하여, 상기 외부 전자 장치로, 상기 외부 전자 장치 내에 저장된 상기 정보를, 상기 제1 시각적 객체에 기반하여 변경하기 위한 신호를 송신하도록, 구성될 수 있다.
예를 들어, 상기 전자 장치는, 센서(예, 도 2의 센서(250))를 더 포함할 수 있다. 상기 프로세서는, 상기 센서의 데이터에 기반하여, 상기 디스플레이 내에서 상기 제1 사용자의 시선의 방향을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 식별된 방향에 기반하여, 상기 입력을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 식별된 방향에 기반하여, 상기 제1 시각적 객체가 열람된 기간, 또는 횟수 중 적어도 하나를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 기간, 또는 상기 횟수 중 적어도 하나에 기반하여, 상기 입력을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 시각적 객체, 및 상기 제1 시각적 객체 사이의 중간 형태를 표시하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치는, 디스플레이, 프로세서, 및 인스트럭션들을 저장하기 위한 메모리를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 디스플레이 상에 상기 가상 공간을 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 제1 모습(appearance)을 가지고, 사용자의 현재 표현(current representation)인 제1 아바타를, 상기 가상 공간 내에 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하도록, 야기할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 디스플레이, 인스트럭션들을 저장하기 위한 메모리 및 상기 인스트럭션들을 실행하기 위한 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 가상 공간으로 진입함을 나타내는 입력에 기반하여, 상기 가상 공간 내에 위치된 아바타와 관련된 외부 전자 장치로부터 정보를 수신하도록, 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 정보를 수신하는 것에 기반하여, 제1 모습(appearance)의 제1 아바타를 포함하는 상기 가상 공간의 적어도 일부분을 표시하도록, 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 입력을 식별하기 이전에 상기 웨어러블 장치에 의해 표시되었던 제2 모습의 상기 아바타를 더(further) 포함하는 상기 정보에 기반하여, 상기 아바타와 함께, 상기 제2 모습의 상기 아바타를 표현하는 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는, 상기 아바타가 상기 제2 모습으로부터 상기 제1 모습으로 변경된 타이밍과 관련된 텍스트를 포함하는 상기 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는, 의류를 표현하는 적어도 하나의 시각적 객체가 결합된 형태를 가지는 상기 아바타를 표시하는 동안, 상기 아바타와 결합된 상기 의류가 변경된 이력을 시각화하기 위하여 상기 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는, 상기 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 시각적 객체 또는 상기 아바타를 향하는 사용자의 시선의 방향을 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 구성될 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는, 상기 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 아바타의 식별자와 관련된 오디오 신호를 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 구성될 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는, 상기 입력을 수신하기 이전에 상기 웨어러블 장치에 의해 표시되었던 상기 제2 모습의 상기 아바타를 더 포함하는 상기 정보에 기반하여, 상기 아바타와 연동으로 위치된 인디케이터를 상기 아바타와 함께 표시하도록, 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 인디케이터에 대한 다른 입력에 기반하여, 상기 시각적 객체를 표시하고 상기 인디케이터를 표시하는 것을 중단하도록, 구성될 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는, 상기 아바타의 식별자를 표시하는 동안 상기 시각적 객체를 표시하는 것을 중단하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 비-일시적 컴퓨터 판독 가능 저장 매체는 인스트럭션들을 저장하도록, 구성될 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 가상 웨어러블 장치의 디스플레이 상에 상기 가상 공간을 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 제1 모습(appearance)을 가지고, 사용자의 현재 표현인 제1 아바타를, 상기 가상 공간 내에 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
일 실시예에 따른, 비-일시적 컴퓨터 판독 가능 저장 매체는 인스트럭션들을 저장하도록, 구성될 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 가상 공간으로 진입함을 나타내는 입력에 기반하여, 상기 가상 공간 내에 위치된 아바타와 관련된 외부 전자 장치로부터 정보를 수신하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 시에, 상기 정보를 수신하는 것에 기반하여, 제1 모습(appearance)의 제1 아바타를 포함하는 상기 가상 공간의 적어도 일부분을 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다. 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 시에, 상기 입력을 식별하기 이전에 상기 웨어러블 장치에 의해 표시되었던 제2 모습의 상기 아바타를 더 포함하는 상기 정보에 기반하여, 상기 아바타와 함께, 상기 제2 모습의 상기 아바타를 표현하는 시각적 객체를 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
예를 들어, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 아바타가 상기 제2 모습으로부터 상기 제1 모습으로 변경된 타이밍과 관련된 텍스트를 포함하는 상기 시각적 객체를 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
예를 들어, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 의류를 표현하는 적어도 하나의 시각적 객체가 결합된 형태를 가지는 상기 아바타를 표시하는 동안, 상기 아바타와 결합된 상기 의류가 변경된 이력을 시각화하기 위하여 상기 시각적 객체를 표시하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
예를 들어, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 시각적 객체 또는 상기 아바타를 향하는 사용자의 시선의 방향을 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
예를 들어, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 아바타의 식별자와 관련된 오디오 신호를 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
예를 들어, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 입력을 수신하기 이전에 상기 웨어러블 장치에 의해 표시되었던 상기 제2 모습의 상기 아바타를 더 포함하는 상기 정보에 기반하여, 상기 아바타와 연동으로 위치된 인디케이터를 상기 아바타와 함께 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 인디케이터에 대한 다른 입력에 기반하여, 상기 시각적 객체를 표시하고 상기 인디케이터를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
예를 들어, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에, 상기 아바타의 식별자를 표시하는 동안 상기 시각적 객체를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 전자 장치의 방법은, 가상 공간으로 진입하기 위한 웨어러블 장치의 요청에 기반하여, 상기 가상 공간 내에서 아바타의 정보를 식별하는 동작을 포함할 수 있다. 상기 방법은, 제1 모습의 상기 제1 아바타의 상기 정보를 식별하는 것에 기반하여, 상기 요청 이전에 상기 웨어러블 장치에 의해 표시되었던 상기 아바타의 제2 모습이 상기 아바타의 상기 제1 모습과 다름을 식별하는 것에 기반하여, 상기 제1 모습의 상기 아바타를 포함하고, 상기 제1 모습으로부터 상기 제2 모습으로 상기 아바타의 변경 이력을 포함하는 상기 정보를 상기 웨어러블 장치로 송신하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 모습의 상기 제1 아바타의 상기 정보를 식별하는 것에 기반하여, 상기 아바타의 상기 제1 모습이 상기 제2 모습과 동일함을 식별하는 것에 기반하여, 상기 이력 없이 상기 제1 모습의 상기 아바타를 포함하는 상기 정보를 상기 웨어러블 장치로 송신하는 동작을 포함할 수 있다.
일 실시예에서, 디스플레이, 메모리 및 프로세서를 포함하는 전자 장치의 방법이 제공된다. 상기 방법은, 가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 디스플레이 상에 상기 가상 공간을 표시하는 동작을 포함할 수 있다. 상기 방법은, 제1 모습(appearance)을 가지고, 사용자의 현재 표현(current representation)인 제1 아바타를, 상기 가상 공간 내에 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 이력과 함께 상기 정보를 송신하는 동작은, 상기 아바타가 상기 제2 모습으로부터 상기 제1 모습으로 변경된 타이밍과 관련된 텍스트를 포함하는 상기 정보를 송신하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 의류를 표현하는 적어도 하나의 시각적 객체가 결합된 형태를 가지는 상기 아바타의 상기 정보를 식별하는 동작을 포함할 수 있다. 상기 정보는 상기 적어도 하나의 가상 객체가 상기 아바타와 결합된 타이밍을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 웨어러블 장치에 의해 표시되는 상기 아바타의 최신 타이밍과 상기 타이밍을 비교하여, 상기 히스토리를 포함하는 상기 정보를 송신할지 여부를 결정하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 요청에 기반하여, 상기 웨어러블 장치에 로그인된 사용자를 표현하는 다른 아바타와 상이한 상기 아바타의 상기 정보를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 웨어러블 장치로부터 상기 아바타 또는 상기 시각적 객체를 열람하기 위한 입력이 수신됨을 나타내는 신호에 응답하여, 상기 제1 모습의 상기 아바타가 웨어러블 장치의 사용자에 의해 열람되었음을 나타내는 정보를 저장하는 동작을 더 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치에 있어서,
    디스플레이;
    프로세서; 및
    인스트럭션들을 저장하기 위한 메모리를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 디스플레이 상에 상기 가상 공간을 표시하고;
    제1 모습(appearance)을 가지고, 사용자의 현재 표현(current representation)인 제1 아바타를, 상기 가상 공간 내에 표시하고; 및
    상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하도록, 야기하는,
    웨어러블 장치.
  2. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 ,
    상기 제1 아바타가 상기 제2 모습으로부터 상기 제1 모습으로 변경된 타이밍과 관련된 텍스트를 포함하는 상기 시각적 객체를 표시하도록, 더 구성된,
    웨어러블 장치.
  3. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 ,
    의류를 표현하는 적어도 하나의 시각적 객체가 결합된 형태를 가지는 상기 제1 아바타를 표시하는 동안, 상기 제1 아바타와 결합된 상기 의류가 변경된 이력을 시각화하기 위하여 상기 시각적 객체를 표시하도록, 더 구성된,
    웨어러블 장치.
  4. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 ,
    상기 제1 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 시각적 객체 또는 상기 제1 아바타를 향하는 사용자의 시선의 방향을 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 더 구성된,
    웨어러블 장치.
  5. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 ,
    상기 제1 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 제1 아바타의 식별자와 관련된 오디오 신호를 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 더 구성된,
    웨어러블 장치.
  6. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 ,
    상기 입력을 수신하기 이전에 상기 웨어러블 장치에 의해 표시되었던 상기 제2 모습의 상기 제2 아바타를 더 포함하는 상기 정보에 기반하여, 상기 제1 아바타와 연동으로 위치된 인디케이터를 상기 제1 아바타와 함께 표시하고;
    상기 인디케이터에 대한 다른 입력에 기반하여, 상기 시각적 객체를 표시하고 상기 인디케이터를 표시하는 것을 중단하도록, 더 구성된,
    웨어러블 장치.
  7. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 ,
    상기 제1 아바타의 식별자를 표시하는 동안 상기 시각적 객체를 표시하는 것을 중단하도록, 더 구성된,
    웨어러블 장치.
  8. 인스트럭션들을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 가상 웨어러블 장치의 디스플레이 상에 상기 가상 공간을 표시하고;
    제1 모습(appearance)을 가지고, 사용자의 현재 표현인 제1 아바타를, 상기 가상 공간 내에 표시하고; 및
    상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  9. 청구항 8에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    상기 제1 아바타가 상기 제2 모습으로부터 상기 제1 모습으로 변경된 타이밍과 관련된 텍스트를 포함하는 상기 시각적 객체를 표시하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  10. 청구항 8에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    의류를 표현하는 적어도 하나의 시각적 객체가 결합된 형태를 가지는 상기 제1 아바타를 표시하는 동안, 상기 제1 아바타와 결합된 상기 의류가 변경된 이력을 시각화하기 위하여 상기 시각적 객체를 표시하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  11. 청구항 8에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    상기 제1 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 시각적 객체 또는 상기 제1 아바타를 향하는 사용자의 시선의 방향을 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  12. 청구항 8에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    상기 제1 아바타 및 상기 시각적 객체를 표시하는 동안, 상기 제1 아바타의 식별자와 관련된 오디오 신호를 식별하는 것에 기반하여, 상기 시각적 객체를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  13. 청구항 8에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    상기 입력을 수신하기 이전에 상기 웨어러블 장치에 의해 표시되었던 상기 제2 모습의 상기 제2 아바타를 더 포함하는 상기 정보에 기반하여, 상기 아바타와 연동으로 위치된 인디케이터를 상기 제1 아바타와 함께 표시하고;
    상기 인디케이터에 대한 다른 입력에 기반하여, 상기 시각적 객체를 표시하고 상기 인디케이터를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  14. 청구항 8에 있어서, 상기 인스트럭션들은, 웨어러블 장치의 적어도 하나의 프로세서에 의해 실행될 시에,
    상기 제1 아바타의 식별자를 표시하는 동안 상기 시각적 객체를 표시하는 것을 중단하도록, 상기 적어도 하나의 프로세서를 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  15. 디스플레이, 메모리 및 프로세서를 포함하는 전자 장치의 방법에 있어서,
    가상 공간으로 진입하기 위한 입력을 수신하는 것에 기반하여, 상기 디스플레이 상에 상기 가상 공간을 표시하는 동작;
    제1 모습(appearance)을 가지고, 사용자의 현재 표현(current representation)인 제1 아바타를, 상기 가상 공간 내에 표시하는 동작; 및
    상기 제1 아바타의 상기 제1 모습과 상이한 제2 모습을 가지고, 상기 사용자의 과거 표현(previous representation)인 제2 아바타를 위한 시각적 객체를, 상기 제1 아바타와 함께 상기 가상 공간 내에 표시하는 동작을 포함하는,
    방법.
PCT/KR2023/016427 2022-10-25 2023-10-20 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법 Ceased WO2024090914A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP23883020.2A EP4592809A4 (en) 2022-10-25 2023-10-20 ELECTRONIC DEVICE FOR DISPLAYING A CHANGE OF VIRTUAL OBJECT, AND ASSOCIATED METHOD
CN202380070056.1A CN119895373A (zh) 2022-10-25 2023-10-20 用于显示虚拟对象的改变的电子装置及其方法
US18/384,459 US12266056B2 (en) 2022-10-25 2023-10-27 Electronic device and method for displaying modification of virtual object and method thereof
US19/067,550 US20250200899A1 (en) 2022-10-25 2025-02-28 Electronic device and method for displaying modification of virtual object and method thereof

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2022-0138757 2022-10-25
KR20220138757 2022-10-25
KR10-2022-0143875 2022-11-01
KR20220143875 2022-11-01
KR1020230140766A KR20240058013A (ko) 2022-10-25 2023-10-19 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법
KR10-2023-0140766 2023-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/384,459 Continuation US12266056B2 (en) 2022-10-25 2023-10-27 Electronic device and method for displaying modification of virtual object and method thereof

Publications (1)

Publication Number Publication Date
WO2024090914A1 true WO2024090914A1 (ko) 2024-05-02

Family

ID=90831269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016427 Ceased WO2024090914A1 (ko) 2022-10-25 2023-10-20 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법

Country Status (4)

Country Link
US (2) US12266056B2 (ko)
EP (1) EP4592809A4 (ko)
CN (1) CN119895373A (ko)
WO (1) WO2024090914A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170352179A1 (en) * 2016-06-03 2017-12-07 International Business Machines Corporation Method to adjust avatar attributes using fitness metrics
US20180322681A1 (en) * 2017-03-02 2018-11-08 Colopl, Inc. Information processing method, program, virtual space delivering system and apparatus therefor
US20190005732A1 (en) * 2017-06-30 2019-01-03 Colopl, Inc. Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
US20200226811A1 (en) * 2019-01-14 2020-07-16 Samsung Electronics Co., Ltd. Electronic device for generating avatar and method thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090067822A (ko) 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
US8446414B2 (en) * 2008-07-14 2013-05-21 Microsoft Corporation Programming APIS for an extensible avatar system
US8788957B2 (en) * 2008-08-22 2014-07-22 Microsoft Corporation Social virtual avatar modification
US8223156B2 (en) * 2008-09-26 2012-07-17 International Business Machines Corporation Time dependent virtual universe avatar rendering
US9176579B2 (en) 2008-12-29 2015-11-03 Avaya Inc. Visual indication of user interests in a computer-generated virtual environment
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
WO2015108702A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Cloud-based initiation of customized exercise routine
US9604150B2 (en) 2014-05-02 2017-03-28 Nintendo Co., Ltd. Information processing system, information processing device, storage medium storing information processing program, information processing method, and storage device
JP6821461B2 (ja) 2017-02-08 2021-01-27 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報制御装置
KR102622883B1 (ko) * 2019-09-02 2024-01-09 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11119568B2 (en) 2019-09-24 2021-09-14 Facebook Technologies, Llc Suspend mode feature for artificial reality systems
KR102906626B1 (ko) * 2020-03-05 2025-12-30 삼성전자주식회사 투명 스크린을 포함하는 디스플레이 장치를 제어하기 위한 방법 및 그 디스플레이 장치
US20220124130A1 (en) 2020-10-19 2022-04-21 Sophya Inc. Methods and systems for triggering livestream communications between users based on preexisting relationships between avatars within virtual environments
US20220230379A1 (en) 2021-01-19 2022-07-21 Krikey, Inc. Three-dimensional avatar generation and manipulation using shaders

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170352179A1 (en) * 2016-06-03 2017-12-07 International Business Machines Corporation Method to adjust avatar attributes using fitness metrics
US20180322681A1 (en) * 2017-03-02 2018-11-08 Colopl, Inc. Information processing method, program, virtual space delivering system and apparatus therefor
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
US20190005732A1 (en) * 2017-06-30 2019-01-03 Colopl, Inc. Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
US20200226811A1 (en) * 2019-01-14 2020-07-16 Samsung Electronics Co., Ltd. Electronic device for generating avatar and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4592809A4 *

Also Published As

Publication number Publication date
EP4592809A1 (en) 2025-07-30
US12266056B2 (en) 2025-04-01
CN119895373A (zh) 2025-04-25
US20250200899A1 (en) 2025-06-19
EP4592809A4 (en) 2026-01-07
US20240233274A9 (en) 2024-07-11
US20240135650A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
WO2020036343A1 (en) Electronic device and control method thereof
WO2014142522A1 (en) Computing system with task transfer mechanism and method of operation thereof
WO2016171363A1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2016093633A1 (ko) 컨텐트를 표시하는 방법 및 디바이스
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2021070982A1 (ko) 컨텐츠를 공유하는 전자 장치 및 그 제어 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2024122984A1 (ko) 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024058405A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2025018552A1 (ko) 외부 전자 장치와 통신하기 위한 웨어러블 장치 및 그 방법
WO2026084303A1 (ko) 필터 이미지를 공유하기 위한 전자 장치 및 hmd 장치, 그리고 이들의 제어 방법
WO2025023449A1 (ko) 진동을 출력하도록 외부 전자 장치를 제어하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025048133A1 (ko) 아바타를 표시하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025053423A1 (ko) 카메라로부터 획득된 이미지를 합성하기 위한 전자 장치 및 그 방법
EP4592809A1 (en) Electronic device for displaying change of virtual object, and method thereof
WO2024071632A1 (ko) 메타버스 영상을 표시하는 영상 표시 장치 및 그 표시 방법
WO2026095304A1 (ko) 센서 데이터를 이용하여 텍스트를 요약하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2024181647A1 (ko) 사용자의 위치에 기반하여 미디어 콘텐트를 표시하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2026106233A1 (ko) 음원에 대한 정보를 제공하는 전자 장치 및 그 동작 방법
WO2025216484A1 (ko) 아바타의 표시를 위한 방식을 변경하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2024215173A1 (ko) 디스플레이 상에 외부 객체의 사이즈에 대응하는 화면을 표시하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능 저장 매체
WO2025023532A1 (ko) 하나 이상의 센서들을 이용하여 사용자 입력을 식별하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23883020

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202547029755

Country of ref document: IN

Ref document number: 202380070056.1

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202547029755

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2023883020

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 202380070056.1

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023883020

Country of ref document: EP

Effective date: 20250424

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023883020

Country of ref document: EP