WO2024101683A1 - 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법 - Google Patents

오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법 Download PDF

Info

Publication number
WO2024101683A1
WO2024101683A1 PCT/KR2023/015779 KR2023015779W WO2024101683A1 WO 2024101683 A1 WO2024101683 A1 WO 2024101683A1 KR 2023015779 W KR2023015779 W KR 2023015779W WO 2024101683 A1 WO2024101683 A1 WO 2024101683A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
audio signal
virtual microphone
microphone
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/015779
Other languages
English (en)
French (fr)
Inventor
이상훈
강진모
김성오
김지현
염동현
이건희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220164959A external-priority patent/KR20240067751A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP23888946.3A priority Critical patent/EP4614308A4/en
Publication of WO2024101683A1 publication Critical patent/WO2024101683A1/ko
Priority to US19/203,858 priority patent/US20250267398A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • Various embodiments of the present disclosure relate to a wearable device and method for recording audio signals.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a camera, communication circuitry, a microphone, and a processor.
  • the processor may be configured to receive an input for coupling a virtual microphone to an external object around the wearable device.
  • the processor may be configured to broadcast, via the communication circuitry, a signal containing information for tracking the external object associated with the virtual microphone by the input.
  • the processor may be configured to obtain a first audio signal from the microphone using the location of the external object identified based on frames obtained from the camera.
  • the processor may be configured to obtain at least one second audio signal from at least one external electronic device through the communication circuit.
  • the at least one second audio signal may be transmitted as a response to the signal from the at least one external electronic device.
  • the processor may be configured to obtain a third audio signal for the virtual microphone by synthesizing the first audio signal and the at least one second audio signal based on the location of the external object.
  • a method of using a wearable device may include receiving an input for coupling a virtual microphone to an external object around the wearable device.
  • the method may include broadcasting information for tracking the external object coupled to the virtual microphone by the input through a communication circuit of the wearable device.
  • the method may include obtaining a first audio signal from a microphone of the wearable device using the location of the external object identified based on frames obtained from a camera of the wearable device.
  • the method may include acquiring at least one second audio signal from at least one external electronic device through the communication circuit.
  • the at least one second audio signal may be transmitted from the at least one external electronic device in response to the signal.
  • the method may include synthesizing the first audio signal and the at least one second audio signal based on the location of the external object to obtain a third audio signal for the virtual microphone.
  • a wearable device may include a communication circuit, a microphone, a display, a camera, and a processor.
  • the processor may be configured to identify information allocated to the virtual microphone based on receiving a first signal broadcast from an external electronic device through the communication circuit.
  • the processor performs recording based on the virtual microphone within the display based on identifying the location of the virtual microphone indicated by the information within an external space containing the wearable device using the camera. It may be configured to display a visual object for.
  • the processor may be configured to obtain a second audio signal from the microphone in response to input related to the visual object.
  • the processor may be configured to transmit, in response to the first signal, a second signal including the audio signal and the identified location to the external electronic device through the communication circuit.
  • a method of a wearable device may include identifying information allocated to a virtual microphone based on receiving a first signal broadcast from an external electronic device through a communication circuit of the wearable device. there is. The method is based on identifying the location of the virtual microphone indicated by the information within an external space containing the wearable device using the camera of the wearable device, within the display of the wearable device. The operation may include displaying a visual object for recording based on the virtual microphone. The method may include obtaining an audio signal output from a microphone of the wearable device in response to an input related to the visual object. The method may include transmitting, in response to the first signal, a second signal including the audio signal and the identified location to the external electronic device through the communication circuit.
  • FIG. 1 illustrates an example of an operation in which a wearable device acquires an audio signal based on a virtual microphone, according to an embodiment.
  • FIGS. 2A-2B show example block diagrams for a wearable device, according to one embodiment.
  • FIG. 3A shows an example of a perspective view of a wearable device, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • 4A to 4B show an example of the appearance of a wearable device, according to an embodiment.
  • 5A to 5B illustrate an example of an operation in which a wearable device identifies an input indicating adding a virtual microphone, according to an embodiment.
  • Figure 6 shows an example of an operation in which a wearable device visualizes a virtual microphone, according to an embodiment.
  • FIG. 7 illustrates an example of an operation in which a plurality of wearable devices acquire audio signals based on a virtual microphone, according to an embodiment.
  • FIG. 8 illustrates an example of an operation in which a plurality of wearable devices acquire audio signals based on a virtual microphone, according to an embodiment.
  • Figure 9 shows an example of a signal flow diagram between a plurality of wearable devices, according to an embodiment.
  • Figure 10 shows an example of a flow chart for a wearable device, according to one embodiment.
  • Figure 11 shows an example of a flow chart for a wearable device, according to one embodiment.
  • Figure 12 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • Figure 13 is an example diagram of a network environment related to the metaverse service.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to the component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 illustrates an example of an operation in which the wearable device 101 acquires an audio signal based on a virtual microphone, according to an embodiment.
  • a wearable device 101 may include a head-mounted display (HMD) that is wearable on the head of the user 110.
  • HMD head-mounted display
  • FIGS. 3A to 3B and/or 4A to 4B An example of the structure of the wearable device 101 that can be worn on the head of the user 110 is described with reference to FIGS. 3A to 3B and/or 4A to 4B.
  • One or more hardware included in the wearable device 101 is exemplarily described with reference to FIGS. 2A and 2B.
  • the wearable device 101 may execute functions related to augmented reality (AR) and/or mixed reality (MR).
  • AR augmented reality
  • MR mixed reality
  • the wearable device 101 may include at least one lens disposed adjacent to the eye of the user 110.
  • the wearable device 101 may combine light emitted from the display of the wearable device 101 with ambient light passing through the lens.
  • the display area of the display may be formed within a lens through which ambient light passes. Because the wearable device 101 combines the ambient light and the light emitted from the display, the user 110 can see a real object perceived by the ambient light and the light emitted from the display. You can see an image in which the formed virtual objects are mixed.
  • the wearable device 101 may execute functions related to video see-through (VST) and/or virtual reality (VR).
  • VST video see-through
  • VR virtual reality
  • the wearable device 101 may include a housing that covers the eyes of the user 110.
  • the wearable device 101 may include a display disposed on a first side facing the eye.
  • the wearable device 101 may include a camera disposed on a second side opposite to the first side. Using the camera, the wearable device 101 can obtain frames containing ambient light.
  • the wearable device 101 may output the frames in a display disposed on the first side, allowing the user 110 to recognize the ambient light through the display.
  • the display area of the display disposed on the first side may be formed by one or more pixels included in the display.
  • the wearable device 101 may synthesize a virtual object within frames output through the display, allowing the user 110 to recognize the virtual object along with a real object recognized by ambient light.
  • the wearable device 101 may visualize a virtual microphone as an example of a virtual object.
  • the virtual microphone may be a virtual object for controlling recording based on a plurality of microphones included in the wearable device 101.
  • the wearable device 101 may receive an input indicating to add a virtual microphone having a location independent of the microphone in the wearable device 101.
  • An example of an operation in which the wearable device 101 receives the input is described with reference to FIGS. 5A and 5B.
  • the wearable device 101 may receive an input for adding a virtual microphone in an external space containing the wearable device 101.
  • the wearable device 101 may use a virtual microphone to change, render, and/or synthesize an audio signal input through the actual microphone of the wearable device 101.
  • the wearable device 101 changes the audio signal input through the microphone within the wearable device 101, based on a virtual microphone added within a specific location in the external space, to produce audio indicating vibration of the air at the specific location.
  • a signal can be obtained.
  • at least one attribute assigned to the virtual microphone may include information about the specific location.
  • the information may include spatial coordinates for the specific location within a space coordinate system related to external space recognized by the wearable device 101.
  • the wearable device 101 may request the audio signal of the specific location from an external electronic device. When the external electronic device is placed closer to the specific location than the wearable device 101, the wearable device 101 can more accurately estimate atmospheric vibration at the specific location using the external electronic device.
  • wearable devices 101-1 and 101-2 placed at different locations acquire an audio signal based on a virtual microphone placed at a specific location (V).
  • An exemplary case is shown.
  • the first wearable device 101-1 may receive an input indicating placement of a virtual microphone in the location V from the first user 110-1.
  • the first wearable device 101-1 may identify an input indicating to attach a virtual microphone to the third user 110-3.
  • the wearable device 101 may display a virtual microphone placed in an external space to the user 110 based on AR and/or VST.
  • the first wearable device 101-1 may display a visual object 120 representing a virtual microphone attached to the third user 110-3 within the display area.
  • At least one attribute assigned to the virtual microphone may include information for visualizing the virtual microphone within a display area formed by the display of the wearable device 101, such as a visual object 120 having the shape of a lavalier microphone. there is.
  • the form of the visual object 120 representing the virtual microphone is not limited to the embodiment of FIG. 1.
  • the first wearable device 101-1 may manage a virtual microphone based on at least one attribute.
  • the at least one attribute may include information and/or parameters related to the virtual microphone.
  • the at least one attribute may include information (eg, an icon and/or image) for the first wearable device 101-1 to visualize the virtual microphone within the display area.
  • the at least one attribute may include information used to track the location of the virtual microphone in external space.
  • the at least one attribute may include information about an external object to which the virtual microphone is coupled and/or attached.
  • the at least one attribute may include information about the positional relationship between the external object and the virtual microphone (eg, a behavior pattern, which will be described later with reference to FIGS. 2A and 2B).
  • the at least one property may include a sound effect to be applied to the audio signal for the virtual microphone.
  • the first wearable device 101-1 may transmit at least one attribute assigned to the virtual microphone according to an input received from the first user 110-1 to an external electronic device. .
  • the first wearable device 101-1 may broadcast a first signal 141 including the at least one attribute.
  • the wearable device 101 can control recording of an external electronic device.
  • the first wearable device 101-1 may repeatedly transmit the first signal 141.
  • the first wearable device 101-1 may repeatedly transmit the first signal 141 based on a designated period.
  • the second wearable device 101-2 which has received the first signal 141 broadcast by the first wearable device 101-1, The state of the microphone in -2) can be changed to a designated state for recording audio signals.
  • the second wearable device 101-2 may display a UI for changing the state of the microphone of the second wearable device 101-2 to the specified state to the second user 110-2.
  • An example of the UI is described with reference to FIG. 7.
  • the second wearable device 101-2 acquires an audio signal for the location V using a microphone in the second wearable device 101-2, based on the input related to the UI. can do.
  • the second wearable device 101-2 may display a visual object 120 representing a virtual microphone within the display area.
  • the second wearable device 101-2 displays a visual object 130 indicating recording of an audio signal (e.g., a visual object containing designated text indicating recording, such as “REC”). It can be displayed.
  • the first wearable device 101-1 may also display a visual object 130 indicating recording of the audio signal within the display area.
  • the first wearable device 101-1 based on the position (P1) of the first wearable device 101-1 and the position (V) of the virtual microphone, the first wearable device ( The first audio signal input through the microphone of 101-1) can be changed.
  • the second wearable device 101-2 receives input through the microphone of the second wearable device 101-2 based on the position (P2) of the second wearable device (101-2) and the position (V) of the virtual microphone.
  • the second audio signal can be changed.
  • the second wearable device 101-2 may transmit the changed second audio signal to the first wearable device 101-1.
  • the second wearable device 101-2 may transmit the second signal 142 to the first wearable device 101-1 as a response to the first signal 141. You can.
  • the second signal 142 may include a bitstream (or audio stream) for the changed second audio signal.
  • the second wearable device 101-2 sends a second signal 142 based on a second audio signal acquired using a microphone of the second wearable device 101-2, It can be transmitted to the first wearable device 101-1.
  • the second wearable device 101-2 uses the location (V) of the virtual microphone identified by the second wearable device 101-2, and the microphone of the second wearable device 101-2.
  • the obtained second audio signal can be transmitted to the first wearable device 101-1.
  • the second wearable device 101-2 changes the second audio signal based on the location (V) of the virtual microphone identified by the second wearable device 101-2, and the changed The second audio signal may be transmitted to the first wearable device 101-1.
  • the first wearable device 101-1 receives the second audio recorded by the second wearable device 101-2 based on the position (V) of the virtual microphone from the second signal 142.
  • a signal can be obtained.
  • the second audio signal obtained from the second signal 142 of the first wearable device 101-1 using the microphone of the second wearable device 101-2 and the second wearable device 101-2
  • the position (V) of the virtual microphone tracked by can be obtained.
  • the first wearable device 101-1 may identify the changed second audio signal from the second signal 142.
  • the first wearable device 101-1 synthesizes (or renders) the changed first audio signal and the changed second audio signal transmitted from the second wearable device 101-2, and generates a signal for the virtual microphone.
  • a third audio signal can be obtained.
  • the third audio signal synthesized from the changed first audio signal and the changed second audio signal may include a result of estimating atmospheric vibration within the location P.
  • the virtual microphone may be matched to a movable object, such as a third user 110-3.
  • the wearable device 101 may adjust the position of the virtual microphone based on the location of the movable object.
  • the embodiment is not limited to this, and the virtual microphone may be moved between users by making a gesture to move the virtual microphone.
  • the wearable device 101 can synthesize an audio signal.
  • the first wearable device 101-1 and the second wearable device 101-2 synthesize an audio signal, or The recording operation may be performed differently.
  • An example of an operation in which the wearable device 101 synthesizes or renders an audio signal based on the movement of a virtual microphone, according to one embodiment, is described with reference to FIG. 8.
  • the first wearable device 101-1 may identify an input indicating adding a virtual microphone to a location (V) in the external space. Based on the input, the first wearable device 101-1 may change the first audio signal input through the microphone. The first wearable device 101-1 maintains a positional relationship between the position P1 of the first wearable device 101-1 and the position V of the virtual microphone (e.g., in the first wearable device 101-1). The first audio signal may be changed based on the azimuth angle of the position (V). The first wearable device 101-1 may broadcast the first signal 141 indicating the location (V) of the virtual microphone to an external electronic device different from the first wearable device 101-1.
  • the second wearable device 101-2 may identify the virtual microphone placed at the location V based on the first signal 141.
  • the second wearable device 101-2 receives the second audio signal input through the microphone of the second wearable device 101-2 at the location P2 of the second wearable device 101-2 and the virtual microphone.
  • the second audio signal may be changed based on the positional relationship between the positions V (eg, the azimuth angle of the position V with respect to the second wearable device 101-2).
  • the second wearable device 101-2 may transmit the second signal 142 including the changed second audio signal to the first wearable device 101-1.
  • the first wearable device 101-1 synthesizes audio signals received from electronic devices including the first wearable device 101-1, and generates a third audio signal inferring atmospheric vibration at the location V. can be synthesized (or rendered). Based on the synthesis of the third audio signal, the first wearable device 101-1 can provide a user experience similar to that of placing an actual microphone at the location (V).
  • FIGS. 2A-2B show example block diagrams of wearable device 101, according to one embodiment.
  • the wearable device 101 of FIGS. 2A to 2B may include the wearable device 101 of FIG. 1 (e.g., the first wearable device 101-1 and/or the second wearable device 101-2). .
  • the wearable device 101 may include at least one of a processor 210, a memory 220, a display 230, a camera 240, a communication circuit 250, or a microphone 260.
  • processor 210, memory 220, display 230, camera 240, communication circuit 250, and microphone 260 are electronic components such as a communication bus 205. may be electrically and/or operably coupled to each other.
  • hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can. Although shown based on different blocks, the embodiment is not limited thereto, and some of the hardware in FIGS.
  • wearable device 101 e.g., the processor 210, the memory 220, and at least a portion of the communication circuit 250
  • SoC system on a chip
  • the type and/or number of hardware included in the wearable device 101 is not limited to that shown in FIGS. 2A and 2B.
  • wearable device 101 may include only some of the hardware components shown in FIG. 2A.
  • the processor 210 of the wearable device 101 may include hardware for processing data based on one or more instructions.
  • the hardware for processing data includes, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP). ) may include.
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • AP application processor
  • the processor 210 may have the structure of a single-core processor, or may have the structure of a multi-core processor such as a dual core, quad core, or hexa core.
  • the memory 220 of the wearable device 101 may include a hardware component for storing data and/or instructions that are input and/or output to the processor 210 of the wearable device 101.
  • Memory 220 may include, for example, volatile memory such as random-access memory (RAM) and/or non-volatile memory such as read-only memory (ROM). there is.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • Non-volatile memory includes, for example, programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • SSD solid state drive
  • eMMC embedded multi media card
  • the display 230 of the wearable device 101 displays visualized information (e.g., FIGS. 1, 5A-5B, and 6-FIG.
  • the visual object and/or screen shown in 8) may be output.
  • the display 230 may be controlled by the processor 210 including a circuit such as a graphic processing unit (GPU) and output visualized information to the user.
  • the display 230 may include a flexible display, a flat panel display (FPD), and/or electronic paper.
  • the display 230 may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • the display 230 of FIG. 6 may include at least one display 350, which will be described later with reference to FIGS. 3A to 3B and/or 4A to 4B.
  • the camera 240 of the wearable device 101 includes one or more optical sensors (e.g., a charged coupled device (CCD) sensor, a complementary metal sensor (CMOS) that generates an electrical signal representing the color and/or brightness of light. oxide semiconductor sensor) may be included.
  • a plurality of optical sensors included in the camera 240 may be arranged in the form of a 2-dimensional array.
  • the camera 240 may obtain electrical signals from each of the plurality of optical sensors substantially simultaneously and generate two-dimensional frame data corresponding to light reaching the optical sensors of the two-dimensional grid.
  • photo data captured using the camera 240 may mean one two-dimensional frame data obtained from the camera 240.
  • video data captured using the camera 240 may mean a sequence of a plurality of two-dimensional frame data obtained from the camera 240 according to a frame rate.
  • the camera 240 may be disposed toward a direction in which the camera 240 receives light and may further include a flash light for outputting light toward this direction.
  • the camera 240 is shown based on a single block, the number of cameras 240 included in the wearable device 101 is not limited to the embodiment.
  • Wearable device 101 may include one or more cameras, such as one or more cameras 340, which will be described later with reference to FIGS. 3A-3B and/or 4A-4B.
  • the communication circuit 250 of the wearable device 101 is in terms of the wearable device 101 and an external electronic device (e.g., the first wearable device 101-1 of FIG. 1). ), may include hardware components to support transmission and/or reception of electrical signals between the second wearable device 101-2).
  • the communication circuit 250 may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • the communication circuit 250 includes Ethernet, local area network (LAN), wide area network (WAN), wireless fidelity (WiFi), Bluetooth, bluetooth low energy (BLE), ZigBee, long term evolution (LTE), It can support transmission and/or reception of electrical signals based on various types of protocols, such as 5G new radio (NR).
  • the microphone 260 of the wearable device 101 may output an electrical signal indicating vibration in the air.
  • the wearable device 101 may use the microphone 260 to obtain an audio signal containing the user's speech.
  • the wearable device 101 may include a plurality of microphones. A plurality of microphones included in the wearable device 101 may be placed in different parts of the housing of the wearable device 101 .
  • the wearable device 101 may use a plurality of microphones spaced apart from each other to identify a source (eg, a sound source) of atmospheric vibration detected by the plurality of microphones.
  • the wearable device 101 may identify the direction of arrival (DoA) of the sound source.
  • DoA direction of arrival
  • the wearable device 101 can identify the arrival direction using the phase difference of audio signals input through a plurality of microphones.
  • the electronic device 101 may include an output means for outputting information in a form other than a visualized form.
  • the electronic device 101 may include a speaker for outputting an acoustic signal.
  • the number of speakers included in the electronic device 101 may be one or more.
  • the electronic device 101 may include other output means for outputting information in forms other than visual and auditory forms.
  • the electronic device 101 may include a motor to provide haptic feedback based on vibration.
  • the wearable device 101 may include an output means for outputting information in a form other than a visualized form.
  • the wearable device 101 may include speakers (e.g., speakers 392-1 and 392-2, which will be described later with reference to FIGS. 3A and 3B) for outputting an acoustic signal.
  • the wearable device 101 may include a motor to provide haptic feedback based on vibration.
  • the wearable device 101 transmits information from non-electronic information related to the wearable device 101 to the processor 210 and/or memory 220 of the wearable device 101. It may further include a sensor for generating electrical information that can be processed.
  • the sensor may include a global positioning system (GPS) sensor, an image sensor, an illumination sensor, and/or a time-of-flight (ToF) sensor for detecting the geographic location of the wearable device 101.
  • GPS global positioning system
  • ToF time-of-flight
  • IMU inertial measurement unit
  • one or more instructions indicating an operation and/or operation to be performed on data by the processor 210 of the wearable device 101
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • the processor 210 of the wearable device 101 executes the virtual microphone application 280 and/or the system application 270 to perform at least one of the operations of FIGS. 9 to 11. You can.
  • an application is installed in an electronic device (e.g., wearable device 101) means that one or more instructions provided in the form of an application are stored in the memory 220, and the one or more applications are executed by the processor of the electronic device.
  • This may mean stored in an executable format (eg, a file with an extension specified by the operating system of the wearable device 101).
  • the processor 210 of the wearable device 101 may execute the system application 270 and execute different functions related to AR and/or VST.
  • the processor 210 of the wearable device 101 may execute the virtual microphone application 280 and execute different functions related to the virtual microphone. For example, based on execution of the virtual microphone application 280, the wearable device 101 may execute a function for managing at least one virtual microphone.
  • the wearable device 101 may use the system application 270 to perform calculations related to the virtual microphone.
  • the calculation related to the virtual microphone may be performed, for example, to calculate the position of the virtual microphone within an external space containing the wearable device 101.
  • the wearable device 101 may execute the system application 270 to execute functions related to AR and/or VST.
  • the system application 270 may include an external object recognizer 271, a hand recognizer 272, a wearable device motion recognizer 273, a scene recognizer 274, and/or a physics engine 275.
  • the external object recognizer 271, hand recognizer 272, wearable device motion recognizer 273, scene recognizer 274, and physics engine 275 may be executed by the wearable device 101 in the form of a background process.
  • the wearable device 101 responds to a call of a designated application programming interface (API), such as an external object recognizer 271, a hand recognizer 272, a wearable device motion recognizer 273, a scene recognizer 274, or a physics engine 275.
  • API application programming interface
  • One or more programs included in the system application 270 can share information about the spatial coordinate system representing the external space containing the wearable device 101.
  • the wearable device 101 may recognize and/or track an external object based on execution of the external object recognizer 271. For example, while the external object recognizer 271 is running, the wearable device 101 detects one or more external objects in the external space containing the wearable device 101 based on the frames output from the camera 240. Objects can be identified. The wearable device 101 may identify the coordinates of the one or more external objects based on the spatial coordinate system for the external space. The wearable device 101 may identify the path along which the one or more external objects moved by comparing the frames in a time domain.
  • the wearable device 101 may track a designated body part, such as a hand, based on the execution of the hand recognizer 272. While the hand recognizer 272 is running, the wearable device 101 can identify one or more hands in an external space containing the wearable device 101 based on the frames output from the camera 240. . The wearable device 101 may identify the positions and/or angles of a plurality of joints included in the hand. The wearable device 101 may identify the posture of the hand based on a plurality of joints.
  • the wearable device 101 may identify the position and/or rotation of the wearable device 101 within a spatial coordinate system with respect to external space based on execution of the wearable device motion recognizer 273. For example, when the wearable device 101 determines the origin of the spatial coordinate system to be the location of the wearable device 101, the wearable device 101 places the origin at the origin based on the execution of the motion recognizer 273. Orientation of wearable device 101 and/or rotation angles (e.g., roll, pitch, and yaw) about axes extending from the origin (e.g., x-axis, y-axis, and z-axis) ))) can be identified.
  • rotation angles e.g., roll, pitch, and yaw
  • the wearable device 101 may identify the direction and/or rotation angle of the wearable device 101 using a sensor for identifying motion of the wearable device 101, such as an IMU sensor.
  • a sensor for identifying motion of the wearable device 101 such as an IMU sensor.
  • the wearable device motion recognizer 273 may be referred to as a 6 DoF processor.
  • the wearable device 101 may perform three-dimensional modeling of at least one external object included in an external space containing the wearable device 101, based on the execution of the scene recognizer 274. there is. Based on the 3D modeling, the wearable device 101 may obtain information indicating at least a portion occupied by the at least one external object within a spatial coordinate system for the external space. For example, at least one external object recognized by the external object recognizer 271 and/or at least one hand identified by the hand recognizer 272 may be added within the spatial coordinate system for external space. The wearable device 101 may perform three-dimensional modeling of at least one external object and/or at least one hand added to the spatial coordinate system based on the execution of the scene recognizer 274.
  • the wearable device 101 may simulate physical phenomena within a spatial coordinate system for an external space including the wearable device 101, based on the execution of the physics engine 275. For example, based on execution of the virtual microphone application 280, the wearable device 101 may add a virtual microphone within the spatial coordinate system. While the physics engine 275 is running, the wearable device 101 can identify the interaction between the virtual microphone and an external object included in the spatial coordinate system based on the execution of the external object recognizer 271. When the virtual microphone is attached to an external object, the wearable device 101 may move a three-dimensional object corresponding to the external object within the spatial coordinate system based on the motion of the external object. Based on the moved 3D object, the wearable device 101 can identify the motion of the virtual microphone. When an external object is attached to the hand, the wearable device 101 displays a virtual object indicated as attached to the hand within a spatial coordinate system based on the posture and/or gesture of the hand identified using the hand recognizer 272. The microphone can be moved.
  • the wearable device 101 may execute a virtual microphone application 280 to perform a function for tracking a virtual microphone in an external space containing the wearable device 101.
  • the function may include calculating the position of the virtual microphone within the external space based on at least one attribute assigned to the virtual microphone.
  • the at least one attribute may indicate a behavior pattern of the virtual microphone.
  • the behavior pattern may include an external object to which the virtual microphone is attached (e.g., the third user 110-3 in FIG. 1), whether the virtual microphone can be carried by a designated body part such as a hand, and/or whether the virtual microphone and the external May include attachment methods between objects.
  • the wearable device 101 may select one or more parameters necessary to track the location of the virtual microphone.
  • the wearable device 101 determines the location of the external object and the location where the virtual microphone is attached within the external object, based on at least one attribute. You can select one or more parameters. Based on one or more selected parameters, the wearable device 101 may execute the system application 270 to identify the location of the virtual microphone.
  • the instructions included in the virtual microphone application 280 include the virtual microphone manager 281, which is executed to create, remove, and manage the virtual microphone, and the external space recognized based on the camera 240 (or objects within the external space).
  • a virtual microphone location identifier 282 for identifying the location of the virtual microphone based on the audio signal synthesizer 283 for synthesizing at least one audio signal obtained from at least one electronic device including the wearable device 101.
  • It can be divided into a communication controller 284 for communicating with an external electronic device that is distinct from the wearable device 101 using the communication circuit 250.
  • the wearable device 101 can add, change, and/or delete a virtual microphone.
  • the wearable device 101 may identify an input from a user (eg, user 110 in FIG. 1) indicating the addition of a virtual microphone. Based on the input, the wearable device 101 may identify at least one attribute to be assigned to the virtual microphone (eg, the location of the virtual microphone, and/or an external object related to tracking the virtual microphone).
  • the wearable device 101 may display a UI for adding, changing, and/or deleting a virtual microphone based on the execution of the virtual microphone manager 281. Using the UI, the wearable device 101 can receive input for adding, changing, and/or deleting a virtual microphone.
  • the wearable device 101 identifies the distance between the virtual microphone identified by the system application 270 and the wearable device 101. can do. Within this state, based on the distance, the wearable device 101 may remove the virtual microphone. For example, if the distance exceeds a specified distance is identified, the wearable device 101 may remove the virtual microphone.
  • the wearable device 101 may identify the location of the virtual microphone. To identify the location of the virtual microphone, the wearable device 101 may at least partially execute instructions included in the system application 270. For example, based on at least one attribute assigned to the virtual microphone (e.g., an external object to which the virtual microphone is to be coupled), within the state of identifying the object to which the virtual microphone is attached, the wearable device 101 may use a system application ( 270), the object can be recognized and/or tracked.
  • the system application 270
  • the wearable device 101 uses programs included in the system application 280 (e.g., external object recognizer 271, hand recognizer 272, wearable device motion recognizer ( 273), the scene recognizer 274, and/or the physics engine 275) may be selectively executed to calculate the position of the virtual microphone. For example, when the virtual microphone is attached to an external object, the wearable device 101 may identify the location of the virtual microphone based on the location of the external object. To identify the location of the external object, the wearable device 101 may execute an external object recognizer 271 and/or a hand recognizer 272.
  • programs included in the system application 280 e.g., external object recognizer 271, hand recognizer 272, wearable device motion recognizer ( 273), the scene recognizer 274, and/or the physics engine 275
  • the wearable device 101 may identify the location of the virtual microphone based on the location of the external object.
  • the wearable device 101 may execute an external object recognizer 271 and/or a hand recognizer 272.
  • the wearable device 101 If the external object cannot be tracked using the system application 270 of the wearable device 101, or if the external object is separated from the wearable device 101 by more than a specified distance, the wearable device 101: The location of the external object can be obtained using an external electronic device different from the wearable device 101. For example, wearable device 101 may determine the location of the virtual microphone based on behavioral patterns identified along different rows of Table 1.
  • the wearable device 101 determines the position of the virtual microphone.
  • the wearable device motion recognizer 273 can be implemented in common in all behavioral patterns.
  • the wearable device 101 executes the wearable device motion recognizer 273, scene recognizer 274, and physics engine 275, The position of the virtual microphone can be calculated.
  • the wearable device 101 can apply virtual micro-physics effects. there is.
  • the wearable device 101 determines the location of the virtual microphone based on the execution of the external object recognizer 271 and the wearable device motion recognizer 273.
  • the wearable device 101 may recognize the wearable device 101 based on the positional relationship between the stationary object tracked by the external object recognizer 271 and the wearable device 101 identified by the wearable device motion recognizer 273.
  • the position of the virtual microphone within the display area of 101 can be determined. Referring to Table 1, when the virtual microphone is attached to a movable object, the wearable device 101 determines the location of the virtual microphone based on the execution of the external object recognizer 271 and the wearable device motion recognizer 273. It can be calculated.
  • the wearable device 101 may recognize the wearable device 101 based on the positional relationship between the moving object tracked by the external object recognizer 271 and the wearable device 101 identified by the wearable device motion recognizer 273.
  • the position of the virtual microphone within the display area of 101 can be determined. Referring to Table 1, if the virtual microphone is carried by a specific user, the wearable device 101 may track the position and/or posture of the hand of the specific user identified by the hand recognizer 272. Based on the tracked position and/or posture of the hand, the wearable device 101 may identify the virtual microphone moved by the hand. Referring to Table 1, when the virtual microphone is floating at a specific point in external space (e.g., midair), the wearable device 101 is the wearable device 101 identified by the wearable device motion recognizer 273 and Based on the positional relationship between the specific points, the position of the virtual microphone within the display area of the wearable device 101 may be determined.
  • a specific point in external space e.g., midair
  • the wearable device 101 may synthesize one or more audio signals.
  • the wearable device 101 may synthesize the one or more audio signals based on the location of the virtual microphone identified by the virtual microphone location identifier 282.
  • the wearable device 101 may synthesize audio signals input through microphones (eg, microphone 260 in FIG. 2A) included in the wearable device 101 based on the position of the virtual microphone.
  • the wearable device 101 may synthesize another audio signal representing atmospheric vibration at the location of the virtual microphone from the audio signals.
  • the audio signal synthesized by the audio signal synthesizer 283 may be an audio signal representing atmospheric vibration identified within the location of the virtual microphone.
  • the audio signal that the wearable device 101 uses to execute the audio signal synthesizer 283 is not limited to the audio signal input through the microphone in the wearable device 101.
  • the wearable device 101 may execute a communication controller 284 to obtain an audio signal from an external electronic device different from the wearable device 101. With the communication controller 284 running, the wearable device 101 controls the communication circuit 250 to record an audio signal based on the virtual microphone with an external electronic device different from the wearable device 101. You can request it.
  • the wearable device 101 may broadcast a first signal including at least one attribute assigned to the virtual microphone (eg, an external object to which the virtual microphone is coupled).
  • the first signal broadcast by the wearable device 101 may be transmitted to one or more external electronic devices spaced less than a specified distance from the virtual microphone.
  • the wearable device 101 can use the communication controller 284 to identify a virtual microphone from a signal broadcast from an external electronic device.
  • the wearable device 101 may establish a communication link with an external electronic device or receive an audio signal through the established communication link while the communication controller 284 is running. For example, the wearable device 101 may receive a second signal including an audio signal recorded by the external electronic device in response to the first signal from the external electronic device. The wearable device 101 that has received the second signal executes the audio signal synthesizer 283 to synthesize the audio signal included in the second signal and the audio signal input through the microphone of the wearable device 101. You can. Based on the synthesis, the wearable device 101 can acquire an audio signal corresponding to the virtual microphone. While the audio signal synthesizer 283 is running, the wearable device 101 according to one embodiment may receive audio signals from a plurality of electronic devices including the wearable device 101. The wearable device 101 may obtain an audio signal corresponding to the virtual microphone from at least one audio signal selected based on the distances of the virtual microphone and each of the plurality of electronic devices among the received audio signals. there is.
  • the wearable device 101 includes a plurality of electronic devices including the wearable device 101 based on execution of the virtual microphone application 280 and/or the system application 270. Audio signals obtained by can be synthesized. In order to synthesize the audio signals, the wearable device 101 may determine the position of a virtual microphone within an external space containing the wearable device 101. The wearable device 101 may determine the location of the virtual microphone based on at least one attribute assigned to the virtual microphone. The at least one attribute may indicate a movable external object (eg, hand) to which the virtual microphone is attached. The wearable device 101 may determine the location of the virtual microphone based on the location of the external object.
  • a movable external object eg, hand
  • the wearable device 101 may acquire an audio signal from the microphone 260 within the wearable device 101 and/or from an external electronic device included in the external space.
  • the distance between the position of the external electronic device and the virtual microphone may be smaller than the distance between the position of the wearable device 101 and the virtual microphone.
  • the wearable device 101 may obtain an audio signal for the virtual microphone by synthesizing the audio signal obtained from the microphone 260 and the audio signal obtained from the external electronic device.
  • the wearable device 101 may use an external electronic device placed closer to the location of the virtual microphone than the wearable device 101. there is.
  • the wearable device 101 can use the external electronic device to obtain an audio signal with improved quality than the audio signal obtained from the microphone 260 of the wearable device 101 as an audio signal for the virtual microphone. there is.
  • FIGS. 3A to 3B and/or 4A to 4B an example of a form factor of the wearable device 101 according to an embodiment is described using FIGS. 3A to 3B and/or 4A to 4B.
  • FIG. 3A shows an example of a perspective view of a wearable device, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware disposed within the wearable device 300, according to one embodiment.
  • the wearable device 300 of FIGS. 3A and 3B may include the wearable device 101 of FIGS. 1 and 2A and 2B. 3A (as shown in), according to one embodiment, the wearable device 300 may include at least one display 350 and a frame supporting the at least one display 350. .
  • the wearable device 300 may be worn on a part of the user's body.
  • the wearable device 300 provides the user wearing the wearable device 300 with augmented reality (AR), virtual reality (VR), or a mixed reality that combines augmented reality and virtual reality.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality that combines augmented reality and virtual reality.
  • the wearable device 300 outputs a virtual reality image to the user through at least one display 350 in response to the user's specified gesture acquired through the motion recognition camera 340-2 of FIG. 3B. can do.
  • At least one display 350 in the wearable device 300 may provide visual information to the user.
  • the at least one display 350 may include the display 230 of FIG. 2 .
  • at least one display 350 may include a transparent or translucent lens.
  • At least one display 350 may include a first display 350-1 and/or a second display 350-2 spaced apart from the first display 350-1.
  • the first display 350-1 and the second display 350-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • At least one display 350 forms a display area on the lens to display visual information included in external light passing through the lens to a user wearing the wearable device 300. It can provide other visual information that is distinct from visual information.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • the display area formed by at least one display 350 may be formed on the first surface 331 and the second surface 332 of the lens.
  • external light may be incident on the first surface 331 and transmitted through the second surface 332, thereby being transmitted to the user.
  • at least one display 350 may display a virtual reality image to be combined with a real screen transmitted through external light.
  • the virtual reality image output from at least one display 350 includes one or more hardware (e.g., optical devices 382, 384, and/or at least one waveguides) included in the wearable device 300. )(333, 334)), it can be transmitted to the user's eyes.
  • hardware e.g., optical devices 382, 384, and/or at least one waveguides
  • the wearable device 300 includes waveguides 333 that diffract light transmitted from at least one display 350 and relayed by the optical devices 382 and 384 and deliver it to the user. , 334).
  • the waveguides 333 and 334 may be formed based on at least one of glass, plastic, or polymer.
  • a nanopattern may be formed on the outside or at least a portion of the inside of the waveguides 333 and 334.
  • the nanopattern may be formed based on a polygonal and/or curved grating structure. Light incident on one end of the waveguides 333 and 334 may propagate to the other end of the waveguides 333 and 334 by the nanopattern.
  • the waveguides 333 and 334 may include at least one of a diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • a diffractive element eg, a diffractive optical element (DOE) or a holographic optical element (HOE)
  • a reflective element eg, a reflective mirror.
  • the waveguides 333 and 334 may be disposed within the wearable device 300 to guide the screen displayed by at least one display 350 to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) generated within the waveguides 333 and 334.
  • TIR total internal reflection
  • the wearable device 300 analyzes objects included in the real-life image collected through the shooting camera 340-1, and selects an object that is the target of providing augmented reality from among the analyzed objects. Corresponding virtual objects can be combined and displayed on at least one display 350.
  • the virtual object may include at least one of text and images for various information related to the object included in the real image.
  • the wearable device 300 can analyze objects based on multi-cameras, such as stereo cameras. For the object analysis, the wearable device 300 may execute time-of-flight (ToF) and/or simultaneous localization and mapping (SLAM) supported by multi-cameras. A user wearing the wearable device 300 can watch images displayed on at least one display 350.
  • ToF time-of-flight
  • SLAM simultaneous localization and mapping
  • the frame may be made of a physical structure that allows the wearable device 300 to be worn on the user's body.
  • the frame allows the first display 350-1 and the second display 350-2 to be positioned to correspond to the user's left eye and right eye when the user wears the wearable device 300. It can be configured so that The frame may support at least one display 350.
  • the frame may support the first display 350-1 and the second display 350-2 to be positioned at positions corresponding to the user's left and right eyes.
  • the frame when the user wears the wearable device 300, the frame may include an area 320 at least partially in contact with a portion of the user's body.
  • the area 320 of the frame in contact with a part of the user's body includes an area in contact with a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 300 touches. can do.
  • the frame may include a nose pad 310 that contacts a part of the user's body. When the wearable device 300 is worn by a user, the nose pad 310 may be in contact with a portion of the user's nose.
  • the frame may include a first temple 304 and a second temple 305 that are in contact with another part of the user's body that is distinct from the part of the user's body.
  • the frame includes a first rim 301 surrounding at least a portion of the first display 350-1 and a second rim 302 surrounding at least a portion of the second display 350-2. , a bridge 303 disposed between the first rim 301 and the second rim 302, a first pad disposed along a portion of the edge of the first rim 301 from one end of the bridge 303 ( 311), a second pad 312 disposed along a portion of the edge of the second rim 302 from the other end of the bridge 303, a first temple extending from the first rim 301 and fixed to a portion of the wearer's ear ( 304), and a second temple 305 extending from the second rim 302 and fixed to a portion of the ear opposite the ear.
  • the first pad 311 and the second pad 312 may be in contact with a portion of the user's nose, and the first temple 304 and the second temple 305 may be in contact with a portion of the user's face and a portion of the ear. may come into contact with.
  • the temples 304, 305 may be rotatably connected to the rim via the hinge units 306, 307 of FIG. 3B.
  • the first temple 304 may be rotatably connected to the first rim 301 through a first hinge unit 306 disposed between the first rim 301 and the first temple 304.
  • the second temple 305 may be rotatably connected to the second rim 302 through a second hinge unit 307 disposed between the second rim 302 and the second temple 305.
  • the wearable device 300 detects an external object (e.g., a user's fingertip) touching the frame using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of the surface of the frame. fingertip)), and/or a gesture performed by the external object may be identified.
  • an external object e.g., a user's fingertip
  • the wearable device 300 may include hardware that performs various functions (eg, hardware described above based on the block diagrams of FIGS. 2A and 2B).
  • the hardware includes a battery module 370, an antenna module 375, optical devices 382, 384, speakers 392-1, 392-2, and microphones 394-1, 394- 2, 394-3), a light emitting module (not shown), and/or a printed circuit board 390.
  • Various hardware can be placed within the frame.
  • the microphones 394-1, 394-2, and 394-3 of the wearable device 300 may be disposed in at least a portion of the frame to obtain a sound signal.
  • the microphones 394-1, 394-2, and 394-3 may be examples of the microphone 260 of FIGS. 2A and 2B.
  • microphones 394-3 are shown in FIG. 3B, the number and placement of microphones 394 are not limited to the embodiment of FIG. 3B. If the number of microphones 394 included in the wearable device 300 is two or more, the wearable device 300 can identify the direction of the sound signal using a plurality of microphones disposed on different parts of the frame. there is.
  • the optical devices 382 and 384 may transmit a virtual object transmitted from at least one display 350 to the wave guides 333 and 334.
  • optical devices 382 and 384 may be projectors.
  • the optical devices 382 and 384 may be disposed adjacent to the at least one display 350 or may be included within the at least one display 350 as part of the at least one display 350 .
  • the first optical device 382 may correspond to the first display 350-1
  • the second optical device 384 may correspond to the second display 350-2.
  • the first optical device 382 can transmit the light output from the first display 350-1 to the first waveguide 333
  • the second optical device 384 can transmit the light output from the first display 350-1 to the first waveguide 333.
  • the light output from -2) can be transmitted to the second waveguide 334.
  • the camera 340 may include an eye tracking camera (ET CAM) 340-1, a motion recognition camera 340-2, and/or an imaging camera 340-3. You can.
  • the shooting camera 340-3, the eye tracking camera 340-1, and the motion recognition camera 340-2 may be placed at different positions on the frame and perform different functions.
  • the shooting camera 340-3, the eye tracking camera 340-1, and the motion recognition camera 340-2 may be examples of the cameras 240 of FIGS. 2A and 2B.
  • the gaze tracking camera 340-1 may output data representing the gaze of the user wearing the wearable device 300.
  • the wearable device 300 may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera 340-1.
  • FIG. 3B An example in which the gaze tracking camera 340-1 is positioned toward the user's right eye is shown in FIG. 3B, but the embodiment is not limited thereto, and the gaze tracking camera 340-1 is positioned solely toward the user's left eye. It may be placed towards, or towards both eyes.
  • the capturing camera 340-3 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera may capture an image of a specific object that exists at a location where the user is looking, and provide the image to at least one display 350.
  • At least one display 350 is one in which a real image or background information including the image of the specific object obtained using a photographing camera and a virtual image provided through the optical devices 382 and 384 are overlapped.
  • the video can be displayed.
  • the imaging camera may be placed on the bridge 303 disposed between the first rim 301 and the second rim 302.
  • the gaze tracking camera 340-1 tracks the gaze of a user wearing the wearable device 300, thereby tracking the user's gaze and visual information provided to the at least one display 350. By matching them, a more realistic augmented reality can be realized. For example, when the user looks forward, the wearable device 300 may naturally display environmental information related to the user's front view on at least one display 350 at the location where the user is located.
  • the gaze tracking camera 340-1 may be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera 340-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 340-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 340-1 may be placed within the first rim 301 and/or the second rim 302 to face the direction in which the user wearing the wearable device 300 is located. You can.
  • the motion recognition camera 340-2 recognizes the movement of the entire or part of the user's body, such as the user's torso, hands, or face, and displays a specific event on the screen provided on at least one display 350. can be provided.
  • the gesture recognition camera 340-2 may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 350.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition camera 340-2 may be disposed on the first rim 301 and/or the second rim 302.
  • the camera 340 included in the wearable device 300 is not limited to the eye tracking camera 340-1 and the motion recognition camera 340-2 described above.
  • the wearable device 300 may identify an external object included within the user's FoV using the capturing camera 340-3 disposed toward the user's FoV.
  • the wearable device 300 identifies an external object based on a sensor for identifying the distance between the wearable device 300 and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. It can be.
  • the camera 340 disposed toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device 300 includes a camera 340 (e.g., a face tracking (FT) camera) disposed toward the face of a user wearing the wearable device 300 to obtain an image including the face. ) may include.
  • FT face tracking
  • the wearable device 300 radiates light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) captured using the camera 340. It may further include a light source (eg, LED).
  • the light source may include an LED with an infrared wavelength.
  • the light source may be placed in at least one of the frame and hinge units 306 and 307.
  • the battery module 370 may supply power to electronic components of the wearable device 300.
  • the battery module 370 may be disposed within the first temple 304 and/or the second temple 305.
  • the battery module 370 may be a plurality of battery modules 370 .
  • a plurality of battery modules 370 may be disposed on the first temple 304 and the second temple 305, respectively.
  • the battery module 370 may be disposed at an end of the first temple 304 and/or the second temple 305.
  • the antenna module 375 may transmit a signal or power to the outside of the wearable device 300, or may receive a signal or power from the outside.
  • the antenna module 375 may be electrically and/or operationally connected to a communication circuit (eg, the communication circuit 250 of FIGS. 2A and 2B) within the wearable device 300.
  • the antenna module 375 may be disposed within the first temple 304 and/or the second temple 305.
  • the antenna module 375 may be placed close to one surface of the first temple 304 and/or the second temple 305.
  • the speakers 392-1 and 392-2 may output sound signals to the outside of the wearable device 300.
  • the sound output module may be referred to as a speaker.
  • the speakers 392-1 and 392-2 are disposed adjacent to the ears of the user wearing the wearable device 300, the first temple 304, and/or the second temple 305. ) can be placed within.
  • the wearable device 300 is disposed within the first temple 304 and the second speaker 392-2, which is disposed adjacent to the user's left ear, and the second temple 305 to listen to the user's hearing. It may include a first speaker 392-1, which is disposed adjacent to the right ear.
  • a light emitting module may include at least one light emitting device.
  • the light emitting module may emit light in a color corresponding to a specific state or emit light through an operation corresponding to the specific state. For example, when the wearable device 300 requires charging, it may repeatedly emit red light at designated times.
  • the light emitting module may be disposed on the first rim 301 and/or the second rim 302.
  • the wearable device 300 may include a printed circuit board (PCB) 390.
  • the PCB 390 may be included in at least one of the first temple 304 or the second temple 305.
  • the PCB 390 may include an interposer disposed between at least two sub-PCBs.
  • one or more hardware included in the wearable device 300 eg, hardware shown by the blocks described above with reference to FIGS. 2A and 2B
  • the wearable device 300 may include a flexible PCB (FPCB) for interconnecting the hardware.
  • FPCB flexible PCB
  • the wearable device 300 includes a gyro sensor for detecting the posture of the wearable device 300 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 300, It may include at least one of a gravity sensor and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • the wearable device 300 may identify a user's motion and/or gesture performed to execute or stop a specific function of the wearable device 300 based on the IMU.
  • FIGS. 4A to 4B show an example of the appearance of a wearable device 400, according to an embodiment.
  • the wearable device 400 of FIGS. 4A and 4B may include the wearable device 101 of FIGS. 1 and 2A and 2B.
  • An example of the appearance of the first side 410 of the housing of the wearable device 400, according to one embodiment, is shown in FIG. 4A, and the second side 420 is opposite to the first side 410. ) can be shown in Figure 4b.
  • the first surface 410 of the wearable device 400 may have a form attachable to a user's body part (e.g., the user's face).
  • the wearable device 400 may include a strap for securing to a portion of the user's body, and/or one or more temples (e.g., the first temple 304 of FIGS. 3A-3B , and/or the first temple 304 of FIGS. 3A-3B It may further include 2 temples (305).
  • a first display 350-1 for outputting an image to the left eye of both eyes of the user, and a second display 350-2 for outputting an image to the right eye of the user's both eyes, have a first surface 410 It can be placed on top.
  • the wearable device 400 is formed on the first surface 410 and emits light (e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2. Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • the wearable device 400 includes a camera for photographing and/or tracking both eyes of a user adjacent to each of the first display 350-1 and the second display 350-2. It may include (440-1, 440-2). The cameras 440-1 and 440-2 may be referred to as ET cameras. According to one embodiment, the wearable device 400 may include cameras 440-3 and 440-4 for photographing and/or recognizing the user's face. The cameras 440-3 and 440-4 may be referred to as FT cameras.
  • a camera for acquiring information related to the external environment of the wearable device 400 -5, 440-6, 440-7, 440-8, 440-9, 440-10)
  • a sensor e.g., depth sensor 430
  • the cameras 440-5, 440-6, 440-7, 440-8, 440-9, and 440-10 are configured to recognize external objects different from the wearable device 400. It may be placed on (420).
  • the wearable device 400 may obtain images and/or media to be transmitted to each of the user's eyes.
  • the camera 440-9 will be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the second display 350-2 corresponding to the right eye among the two eyes. You can.
  • the camera 440-10 may be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the first display 350-1 corresponding to the left eye among the two eyes. there is.
  • the wearable device 400 may include a depth sensor 430 disposed on the second surface 420 to identify the distance between the wearable device 400 and an external object. Using the depth sensor 430, the wearable device 400 acquires spatial information (e.g., depth map) about at least a portion of the FoV of the user wearing the wearable device 400. can do.
  • spatial information e.g., depth map
  • a microphone e.g., microphone 260 in FIGS. 2A and 2B
  • the number of microphones may be one or more depending on the embodiment.
  • the wearable device 400 may have a form factor to be worn on the user's head.
  • the wearable device 400 may provide a user experience based on augmented reality, virtual reality, and/or mixed reality while worn on the head.
  • the wearable device 400 uses a virtual microphone. Recording of audio signals based on can be performed.
  • a wearable device including the wearable device 300 of FIGS. 3A to 3B and/or the wearable device 400 of FIGS. 4A to 4B (e.g., FIG. 1, FIG.
  • FIG. 1 An example of an operation in which the wearable device 101 of FIGS. 2A to 2B identifies an input for adding a virtual microphone is described.
  • FIGS. 5A and 5B illustrate an example of an operation in which the wearable device 101 identifies an input indicating adding a virtual microphone, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2A to 2B may include the wearable device 101 of FIGS. 5A to 5B.
  • the wearable device 101 monitors the movement of the wearable device 101 and/or the user 110 based on the geographic location of the wearable device 101 identified through a sensor.
  • the direction (M) can be identified.
  • the wearable device 101 may identify the direction (H) in which the head of the user 110 wearing the wearable device 101 is facing based on the data of the IMU.
  • the wearable device 101 when worn by the user 110, has a camera (e.g., camera 240 in FIG. 2A, ET camera 340 in FIG. 3B) disposed to face the eyes of the user 110. -1), and/or the cameras 440-3 and 440-4 of FIG. 4A) can be used to identify the direction (E) of the eye.
  • a camera e.g., camera 240 in FIG. 2A, ET camera 340 in FIG. 3B
  • the cameras 440-3 and 440-4 of FIG. 4A can be used to identify the direction (E) of the eye.
  • the wearable device 101 may use another camera (e.g., the camera 240 in FIG. 2A, the motion recognition camera 340-2 in FIG. 3B, and/or the camera in FIG. 4B) having a different direction from the camera disposed toward the eye. From the frames of the cameras 440-5, 440-6, 440-7, 440-8, 440-9, and 440-10), the hand can be identified. The wearable device 101 may identify the direction (F) of at least one finger included in the hand based on the posture of the hand.
  • the directions (H, E, F, M) may be directions of body parts of the user 110 of the wearable device 101 using sensors and/or cameras. For example, the wearable device 101 may use a sensor to obtain information indicating the direction of a body part (eg, at least one of the directions H, E, F, and M).
  • the wearable device 101 may identify an input indicating adding a virtual microphone based on the direction of the body part (e.g., at least one of the directions H, E, F, M). You can.
  • FIG. 5A an example of displaying visual objects 510 and 520 related to the virtual microphone in a display area using a display is shown in a state in which the wearable device 101 identifies the input.
  • the wearable device 101 displays a visual object 510 representing a virtual microphone in a portion of the display area indicated by the direction. can be displayed.
  • the form of the visual object 510 may depend on at least one attribute (eg, an icon and/or image corresponding to the virtual microphone) assigned to the virtual microphone.
  • the location of the visual object 510 may change depending on the direction of the body part identified by the wearable device 101.
  • the wearable device 101 may identify an input that indicates moving the visual object 510 based on the posture of the hand holding the visual object 510 and/or the direction (F) of the hand. . Based on the input, the wearable device 101 may change the position of the visual object 510 within the display area.
  • the wearable device 101 may display the visual object 510 in a portion of the display area toward which the hand direction (F) is directed. As the direction F of the hand moves, the wearable device 101 may move the visual object 510 within the display area.
  • the wearable device 101 may display a visual object 520 for changing at least one property (e.g., position of the virtual microphone) assigned to the virtual microphone within the display area.
  • the visual object 520 may be displayed based on identifying a specified gesture (e.g., a posture of a hand holding the visual object 510) associated with the visual object 510 representing a microphone.
  • the wearable device 101 displays the visual object 520 based on identifying a designated gesture (e.g., a gesture of pressing the part) for a part of the visual object 510 (e.g., a part where a microphone button is displayed). It can be displayed.
  • a designated gesture e.g., a gesture of pressing the part
  • a part of the visual object 510 e.g., a part where a microphone button is displayed. It can be displayed.
  • the visual object 520 having the form of a window is shown as an example, the embodiment is not limited thereto.
  • the wearable device 101 may display visual objects 531, 532, 533, and 534 corresponding to properties for the virtual microphone within the visual object 520. there is.
  • the wearable device 101 may display names uniquely assigned to virtual microphones corresponding to the visual objects 510 and 520 within the visual object 520 .
  • the visual object 531 may correspond to an attribute indicating whether to perform recording based on the virtual microphone, among the attributes of the virtual microphone.
  • the wearable device 101 may use the visual object 531 to display the state of the virtual microphone selected from an active state or an inactive state.
  • the active state may include a state for recording an audio signal based on the virtual microphone.
  • the inactive state may include a state in which recording of the audio signal is stopped.
  • the wearable device 101 can identify an input for switching the state of the virtual microphone.
  • the visual object 531 may have the form of a drop-down box for selecting the state of the virtual microphone among the active state and the inactive state.
  • the state of the virtual microphone selectable through the visual object 531 is not limited to the active state and the inactive state.
  • the state of a virtual microphone selectable through the visual object 531 may conditionally initiate recording of an audio signal based on receiving an audio signal exceeding a specified size through the virtual microphone. , or a specified state to stop (e.g., automatic recording state).
  • the wearable device 101 may display a visual object 532 within the visual object 520 for selecting a sound effect to be applied to an audio signal to be acquired through a virtual microphone.
  • the visual object 532 may take the form of a drop-down box with different sound effects listed.
  • the sound effects included within visual object 532 may include concert hall, echo, and/or voice modulation.
  • the wearable device 101 may display a visual object 533 within the visual object 520 for selecting a behavior style of the virtual microphone.
  • the visual object 533 may take the form of a drop-down box listing the behavior patterns to be used to calculate the position of the virtual microphone.
  • the virtual microphone's behavioral mode selectable through the visual object 533 includes a first behavioral mode set to be attached to an external object different from the wearable device 101, and floating in an external space containing the wearable device 101. It may include a second mode of action configured, and/or a third mode of action configured to interact with an external object based on the laws of physics.
  • the first to third behavior styles may be displayed through a visual object 533 based on different texts.
  • text (“sticky”) in the visual object 533 of FIG. 5A may indicate that the first action mode has been selected.
  • the wearable device 101 may identify an external object within the display area adjacent to the visual object 510 representing the virtual microphone. In the example where the first action mode is selected, the wearable device 101 may select an external object adjacent to the visual object 510 as the external object to which the virtual microphone is attached.
  • the wearable device 101 may display a visual object 534 within the visual object 520 for selecting a reference volume of an audio signal recorded based on a virtual microphone.
  • Visual object 534 may have a form, such as a slider, for selecting and/or adjusting a numeric value indicating the reference volume within a specified range.
  • the wearable device 101 may display a visual object 522 for storing at least one attribute adjusted by the visual objects 531, 532, 533, and 534 within the visual object 520. Within the visual object 522, the wearable device 101 may display designated text (eg, “OK”) indicating that the at least one attribute is stored.
  • the wearable device 101 may display a visual object 524 within the visual object 520 to stop displaying the visual object 520 .
  • the wearable device 101 may display designated text (e.g., “cancel”) indicating cessation of display of the visual object 520.
  • the wearable device 101 may display, within the visual object 520, a visual object for changing the user who can adjust the state independently of the visual object 531 for switching the state of the virtual microphone. You can.
  • the wearable device 101 may identify an input for selecting one or more users who are allowed to adjust the state of the virtual microphone, based on a contact list stored within the wearable device 101.
  • the wearable device 101 may receive an input for selecting a user allowed to change at least one attribute assigned to the virtual microphone based on the visual object 520.
  • wearable device 101 may identify an input for selecting one or more users permitted to change the at least one attribute assigned to the virtual microphone, based on the contact list.
  • the wearable device 101 may use the visual object 520 to identify an input for selecting one or more users to record an audio signal based on a virtual microphone.
  • the wearable device 101 may use the visual object 520 to identify an input for selecting whether to broadcast at least one attribute assigned to the virtual microphone.
  • the wearable device 101 may display a screen for combining a virtual microphone with an external object 550 shown through the display area.
  • the display area of the wearable device 101 may include an image in front of the user 110.
  • the wearable device 101 may display a visual object 570 to guide the selection of an external object 550 to which the virtual microphone is to be coupled.
  • the wearable device 101 may display text (e.g., “Please attach the microphone to the desired location”) to guide selection of the external object shown through the display area.
  • the wearable device 101 may identify a gesture for selecting a point 580 on an external object 550 within the display area.
  • the wearable device 101 may identify the gesture based on the direction of the body part (eg, at least one of the directions H, E, F, and M), as described above with reference to FIG. 5A. Referring to FIG. 5B , the wearable device 101 may display a visual object 560 along the outline within the display area of the external object 550 based on the gesture for selecting the point 580. The visual object 560 may be displayed by the wearable device 101 to emphasize the external object 550 selected by the gesture.
  • the wearable device 101 may display a visual object 590 representing a virtual microphone.
  • the wearable device 101 may display a visual object 590 overlaid on the point 580 selected by the gesture.
  • the wearable device 101 may display a visual object 590 having the layout of a lavalier microphone.
  • the wearable device 101 can combine the external object 550 and the virtual microphone.
  • the wearable device 101 can determine the location of the virtual microphone. In one embodiment of FIG.
  • the wearable device 101 determines the location of a point (e.g., the person's neck) of the external object 550 corresponding to point 580. , can be selected as the location of the virtual microphone. To track the external object 550, the wearable device 101 may execute the external object recognizer 271 of FIG. 2B.
  • the wearable device 101 may add a virtual microphone at a location away from the microphone (eg, microphone 260 in FIG. 2A) within the wearable device 101. As in the embodiment described above with reference to FIG. 5A , the wearable device 101 may obtain at least one attribute related to the virtual microphone from the user 110 . As in the embodiment described above with reference to FIG. 5B , the wearable device 101 may display a UI for selecting an external object 550 used to determine the position of the virtual microphone. The wearable device 101 can use the added virtual microphone to change the audio signal input through the microphone within the wearable device 101. The wearable device 101 may change the audio signal to generate a different audio signal for the point where the virtual microphone is added.
  • FIG. 6 shows an example of an operation in which the wearable device 101 visualizes a virtual microphone, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2A to 2B may include the wearable device 101 of FIG. 6 .
  • the wearable device 101 may determine the location of the virtual microphone in the external space based on at least one attribute assigned to the virtual microphone.
  • a virtual microphone has been added with the attribute set to be moved by a designated body part, such as hand 610.
  • wearable device 101 executes hand recognizer 272 of FIG. 2B to determine the position and/or posture of hand 610 within the display area. can be identified.
  • the wearable device 101 uses a camera (e.g., camera 240 in FIG. 2A) disposed facing a specified direction to detect the external space including the hand 610. can be recognized.
  • the wearable device 101 may determine the location of the virtual microphone within the external space recognized using the camera. Within the example state of FIG. 6 , based on identifying the hand 610 indicated by the attribute assigned to the virtual microphone, the wearable device 101 uses the position of the hand 610 to select the virtual microphone. You can select the location.
  • wearable device 101 displays the virtual microphone within a display area.
  • the expressed visual object 630 can be displayed.
  • the position and/or size of the visual object 630 within the display area of the wearable device 101 may depend on the position and/or size of the hand 610 visible through the display area.
  • the wearable device 101 may execute the hand recognizer 272 of FIG. 2B to calculate the location and/or size of the visual object 630.
  • the wearable device 101 determines the You can stop tracking the virtual microphone and/or stop recording audio signals based on the virtual microphone.
  • the wearable device 101 based on the position and/or gesture of the hand 610 You can move the virtual microphone. For example, the wearable device 101 may identify an input that indicates moving the virtual microphone to the other hand based on contact between the hand 610 and another hand. Based on the input, the wearable device 101 may determine the position of the other hand as the position of the virtual microphone.
  • the wearable device 101 may select the form of the visual object 630 representing the virtual microphone based on at least one attribute assigned to the virtual microphone. For example, in an example state where a virtual microphone is added with the property set to be moved by a designated body part, such as hand 610, wearable device 101 may be configured to have a shape that can be grasped by hand 610. A visual object 630 representing an actual microphone may be displayed. The wearable device 101 may display a visual object 632 within the visual object 630 for controlling recording of an audio signal based on a virtual microphone. Although a visual object 632 in the form of a button is shown, the embodiment is not limited thereto.
  • the wearable device 101 may control recording of an audio signal using a gesture related to a visual object 630 representing a virtual microphone. For example, based on a gesture toward a visual object 632 that is included in the visual object 630 and has the shape of a button, the wearable device 101 may start recording an audio signal. Based on initiating recording of an audio signal, the wearable device 101 may broadcast a signal including at least one attribute assigned to the virtual microphone. The wearable device 101 receives an audio signal input through a microphone (e.g., microphone 240 in FIG. 2A) in the wearable device 101 based on the position of the hand 610 on which the visual object 630 is overlapped. , can be changed.
  • a microphone e.g., microphone 240 in FIG. 2A
  • the wearable device 101 when it changes an audio signal, it may include an operation of changing the DoA indicated by the audio signal.
  • the audio signal input through the microphone in the wearable device 101 is recorded based on the DoA between the wearable device 101 and the user 620. It may include the above sounds.
  • the wearable device 101 can change the DoA of the audio signal by using the DoA between the hand 610 and the user 620.
  • the wearable device 101 acquires an audio signal from an external electronic device different from the wearable device 101
  • the wearable device 101 receives the audio signal input through the microphone within the wearable device 101 and the external electronic device. By synthesizing the audio signal obtained from , an audio signal including a sound having a DoA between the hand 610 and the user 620 can be generated.
  • the wearable device 101 displays a visual object 630 representing the virtual microphone within the display area of the wearable device 101 based on an input indicating adding a virtual microphone. It can be displayed. Based on at least one attribute assigned to the virtual microphone, the wearable device 101 may change the position and/or size of the visual object 630. If the virtual microphone is set to be movable by a designated body part such as the hand 610, the wearable device 101 may display the visual object 630 overlapping with the hand 610. Based on the gesture of the hand 610, the wearable device 101 may start or stop recording an audio signal based on the virtual microphone.
  • the wearable device 101 may use an external electronic device different from the wearable device 101 to synthesize an audio signal.
  • an external electronic device different from the wearable device 101 to synthesize an audio signal.
  • FIG. 7 illustrates an example of an operation in which a plurality of wearable devices 101-1 and 101-2 acquire audio signals based on a virtual microphone, according to an embodiment.
  • the first wearable device 101-1 and the second wearable device 101-2 in FIG. 1 may include the first wearable device 101-1 and the second wearable device 101-2 in FIG. 7. there is.
  • the first wearable device 101-1 and the second wearable device 101-2 of FIG. 7 may be examples of the wearable device 101 of FIGS. 1 and 2A to 2B.
  • the first wearable device 101-1 transmits a first audio signal obtained from a microphone of the first wearable device 101-1 and a second wearable device.
  • An example operation for synthesizing the second audio signal obtained from 101-2 is described. To reduce repetition, descriptions overlapping with FIG. 1 may be omitted.
  • the first wearable device 101-1 may identify an input indicating to the third user 110-3 to assemble a virtual microphone. At least one attribute assigned to the virtual microphone may include information indicating the location (V) of the third user 110-3.
  • the first wearable device 101-1 may display a visual object 120 representing a virtual microphone within the display area.
  • the first wearable device 101-1 is an external electronic device including the second wearable device 101-2, and has the at least one attribute (e.g., location (V) of the third user 110-3).
  • a signal containing can be transmitted periodically.
  • the first wearable device 101-1 may periodically transmit the signal in response to an input for starting recording of an audio signal based on a virtual microphone.
  • the second wearable device 101-2 may receive a signal broadcast from the first wearable device 101-1.
  • the second wearable device 101-2 may identify at least one attribute assigned to the virtual microphone from the received signal.
  • the second wearable device 101-2 may identify a virtual microphone added within the location V based on the at least one attribute.
  • the second wearable device 101-2 acquires a frame including the location (V) using the camera of the second wearable device 101-2, and/or a third user to which the virtual microphone is coupled. Based on identifying (110-3), the virtual microphone can be identified.
  • the second wearable device 101-2 which has identified the virtual microphone, may display a visual object 710 for recording based on the virtual microphone within the display area.
  • the second wearable device 101-2 can identify whether to record an audio signal based on the virtual microphone.
  • a visual object 710 in the form of a pop-up window is shown, but the embodiment is not limited thereto.
  • the second wearable device 101-2 displays the visual object 710 conditionally based on the distance between the position P2 of the second wearable device 101-2 and the position V of the virtual microphone. It can be performed as: For example, when the virtual microphone is separated from the second wearable device 101-2 by more than a specified distance, the second wearable device 101-2 does not display the visual object 710 independently of the signal. It may not be possible.
  • the second wearable device 101-2 displays a visual object 712 (e.g., “OK” and “Confirm”) within the visual object 710 to initiate recording of an audio signal based on the virtual microphone.
  • a button containing designated text, such as “Cancel”) and/or a visual object 714 for limiting the recording (e.g., a button containing designated text, such as “Cancel”).
  • the second wearable device 101-2 receives an audio signal input through a microphone in the second wearable device 101-2 and an assigned virtual microphone. Based on at least one attribute, an audio signal for the virtual microphone may be obtained.
  • the second wearable device 101-2 may transmit the acquired audio signal to the first wearable device 101-1.
  • the second wearable device 101-2 may display a visual object 120 representing a virtual microphone within the display area.
  • the shape of the visual object 120 may be related to at least one attribute included in the signal received from the first wearable device 101-1.
  • the second wearable device 101-2 while the second wearable device 101-2 is performing recording based on a virtual microphone, from the first audio signal input through the microphone of the second wearable device 101-2, The angle of arrival of the sound source of the first audio signal with respect to the location P2 of the second wearable device 101-2 can be identified.
  • the virtual microphone is connected to the third user 110-3
  • the angle of arrival identified from the first audio signal may correspond to the azimuth of the third user 110-3 with respect to the location P2 of the second wearable device 101-2.
  • the second wearable device 101-2 may change the angle of arrival for the first audio signal to the angle of arrival for the sound source at the position V coupled to the third user 110-3.
  • the second audio signal obtained by the second wearable device 101-2 by changing the first audio signal is the sound of the third user 110-3 based on the angle of arrival at the location V.
  • the second wearable device 101-2 is the first wearable device 101-1, and in response to a signal broadcast from the first wearable device 101-1, another device including the second audio signal. A signal can be transmitted. Using the other signals, the second wearable device 101-2 transmits information (e.g., the location (V) of the virtual microphone) related to the virtual microphone identified by the second wearable device 101-2. You can.
  • the first wearable device 101-1 is disposed at the location V based on the second audio signal included in the other signal transmitted from the second wearable device 101-2.
  • a third audio signal for the virtual microphone can be obtained.
  • the first wearable device 101-1 may acquire the third audio signal based on not only the second audio signal but also the fourth audio signal obtained from the microphone of the first wearable device 101-1.
  • the first wearable device 101-1 may obtain the third audio signal by synthesizing the second audio signal and the fourth audio signal.
  • the first wearable device 101-1 may acquire the fourth audio signal based on at least one attribute assigned to the virtual microphone.
  • the first wearable device 101-1 acquires the fourth audio signal from the microphone of the first wearable device 101-1 based on the location P1 of the first wearable device 101-1 and the virtual microphone. Based on the distance between the positions (V), it can be performed conditionally. For example, when the first wearable device 101-1 is separated from the virtual microphone by a specified distance or less, the first wearable device 101-1 may acquire the fourth audio signal.
  • the first wearable device 101-2 -1) The position (V) of the virtual microphone tracked by the second wearable device 101-2 can be used to track the virtual microphone. For example, within the state of identifying the second wearable device 101-2 disposed closer to the position V of the virtual microphone than the first wearable device 101-1, the first wearable device 101-1 may identify the location (V) of the virtual microphone based on information received from the second wearable device 101-2.
  • the second wearable device 101-2 is the first wearable device 101-1, and an audio signal (e.g., the second wearable device 101-2) is acquired based on the microphone of the second wearable device 101-2.
  • information indicating the location (V) of the virtual microphone identified by the second wearable device 101-2 may be transmitted.
  • the information may include coordinate values of the location (V) identified by the second wearable device 101-2.
  • the information includes the location (V) of the virtual microphone included in the signal broadcast from the first wearable device 101-1 and the location (V') of the virtual microphone identified by the second wearable device 101-2. It may include the deviation (or amount of change) between
  • the first wearable device 101-1 may identify the location (V) of the virtual microphone based on the above information.
  • the location (V) of the identified virtual microphone can be used for synthesis (or rendering) of an audio signal by the first wearable device 101-1.
  • the first wearable device 101-1 may display a visual object 720 for controlling recording of an audio signal based on a virtual microphone within the display area. Based on the input for selecting the visual object 130 that guides the recording of the audio signal within the display area, the first wearable device 101-1 may display the visual object 720. Within the visual object 720, the first wearable device 101-1 may display designated text (eg, “Shall we stop recording?”) guiding the stopping of recording of the audio signal. Within the visual object 720, the first wearable device 101-1 includes a visual object 722 for stopping recording of an audio signal (e.g., a button containing designated text such as “Yes”) and the visual object 722.
  • a visual object 722 for stopping recording of an audio signal (e.g., a button containing designated text such as “Yes”) and the visual object 722.
  • a visual object 724 (a button containing designated text, such as “yes,” “no”) may be displayed to stop displaying 720.
  • the first wearable device 101-1 may stop synthesizing (or rendering) an audio signal based on the virtual microphone.
  • the first wearable device 101-1 transmits the audio signal to the second wearable device 101-2 based on the input.
  • a signal may be transmitted indicating that synthesis is to be stopped.
  • the second wearable device 101-2 may stop acquiring the audio signal.
  • the first wearable device 101-1 can acquire an audio signal for the virtual microphone using an external electronic device such as the second wearable device 101-2. there is.
  • the first wearable device 101-1 may communicate with the second wearable device 101-2 to control recording of an audio signal based on the virtual microphone.
  • the second wearable device 101-2 sends an audio signal to the second user 110-2 of the second wearable device 101-2, based on the signal transmitted from the first wearable device 101-1.
  • a visual object 710 for controlling recording may be displayed. Based on the visual object 710, the second wearable device 101-2 may identify an input for recording an audio signal based on a virtual microphone.
  • the virtual microphone may be coupled to a movable external object such as the third user 110-3.
  • a movable external object such as the third user 110-3.
  • FIG. 8 illustrates an example of an operation in which a plurality of wearable devices 101 and 810 acquire audio signals based on a virtual microphone, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2A to 2B may include a plurality of wearable devices 101 and 810 of FIG. 8 .
  • example states in which the wearable device 101 worn by the user 110 acquires an audio signal based on a virtual microphone sequentially moved along the positions Va, Vb, and Vc. (801, 802, 803) are shown.
  • the wearable device 101 may periodically broadcast a signal including at least one attribute assigned to the virtual microphone.
  • the wearable device 810 may be referred to as an external electronic device 810.
  • the wearable device 101 has identified an input for adding a virtual microphone, as described above, from the user 110 with reference to FIGS. 5A and 5B.
  • the wearable device 101 may receive an input from the user 110 for attaching a virtual microphone to the hand of the user 820 of the external electronic device 810.
  • the wearable device 101 uses a camera (e.g., camera 240 of FIG. 2A) to detect the user 820 to which the virtual microphone is coupled and/or the user's 820. Hands can be identified.
  • the field-of-view (FoV) of the camera may at least partially overlap with the FoV of the user 110 while the user 110 is wearing the wearable device 101 .
  • the wearable device 101 may identify the hand within frames output from the camera based on the execution of the hand recognizer 272 and/or the external object recognizer 271 of FIG. 2B.
  • the wearable device 101 may display a visual object 830 associated with the hand shown by the user 110 in the state.
  • the visual object 830 may have a shape indicated by at least one attribute assigned to the virtual microphone.
  • wearable device 101 may identify the location Va of the virtual microphone based on the identified hand location.
  • the wearable device 101 may display a visual object 830 representing a virtual microphone based on the location Va.
  • the location Va may be included in the hand of the user 110.
  • the wearable device 101 responds to an input for initiating recording using a virtual microphone, and acquires an audio signal using the microphone of the wearable device 101. You can.
  • the wearable device 101 may transmit signals related to the virtual microphone to the external electronic device 810.
  • the signal may include at least one attribute assigned to the virtual microphone and/or a parameter (e.g., a designated flag) indicating that an audio signal based on the virtual microphone is being recorded.
  • the external electronic device 810 that receives the signal may control the microphone within the external electronic device 810 based on the signal. Based on the audio signal input through the microphone within the external electronic device 810, the external electronic device 810 may obtain an audio signal for the virtual microphone within the location Va.
  • the external electronic device 810 may transmit the acquired audio signal to the wearable device 101.
  • the wearable device 101 may acquire audio signals from each of the microphone of the wearable device 101 and the microphone of the external electronic device 810.
  • the wearable device 101 may synthesize the audio signals and obtain an audio signal for a virtual microphone placed in the location Va.
  • state 801 of Figure 8 assume that user 820, whose hand is associated with the virtual microphone, has moved from location P2 to location P3. While the user 820 moves from the wearable device 101 to a location P3 that is farther from the location P2, the movement direction of the user 820 may be parallel to the front of the wearable device 101. Because the direction of movement of the user 820 is parallel to the front of the wearable device 101, within the FoV of the forward-facing camera of the wearable device 101, the hand of the user 820 is positioned by the back of the user 820. It can be hidden. In the state 802 in which the user 820 moves to the location P3, the wearable device 101 may identify that the hand of the user 820 coupled with the virtual microphone is obscured.
  • the wearable device 101 may obtain the position (Vb) of the virtual microphone from the external electronic device 810 based on identifying that the hand of the user 820 is covered within state 802. For example, the wearable device 101 may identify the location (Vb) of the virtual microphone based on information transmitted from the external electronic device 810.
  • the external electronic device 810 may identify the location (Vb) of the virtual microphone based on at least one attribute assigned to the virtual microphone.
  • the external electronic device 810 based on the at least one attribute periodically transmitted from the wearable device 101, determines the user 820 moving to the location P3 and the position of the user's 820 hand. can be identified. Based on the identified hand position, the external electronic device 810 can identify the position (Vb) of the virtual microphone.
  • the location (Vb) of the virtual microphone identified by the external electronic device 810 may have coordinates based on a first spatial coordinate system that has the location (P3) of the external electronic device 810 as the origin.
  • the wearable device 101 which has received the coordinates from the external electronic device 810, based on the difference between the first spatial coordinate system and a second spatial coordinate system having the position P1 of the wearable device 101 as the origin, Coordinates for the position (Vb) of the virtual microphone within the second spatial coordinate system may be obtained.
  • the wearable device 101 uses the microphone of the wearable device 101, and the external electronic device ( Audio signals obtained from all of the microphones (810) can be synthesized. For example, the wearable device 101 may synthesize (or render) the audio signals to obtain an audio signal for the location Vb.
  • wearable device 101 can identify the user's 820 hand, within the camera's FoV.
  • the wearable device 101 may display a visual object 830 representing a virtual microphone overlaid on the identified hand.
  • the wearable device 101 may identify the location (Vc) of the virtual microphone based on identifying the hand of the user 820.
  • the wearable device 101 may select an audio signal input through the microphone of the external electronic device 810 among the microphone of the wearable device 101 and the microphone of the external electronic device 810. The wearable device 101 may render an audio signal for the position (Vc) of the virtual microphone based on the selected audio signal.
  • the wearable device 101 may track the location of the virtual microphone based on the movement of an external object (eg, the user 820) coupled with the virtual microphone.
  • the wearable device 101 may synthesize one or more audio signals collected from the wearable device 101 and the external electronic device 810 based on the tracked location.
  • the wearable device 101 and the external electronic device 810 exchange audio signals for recording based on the virtual microphone, and exchange the positions of the virtual microphone calculated by each of the wearable device 101 and the external electronic device 810. Directed information can be exchanged. For example, within the state 802 in which the wearable device 101 cannot independently calculate the position (Vb) of the virtual microphone, the wearable device 101 may calculate the position of the virtual microphone calculated by the external electronic device 810.
  • the wearable device 101 may synthesize an audio signal indicated as recorded by the virtual microphone based on the movement of the virtual microphone. For example, based on the visual object 830 representing the virtual microphone, the wearable device 101 can provide a user experience that replaces a real microphone. By controlling the recording of audio signals related to the virtual microphone based on the visual object 830, the wearable device 101 can execute (or simulate) the function of the real microphone based on augmented reality.
  • FIG. 9 shows an example of a signal flow diagram between a plurality of wearable devices 101-1 and 101-2, according to an embodiment.
  • the first wearable device 101-1 and the second wearable device 101-2 in FIGS. 1 and/or 7 are the first wearable device 101-1 and the second wearable device 101-2 in FIG. 9. ) may include.
  • the first wearable device 101-1 and the second wearable device 101-2 of FIG. 9 may be examples of the wearable device 101 of FIGS. 1 and 2A to 2B.
  • the operations of FIG. 9 may be performed by the wearable device 101 and/or the processor 210 of FIGS. 2A and 2B.
  • the first wearable device 101-1 may receive an input for adding a virtual microphone.
  • the first wearable device 101-1 may identify the input based on the operations described above with reference to FIGS. 5A and 5B.
  • the first wearable device 101-1 may identify an input for assigning at least one attribute to a virtual microphone.
  • the first wearable device 101-1 generates a visual object representing a virtual microphone (e.g., the visual object 120 of FIGS. 1 and/or 7, the visual object of FIG. 5B) based on an input for adding a virtual microphone. 590, the visual object 630 of FIG. 6, and/or the visual object 830 of FIG. 8) may be displayed.
  • the shape of the visual object may be related to at least one attribute assigned to the virtual microphone based on the input.
  • the first wearable device 101-1 may broadcast a signal 925 including at least one attribute assigned to the virtual microphone.
  • Signal 925 in FIG. 9 may include the first signal 141 in FIG. 1 .
  • the first wearable device 101-1 may identify an input for starting recording related to the virtual microphone, based on a visual object representing the virtual microphone. Based on the input, the first wearable device 101-1 may broadcast a signal 925.
  • the first wearable device 101-1 may repeatedly transmit the signal 925. For example, the first wearable device 101-1 may repeatedly transmit the signal 925 based on a designated period. In one embodiment in which the first wearable device 101-1 tracks the position of the virtual microphone, the repeatedly transmitted signal 925 indicates the position of the virtual microphone at the time the signal 925 is broadcast. May contain information.
  • the second wearable device 101-2 may display a visual object for recording based on a virtual microphone.
  • the second wearable device 101-2 may display the visual object based on receiving the signal 925.
  • the second wearable device 101-2 may determine whether to display the visual object based on at least one attribute included in the signal 925.
  • the at least one attribute included in signal 925 may be associated with the virtual microphone of operation 910.
  • the second wearable device 101-2 may identify the virtual microphone based on the at least one attribute while receiving the signal 925. Identifying the virtual microphone by the second wearable device 101-2 may include displaying a visual object representing the virtual microphone within the display area of the second wearable device 101-2. Identifying the virtual microphone by the second wearable device 101-2 involves calculating coordinates of the virtual microphone within a spatial coordinate system indicating an external space recognized by the second wearable device 101-2. may include.
  • the second wearable device 101-2 may perform the operation of the second wearable device 101-2 described above with reference to FIG. 7 and display a visual object of the operation 930.
  • the visual object of action 930 may include visual object 710 of FIG. 7 .
  • the second wearable device 101-2 operates ( 930) visual objects can be displayed.
  • the first wearable device 101-1 may acquire a first audio signal based on the position of the virtual microphone.
  • the first wearable device 101-1 may perform the operation 940 independently of repeatedly transmitting the signal 925.
  • the first wearable device 101-1 may obtain the first audio signal of operation 940 from an audio signal input through the microphone of the first wearable device 101-1.
  • the first wearable device 101-1 may change an audio signal input through the microphone of the first wearable device 101-1 based on at least one attribute assigned to the virtual microphone.
  • the second wearable device 101-2 acquires a second audio signal based on an input related to the visual object of operation 930. can do.
  • the input may include an input for selecting another visual object included within the visual object of action 930 (e.g., visual object 712 in the form of a button in FIG. 7).
  • the second wearable device 101-2 may obtain a second audio signal of operation 950 from an audio signal acquired using the microphone of the second wearable device 101-2. .
  • the second wearable device 101-2 changes the audio signal input through the microphone of the second wearable device 101-2 using the position of the virtual microphone, and changes the second audio signal of operation 950. It can be obtained.
  • the second wearable device 101-2 transmits the second audio signal and the wearable device 101 to the first wearable device 101-1.
  • the location of the virtual microphone identified by -2) can be transmitted.
  • the second wearable device 101-2 Based on obtaining the second audio signal based on operation 950, the second wearable device 101-2 transmits a signal including the obtained second audio signal to the first wearable device 101-1. (965) can be transmitted.
  • Signal 965 in FIG. 9 may include the second signal 142 in FIG. 1 .
  • Signal 965 may be transmitted by the second wearable device 101-2 in response to the signal 925 transmitted from the first wearable device 101-1.
  • the signal 965 may include the position of the virtual microphone calculated by the second wearable device 101-2.
  • the first wearable device 101-1 transmits the first audio signal and the second audio signal of operation 940 to a plurality of wearables.
  • a third audio signal for the virtual microphone may be obtained by synthesizing based on the location of the virtual microphone identified by at least one of the devices.
  • the first wearable device 101-1 based on the location of the virtual microphone identified by the first wearable device 101-1 and/or the second wearable device 101-2, transmits the first audio signal and
  • the third audio signal can be obtained by synthesizing (or rendering) the second audio signal.
  • the third audio signal may indicate atmospheric vibrations within the location of the virtual microphone.
  • the first wearable device 101-1 may acquire the third audio signal for the virtual microphone.
  • the first wearable device 101-1 transmits the third audio signal until receiving an input indicating to stop recording based on the virtual microphone. It can be obtained. An input instructing to stop the recording based on the virtual microphone may be received based on the operation described above with reference to visual object 720 in FIG. 7 .
  • the first wearable device 101-1 stores the third audio signal acquired based on the operation 970 in the memory of the first wearable device 101-1, or stores the third audio signal in the memory of the first wearable device 101-1. It can be transmitted to another external electronic device different from 1).
  • the operations of the first wearable device 101-1 and the second wearable device 101-2 of FIG. 9 will be described with reference to FIGS. 10 and 11, respectively.
  • FIG. 10 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device of FIG. 10 may be an example of the wearable device 101 of FIGS. 1 and 2A to 2B.
  • the operations of FIG. 10 may be performed by the wearable device 101 and/or the processor 210 of FIGS. 2A and 2B.
  • the wearable device in FIG. 10 may correspond to the first wearable device 101-1 in FIG. 9.
  • the wearable device may receive an input for adding a virtual microphone based on an external object.
  • the wearable device may perform operation 1010 of FIG. 10 , similar to operation 910 of FIG. 9 .
  • the wearable device may receive the input based on execution of the virtual microphone application 280 of FIGS. 2A and 2B and/or the virtual microphone manager 281 of FIG. 2B.
  • the wearable device may display a UI (eg, the UI shown in FIGS. 5A and 5B) for selecting the location of the virtual microphone within the display area. Through the UI, the wearable device can identify an external object to which the virtual microphone will be coupled and/or attached.
  • a wearable device may broadcast a signal containing information for tracking an external object matched to a virtual microphone.
  • the wearable device may perform operation 1020 of FIG. 10 , similar to operation 920 of FIG. 9 .
  • the wearable device may broadcast the signal based on execution of the communication controller 284 of FIG. 2B. With the communication controller 284 of FIG. 2B running, the wearable device may periodically transmit the signal through a communication link between the external electronic device and the wearable device.
  • the signal may include the location of the virtual microphone tracked by the wearable device, and/or information required to calculate the location (e.g., at least one attribute assigned to the virtual microphone).
  • a wearable device may acquire a first audio signal based on the location of an external object.
  • the wearable device may perform operation 1030 of FIG. 10 , similar to operation 940 of FIG. 9 .
  • the wearable device may acquire the first audio signal based on execution of the virtual microphone location identifier 282 and/or the audio signal synthesizer 283 of FIG. 2B.
  • the wearable device may obtain the first audio signal in operation 1030 by changing the audio signal input through a microphone (e.g., microphone 260 in FIG. 2A) using the position of the virtual microphone.
  • a microphone e.g., microphone 260 in FIG. 2A
  • the wearable device receives at least one second audio signal in response to the broadcasted signal from at least one external electronic device.
  • the wearable device may receive the at least one second audio signal from the at least one external electronic device connected to the wearable device by the communication controller 284 of FIG. 2B.
  • the at least one second audio signal may be recorded by at least one external electronic device.
  • the at least one external electronic device may acquire the at least one second audio signal based on a result of identifying the virtual microphone based on the signal in operation 1020.
  • the wearable device synthesizes a first audio signal and at least one second audio signal to obtain a third audio signal for the virtual microphone. You can.
  • the wearable device may perform operation 1050 of FIG. 10 , similar to operation 970 of FIG. 9 .
  • the wearable device may synthesize the first audio signal of operation 1030 and at least one second audio signal of operation 1040 based on execution of the audio signal synthesizer 283 of FIG. 2B. Based on the synthesis of the first audio signal and the at least one second audio signal, the wearable device can more accurately estimate atmospheric vibration within the location of the virtual microphone.
  • FIG. 11 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device in FIG. 11 may be an example of the wearable device 101 in FIGS. 1 and 2A to 2B.
  • the operations of FIG. 11 may be performed by the wearable device 101 and/or the processor 210 of FIGS. 2A and 2B.
  • the wearable device in FIG. 11 may correspond to the second wearable device 101-2 in FIG. 9.
  • the wearable device may identify at least one external object associated with the virtual microphone based on a first signal broadcast from the external electronic device.
  • the first signal of operation 1110 may include signal 925 of FIG. 9 and/or first signal 141 of FIG. 1 .
  • the at least one attribute may include information related to at least one of the behavior style in Table 1, the form of a visual object representing the virtual microphone, or an external object used to calculate the position of the virtual microphone.
  • the wearable device identifies the location of the virtual microphone based on the location of at least one external object within the external space identified by the camera. You can.
  • the wearable device may identify the location of the virtual microphone based on execution of the virtual microphone location identifier 282 of FIG. 2B. For example, in a state where a virtual microphone combined with an external object is identified based on the at least one attribute, the wearable device may identify the external object using a camera (e.g., camera 240 in FIG. 2A). You can. Based on the location of the identified external object, the wearable device can identify the location of the virtual microphone.
  • a camera e.g., camera 240 in FIG. 2A
  • the wearable device may display a visual object for recording based on a virtual microphone.
  • the wearable device may perform operation 1130 of FIG. 11 , similar to operation 930 of FIG. 9 .
  • the wearable device in response to an input related to a visual object, generates a second audio signal for the virtual microphone from a first audio signal input through the microphone. A signal can be obtained.
  • the wearable device may perform operation 1140 of FIG. 11 , similar to operation 950 of FIG. 9 .
  • the wearable device includes, in response to the first signal, a second audio signal and the location of at least one external object to an external electronic device.
  • a second signal may be transmitted.
  • the wearable device may perform operation 1150 of FIG. 11 similarly to operation 960 of FIG. 9 .
  • the second signal of operation 1150 may include signal 965 of FIG. 9 and/or second signal 142 of FIG. 1.
  • the wearable device may transmit information indicating the location of the identified virtual microphone based on operation 1120 to the external electronic device.
  • FIG. 12 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • the electronic device 101 of FIG. 12 may include the wearable device 101 of FIGS. 1 and 2A to 2B.
  • the electronic device 1201 communicates with the electronic device 1202 through a first network 1298 (e.g., a short-range wireless communication network) or a second network 1299. It is possible to communicate with at least one of the electronic device 1204 or the server 1208 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 1201 may communicate with the electronic device 1204 through the server 1208.
  • a first network 1298 e.g., a short-range wireless communication network
  • a second network 1299 e.g., a long-distance wireless communication network
  • the electronic device 1201 includes a processor 1220, a memory 1230, an input module 1250, an audio output module 1255, a display module 1260, an audio module 1270, and a sensor module ( 1276), interface (1277), connection terminal (1278), haptic module (1279), camera module (1280), power management module (1288), battery (1289), communication module (1290), subscriber identification module (1296) , or may include an antenna module 1297.
  • at least one of these components eg, the connection terminal 1278
  • may be omitted, or one or more other components may be added to the electronic device 1201.
  • some of these components are integrated into one component (e.g., display module 1260). It can be.
  • the processor 1220 executes software (e.g., program 1240) to operate at least one other component (e.g., hardware or software component) of the electronic device 1201 connected to the processor 1220. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 1220 stores commands or data received from another component (e.g., sensor module 1276 or communication module 1290) in volatile memory 1232. The commands or data stored in the volatile memory 1232 can be processed, and the resulting data can be stored in the non-volatile memory 1234.
  • software e.g., program 1240
  • the processor 1220 stores commands or data received from another component (e.g., sensor module 1276 or communication module 1290) in volatile memory 1232.
  • the commands or data stored in the volatile memory 1232 can be processed, and the resulting data can be stored in the non-volatile memory 1234.
  • the processor 1220 may include a main processor 1221 (e.g., a central processing unit or an application processor) or an auxiliary processor 1223 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1221 e.g., a central processing unit or an application processor
  • auxiliary processor 1223 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 1201 includes a main processor 1221 and a auxiliary processor 1223
  • the auxiliary processor 1223 may be set to use lower power than the main processor 1221 or be specialized for a designated function. You can.
  • the auxiliary processor 1223 may be implemented separately from the main processor 1221 or as part of it.
  • the auxiliary processor 1223 may, for example, act on behalf of the main processor 1221 while the main processor 1221 is in an inactive (e.g., sleep) state, or while the main processor 1221 is in an active (e.g., application execution) state. ), together with the main processor 1221, at least one of the components of the electronic device 1201 (e.g., the display module 1260, the sensor module 1276, or the communication module 1290) At least some of the functions or states related to can be controlled.
  • co-processor 1223 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 1280 or communication module 1290. there is.
  • the auxiliary processor 1223 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 1201 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 1208).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 1230 may store various data used by at least one component (eg, the processor 1220 or the sensor module 1276) of the electronic device 1201. Data may include, for example, input data or output data for software (e.g., program 1240) and instructions related thereto.
  • Memory 1230 may include volatile memory 1232 or non-volatile memory 1234.
  • the program 1240 may be stored as software in the memory 1230 and may include, for example, an operating system 1242, middleware 1244, or application 1246.
  • the input module 1250 may receive commands or data to be used in a component of the electronic device 1201 (e.g., the processor 1220) from outside the electronic device 1201 (e.g., a user).
  • the input module 1250 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 1255 may output sound signals to the outside of the electronic device 1201.
  • the sound output module 1255 may include, for example, a speaker or receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 1260 can visually provide information to the outside of the electronic device 1201 (eg, a user).
  • the display module 1260 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 1260 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 1270 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 1270 acquires sound through the input module 1250, the sound output module 1255, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 1201). Sound may be output through an electronic device 1202 (e.g., speaker or headphone).
  • an electronic device 1202 e.g., speaker or headphone
  • the sensor module 1276 detects the operating state (e.g., power or temperature) of the electronic device 1201 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 1276 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 1277 may support one or more designated protocols that can be used to connect the electronic device 1201 directly or wirelessly with an external electronic device (eg, the electronic device 1202).
  • the interface 1277 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • audio interface audio interface
  • connection terminal 1278 may include a connector through which the electronic device 1201 can be physically connected to an external electronic device (eg, the electronic device 1202).
  • the connection terminal 1278 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1279 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 1279 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1280 can capture still images and moving images.
  • the camera module 1280 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1288 can manage power supplied to the electronic device 1201. According to one embodiment, the power management module 1288 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • Battery 1289 may supply power to at least one component of electronic device 1201.
  • the battery 1289 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1290 provides a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device 1201 and an external electronic device (e.g., the electronic device 1202, the electronic device 1204, or the server 1208). It can support establishment and communication through established communication channels.
  • Communication module 1290 operates independently of processor 1220 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module 1290 may be a wireless communication module 1292 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1294 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 1292 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 1294 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 1298 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1299 (e.g., legacy It may communicate with an external electronic device 1204 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 1292 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1296 to communicate within a communication network such as the first network 1298 or the second network 1299.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 1292 may support 5G networks and next-generation communication technologies after 4G networks, for example, new radio access technology (NR access technology).
  • NR access technology provides high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access to multiple terminals (massive machine type communications (mMTC)), or ultra-reliable and low-latency (URLLC). -latency communications)) can be supported.
  • the wireless communication module 1292 may support high frequency bands (e.g., mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 1292 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive MIMO (multiple-input and multiple-output), and full-dimensional multiplexing.
  • the wireless communication module 1292 may support various requirements specified in the electronic device 1201, an external electronic device (e.g., electronic device 1204), or a network system (e.g., second network 1299). According to one embodiment, the wireless communication module 1292 supports peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 1297 may transmit or receive signals or power to or from the outside (e.g., an external electronic device).
  • the antenna module 1297 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 1297 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for the communication method used in the communication network, such as the first network 1298 or the second network 1299, is connected to the plurality of antennas by, for example, the communication module 1290. can be selected. Signals or power may be transmitted or received between the communication module 1290 and an external electronic device through the selected at least one antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 1297.
  • RFIC radio frequency integrated circuit
  • antenna module 1297 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 1201 and the external electronic device 1204 through the server 1208 connected to the second network 1299.
  • Each of the external electronic devices 1202 or 1204 may be of the same or different type as the electronic device 1201.
  • all or part of the operations performed in the electronic device 1201 may be executed in one or more of the external electronic devices 1202, 1204, or 1208.
  • the electronic device 1201 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 1201 does not execute the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 1201.
  • the electronic device 1201 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 1201 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1204 may include an Internet of Things (IoT) device.
  • Server 1208 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1204 or server 1208 may be included in the second network 1299.
  • the electronic device 1201 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG 13 is an example diagram of a network environment related to the metaverse service.
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a combination of social, economic and cultural activities similar to the real world. It refers to a three-dimensional virtual world.
  • Metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to experience life-like experiences in a computer-generated virtual world), using avatars to simply enjoy games or virtual reality. Not only that, but it has the characteristic of being able to engage in social and cultural activities similar to actual reality.
  • the Metaverse service is based on augmented reality (AR), virtual reality environment (VR), mixed reality (MR), and/or extended reality (XR), and creates the virtual world. Media content can be provided to enhance immersion.
  • media content provided by the metaverse service may include social interaction content including avatar-based games, concerts, parties, and/or meetings.
  • the media content may include advertisements, user created content, and/or information for economic activities such as selling products and/or shopping. Ownership of the user-generated content may be proven by a blockchain-based non-fungible token (NFT).
  • NFT non-fungible token
  • Metaverse services can support economic activities based on real currency and/or cryptocurrency. Through the metaverse service, virtual content linked to the real world, such as digital twin or life logging, can be provided.
  • FIG. 13 is an example diagram of a network environment 1301 in which metaverse services are provided through the server 1310.
  • the network environment 1301 includes a server 1310, a user terminal 1320 (e.g., a first terminal 1320-1 and a second terminal 1320-2), and a server 1310. It may include a network connecting the user terminal 1320.
  • the server 1310 may provide a metaverse service to the user terminal 1320.
  • the network may be formed by at least one intermediate node 1330 including an access point (AP) and/or a base station.
  • the user terminal 1320 may connect to the server 1320 through a network and output a user interface (UI) related to the metaverse service to the user of the user terminal 1320. Based on the UI, the user terminal 1320 can obtain information to be input to the metaverse service from the user, or output information (eg, multimedia content) related to the metaverse service to the user.
  • UI user interface
  • the server 1310 provides a virtual space so that the user terminal 1320 can perform activities in the virtual space.
  • the user terminal 1320 installs a S/W agent to access the virtual space provided by the server 1310 to express information provided by the server 1310 to the user, or to express information that the user wishes to express in the virtual space. Transmit information to the server.
  • the S/W agent can be provided directly through the server 1310, downloaded from a public server, or embedded when purchasing a terminal.
  • the metaverse service may be provided to the user terminal 1320 and/or the user using the server 1310.
  • the embodiment is not limited to this, and the metaverse service may be provided through individual contact between users.
  • the metaverse service can be provided by a direct connection between the first terminal 1320-1 and the second terminal 1320-2, independently of the server 1310. there is.
  • the first terminal 1320-1 and the second terminal 1320-2 may be connected to each other through a network formed by at least one intermediate node 1330.
  • one of the first terminal 1320-1 and the second terminal 1320-2 is: It can perform the role of the server 1310.
  • a metaverse environment can be formed solely by device-to-device connection (e.g., peer-to-peer (P2P) connection).
  • P2P peer-to-peer
  • the user terminal 1320 may be made in various form factors and may provide images to the user. or/and an output device for providing sound and an input device for inputting information into the metaverse service.
  • various form factors of the user terminal 1320 include a smartphone (e.g., the second terminal (1320-2)), an AR device (e.g., the first terminal (1320-1)), a VR device, an MR device, and a VST ( It may include a Video See Through (Video See Through) device, an OST (Optical See Through) device, a smart lens, a smart mirror, and a TV or projector capable of input/output.
  • the network (e.g., a network formed by at least one intermediate node 1330) includes various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi and BT (e.g., the first terminal 1320-1, and a wired network or wireless network directly connecting the second terminal (1320-2).
  • various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi and BT (e.g., the first terminal 1320-1, and a wired network or wireless network directly connecting the second terminal (1320-2).
  • the user terminal 1320 of FIG. 13 may include the wearable device 101 of FIGS. 1 and 2A to 2B and/or the electronic device 101 of FIG. 12 .
  • a method may be required to obtain an audio signal for a location by estimating atmospheric vibration at a location separate from the microphone of the wearable device.
  • a wearable device e.g., wearable device 101 in FIGS. 2A and 2B
  • includes a camera e.g., camera 240 in FIG. 2A
  • a communication circuit It may include, for example, communication circuitry 250 in FIG. 2A
  • a microphone e.g., microphone 260 in FIG. 2A
  • a processor e.g., processor 210 in FIG. 2A
  • the processor may be configured to receive an input for coupling a virtual microphone to an external object around the wearable device.
  • the processor may be configured to broadcast, via the communication circuitry, a signal containing information for tracking the external object associated with the virtual microphone by the input (e.g., signal 925 in FIG. 9). You can.
  • the processor may be configured to obtain a first audio signal from the microphone using the location of the external object identified based on frames obtained from the camera.
  • the processor may be configured to obtain at least one second audio signal from at least one external electronic device through the communication circuit.
  • the at least one second audio signal may be transmitted as a response to the signal from the at least one external electronic device.
  • the processor may be configured to obtain a third audio signal for the virtual microphone by synthesizing the first audio signal and the at least one second audio signal based on the location of the external object.
  • a wearable device uses a virtual microphone to estimate atmospheric vibration at a movable point (e.g., point V in FIG. 1) in an external space separated from the microphone of the wearable device.
  • a virtual microphone to estimate atmospheric vibration at a movable point (e.g., point V in FIG. 1) in an external space separated from the microphone of the wearable device.
  • an audio signal expressing the estimated vibration can be obtained.
  • the processor may be configured to receive the at least one second audio signal recorded based on the location corresponding to the signal from the external electronic device.
  • the processor is configured to obtain, from the external electronic device, the at least one second audio signal obtained using a microphone of the external electronic device and the position of the virtual microphone determined by the external electronic device, It can be configured.
  • the processor may be configured to select the location of the virtual microphone within an external space recognized using the camera.
  • the processor may be configured to change the first audio signal based on the selected location.
  • the processor may be configured to change the at least one second audio signal based on the selected location.
  • the processor may be configured to obtain the third audio signal by synthesizing the changed first audio signal and the changed at least one second audio signal.
  • the processor is configured to select the location of the microphone using the location of the external object in the external space based on identifying the external object indicated by the input from the camera. It can be.
  • the wearable device may include a display (eg, display 230 in FIG. 2A).
  • the processor based on the input, creates a visual object (e.g., visual object 120 of FIGS. 1 and/or 7, visual object 510 of FIG. 5A, visual object 510 of FIG. 5B) representing the virtual microphone within the display. It may be configured to display a visual object 590, a visual object 630 in FIG. 6, and a visual object 830 in FIG. 8.
  • the processor may be configured to change the information indicating the location of the virtual microphone based on identifying motion indicating movement of the visual object using the camera.
  • the processor may be configured to display the visual object having a shape indicated by the input.
  • the processor may be configured to initiate acquiring the first audio signal from the microphone based on identifying a specified motion associated with the visual object using the camera.
  • the processor may be configured to repeatedly broadcast the signal based on the specified motion using the communication circuit based on a specified period.
  • a method of a wearable device includes identifying information allocated to a virtual microphone based on receiving a first signal broadcast from an external electronic device through a communication circuit of the wearable device. It may include an operation (e.g., operation 1110 of FIG. 11). The method is based on identifying the location of the virtual microphone indicated by the information within an external space containing the wearable device using the camera of the wearable device, within the display of the wearable device. An operation of displaying a visual object for recording based on a virtual microphone (e.g., operation 1130 of FIG. 11) may be included.
  • the method may include an operation of acquiring an audio signal output from a microphone of the wearable device in response to an input related to the visual object (eg, operation 1140 of FIG. 11).
  • the method includes transmitting, as a response to the first signal, a second signal including the audio signal and the identified location to the external electronic device through the communication circuit (e.g., It may include operation 1150 of FIG. 11).
  • the acquiring operation may include acquiring the first audio signal from the microphone while displaying a visual object representing the virtual microphone, based on the location within the display. there is.
  • the acquiring operation may include acquiring an audio signal for the virtual microphone by changing the audio signal based on the location.
  • the obtaining operation includes the operation of changing the information based on identifying an input that indicates movement of the virtual microphone and based on the position of the virtual microphone moved based on the input. can do.
  • the acquiring operation may include using the camera to identify an external object indicated by the information as having the virtual microphone attached.
  • the method may include identifying the location of the virtual microphone based on the location of the external object identified by the camera.
  • the transmitting operation may include transmitting the second signal including information indicating the location of the virtual microphone identified by the wearable device.
  • the method of using a wearable device may include an operation of receiving an input for coupling a virtual microphone to an external object around the wearable device (e.g., operation 1010 of FIG. 10). You can.
  • the method includes an operation of broadcasting a signal containing information for tracking the external object coupled to the virtual microphone by the input through a communication circuit of the wearable device (e.g., operation 1020 of FIG. 10) ) may include.
  • the method may include obtaining a first audio signal from a microphone of the wearable device using the location of the external object identified based on frames obtained from a camera of the wearable device.
  • the method may include an operation of acquiring at least one second audio signal from at least one external electronic device through the communication circuit (eg, operations 1030 and 1040 of FIG. 10).
  • the at least one second audio signal may be transmitted from the at least one external electronic device in response to the signal.
  • the method includes the operation of synthesizing the first audio signal and the at least one second audio signal based on the location of the external object to obtain a third audio signal indicated as recorded by the virtual microphone ( Yes, it may include operation 1050 of FIG. 10).
  • the operation of acquiring the at least one second audio signal includes receiving the at least one second audio signal recorded based on the location corresponding to the signal from the external electronic device. can do.
  • the operation of acquiring the at least one second audio signal may include the at least one second audio signal acquired from the external electronic device using a microphone of the external electronic device and the at least one second audio signal obtained by the external electronic device. It may include an operation of acquiring the determined location of the virtual microphone.
  • the operation of acquiring the first audio signal may include the operation of selecting the location of the microphone within an external space recognized using the camera of the wearable device.
  • the operation of acquiring the first audio signal may include the operation of changing the at least one second audio signal based on the selected position.
  • Obtaining the third audio signal may include synthesizing the changed first audio signal and the changed at least one second audio signal to obtain the third audio signal.
  • the selecting operation may include selecting the location of the microphone using the location of the external object in the external space based on identifying the external object indicated by the input from the camera.
  • the method may include displaying a visual object representing the virtual microphone within a display of the wearable device based on the input.
  • the displaying operation includes changing the information indicating the location of the virtual microphone based on identifying a motion indicating movement of the visual object using the camera of the wearable device.
  • the displaying operation may include displaying the visual object having a shape indicated by the input.
  • the operation of acquiring the first audio signal may include obtaining the first audio signal from the microphone based on identifying a specified motion associated with the visual object using a camera of the wearable device. It may include actions such as:
  • the broadcasting operation may include repeatedly broadcasting the signal at a designated period using the communication circuit, based on the designated motion.
  • a wearable device (e.g., wearable device 101 in FIGS. 2A to 2B) includes a communication circuit (e.g., communication circuit 250 in FIG. 2A) and a microphone (e.g., FIG. It may include a microphone 260 in 2A), a display (e.g., display 230 in FIG. 2A), a camera (e.g., camera 240 in FIG. 2A), and a processor (e.g., processor 210 in FIG. 2A). there is.
  • the processor may be configured to identify information allocated to a virtual microphone based on receiving a first signal (e.g., first signal 141 in FIG. 1) broadcast from an external electronic device through the communication circuit. You can.
  • the processor performs recording based on the virtual microphone within the display based on identifying the location of the virtual microphone indicated by the information within an external space containing the wearable device using the camera. It may be configured to display a visual object (eg, visual object 710 in FIG. 7) for.
  • the processor may be configured to obtain an audio signal output from the microphone in response to input related to the visual object.
  • the processor in response to the first signal, sends a second signal (e.g., second signal 142 in FIG. 1) including the audio signal and the identified location to the external electronic device through the communication circuit. ) may be configured to transmit.
  • the processor may be configured to obtain the audio signal from the microphone while displaying a visual object representing the virtual microphone based on the location within the display.
  • the processor may be configured to obtain an audio signal for the virtual microphone by changing the audio signal based on the location.
  • the processor may be configured to change the information based on identifying an input that indicates movement of the virtual microphone and based on the position of the virtual microphone moved based on the input. .
  • the processor may be configured to use the camera to identify an external object indicated by the information as having the virtual microphone attached.
  • the processor may be configured to identify the location of the virtual microphone based on the location of the external object identified by the camera.
  • the processor may be configured to transmit the second signal including information indicating the location of the virtual microphone identified by the wearable device.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to those components in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 1236 or external memory 1238) that can be read by a machine (e.g., electronic device 1201). It may be implemented as software (e.g., program 1240) including these.
  • a processor e.g., processor 1220
  • a device e.g., electronic device 1201
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른, 웨어러블 장치의 프로세서는, 통신 회로를 통하여, 상기 가상 마이크와 결합된 외부 객체를 추적하기 위한 정보를 포함하는 신호를 브로드캐스팅할 수 있다. 상기 프로세서는, 마이크로부터 상기 속성에 기반하는 제1 오디오 신호를 획득하고, 적어도 하나의 외부 전자 장치로부터 적어도 하나의 제2 오디오 신호를 획득할 수 있다. 상기 적어도 하나의 제2 오디오 신호는, 상기 적어도 하나의 외부 전자 장치로부터 상기 신호에 대한 응답으로 송신될 수 있다. 상기 프로세서는, 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 가상 마이크에 대한 제3 오디오 신호를 획득할 수 있다. 본 문서는, 실제 객체 및 가상 객체 사이의 상호연결성을 강화하기 위한 메타버스 서비스와 관련될 수 있다. 예를 들면, 상기 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.

Description

오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
본 개시(present disclosure)의 다양한 실시예들은 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 카메라, 통신 회로, 마이크, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 웨어러블 장치 주변의 외부 객체에 가상 마이크를 결합하기 위한 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여, 상기 입력에 의해 상기 가상 마이크와 결합된 상기 외부 객체를 추적하기 위한 정보를 포함하는 신호를 브로드캐스팅하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라로부터 획득된 프레임들에 기반하여 식별된, 상기 외부 객체의 위치를 이용하여, 상기 마이크로부터 제1 오디오 신호를 획득하도록, 구성될 수 있다. 상기 프로세서는 상기 통신 회로를 통하여 적어도 하나의 외부 전자 장치로부터 적어도 하나의 제2 오디오 신호를 획득하도록, 구성될 수 있다. 상기 적어도 하나의 제2 오디오 신호는 상기 적어도 하나의 외부 전자 장치로부터 상기 신호에 대한 응답으로(as a response) 송신될 수 있다. 상기 프로세서는, 상기 외부 객체의 위치에 기반하여, 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 가상 마이크에 대한 제3 오디오 신호를 획득하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치 주변의 외부 객체에 가상 마이크를 결합하기 위한 입력을 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 통신 회로를 통하여, 상기 입력에 의해 상기 가상 마이크와 결합된 상기 외부 객체를 추적하기 위한 정보를 브로드캐스팅하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 카메라로부터 획득된 프레임들에 기반하여 식별된, 상기 외부 객체의 위치를 이용하여, 상기 웨어러블 장치의 마이크로부터 제1 오디오 신호를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 통신 회로를 통하여 적어도 하나의 외부 전자 장치로부터 적어도 하나의 제2 오디오 신호를 획득하는 동작을 포함할 수 있다. 상기 적어도 하나의 제2 오디오 신호는, 상기 적어도 하나의 외부 전자 장치로부터 상기 신호에 대한 응답으로 송신될 수 있다. 상기 방법은, 상기 외부 객체의 위치에 기반하여, 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 가상 마이크에 대한 제3 오디오 신호를 획득하는 동작을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 통신 회로, 마이크, 디스플레이, 카메라 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 외부 전자 장치로부터 브로드캐스팅된 제1 신호를 수신하는 것에 기반하여, 가상 마이크로 할당된 정보를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 웨어러블 장치가 포함된 외부 공간 내에서, 상기 정보에 의해 지시되는 상기 가상 마이크의 위치를 식별하는 것에 기반하여, 상기 디스플레이 내에, 상기 가상 마이크에 기반하는 레코딩을 위한 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 시각적 객체와 관련된 입력에 응답하여, 상기 마이크로부터 제2 오디오 신호를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 제1 신호에 대한 응답으로, 상기 오디오 신호 및 상기 식별된 위치를 포함하는 제2 신호를 송신하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 통신 회로를 통하여 외부 전자 장치로부터 브로드캐스팅된 제1 신호를 수신하는 것에 기반하여, 가상 마이크로 할당된 정보를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 카메라를 이용하여, 상기 웨어러블 장치가 포함된 외부 공간 내에서, 상기 정보에 의해 지시되는 상기 가상 마이크의 위치를 식별하는 것에 기반하여, 상기 웨어러블 장치의 디스플레이 내에, 상기 가상 마이크에 기반하는 레코딩을 위한 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 시각적 객체와 관련된 입력에 응답하여, 상기 웨어러블 장치의 마이크로부터 출력된 오디오 신호를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 제1 신호에 대한 응답으로, 상기 오디오 신호 및 상기 식별된 위치를 포함하는 제2 신호를 송신하는 동작을 포함할 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치가 가상 마이크에 기반하여 오디오 신호를 획득하는 동작의 일 예를 도시한다.
도 2a 내지 도 2b는, 일 실시예에 따른, 웨어러블 장치에 대한 예시적인 블록도를 도시한다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 5a 내지 도 5b는, 일 실시예에 따른, 웨어러블 장치가 가상 마이크를 추가함을 지시하는 입력을 식별하는 동작의 일 예를 도시한다.
도 6은, 일 실시예에 따른, 웨어러블 장치가 가상 마이크를 시각화하는 동작의 일 예를 도시한다.
도 7은, 일 실시예에 따른, 복수의 웨어러블 장치들이 가상 마이크에 기반하여 오디오 신호들을 획득하는 동작의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 복수의 웨어러블 장치들이 가상 마이크에 기반하여 오디오 신호들을 획득하는 동작의 일 예를 도시한다.
도 9는, 일 실시예에 따른, 복수의 웨어러블 장치들 사이의 신호 흐름도의 일 예를 도시한다.
도 10은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 11은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 12는, 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 13은, 메타버스 서비스와 관련된 네트워크 환경에 대한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치(101)가 가상 마이크에 기반하여 오디오 신호를 획득하는 동작의 일 예를 도시한다. 도 1을 참고하면, 일 실시예에 따른 웨어러블 장치(101)는 사용자(110)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 비록 안경의 형태를 가지는 웨어러블 장치(101)의 외형이 도시되지만, 실시예가 이에 제한되는 것은 아니다. 사용자(110)의 머리에 착용가능한 웨어러블 장치(101)의 구조의 일 예가 도 3a 내지 도 3b 및/또는 도 4a 내지 도 4b를 참고하여 설명된다. 웨어러블 장치(101) 내에 포함된 하나 이상의 하드웨어들이, 도 2a 내지 도 2b를 참고하여 예시적으로 설명된다.
일 실시예에 따른, 웨어러블 장치(101)는 증강 현실(augmented reality, AR), 및/또는 혼합 현실(mixed reality, MR)과 관련된 기능을 실행할 수 있다. 도 1을 참고하면, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈에 인접하게 배치된 적어도 하나의 렌즈를 포함할 수 있다. 웨어러블 장치(101)는 렌즈를 통과하는 주변 광(ambient light)에, 웨어러블 장치(101)의 디스플레이로부터 방사된 광을 결합할 수 있다. 상기 디스플레이의 표시 영역은, 주변 광이 통과되는 렌즈 내에서 형성될 수 있다. 웨어러블 장치(101)가 상기 주변 광 및 상기 디스플레이로부터 방사된 상기 광을 결합하기 때문에, 사용자(110)는 상기 주변 광에 의해 인식되는 실제 객체(real object) 및 상기 디스플레이로부터 방사된 상기 광에 의해 형성된 가상 객체(virtual object)가 혼합된 상(image)을 볼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 VST(video see-through) 및/또는 가상 현실(virtual reality, VR)과 관련된 기능을 실행할 수 있다. 도 1을 참고하면, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈을 덮는 하우징을 포함할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서, 상기 눈을 향하는 제1 면에 배치된 디스플레이를 포함할 수 있다. 웨어러블 장치(101)는 상기 제1 면과 반대인 제2 면 상에 배치된 카메라를 포함할 수 있다. 상기 카메라를 이용하여, 웨어러블 장치(101)는 주변 광이 포함된 프레임들을 획득할 수 있다. 웨어러블 장치(101)는 상기 제1 면에 배치된 디스플레이 내에, 상기 프레임들을 출력하여, 사용자(110)가 상기 디스플레이를 통해 상기 주변 광을 인식하게 만들 수 있다. 상기 제1 면에 배치된 디스플레이의 표시 영역은, 상기 디스플레이에 포함된 하나 이상의 픽셀들에 의해 형성될 수 있다. 웨어러블 장치(101)는 상기 디스플레이를 통해 출력되는 프레임들 내에 가상 객체를 합성하여, 사용자(110)가 주변 광에 의해 인식되는 실제 객체와 함께 상기 가상 객체를 인식하게 만들 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 객체의 일 예로, 가상 마이크를 시각화할 수 있다. 가상 마이크는, 웨어러블 장치(101)에 포함된 복수의 마이크들에 기반하는 레코딩(recording)을 제어하기 위한 가상 객체일 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101) 내 마이크와 독립적인 위치를 가지는 가상 마이크를 추가함을 지시하는 입력을 수신할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 상기 입력을 수신하는 동작의 일 예가, 도 5a 내지 도 5b를 참고하여 설명된다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)가 포함된 외부 공간 내에 가상 마이크를 추가하기 위한 입력을 수신할 수 있다.
일 실시예에서, 웨어러블 장치(101)는 가상 마이크를 이용하여, 웨어러블 장치(101)의 실제 마이크를 통하여 입력된 오디오 신호를 변경, 렌더링 및/또는 합성할 수 있다. 웨어러블 장치(101)는, 외부 공간의 특정 위치 내에 추가된 가상 마이크에 기반하여, 웨어러블 장치(101) 내 마이크를 통하여 입력된 오디오 신호를 변경하여, 상기 특정 위치에서의 대기의 진동을 지시하는 오디오 신호를 획득할 수 있다. 예를 들어, 가상 마이크로 할당된(assigned to) 적어도 하나의 속성은, 상기 특정 위치에 대한 정보를 포함할 수 있다. 상기 정보는, 웨어러블 장치(101)에 의해 인식된 외부 공간과 관련된 공간 좌표계(space coordinate system) 내에서 상기 특정 위치에 대한 공간 좌표를 포함할 수 있다. 웨어러블 장치(101)의 마이크로부터 이격된 상기 특정 위치의 오디오 신호를 추정하기 위하여, 웨어러블 장치(101)는, 외부 전자 장치로, 상기 특정 위치의 오디오 신호를 요청할 수 있다. 상기 외부 전자 장치가 웨어러블 장치(101) 보다 상기 특정 위치에 보다 가깝게 배치된 경우, 웨어러블 장치(101)는 상기 외부 전자 장치를 이용하여 상기 특정 위치에서의 대기의 진동을 보다 정확하게 추정할 수 있다.
도 1을 참고하면, 상이한 위치들(P1, P2) 각각에 배치된 웨어러블 장치들(101-1, 101-2)이, 특정 위치(V)에 배치된 가상 마이크에 기반하여, 오디오 신호를 획득하는 예시적인 케이스가 도시된다. 제1 사용자(110-1)가 제1 웨어러블 장치(101-1)를 착용하고, 제2 사용자(110-2)가 제2 웨어러블 장치(101-2)를 착용한 상기 예시적인 케이스 내에서, 제1 웨어러블 장치(101-1)는, 제1 사용자(110-1)로부터 위치(V) 내에 가상 마이크를 배치함을 지시하는 입력을 수신할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)는 제3 사용자(110-3)에게 가상 마이크를 부착함을 지시하는 입력을 식별할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, AR 및/또는 VST에 기반하여 사용자(110)에게 외부 공간 내에 배치된 가상 마이크를 표시할 수 있다. 상기 입력에 기반하여, 제1 웨어러블 장치(101-1)는 표시 영역 내에 제3 사용자(110-3)에게 부착된 가상 마이크를 표현한 시각적 객체(120)를 표시할 수 있다. 상기 가상 마이크로 할당된 적어도 하나의 속성은, 핀 마이크의 형태를 가지는 시각적 객체(120)와 같이, 웨어러블 장치(101)의 디스플레이에 의해 형성된 표시 영역 내에 상기 가상 마이크를 시각화하기 위한 정보를 포함할 수 있다. 가상 마이크를 표현한 시각적 객체(120)의 형태는 도 1의 일 실시예에 제한되지 않는다.
일 실시예에서, 제1 웨어러블 장치(101-1)는, 적어도 하나의 속성에 기반하여, 가상 마이크를 관리할 수 있다. 이하에서, 상기 적어도 하나의 속성은, 상기 가상 마이크와 관련된 정보 및/또는 파라미터를 포함할 수 있다. 상기 적어도 하나의 속성은, 제1 웨어러블 장치(101-1)가 표시 영역 내에 가상 마이크를 시각화하기 위한 정보(예, 아이콘 및/또는 이미지)를 포함할 수 있다. 상기 적어도 하나의 속성은, 외부 공간 내에서 가상 마이크의 위치를 추적하기 위해 이용되는 정보를 포함할 수 있다. 예를 들어, 상기 적어도 하나의 속성은, 가상 마이크가 결합 및/또는 부착된 외부 객체에 대한 정보를 포함할 수 있다. 상기 적어도 하나의 속성은, 상기 외부 객체 및 가상 마이크 사이의 위치 관계에 대한 정보(예, 도 2a 내지 도 2b를 참고하여 후술되는, 행동 양식)를 포함할 수 있다. 상기 적어도 하나의 속성은, 가상 마이크에 대한 오디오 신호에 적용될 음향 효과를 포함할 수 있다.
도 1의 일 실시예에서, 제1 웨어러블 장치(101-1)는 제1 사용자(110-1)로부터 수신된 입력에 의하여 가상 마이크로 할당된, 적어도 하나의 속성을 외부 전자 장치로 송신할 수 있다. 제1 웨어러블 장치(101-1)는 상기 적어도 하나의 속성을 포함하는 제1 신호(141)를 브로드캐스팅할 수 있다. 상기 제1 신호(141)를 이용하여, 웨어러블 장치(101)는 외부 전자 장치의 레코딩을 제어할 수 있다. 일 실시예에서, 제1 웨어러블 장치(101-1)는 상기 제1 신호(141)를 반복적으로 송신할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)는 지정된 주기에 기반하여, 상기 제1 신호(141)를 반복적으로 송신할 수 있다. 도 1의 예시적인 케이스 내에서, 제1 웨어러블 장치(101-1)에 의해 브로드캐스팅된 상기 제1 신호(141)를 수신한 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)의 마이크의 상태를, 오디오 신호의 레코딩을 위한 지정된 상태로 변경할 수 있다. 제2 웨어러블 장치(101-2)는, 제2 사용자(110-2)에게, 제2 웨어러블 장치(101-2)의 마이크의 상태를 상기 지정된 상태로 변경하기 위한 UI를 표시할 수 있다. 상기 UI의 일 예가, 도 7을 참고하여 설명된다. 일 실시예에 따른, 제2 웨어러블 장치(101-2)는, 상기 UI와 관련된 입력에 기반하여, 제2 웨어러블 장치(101-2) 내 마이크를 이용하여 위치(V)에 대한 오디오 신호를 획득할 수 있다.
도 1을 참고하면, 상기 오디오 신호를 획득하는 상태 내에서, 제2 웨어러블 장치(101-2)는 표시 영역 내에, 가상 마이크를 표현한 시각적 객체(120)를 표시할 수 있다. 상기 상태 내에서, 제2 웨어러블 장치(101-2)는, 오디오 신호의 레코딩을 지시하는 시각적 객체(130)(예, "REC"와 같이, 레코딩을 지시하는 지정된 텍스트를 포함하는 시각적 객체)를 표시할 수 있다. 위치(V)에 대한 오디오 신호를 획득하는 상태 내에서, 제1 웨어러블 장치(101-1) 또한, 표시 영역 내에 오디오 신호의 레코딩을 지시하는 시각적 객체(130)를 표시할 수 있다.
도 1의 일 실시예에서, 제1 웨어러블 장치(101-1)는, 제1 웨어러블 장치(101-1)의 위치(P1) 및 가상 마이크의 위치(V)에 기반하여, 제1 웨어러블 장치(101-1)의 마이크를 통하여 입력된 제1 오디오 신호를 변경할 수 있다. 제2 웨어러블 장치(101-2)는 제2 웨어러블 장치(101-2)의 위치(P2) 및 가상 마이크의 위치(V)에 기반하여, 제2 웨어러블 장치(101-2)의 마이크를 통하여 입력된 제2 오디오 신호를 변경할 수 있다. 제2 웨어러블 장치(101-2)는 제1 웨어러블 장치(101-1)로 상기 변경된 제2 오디오 신호를 송신할 수 있다. 예를 들어, 제2 웨어러블 장치(101-2)는 상기 제1 신호(141)에 대한 응답으로(as a response), 제2 신호(142)를 제1 웨어러블 장치(101-1)로 송신할 수 있다. 일 실시예에서, 제2 신호(142)는 상기 변경된 제2 오디오 신호에 대한 비트스트림(또는 오디오 스트림)을 포함할 수 있다.
도 1의 일 실시예에서, 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)의 마이크를 이용하여 획득된 제2 오디오 신호에 기반하는 제2 신호(142)를, 제1 웨어러블 장치(101-1)로 송신할 수 있다. 예를 들어, 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)에 의해 식별된 가상 마이크의 위치(V), 및 제2 웨어러블 장치(101-2)의 마이크를 이용하여 획득된 상기 제2 오디오 신호를, 제1 웨어러블 장치(101-1)로 송신할 수 있다. 다른 예를 들어, 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)에 의해 식별된 가상 마이크의 위치(V)에 기반하여 상기 제2 오디오 신호를 변경하고, 상기 변경된 제2 오디오 신호를 제1 웨어러블 장치(101-1)로 송신할 수 있다.
일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 제2 신호(142)로부터 가상 마이크의 위치(V)에 기반하여 제2 웨어러블 장치(101-2)에 의해 레코딩된 제2 오디오 신호를 획득할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1) 제2 신호(142)로부터 제2 웨어러블 장치(101-2)의 마이크를 이용하여 획득된 제2 오디오 신호 및 제2 웨어러블 장치(101-2)에 의해 추적된 가상 마이크의 위치(V)를 획득할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)는 상기 제2 신호(142)로부터, 상기 변경된 제2 오디오 신호를 식별할 수 있다. 제1 웨어러블 장치(101-1)는, 상기 변경된 제1 오디오 신호 및 제2 웨어러블 장치(101-2)로부터 송신된, 상기 변경된 제2 오디오 신호를 합성(또는 렌더링)하여, 상기 가상 마이크에 대한 제3 오디오 신호를 획득할 수 있다. 상기 변경된 제1 오디오 신호 및 상기 변경된 제2 오디오 신호로부터 합성된 상기 제3 오디오 신호는, 위치(P) 내에서 대기의 진동을 추정한 결과를 포함할 수 있다.
도 1을 참고하면, 가상 마이크는 제3 사용자(110-3)와 같이, 이동 가능한(movable) 객체에 매칭될 수 있다. 가상 마이크가 이동 가능한 객체에 매칭된 경우, 웨어러블 장치(101)는 상기 이동 가능한 객체의 위치에 기반하여, 가상 마이크의 위치를 조절할 수 있다. 실시예가 이에 제한되는 것은 아니며, 가상 마이크는, 사용자들 사이에서 상기 가상 마이크를 이동하는 제스쳐에 의해 이동될 수 있다. 가상 마이크의 조절된 위치(V)에 기반하여, 웨어러블 장치(101)는 오디오 신호를 합성할 수 있다. 도 1의 예시적인 케이스 내에서, 제3 사용자(110-3)의 이동에 기반하여, 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)가 오디오 신호를 합성하거나, 또는 레코딩하는 동작이 다르게 수행될 수 있다. 일 실시예 따른, 웨어러블 장치(101)가 가상 마이크의 이동에 기반하여, 오디오 신호를 합성 또는 렌더링하는 동작의 일 예가 도 8을 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는 외부 공간 내 위치(V)로 가상 마이크를 추가함을 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 제1 웨어러블 장치(101-1)는 마이크를 통하여 입력된 제1 오디오 신호를 변경할 수 있다. 제1 웨어러블 장치(101-1)는, 제1 웨어러블 장치(101-1)의 위치(P1) 및 가상 마이크의 위치(V) 사이의 위치 관계(예, 제1 웨어러블 장치(101-1)에 대한 위치(V)의 방위 각(azimuth angle))에 기반하여, 상기 제1 오디오 신호를 변경할 수 있다. 제1 웨어러블 장치(101-1)는, 가상 마이크의 위치(V)를 지시하는 제1 신호(141)를, 제1 웨어러블 장치(101-1)와 상이한 외부 전자 장치로 브로드캐스팅할 수 있다. 제2 웨어러블 장치(101-2)는, 상기 제1 신호(141)에 기반하여, 위치(V)에 배치된 가상 마이크를 식별할 수 있다. 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)의 마이크를 통하여 입력된 제2 오디오 신호를, 제2 웨어러블 장치(101-2)의 위치(P2) 및 가상 마이크의 위치(V) 사이의 위치 관계(예, 제2 웨어러블 장치(101-2)에 대한 위치(V)의 방위 각)에 기반하여, 상기 제2 오디오 신호를 변경할 수 있다. 제2 웨어러블 장치(101-2)는 상기 변경된 제2 오디오 신호를 포함하는 제2 신호(142)를, 제1 웨어러블 장치(101-1)로 송신할 수 있다. 제1 웨어러블 장치(101-1)는, 제1 웨어러블 장치(101-1)를 포함하는 전자 장치들로부터 수신된 오디오 신호를 합성하여, 위치(V)의 대기의 진동을 추론한 제3 오디오 신호를 합성(또는 렌더링)할 수 있다. 상기 제3 오디오 신호의 합성에 기반하여, 제1 웨어러블 장치(101-1)는 상기 위치(V)에 실제 마이크를 배치한 것과 유사한 사용자 경험을 제공할 수 있다.
이하에서는, 도 2a 내지 도 2b를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)에 포함된 하드웨어, 및 웨어러블 장치(101)에 의해 실행되는 하나 이상의 프로그램들이 설명된다.
도 2a 내지 도 2b는, 일 실시예에 따른, 웨어러블 장치(101)에 대한 예시적인 블록도를 도시한다. 도 2a 내지 도 2b의 웨어러블 장치(101)는 도 1의 웨어러블 장치(101)(예, 제1 웨어러블 장치(101-1) 및/또는 제2 웨어러블 장치(101-2))를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 프로세서(210), 메모리(220), 디스플레이(230), 카메라(240), 통신 회로(250) 또는 마이크(260) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(220), 디스플레이(230), 카메라(240), 통신 회로(250), 및 마이크(260)는 통신 버스(a communication bus)(205)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 2a 내지 도 2b의 하드웨어들 중 일부분(예, 프로세서(210), 메모리(220), 및 통신 회로(250)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101) 내에 포함된 하드웨어의 타입 및/또는 개수는 도 2a 내지 도 2b에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 도 2a에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 프로세서(210)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(210)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에서, 웨어러블 장치(101)의 메모리(220)는, 웨어러블 장치(101)의 프로세서(210)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(220)는, 예를 들어, RAM(random-access memory)와 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 디스플레이(230)는 사용자(예, 도 1의 사용자(110))에게 시각화된 정보(예를 들어, 도 1, 도 5a 내지 도 5b, 도 6 내지 도 8에 도시된 시각적 객체, 및/또는 화면)를 출력할 수 있다. 예를 들어, 디스플레이(230)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(210)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(230)는 플렉서블 디스플레이, FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 디스플레이(230)는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 6의 디스플레이(230)는, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b를 참고하여 후술될, 적어도 하나의 디스플레이(350)를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 카메라(240)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하는 하나 이상의 광 센서들(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)을 포함할 수 있다. 카메라(240)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(240)는 복수의 광 센서들 각각의 전기 신호들을 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임 데이터를 생성할 수 있다. 예를 들어, 카메라(240)를 이용하여 캡쳐한 사진 데이터는 카메라(240)로부터 획득한 하나의 2차원 프레임 데이터를 의미할 수 있다. 예를 들어, 카메라(240)를 이용하여 캡쳐한 비디오 데이터는, 프레임 율(frame rate)을 따라 카메라(240)로부터 획득된, 복수의 2차원 프레임 데이터의 시퀀스(sequence)를 의미할 수 있다. 카메라(240)는, 카메라(240)가 광을 수신하는 방향을 향하여 배치되고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 비록 단일(single) 블록에 기반하여, 카메라(240)가 도시되었으나, 웨어러블 장치(101) 내에 포함된 카메라(240)의 개수가 실시예에 제한되는 것은 아니다. 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b를 참고하여 후술될, 하나 이상의 카메라들(340)과 같이, 웨어러블 장치(101)는 하나 이상의 카메라들을 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 통신 회로(250)는, 웨어러블 장치(101), 및 외부 전자 장치(예, 도 1의 제1 웨어러블 장치(101-1)의 관점에서(in terms of), 제2 웨어러블 장치(101-2)) 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 통신 회로(250)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(250)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio)와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 마이크(260)는, 대기의 진동을 지시하는 전기 신호를 출력할 수 있다. 예를 들어, 웨어러블 장치(101)는 마이크(260)를 이용하여 사용자의 발언(speech)을 포함하는 오디오 신호(audio signal)를 획득할 수 있다. 웨어러블 장치(101)는 복수의 마이크들을 포함할 수 있다. 웨어러블 장치(101) 내에 포함된 복수의 마이크들은, 웨어러블 장치(101)의 하우징의 상이한 부분들에 배치될 수 있다. 웨어러블 장치(101)는 서로 이격된 복수의 마이크들을 이용하여, 복수의 마이크들에 의해 탐지된 대기의 진동의 근원(source)(예, 음원(sound source))을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 음원에 대한 도달 방향(direction of arrival, DoA)을 식별할 수 있다. 웨어러블 장치(101)는 복수의 마이크들를 통하여 입력된 오디오 신호들의 위상 차이를 이용하여, 상기 도달 방향을 식별할 수 있다.
일 실시예에 따른 전자 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 전자 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커를 포함할 수 있다. 전자 장치(101)가 포함하는 스피커의 개수는 하나 이상일 수 있다. 비록 도시되지 않았지만, 전자 장치(101)는 정보를 시각적인 형태, 청각적인 형태 외에 다른 형태로 출력하기 위한 다른 출력 수단을 포함할 수 있다. 예를 들어, 전자 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커(예, 도 3a 내지 도 3b를 참고하여 후술될 스피커들(392-1, 392-2))를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터, 웨어러블 장치(101)의 프로세서(210) 및/또는 메모리(220)에 의해 처리될 수 있는 전기적 정보를 생성하기 위한 센서를 더 포함할 수 있다. 상기 센서는, 웨어러블 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서, 이미지 센서, 조도 센서 및/또는 ToF(time-of-flight) 센서, 웨어러블 장치(101)의 물리적인 모션을 탐지하기 위한 IMU(inertial measurement unit)을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 메모리(220) 내에서, 웨어러블 장치(101)의 프로세서(210)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 도 2a를 참고하면, 웨어러블 장치(101)의 프로세서(210)는, 가상 마이크 어플리케이션(280) 및/또는 시스템 어플리케이션(270)을 실행하여, 도 9 내지 도 11의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 전자 장치(예, 웨어러블 장치(101) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 메모리(220) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치의 프로세서에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 프로세서(210)는 시스템 어플리케이션(270)을 실행하여, AR 및/또는 VST와 관련된 상이한 기능들을 실행할 수 있다. 웨어러블 장치(101)의 프로세서(210)는 가상 마이크 어플리케이션(280)을 실행하여, 가상 마이크와 관련된 상이한 기능들을 실행할 수 있다. 예를 들어, 가상 마이크 어플리케이션(280)의 실행에 기반하여, 웨어러블 장치(101)는 적어도 하나의 가상 마이크를 관리하기 위한 기능을 실행할 수 있다. 웨어러블 장치(101)는 시스템 어플리케이션(270)을 이용하여, 가상 마이크와 관련된 계산을 수행할 수 있다. 상기 가상 마이크와 관련된 상기 계산은, 예를 들어, 웨어러블 장치(101)가 포함된 외부 공간 내에서의 상기 가상 마이크의 위치를 계산하기 위하여 수행될 수 있다.
일 실시예에서, 웨어러블 장치(101)는 시스템 어플리케이션(270)을 실행하여, AR 및/또는 VST와 관련된 기능들을 실행할 수 있다. 시스템 어플리케이션(270)은, 외부 객체 인식기(271), 손 인식기(272), 웨어러블 장치 모션 인식기(273), 장면 인식기(274) 및/또는 물리 엔진(275)을 포함할 수 있다. 외부 객체 인식기(271), 손 인식기(272), 웨어러블 장치 모션 인식기(273), 장면 인식기(274) 및 물리 엔진(275)은, 백그라운드 프로세스의 형태로 웨어러블 장치(101)에 의해 실행될 수 있다. 웨어러블 장치(101)는 지정된 API(application programming interface)의 호출에 응답하여, 외부 객체 인식기(271), 손 인식기(272), 웨어러블 장치 모션 인식기(273), 장면 인식기(274) 또는 물리 엔진(275) 중 적어도 하나를 실행할 수 있다. 시스템 어플리케이션(270) 내에 포함된 하나 이상의 프로그램들(예, 외부 객체 인식기(271), 손 인식기(272), 웨어러블 장치 모션 인식기(273), 장면 인식기(274) 및/또는 물리 엔진(275))은, 웨어러블 장치(101)가 포함된 외부 공간을 표현한(representing) 공간 좌표계에 대한 정보를 공유할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 외부 객체 인식기(271)의 실행에 기반하여 외부 객체를 인식 및/또는 추적할 수 있다. 예를 들어, 외부 객체 인식기(271)가 실행된 상태 내에서, 웨어러블 장치(101)는 카메라(240)로부터 출력된 프레임들에 기반하여, 웨어러블 장치(101)가 포함된 외부 공간 내 하나 이상의 외부 객체들을 식별할 수 있다. 웨어러블 장치(101)는 상기 외부 공간에 대한 공간 좌표계에 기반하여, 상기 하나 이상의 외부 객체들의 좌표들을 식별할 수 있다. 웨어러블 장치(101)는 시간 영역 내에서(in a time domain) 상기 프레임들을 비교하여, 상기 하나 이상의 외부 객체들이 이동된 경로를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 손 인식기(272)의 실행에 기반하여, 손과 같은 지정된 신체 부위를 추적할 수 있다. 손 인식기(272)가 실행된 상태 내에서, 웨어러블 장치(101)는 카메라(240)로부터 출력된 프레임들에 기반하여, 웨어러블 장치(101)가 포함되는 외부 공간 내 하나 이상의 손들을 식별할 수 있다. 웨어러블 장치(101)는 상기 손에 포함된 복수의 관절들의 위치들 및/또는 각도들을 식별할 수 있다. 웨어러블 장치(101)는 복수의 관절들에 기반하여, 상기 손의 자세를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 웨어러블 장치 모션 인식기(273)의 실행에 기반하여, 외부 공간에 대한 공간 좌표계 내에서 웨어러블 장치(101)의 위치 및/또는 회전을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)가 상기 공간 좌표계의 원점을, 웨어러블 장치(101)의 위치로 결정한 경우, 웨어러블 장치(101)는 모션 인식기(273)의 실행에 기반하여, 상기 원점에 배치된 웨어러블 장치(101)의 방향 및/또는 상기 원점으로부터 연장된 축들(예, x 축, y 축, 및 z 축)에 대한 회전 각도(예, 롤(roll), 피치(pitch), 및 요(yaw))를 식별할 수 있다. 웨어러블 장치(101)는 IMU 센서와 같은, 웨어러블 장치(101)의 모션을 식별하기 위한 센서를 이용하여, 웨어러블 장치(101)의 방향 및/또는 회전 각도를 식별할 수 있다. 자유도(degree of freedom)의 관점에서, 웨어러블 장치 모션 인식기(273)는 6 DoF 처리기로 지칭될(referred as) 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 장면 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)가 포함된 외부 공간 내에 포함된 적어도 하나의 외부 객체에 대한 3차원 모델링을 수행할 수 있다. 상기 3차원 모델링에 기반하여, 웨어러블 장치(101)는 상기 외부 공간에 대한 공간 좌표계 내에서, 상기 적어도 하나의 외부 객체에 의해 점유된 적어도 일부분을 지시하는 정보를 획득할 수 있다. 예를 들어, 외부 공간에 대한 공간 좌표계 내에, 외부 객체 인식기(271)에 의해 인식된 적어도 하나의 외부 객체, 및/또는 손 인식기(272)에 의해 식별된 적어도 하나의 손이 추가될 수 있다. 웨어러블 장치(101)는 장면 인식기(274)의 실행에 기반하여, 상기 공간 좌표계 내에 추가된 적어도 하나의 외부 객체 및/또는 적어도 하나의 손에 대한 3차원 모델링을 수행할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 물리 엔진(275)의 실행에 기반하여, 웨어러블 장치(101)가 포함된 외부 공간에 대한 공간 좌표계 내에서의 물리적 현상을 시뮬레이션할 수 있다. 예를 들어, 가상 마이크 어플리케이션(280)의 실행에 기반하여, 웨어러블 장치(101)는 공간 좌표계 내에 가상 마이크를 추가할 수 있다. 물리 엔진(275)이 실행된 상태 내에서, 웨어러블 장치(101)는 외부 객체 인식기(271)의 실행에 기반하여 공간 좌표계 내에 포함된 외부 객체 및 상기 가상 마이크 사이의 상호작용을 식별할 수 있다. 가상 마이크가 외부 객체에 부착된 경우, 웨어러블 장치(101)는 상기 외부 객체의 모션에 기반하여, 상기 공간 좌표계 내에서 상기 외부 객체에 대응하는 3차원 객체를 이동할 수 있다. 상기 이동된 3차원 객체에 기반하여, 웨어러블 장치(101)는 가상 마이크의 모션을 식별할 수 있다. 외부 객체가 손에 부착된 경우, 웨어러블 장치(101)는 손 인식기(272)를 이용하여 식별된 상기 손의 자세 및/또는 제스쳐에 기반하여, 공간 좌표계 내에서 상기 손에 부착된 것으로 지시되는 가상 마이크를 이동할 수 있다.
일 실시예에서, 웨어러블 장치(101)는 가상 마이크 어플리케이션(280)을 실행하여, 웨어러블 장치(101)가 포함된 외부 공간 내에서 가상 마이크를 추적하기 위한 기능을 실행할 수 있다. 상기 기능은, 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 상기 외부 공간 내에서 상기 가상 마이크의 위치를 계산하는 기능을 포함할 수 있다. 상기 적어도 하나의 속성은, 상기 가상 마이크의 행동 양식(behavior pattern)을 지시할 수 있다. 상기 행동 양식은, 가상 마이크가 부착된 외부 객체(예, 도 1의 제3 사용자(110-3)), 가상 마이크가 손과 같은 지정된 신체 부위에 의해 휴대 가능한지 여부, 및/또는 가상 마이크 및 외부 객체 사이의 부착 방식을 포함할 수 있다. 적어도 하나의 속성에 의해 지시되는 행동 양식에 기반하여, 웨어러블 장치(101)는 가상 마이크의 위치를 추적하는데 필요한 하나 이상의 파라미터들을 선택할 수 있다. 예를 들어, 가상 마이크가 외부 객체로 부착되는 경우, 웨어러블 장치(101)는 적어도 하나의 속성에 기반하여, 상기 외부 객체의 위치, 및 상기 외부 객체 내에서 상기 가상 마이크가 부착된 위치를, 상기 하나 이상의 파라미터들로 선택할 수 있다. 선택된 하나 이상의 파라미터들에 기반하여, 웨어러블 장치(101)는 시스템 어플리케이션(270)을 실행하여, 가상 마이크의 위치를 식별할 수 있다.
도 2b를 참고하면, 가상 마이크 어플리케이션(280) 및 시스템 어플리케이션(270)에 의해 지원되는 상이한 기능들이, 상이한 블록들에 의해 구분되어 도시될 수 있다. 가상 마이크 어플리케이션(280)에 포함된 인스트럭션들은, 가상 마이크의 생성, 제거 및 관리를 위해 실행되는 가상 마이크 매니저(281), 카메라(240)에 기반하여 인식된 외부 공간(또는 상기 외부 공간 내 오브젝트)에 기반하여 가상 마이크의 위치를 식별하기 위한 가상 마이크 위치 식별기(282), 웨어러블 장치(101)를 포함하는 적어도 하나의 전자 장치로부터 획득된 적어도 하나의 오디오 신호를 합성하기 위한 오디오 신호 합성기(283), 통신 회로(250)를 이용하여 웨어러블 장치(101)와 구분되는 외부 전자 장치과 통신하기 위한 통신 제어기(284)로 구분될 수 있다.
도 2b를 참고하면, 가상 마이크 매니저(281)의 실행에 기반하여, 웨어러블 장치(101)는 가상 마이크를 추가, 변경 및/또는 삭제할 수 있다. 웨어러블 장치(101)는 사용자(예, 도 1의 사용자(110))로부터, 가상 마이크를 추가함을 지시하는 입력을 식별할 수 있다. 웨어러블 장치(101)는 상기 입력에 기반하여, 가상 마이크로 할당될 적어도 하나의 속성(예: 가상 마이크의 위치, 및/또는 가상 마이크의 추적과 관련된 외부 객체)을 식별할 수 있다. 웨어러블 장치(101)는 가상 마이크 매니저(281)의 실행에 기반하여, 가상 마이크의 추가, 변경 및/또는 삭제를 위한 UI를 표시할 수 있다. 상기 UI를 이용하여, 웨어러블 장치(101)는 가상 마이크의 추가, 변경 및/또는 삭제를 위한 입력을 수신할 수 있다. 가상 마이크 매니저(281) 및/또는 가상 마이크 어플리케이션(280)이 실행된 상태 내에서, 웨어러블 장치(101)는 시스템 어플리케이션(270)에 의해 식별된 가상 마이크 및 웨어러블 장치(101) 사이의 거리를 식별할 수 있다. 상기 상태 내에서, 상기 거리에 기반하여, 웨어러블 장치(101)는 가상 마이크를 제거할 수 있다. 예를 들어, 지정된 거리를 초과하는 상기 거리를 식별한 경우, 웨어러블 장치(101)는 상기 가상 마이크를 제거할 수 있다.
도 2b를 참고하면, 가상 마이크 위치 식별기(282)의 실행에 기반하여, 웨어러블 장치(101)는 가상 마이크의 위치를 식별할 수 있다. 가상 마이크의 위치를 식별하기 위하여, 웨어러블 장치(101)는 시스템 어플리케이션(270)에 포함된 인스트럭션들을 적어도 부분적으로(at least partially) 실행할 수 있다. 예를 들어, 가상 마이크로 할당된 적어도 하나의 속성(예: 가상 마이크가 결합될 외부 객체)에 기반하여, 상기 가상 마이크가 부착된 오브젝트를 식별한 상태 내에서, 웨어러블 장치(101)는 시스템 어플리케이션(270)을 이용하여, 상기 오브젝트를 인식 및/또는 추적할 수 있다. 가상 마이크 위치 식별기(282)의 실행에 기반하여, 웨어러블 장치(101)는 시스템 어플리케이션(280) 내에 포함된 프로그램들(예, 외부 객체 인식기(271), 손 인식기(272), 웨어러블 장치 모션 인식기(273), 장면 인식기(274) 및/또는 물리 엔진(275)) 중 적어도 하나를 선택적으로 실행하여, 가상 마이크의 위치를 계산할 수 있다. 예를 들어, 가상 마이크가 외부 객체와 부착된 경우, 웨어러블 장치(101)는 상기 외부 객체의 위치에 기반하여 가상 마이크의 위치를 식별할 수 있다. 상기 외부 객체의 위치를 식별하기 위하여, 웨어러블 장치(101)는 외부 객체 인식기(271) 및/또는 손 인식기(272)를 실행할 수 있다. 웨어러블 장치(101)의 시스템 어플리케이션(270)을 이용하여 상기 외부 객체를 추적할 수 없거나, 또는 상기 외부 객체가 웨어러블 장치(101)로부터 지정된 거리를 초과하여 이격된 경우, 웨어러블 장치(101)는, 웨어러블 장치(101)와 상이한 외부 전자 장치를 이용하여 상기 외부 객체의 위치를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 표 1의 상이한 행들을 따라 구분된 행동 양식에 기반하여, 상기 가상 마이크의 상기 위치를 결정할 수 있다.
Figure PCTKR2023015779-appb-img-000001
표 1을 참고하면, 웨어러블 장치(101)는 가상 마이크의 위치를 결정하기
위해 모든 행동 양식에서 공통으로 웨어러블 장치 모션 인식기(273)를 실행할 수 있다. 표 1을 참고하면, 가상 마이크의 위치를 결정하기 위하여 물리 효과가 적용되는 경우, 웨어러블 장치(101)는 웨어러블 장치 모션 인식기(273), 장면 인식기(274) 및 물리 엔진(275)을 실행하여, 가상 마이크의 위치를 계산할 수 있다. 예를 들어, 장면 인식기(274) 및 웨어러블 장치 모션 인식기(273)에 기반하여 인식된 공간 좌표계에 기반하여 물리 엔진(275)을 실행하여, 웨어러블 장치(101)는 가상 마이크로 물리 효과를 적용할 수 있다. 표 1을 참고하면, 가상 마이크가 고정(immovable) 객체와 부착된 경우, 웨어러블 장치(101)는 외부 객체 인식기(271) 및 웨어러블 장치 모션 인식기(273)의 실행에 기반하여, 가상 마이크의 위치를 계산할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 객체 인식기(271)에 의해 추적된 상기 고정 객체 및 웨어러블 장치 모션 인식기(273)에 의해 식별된 웨어러블 장치(101) 사이의 위치 관계에 기반하여, 웨어러블 장치(101)의 표시 영역 내에서의 가상 마이크의 위치를 결정할 수 있다. 표 1을 참고하면, 가상 마이크가 유동(movable) 객체와 부착된 경우, 웨어러블 장치(101)는 외부 객체 인식기(271) 및 웨어러블 장치 모션 인식기(273)의 실행에 기반하여, 가상 마이크의 위치를 계산할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 객체 인식기(271)에 의해 추적된 상기 유동 객체 및 웨어러블 장치 모션 인식기(273)에 의해 식별된 웨어러블 장치(101) 사이의 위치 관계에 기반하여, 웨어러블 장치(101)의 표시 영역 내에서의 가상 마이크의 위치를 결정할 수 있다. 표 1을 참고하면, 가상 마이크가 특정 사용자에 의해 휴대되는 경우, 웨어러블 장치(101)는 손 인식기(272)에 의해 식별되는 상기 특정 사용자의 손의 위치 및/또는 자세를 추적할 수 있다. 추적된 상기 손의 위치 및/또는 자세에 기반하여, 웨어러블 장치(101)는 상기 손에 의해 이동되는 가상 마이크를 식별할 수 있다. 표 1을 참고하면, 가상 마이크가 외부 공간의 특정 지점(예, 공중(midair))에서 부유하는 경우, 웨어러블 장치(101)는 웨어러블 장치 모션 인식기(273)에 의해 식별된 웨어러블 장치(101) 및 상기 특정 지점 사이의 위치 관계에 기반하여, 웨어러블 장치(101)의 표시 영역 내에서의 가상 마이크의 위치를 결정할 수 있다.
도 2b를 참고하면, 오디오 신호 합성기(283)의 실행에 기반하여, 웨어러블 장치(101)는 하나 이상의 오디오 신호들을 합성할 수 있다. 웨어러블 장치(101)는 가상 마이크 위치 식별기(282)에 의해 식별된 가상 마이크의 위치에 기반하여, 상기 하나 이상의 오디오 신호들을 합성할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101) 내에 포함된 마이크들(예, 도 2a의 마이크(260))를 통하여 입력된 오디오 신호들을, 상기 가상 마이크의 상기 위치에 기반하여 합성할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 가상 마이크의 위치의 대기의 진동을 표현하는 다른 오디오 신호를, 상기 오디오 신호들로부터 합성할 수 있다. 오디오 신호 합성기(283)에 의해 합성된 오디오 신호는, 상기 가상 마이크의 위치 내에서 식별된 대기의 진동을 표현한 오디오 신호일 수 있다.
일 실시예에 따른, 웨어러블 장치(101)가 오디오 신호 합성기(283)의 실행을 위해 이용하는 오디오 신호는, 웨어러블 장치(101) 내 마이크를 통하여 입력된 오디오 신호에 제한되지 않는다. 웨어러블 장치(101)는 웨어러블 장치(101)와 상이한 외부 전자 장치로부터 오디오 신호를 획득하기 위하여, 통신 제어기(284)를 실행할 수 있다. 통신 제어기(284)가 실행된 상태 내에서, 웨어러블 장치(101)는 통신 회로(250)를 제어하여, 웨어러블 장치(101)와 상이한 외부 전자 장치로, 가상 마이크에 기반하는 오디오 신호를 레코딩할 것을 요청할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 가상 마이크로 할당된 적어도 하나의 속성(예, 가상 마이크가 결합된 외부 객체)을 포함하는 제1 신호를 브로드캐스팅할 수 있다. 웨어러블 장치(101)에 의해 브로드캐스팅된 상기 제1 신호는, 가상 마이크로부터 지정된 거리 미만으로 이격된 하나 이상의 외부 전자 장치들로 송신될 수 있다. 유사하게, 웨어러블 장치(101)는 통신 제어기(284)를 이용하여, 외부 전자 장치로부터 브로드캐스팅된 신호로부터, 가상 마이크를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 통신 제어기(284)가 실행된 상태 내에서, 외부 전자 장치와 통신 링크를 수립하거나, 또는 수립된 통신 링크를 통하여 오디오 신호를 수신할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 전자 장치로부터 상기 제1 신호에 대한 응답으로, 외부 전자 장치에 의해 레코딩된 오디오 신호를 포함하는 제2 신호를 수신할 수 있다. 상기 제2 신호를 수신한 웨어러블 장치(101)는 오디오 신호 합성기(283)를 실행하여, 상기 제2 신호에 포함된 오디오 신호, 및 웨어러블 장치(101)의 마이크를 통하여 입력된 오디오 신호를 합성할 수 있다. 상기 합성에 기반하여, 웨어러블 장치(101)는 가상 마이크에 대응하는 오디오 신호를 획득할 수 있다. 오디오 신호 합성기(283)가 실행된 상태 내에서, 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)를 포함하는 복수의 전자 장치들로부터 오디오 신호들을 수신할 수 있다. 웨어러블 장치(101)는 상기 수신된 오디오 신호들 중에서, 가상 마이크 및 상기 복수의 전자 장치들 각각의 거리들에 기반하여 선택된 적어도 하나의 오디오 신호로부터, 상기 가상 마이크에 대응하는 오디오 신호를 획득할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크 어플리케이션(280) 및/또는 시스템 어플리케이션(270)의 실행에 기반하여, 웨어러블 장치(101)를 포함하는 복수의 전자 장치들에 의해 획득된 오디오 신호들을 합성할 수 있다. 상기 오디오 신호들을 합성하기 위하여, 웨어러블 장치(101)는, 웨어러블 장치(101)가 포함된 외부 공간 내에서 가상 마이크의 위치를 결정할 수 있다. 웨어러블 장치(101)는, 상기 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 상기 가상 마이크의 상기 위치를 결정할 수 있다. 상기 적어도 하나의 속성은, 상기 가상 마이크가 부착된 이동가능한 외부 객체(예, 손)를 지시할 수 있다. 웨어러블 장치(101)는 상기 외부 객체의 위치에 기반하여, 상기 가상 마이크의 상기 위치를 결정할 수 있다. 웨어러블 장치(101)는 상기 결정된 위치에 기반하여, 웨어러블 장치(101) 내 마이크(260) 및/또는 상기 외부 공간 내에 포함된 외부 전자 장치로부터 오디오 신호를 획득할 수 있다. 상기 외부 전자 장치 및 상기 가상 마이크의 상기 위치 사이의 거리는, 웨어러블 장치(101) 및 상기 가상 마이크의 상기 위치 사이의 거리 보다 작을 수 있다. 웨어러블 장치(101)는, 상기 마이크(260)로부터 획득된 오디오 신호, 및 상기 외부 전자 장치로부터 획득된 오디오 신호를 합성하여, 상기 가상 마이크에 대한 오디오 신호를 획득할 수 있다. 웨어러블 장치(101)로부터 이격된 가상 마이크에 대한 오디오 신호를 획득하는 상태 내에서, 웨어러블 장치(101)는, 웨어러블 장치(101) 보다 상기 가상 마이크의 상기 위치에 가까이 배치된 외부 전자 장치를 이용할 수 있다. 웨어러블 장치(101)는 상기 외부 전자 장치를 이용하여, 웨어러블 장치(101)의 마이크(260)로부터 획득된 오디오 신호 보다 개선된 품질을 가지는 오디오 신호를, 상기 가상 마이크에 대한 오디오 신호로써 획득할 수 있다.
이하에서는, 도 3a 내지 도 3b 및/또는 도 4a 내지 도 4b를 이용하여, 일 실시예에 따른, 웨어러블 장치(101)의 폼 팩터의 일 예가 설명된다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(300) 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(300)는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)를 포함할 수 있다. 도 3a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(300)는, 적어도 하나의 디스플레이(350), 및 적어도 하나의 디스플레이(350)를 지지하는 프레임을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(300)는, 도 3b의 동작 인식 카메라(340-2)를 통해 획득된 사용자의 지정된 제스쳐에 응답하여, 적어도 하나의 디스플레이(350)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른, 웨어러블 장치(300) 내 적어도 하나의 디스플레이(350)는, 사용자에게 시각 정보를 제공할 수 있다. 상기 적어도 하나의 디스플레이(350)는, 도 2의 디스플레이(230)를 포함할 수 있다. 예를 들면, 적어도 하나의 디스플레이(350)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(350)는, 제1 디스플레이(350-1) 및/또는 제1 디스플레이(350-1)로부터 이격된 제2 디스플레이(350-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 3b를 참조하면, 적어도 하나의 디스플레이(350)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(300)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(350)에 의해 형성된 표시 영역은, 렌즈의 제1 면(331), 및 제2 면(332) 중 제2 면(332) 상에 형성될 수 있다. 사용자가 웨어러블 장치(300)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(350)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(350)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(382, 384), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(333, 334))를 통하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 적어도 하나의 디스플레이(350)로부터 송신되고, 광학 장치들(382, 384)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(333, 334)을 포함할 수 있다. 웨이브가이드들(333, 334)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(333, 334)의 타 단으로 전파될 수 있다. 웨이브가이드들(333, 334)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(333, 334)은, 적어도 하나의 디스플레이(350)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(300) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(333, 334) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 촬영 카메라(340-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(350)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(300)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(300)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(300)를 착용한 사용자는, 적어도 하나의 디스플레이(350)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임은, 웨어러블 장치(300)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(300)를 착용하였을 때, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(350)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
일 실시예에 따른, 도 3a를 참조하면, 프레임은, 사용자가 웨어러블 장치(300)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(300)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(300)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다.
일 실시예에서, 프레임은, 제1 디스플레이(350-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(350-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(304, 305)은, 도 3b의 힌지 유닛들(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(300)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 2a 내지 도 2b의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 광학 장치들(382, 384), 스피커들(392-1, 392-2), 마이크들(394-1, 394-2, 394-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)의 마이크들(394-1, 394-2, 394-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 상기 마이크들(394-1, 394-2, 394-3)은 도 2a 내지 도 2b의 마이크(260)의 일 예일 수 있다. 노즈 패드(310) 상에 배치된 제1 마이크(394-1), 제2 림(302) 상에 배치된 제2 마이크(394-2), 및 제1 림(301) 상에 배치된 제3 마이크(394-3)가 도 3b 내에 도시되지만, 마이크(394)의 개수, 및 배치가 도 3b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(300) 내에 포함된 마이크(394)의 개수가 두 개 이상인 경우, 웨어러블 장치(300)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(333, 334)로 송신할 수 있다. 예를 들면, 광학 장치들(382, 384)은, 프로젝터일 수 있다. 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)에 인접하여 배치되거나, 적어도 하나의 디스플레이(350)의 일부로써, 적어도 하나의 디스플레이(350) 내에 포함될 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)에 대응하고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)에 대응할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)로부터 출력된 광을, 제1 웨이브가이드(333)로 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)로부터 출력된 광을, 제2 웨이브가이드(334)로 송출할 수 있다.
일 실시예에서, 카메라(340)는, 시선 추적 카메라(eye tracking camera, ET CAM)(340-1), 동작 인식 카메라(340-2), 및/또는 촬영 카메라(340-3)를 포함할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는 도 2a 내지 도 2b의 카메라(240)의 일 예일 수 있다. 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(300)는 시선 추적 카메라(340-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(340-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 3b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(340-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(340-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(350)로 제공할 수 있다. 적어도 하나의 디스플레이(350)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(382, 384)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.
일 실시예에서, 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(350)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(300)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(350)에 표시할 수 있다. 시선 추적 카메라(340-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(340-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(300)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에서, 동작 인식 카메라(340-2)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(350)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(340-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(350)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(340-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.
일 실시예에서, 웨어러블 장치(300) 내에 포함된 카메라(340)는, 상술된 시선 추적 카메라(340-1), 동작 인식 카메라(340-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(300)는 사용자의 FoV를 향하여 배치된 촬영 카메라(340-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(300)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(300), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(340)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(340)(예, FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(300)는, 카메라(340)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(306, 307) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(300)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다.
일 실시예에서, 안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(300)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 웨어러블 장치(300) 내 통신 회로(예, 도 2a 내지 도 2b의 통신 회로(250))와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다.
일 실시예에서, 스피커들(392-1, 392-2)은, 음향 신호를 웨어러블 장치(300)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(392-1, 392-2)은, 웨어러블 장치(300)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(300)는, 제1 템플(304) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(392-2), 및 제2 템플(305) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(392-1)를 포함할 수 있다.
일 실시예에서, 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(300)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(300)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.
도 3b를 참고하면, 일 실시예에 따른, 웨어러블 장치(300)는 PCB(printed circuit board)(390)을 포함할 수 있다. PCB(390)는, 제1 템플(304), 또는 제2 템플(305) 중 적어도 하나에 포함될 수 있다. PCB(390)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(390) 상에서, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어들(예, 도 2a 내지 도 2b를 참고하여 상술된 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(300)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 웨어러블 장치(300)의 자세, 및/또는 웨어러블 장치(300)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 IMU에 기반하여 웨어러블 장치(300)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치(400)의 외관의 일 예를 도시한다. 도 4a 내지 도 4b의 웨어러블 장치(400)는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(400)의 하우징의 제1 면(410)의 외관의 일 예가 도 4a에 도시되고, 상기 제1 면(410)의 반대되는(opposite to) 제2 면(420)의 외관의 일 예가 도 4b에 도시될 수 있다.
도 4a를 참고하면, 일 실시예에 따른, 웨어러블 장치(400)의 제1 면(410)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(400)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 3a 내지 도 3b의 제1 템플(304), 및/또는 제2 템플(305))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(350-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(350-2)가 제1 면(410) 상에 배치될 수 있다. 웨어러블 장치(400)는 제1 면(410) 상에 형성되고, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(440-1, 440-2)을 포함할 수 있다. 상기 카메라들(440-1, 440-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(400)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(440-3, 440-4)을 포함할 수 있다. 상기 카메라들(440-3, 440-4)은, FT 카메라로 참조될 수 있다.
도 4b를 참고하면, 도 4a의 제1 면(410)과 반대되는 제2 면(420) 상에, 웨어러블 장치(400)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)), 및/또는 센서(예, 깊이 센서(430))가 배치될 수 있다. 예를 들어, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)은, 웨어러블 장치(400)와 상이한 외부 객체를 인식하기 위하여, 제2 면(420) 상에 배치될 수 있다. 예를 들어, 카메라들(440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 미디어를 획득할 수 있다. 카메라(440-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(350-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다. 카메라(440-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(350-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의제2 면(420) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 웨어러블 장치(400), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(420) 상에 배치된 깊이 센서(430)를 포함할 수 있다. 깊이 센서(430)를 이용하여, 웨어러블 장치(400)는, 웨어러블 장치(400)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
비록 도시되지 않았지만, 웨어러블 장치(400)의 제2 면(420) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크(예, 도 2a 내지 도 2b의 마이크(260))가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(400)는 사용자의 머리에 착용되기 위한 폼 팩터를 가질 수 있다. 웨어러블 장치(400)는, 상기 머리에 착용된 상태 내에서, 증강 현실, 가상 현실, 및/또는 혼합 현실에 기반하는 사용자 경험을 제공할 수 있다. 외부 공간에 포함된 외부 객체를 추적하기 위한 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 가상 마이크에 기반하는 오디오 신호의 레코딩을 수행할 수 있다.
이하에서는, 도 5a 내지 도 5b를 참고하여, 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함하는 웨어러블 장치(예, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101))가, 가상 마이크를 추가하기 위한 입력을 식별하는 동작의 일 예가 설명된다.
도 5a 내지 도 5b는, 일 실시예에 따른, 웨어러블 장치(101)가 가상 마이크를 추가함을 지시하는 입력을 식별하는 동작의 일 예를 도시한다. 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)는, 도 5a 내지 도 5b의 웨어러블 장치(101)를 포함할 수 있다.
도 5a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 센서를 통해 식별되는 웨어러블 장치(101)의 지리적 위치에 기반하여, 웨어러블 장치(101) 및/또는 사용자(110)가 이동하는 방향(M)을 식별할 수 있다. 웨어러블 장치(101)는 IMU의 데이터에 기반하여, 웨어러블 장치(101)를 착용한 사용자(110)의 머리가 향하는 방향(H)을 식별할 수 있다. 웨어러블 장치(101)는, 사용자(110)에 의해 착용된 상태 내에서, 상기 사용자(110)의 눈을 향하도록 배치된 카메라(예, 도 2a의 카메라(240), 도 3b의 ET 카메라(340-1), 및/또는 도 4a의 카메라들(440-3, 440-4))를 이용하여 상기 눈의 방향(E)을 식별할 수 있다. 웨어러블 장치(101)는, 상기 눈을 향하여 배치된 상기 카메라와 상이한 방향을 가지는 다른 카메라의(예, 도 2a의 카메라(240), 도 3b의 동작 인식 카메라(340-2) 및/또는 도 4b의 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10))의 프레임들로부터, 손을 식별할 수 있다. 웨어러블 장치(101)는 상기 손의 자세에 기반하여, 상기 손에 포함된 적어도 하나의 손가락의 방향(F)을 식별할 수 있다. 방향들(H, E, F, M)은, 웨어러블 장치(101)는 센서 및/또는 카메라를 이용하여 사용자(110)의 신체 부위의 방향일 수 있다. 예를 들어, 웨어러블 장치(101)는 센서를 이용하여, 신체 부위의 방향(예, 방향들(H, E, F, M) 중 적어도 하나)을 지시하는 정보를 획득할 수 있다.
일 실시예에 따른 웨어러블 장치(101)는, 신체 부위의 방향(예, 방향들(H, E, F, M) 중 적어도 하나)에 기반하여, 가상 마이크를 추가함을 지시하는 입력을 식별할 수 있다. 도 5a를 참고하면, 웨어러블 장치(101)가 상기 입력을 식별한 상태 내에서, 디스플레이를 이용하여 표시 영역 내에 상기 가상 마이크와 관련된 시각적 객체들(510, 520)을 표시한 일 예가 도시된다. 도 5a를 참고하면, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 상기 방향에 의해 지시되는 표시 영역의 일부분에, 가상 마이크를 표현한 시각적 객체(510)를 표시할 수 있다. 시각적 객체(510)의 형태는, 상기 가상 마이크로 할당된 적어도 하나의 속성(예, 가상 마이크에 대응하는 아이콘 및/또는 이미지)에 종속될 수 있다. 시각적 객체(510)의 위치는, 웨어러블 장치(101)에 의해 식별되는 신체 부위의 방향에 의해 변경될 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(510)를 쥐는 손의 자세 및/또는 손의 방향(F)에 기반하여, 시각적 객체(510)를 이동함을 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 표시 영역 내에서 시각적 객체(510)의 위치를 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는 손의 방향(F)이 향하는 표시 영역의 일부분에 시각적 객체(510)를 표시할 수 있다. 손의 방향(F)이 이동됨에 따라, 웨어러블 장치(101)는 표시 영역 내에서 시각적 객체(510)를 이동할 수 있다.
도 5a를 참고하면, 일 실시예에 따른 웨어러블 장치(101)는 표시 영역 내에, 가상 마이크로 할당되는 적어도 하나의 속성(예, 가상 마이크의 위치)을 변경하기 위한 시각적 객체(520)를 표시할 수 있다. 시각적 객체(520)는, 마이크를 표현한 시각적 객체(510)와 관련된 지정된 제스쳐(예, 시각적 객체(510)를 쥐는 손의 자세)를 식별하는 것에 기반하여, 표시될 수 있다. 웨어러블 장치(101)는, 시각적 객체(510)의 일부분(예, 마이크의 버튼이 표시된 일부분)에 대한 지정된 제스쳐(예, 상기 일부분을 누르는 제스쳐)를 식별하는 것에 기반하여, 시각적 객체(520)를 표시할 수 있다. 비록 윈도우의 형태를 가지는 시각적 객체(520)가 예시적으로 도시되지만, 실시예가 이에 제한되는 것은 아니다.
도 5a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 시각적 객체(520) 내에, 가상 마이크에 대한 속성들에 대응하는 시각적 객체들(531, 532, 533, 534)을 표시할 수 있다. 웨어러블 장치(101)는 시각적 객체(520) 내에, 시각적 객체들(510, 520)에 대응하는 가상 마이크로 고유하게 할당된(uniquely assigned to) 명칭을 표시할 수 있다. 시각적 객체(531)는, 가상 마이크의 속성들 중에서, 가상 마이크에 기반하여 레코딩을 수행할지 여부를 지시하는 속성에 대응할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(531)를 이용하여, 활성 상태 또는 비활성 상태 중에서 선택된, 가상 마이크의 상태를 표시할 수 있다. 상기 활성 상태는, 상기 가상 마이크에 기반하는 오디오 신호를 레코딩하기 위한 상태를 포함할 수 있다. 상기 비활성 상태는, 상기 오디오 신호의 레코딩이 중단된 상태를 포함할 수 있다. 시각적 객체(531)를 이용하여, 웨어러블 장치(101)는 가상 마이크의 상태를 전환하기 위한 입력을 식별할 수 있다. 예를 들어, 시각적 객체(531)는, 상기 활성 상태, 상기 비활성 상태 중에서 가상 마이크의 상태를 선택하기 위한 드롭다운 박스의 형태를 가질 수 있다. 시각적 객체(531)를 통해 선택가능한(selectable) 가상 마이크의 상태는, 상기 활성 상태, 및 상기 비활성 상태에 제한되지 않는다. 예를 들어, 시각적 객체(531)를 통해 선택가능한 가상 마이크의 상태는, 상기 가상 마이크를 통해 지정된 크기를 초과하는 오디오 신호를 수신하는 것에 기반하여, 오디오 신호의 레코딩을 조건부로(conditionally) 개시하거나, 또는 중단하는 지정된 상태(예, 자동 레코딩 상태)를 포함할 수 있다.
도 5a를 참고하면, 웨어러블 장치(101)는 시각적 객체(520) 내에, 가상 마이크를 통해 획득될 오디오 신호에 적용될 음향 효과(sound effect)를 선택하기 위한 시각적 객체(532)를 표시할 수 있다. 시각적 객체(532)는 상이한 음향 효과들이 열거된(listed) 드롭다운 박스의 형태를 가질 수 있다. 시각적 객체(532) 내에 포함된 상기 음향 효과들은, 콘서트 홀, 에코, 및/또는 목소리 변조를 포함할 수 있다.
도 5a를 참고하면, 웨어러블 장치(101)는 시각적 객체(520) 내에, 가상 마이크의 행동 양식을 선택하기 위한 시각적 객체(533)를 표시할 수 있다. 시각적 객체(533)는, 가상 마이크의 위치를 계산하는데 이용될 상기 행동 양식이 열거된 드롭다운 박스의 형태를 가질 수 있다. 시각적 객체(533)를 통해 선택가능한 가상 마이크의 행동 양식은, 웨어러블 장치(101)와 상이한 외부 객체에 접착되도록 설정된 제1 행동 양식, 웨어러블 장치(101)가 포함된 외부 공간을 부유하도록(floating) 설정된 제2 행동 양식, 및/또는 물리 법칙에 기반하여 외부 객체와 상호작용하도록 설정된 제3 행동 양식을 포함할 수 있다. 상기 제1 행동 양식 내지 상기 제3 행동 양식은, 상이한 텍스트들에 기반하여, 시각적 객체(533)를 통해 표시될 수 있다. 예를 들어, 도 5a의 시각적 객체(533) 내 텍스트("sticky")는, 상기 제1 행동 양식이 선택되었음을 지시할 수 있다. 시각적 객체(533)에 의해 선택된 행동 양식에 기반하여, 웨어러블 장치(101)는 가상 마이크를 표현한 시각적 객체(510)와 인접한 표시 영역 내 외부 객체를 식별할 수 있다. 상기 제1 행동 양식이 선택된 상기 예시 내에서, 웨어러블 장치(101)는 시각적 객체(510)와 인접한 외부 객체를, 가상 마이크가 접착된 외부 객체로 선택할 수 있다.
도 5a를 참고하면, 웨어러블 장치(101)는 시각적 객체(520) 내에, 가상 마이크에 기반하여 레코딩되는 오디오 신호의 기준 볼륨(reference volume)을 선택하기 위한 시각적 객체(534)를 표시할 수 있다. 시각적 객체(534)는, 슬라이더와 같이, 지정된 범위 내에서 상기 기준 볼륨을 지시하는 수치 값(numeric value)을 선택 및/또는 조절하기 위한 형태를 가질 수 있다. 웨어러블 장치(101)는 시각적 객체(520) 내에, 시각적 객체들(531, 532, 533, 534)에 의하여 조절된 적어도 하나의 속성을 저장하기 위한 시각적 객체(522)를 표시할 수 있다. 시각적 객체(522) 내에서, 웨어러블 장치(101)는 상기 적어도 하나의 속성을 저장함을 지시하는 지정된 텍스트(예, "확인")를 표시할 수 있다. 웨어러블 장치(101)는 시각적 객체(520) 내에, 시각적 객체(520)의 표시를 중단하기 위한 시각적 객체(524)를 표시할 수 있다. 시각적 객체(524) 내에서, 웨어러블 장치(101)는 시각적 객체(520)의 표시의 중단을 지시하는 지정된 텍스트(예, "취소")를 표시할 수 있다.
도 5a를 참고하면, 시각적 객체들(531, 532, 533, 534)에 기반하여, 가상 마이크로 할당되는 속성들이 예시되었지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 시각적 객체들(531, 532, 533, 534) 중 적어도 하나가 생략될 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(520) 내에서, 가상 마이크의 상태를 전환하기 위한 시각적 객체(531)와 독립적으로, 상기 상태를 조절 가능한 사용자를 변경하기 위한 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101) 내에 저장된 연락처 리스트에 기반하여, 가상 마이크의 상태를 조절하는 것이 허용된 하나 이상의 사용자들을 선택하기 위한 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(520)에 기반하여, 가상 마이크로 할당된 적어도 하나의 속성을 변경하는 것이 허용된 사용자를 선택하기 위한 입력을 수신할 수 있다. 상기 예시 내에서, 웨어러블 장치(101)는 상기 연락처 리스트에 기반하여, 상기 가상 마이크로 할당된 상기 적어도 하나의 속성을 변경하는 것이 허용된 하나 이상의 사용자들을 선택하기 위한 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(520)를 이용하여, 가상 마이크에 기반하는 오디오 신호의 레코딩을 수행할 하나 이상의 사용자들을 선택하기 위한 입력을 식별할 수 있다. 웨어러블 장치(101)는 시각적 객체(520)를 이용하여, 가상 마이크로 할당된 적어도 하나의 속성을 브로드캐스팅할지 여부를 선택하기 위한 입력을 식별할 수 있다.
도 5b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 표시 영역을 통해 보여지는 외부 객체(550)에 가상 마이크를 결합하기 위한 화면을 표시할 수 있다. 예를 들어, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)의 표시 영역은, 상기 사용자(110)의 전방에 대한 이미지를 포함할 수 있다. 웨어러블 장치(101)는, 가상 마이크가 결합될 외부 객체(550)의 선택을 가이드하기 위한 시각적 객체(570)를 표시할 수 있다. 시각적 객체(570) 내에서, 웨어러블 장치(101)는 표시 영역을 통해 보여지는 외부 객체의 선택을 가이드하기 위한 텍스트(예, "원하는 위치에 마이크를 붙여주세요")를 표시할 수 있다. 웨어러블 장치(101)는 표시 영역 내에서, 외부 객체(550) 상의 지점(580)을 선택하는 제스쳐를 식별할 수 있다. 웨어러블 장치(101)는, 도 5a를 참고하여 상술된, 신체 부위의 방향(예, 방향들(H, E, F, M) 중 적어도 하나)에 기반하여 상기 제스쳐를 식별할 수 있다. 도 5b를 참고하면, 웨어러블 장치(101)는 지점(580)을 선택하는 상기 제스쳐에 기반하여, 외부 객체(550)의 표시 영역 내 외곽선을 따라 시각적 객체(560)를 표시할 수 있다. 시각적 객체(560)는, 상기 제스쳐에 의해 선택된 외부 객체(550)를 강조하기 위하여, 웨어러블 장치(101)에 의해 표시될 수 있다.
도 5b의 일 실시예에서, 외부 객체(550) 상의 지점(580)을 선택하는 제스쳐에 기반하여, 웨어러블 장치(101)는 가상 마이크를 표현한 시각적 객체(590)를 표시할 수 있다. 웨어러블 장치(101)는 상기 제스쳐에 의해 선택된 지점(580) 상에 중첩으로 시각적 객체(590)를 표시할 수 있다. 가상 마이크가 결합될 외부 객체(550)를 선택하는 도 5b의 상태 내에서, 웨어러블 장치(101)는 핀 마이크의 레이아웃을 가지는 시각적 객체(590)를 표시할 수 있다. 지점(580)을 선택하는 상기 제스쳐에 의하여, 웨어러블 장치(101)는 외부 객체(550) 및 가상 마이크를 결합할 수 있다. 가상 마이크가 결합된 외부 객체(550)의 위치를 추적하여, 웨어러블 장치(101)는 가상 마이크의 위치를 결정할 수 있다. 가상 마이크가 사람인 외부 객체(550)에 결합된 도 5b의 일 실시예에서, 웨어러블 장치(101)는 지점(580)에 대응하는 외부 객체(550)의 지점(예, 사람의 목)의 위치를, 상기 가상 마이크의 위치로 선택할 수 있다. 외부 객체(550)를 추적하기 위하여, 웨어러블 장치(101)는 도 2b의 외부 객체 인식기(271)를 실행할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101) 내 마이크(예, 도 2a의 마이크(260))로부터 이격된 지점에 가상 마이크를 추가할 수 있다. 도 5a를 참고하여 상술된 일 실시예와 같이, 웨어러블 장치(101)는 상기 가상 마이크와 관련된 적어도 하나의 속성을, 사용자(110)로부터 획득할 수 있다. 도 5b를 참고하여 상술된 일 실시예와 같이, 웨어러블 장치(101)는 가상 마이크의 위치를 결정하기 위해 이용되는 외부 객체(550)를 선택하기 위한 UI를 표시할 수 있다. 웨어러블 장치(101)는 상기 추가된 가상 마이크를 이용하여, 웨어러블 장치(101) 내 상기 마이크를 통하여 입력된 오디오 신호를 변경할 수 있다. 웨어러블 장치(101)는 상기 오디오 신호를 변경하여, 상기 가상 마이크가 추가된 상기 지점에 대한 다른 오디오 신호를 생성할 수 있다.
이하에서는, 도 6을 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 표시 영역 내에 가상 마이크를 표시하는 일 실시예가 설명된다.
도 6은, 일 실시예에 따른, 웨어러블 장치(101)가 가상 마이크를 시각화하는 동작의 일 예를 도시한다. 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)는, 도 6의 웨어러블 장치(101)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 외부 공간 내에서 상기 가상 마이크의 위치를 결정할 수 있다. 도 6을 참고하면, 손(610)과 같은 지정된 신체 부위에 의해 이동되는 것으로 설정된 속성을 가지는 가상 마이크가 추가된 예시적인 상태가 도시된다. 도 6의 상태 내에서, 표 1을 참고하여 상술한 바와 같이, 웨어러블 장치(101)는 도 2b의 손 인식기(272)를 실행하여, 표시 영역 내에서의 손(610)의 위치 및/또는 자세를 식별할 수 있다. 표시 영역 내에서의 손(610)을 인식하기 위하여, 웨어러블 장치(101)는 지정된 방향을 향하여 배치된 카메라(예, 도 2a의 카메라(240))를 이용하여 손(610)을 포함하는 외부 공간을 인식할 수 있다. 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 웨어러블 장치(101)는 상기 카메라를 이용하여 인식된 외부 공간 내에서, 가상 마이크의 위치를 결정할 수 있다. 도 6의 예시적인 상태 내에서, 상기 가상 마이크로 할당된 상기 속성에 의해 지시되는 손(610)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 손(610)의 위치를 이용하여, 가상 마이크의 위치를 선택할 수 있다.
도 6의 일 실시예에서, 가상 마이크를 붙잡은 지정된 자세(예, 도 6에 도시된 자세)를 가진 손(610)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 표시 영역 내에 상기 가상 마이크를 표현한 시각적 객체(630)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)의 표시 영역 내에서의 시각적 객체(630)의 위치 및/또는 크기는, 상기 표시 영역을 통해 보이는 손(610)의 위치 및/또는 크기에 종속될 수 있다. 웨어러블 장치(101)는, 도 2b의 손 인식기(272)를 실행하여, 상기 시각적 객체(630)의 위치 및/또는 크기를 계산할 수 있다. 손(610)을 지정된 기간을 초과하여 추적할 수 없거나, 또는 손(610)이 웨어러블 장치(101)로부터 지정된 거리를 초과하여 이격된 경우, 웨어러블 장치(101)는 손(610)에 기반하여 상기 가상 마이크를 추적하는 것을 중단하거나, 및/또는 상기 가상 마이크에 기반하는 오디오 신호의 레코딩을 중단할 수 있다.
도 6에 도시된 바와 같이(as shown in), 손(610)에 의해 이동가능한 가상 마이크가 추가된 일 실시예에서, 웨어러블 장치(101)는 손(610)의 위치 및/또는 제스쳐에 기반하여 가상 마이크를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는 손(610) 및 다른 손 사이의 접촉에 기반하여, 상기 다른 손으로 상기 가상 마이크를 이동함을 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 상기 다른 손의 위치를, 상기 가상 마이크의 위치로 결정할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크로 할당된 적어도 하나의 속성에 기반하여 상기 가상 마이크를 표현한 시각적 객체(630)의 형태를 선택할 수 있다. 예를 들어, 손(610)과 같은 지정된 신체 부위에 의해 이동되는 것으로 설정된 속성을 가지는 가상 마이크가 추가된 예시적인 상태 내에서, 웨어러블 장치(101)는 손(610)에 의해 붙잡을 수 있는 형태의 실제 마이크를 표현한 시각적 객체(630)를 표시할 수 있다. 웨어러블 장치(101)는 시각적 객체(630) 내에, 가상 마이크에 기반하는 오디오 신호의 레코딩을 제어하기 위한 시각적 객체(632)를 표시할 수 있다. 비록 버튼의 형태를 가지는 시각적 객체(632)가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크를 표현한 시각적 객체(630)와 관련된 제스쳐를 이용하여, 오디오 신호의 레코딩을 제어할 수 있다. 예를 들어, 시각적 객체(630) 내에 포함되고, 버튼의 형태를 가지는 시각적 객체(632)에 대한 제스쳐에 기반하여, 웨어러블 장치(101)는 오디오 신호의 레코딩을 개시할 수 있다. 오디오 신호의 레코딩을 개시하는 것에 기반하여, 웨어러블 장치(101)는 상기 가상 마이크로 할당된 적어도 하나의 속성을 포함하는 신호를 브로드캐스팅할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101) 내 마이크(예, 도 2a의 마이크(240))를 통하여 입력된 오디오 신호를, 시각적 객체(630)가 중첩된 손(610)의 위치에 기반하여, 변경할 수 있다.
예를 들어, 웨어러블 장치(101)가 오디오 신호를 변경하는 것은, 상기 오디오 신호에 의해 지시되는 DoA를 변경하는 동작을 포함할 수 있다. 사용자(620)로부터 소리가 발생되는 도 6의 일 실시예에서, 웨어러블 장치(101) 내 마이크를 통하여 입력되는 오디오 신호는, 웨어러블 장치(101) 및 사용자(620) 사이의 DoA에 기반하여 레코딩된 상기 소리를 포함할 수 있다. 웨어러블 장치(101)는 손(610) 및 사용자(620) 사이의 DoA를 이용하여, 상기 오디오 신호의 상기 DoA를 변경할 수 있다. 웨어러블 장치(101)가, 웨어러블 장치(101)와 상이한 외부 전자 장치로부터 오디오 신호를 획득하는 경우, 웨어러블 장치(101)는, 웨어러블 장치(101) 내 마이크를 통하여 입력된 오디오 신호 및 상기 외부 전자 장치로부터 획득된 상기 오디오 신호를 합성하여, 손(610) 및 사용자(620) 사이의 DoA를 가지는 소리를 포함하는 오디오 신호를 생성할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크를 추가함을 지시하는 입력에 기반하여, 웨어러블 장치(101)의 표시 영역 내에 상기 가상 마이크를 표현한 시각적 객체(630)를 표시할 수 있다. 상기 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 웨어러블 장치(101)는 시각적 객체(630)의 위치 및/또는 크기를 변경할 수 있다. 상기 가상 마이크가 손(610)과 같은 지정된 신체 부위에 의해 이동 가능하도록 설정된 경우, 웨어러블 장치(101)는 손(610)과 중첩으로 시각적 객체(630)를 표시할 수 있다. 손(610)의 제스쳐에 기반하여, 웨어러블 장치(101)는, 상기 가상 마이크에 기반하는 오디오 신호의 레코딩을 개시하거나, 또는 중단할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 오디오 신호를 합성하기 위하여, 웨어러블 장치(101)와 상이한 외부 전자 장치를 이용할 수 있다. 이하에서는, 도 7 내지 도 8을 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 외부 전자 장치로부터 오디오 신호를 획득하는 동작의 일 예가 설명된다.
도 7은, 일 실시예에 따른, 복수의 웨어러블 장치들(101-1, 101-2)이 가상 마이크에 기반하여 오디오 신호들을 획득하는 동작의 일 예를 도시한다. 도 1의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)는, 도 7의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)를 포함할 수 있다. 도 7의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)의 일 예일 수 있다. 도 7을 참고하면, 도 1의 예시적인 케이스에 기반하여, 제1 웨어러블 장치(101-1)가, 제1 웨어러블 장치(101-1)의 마이크로부터 획득된 제1 오디오 신호 및 제2 웨어러블 장치(101-2)로부터 획득된 제2 오디오 신호를 합성하는 예시적인 동작이 설명된다. 반복을 줄이기 위하여, 도 1과 중복되는 설명이 생략될 수 있다.
도 7을 참고하면, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 제3 사용자(110-3)에게 가상 마이크를 결합함을 지시하는 입력을 식별할 수 있다. 상기 가상 마이크로 할당된 적어도 하나의 속성은, 제3 사용자(110-3)의 위치(V)를 지시하는 정보를 포함할 수 있다. 제1 웨어러블 장치(101-1)는, 표시 영역 내에 가상 마이크를 표현한 시각적 객체(120)를 표시할 수 있다. 제1 웨어러블 장치(101-1)는, 제2 웨어러블 장치(101-2)를 포함하는 외부 전자 장치로, 상기 적어도 하나의 속성(예, 제3 사용자(110-3)의 위치(V))을 포함하는 신호를 주기적으로 송신할 수 있다. 제1 웨어러블 장치(101-1)는, 가상 마이크에 기반하여 오디오 신호의 레코딩을 개시하기 위한 입력에 응답하여, 상기 신호를 주기적으로 송신할 수 있다.
일 실시예에 따른, 제2 웨어러블 장치(101-2)는, 제1 웨어러블 장치(101-1)로부터 브로드캐스팅된 신호를 수신할 수 있다. 제2 웨어러블 장치(101-2)는 수신된 신호로부터, 가상 마이크로 할당된 적어도 하나의 속성을 식별할 수 있다. 제2 웨어러블 장치(101-2)는, 상기 적어도 하나의 속성에 기반하여, 위치(V) 내에 추가된 가상 마이크를 식별할 수 있다. 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)의 카메라를 이용하여 상기 위치(V)를 포함하는 프레임을 획득하거나, 및/또는 상기 가상 마이크가 결합된 제3 사용자(110-3)를 식별하는 것에 기반하여, 상기 가상 마이크를 식별할 수 있다. 상기 가상 마이크를 식별한 제2 웨어러블 장치(101-2)는, 표시 영역 내에, 상기 가상 마이크에 기반하는 레코딩을 위한 시각적 객체(710)를 표시할 수 있다. 시각적 객체(710)를 이용하여, 제2 웨어러블 장치(101-2)는 상기 가상 마이크에 기반하여 오디오 신호를 레코딩할지 여부를 식별할 수 있다. 도 7을 참고하면, 팝업 윈도우의 형태를 가지는 시각적 객체(710)가 도시되지만, 실시예가 이에 제한되는 것은 아니다. 제2 웨어러블 장치(101-2)가 시각적 객체(710)를 표시하는 것은, 제2 웨어러블 장치(101-2)의 위치(P2) 및 가상 마이크의 위치(V) 사이의 거리에 기반하여, 조건부로 수행될 수 있다. 예를 들어, 가상 마이크가 제2 웨어러블 장치(101-2)로부터 지정된 거리를 초과하여 이격된 경우, 제2 웨어러블 장치(101-2)는 상기 신호와 독립적으로, 시각적 객체(710)를 표시하지 않을 수 있다.
도 7을 참고하면, 제2 웨어러블 장치(101-2)는 시각적 객체(710) 내에서, 상기 가상 마이크에 기반하는 오디오 신호의 레코딩을 개시하기 위한 시각적 객체(712)(예, "확인"과 같은 지정된 텍스트를 포함하는 버튼), 및/또는 상기 레코딩을 제한하기 위한 시각적 객체(714)(예, "취소"와 같은 지정된 텍스트를 포함하는 버튼)를 표시할 수 있다. 시각적 객체(712)를 선택함을 지시하는 입력에 기반하여, 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2) 내 마이크를 통하여 입력된 오디오 신호, 및 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 가상 마이크에 대한 오디오 신호를 획득할 수 있다. 제2 웨어러블 장치(101-2)는, 제1 웨어러블 장치(101-1)로 상기 획득된 오디오 신호를 송신할 수 있다. 상기 입력에 기반하여, 제2 웨어러블 장치(101-2)는 표시 영역 내에, 가상 마이크를 표현한 시각적 객체(120)를 표시할 수 있다. 시각적 객체(120)의 형태는, 제1 웨어러블 장치(101-1)로부터 수신된 신호에 포함된 적어도 하나의 속성과 관련될 수 있다.
일 실시예에 따른, 제2 웨어러블 장치(101-2)는 가상 마이크에 기반하는 레코딩을 수행하는 상태 내에서, 제2 웨어러블 장치(101-2)의 마이크를 통하여 입력되는 제1 오디오 신호로부터, 제2 웨어러블 장치(101-2)의 위치(P2)에 대한 상기 제1 오디오 신호의 음원의 도래각을 식별할 수 있다. 가상 마이크가 제3 사용자(110-3)에게 결합된 도 7의 일 실시예에서, 상기 음원이 제3 사용자(110-3)인 것으로 가정한다. 상기 가정 내에서, 상기 제1 오디오 신호로부터 식별되는 상기 도래각은, 제2 웨어러블 장치(101-2)의 위치(P2)에 대한 상기 제3 사용자(110-3)의 방위각에 대응할 수 있다. 제2 웨어러블 장치(101-2)는, 상기 제1 오디오 신호에 대한 상기 도래각을, 제3 사용자(110-3)에게 결합된 위치(V)에서 상기 음원에 대한 도래각으로 변경할 수 있다. 예를 들어, 제2 웨어러블 장치(101-2)가 제1 오디오 신호를 변경하여 획득한 제2 오디오 신호는, 위치(V)에서의 도래각에 기반하는 제3 사용자(110-3)의 소리를 포함할 수 있다. 제2 웨어러블 장치(101-2)는, 제1 웨어러블 장치(101-1)로, 제1 웨어러블 장치(101-1)로부터 브로드캐스팅된 신호에 대한 응답으로, 상기 제2 오디오 신호를 포함하는 다른 신호를 송신할 수 있다. 상기 다른 신호를 이용하여, 제2 웨어러블 장치(101-2)는, 제2 웨어러블 장치(101-2)에 의해 식별된 가상 마이크와 관련된 정보(예, 가상 마이크의 위치(V))를 송신할 수 있다.
일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 제2 웨어러블 장치(101-2)로부터 송신된 상기 다른 신호에 포함된 상기 제2 오디오 신호에 기반하여, 위치(V)에 배치된 가상 마이크에 대한 제3 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)는 상기 제2 오디오 신호 뿐만 아니라, 제1 웨어러블 장치(101-1)의 마이크로부터 획득된 제4 오디오 신호에 기반하여, 상기 제3 오디오 신호를 획득할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)는 상기 제2 오디오 신호 및 상기 제4 오디오 신호를 합성하여, 상기 제3 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)는 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 상기 제4 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)가, 제1 웨어러블 장치(101-1)의 마이크로부터 상기 제4 오디오 신호를 획득하는 것은, 제1 웨어러블 장치(101-1)의 위치(P1) 및 가상 마이크의 위치(V) 사이의 거리에 기반하여, 조건부로 수행될 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)가 가상 마이크로부터 지정된 거리 이하로 분리된 경우, 제1 웨어러블 장치(101-1)는 상기 제4 오디오 신호를 획득할 수 있다.
도 7을 참고하면, 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2) 전부로부터 이격된 위치(V)에 가상 마이크가 추가된 일 실시예에서, 제1 웨어러블 장치(101-1)는 제2 웨어러블 장치(101-2)에 의해 추적된 가상 마이크의 위치(V)를, 가상 마이크의 추적에 이용할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1) 보다 가상 마이크의 위치(V)에 가깝게 배치된 제2 웨어러블 장치(101-2)를 식별한 상태 내에서, 제1 웨어러블 장치(101-1)는, 제2 웨어러블 장치(101-2)로부터 수신된 정보에 기반하여 가상 마이크의 위치(V)를 식별할 수 있다. 상기 예시 내에서, 제2 웨어러블 장치(101-2)는 제1 웨어러블 장치(101-1)로, 제2 웨어러블 장치(101-2)의 마이크에 기반하여 획득된 오디오 신호(예, 상기 제2 오디오 신호)와 함께, 제2 웨어러블 장치(101-2)에 의해 식별된 가상 마이크의 위치(V)를 지시하는 정보를 송신할 수 있다. 상기 정보는, 제2 웨어러블 장치(101-2)에 의해 식별된 상기 위치(V)의 좌표값을 포함할 수 있다. 상기 정보는, 제1 웨어러블 장치(101-1)로부터 브로드캐스팅된 신호에 포함된 가상 마이크의 위치(V) 및 제2 웨어러블 장치(101-2)에 의해 식별된 가상 마이크의 위치(V') 사이의 편차(또는 변화량)를 포함할 수 있다. 제1 웨어러블 장치(101-1)는, 상기 정보에 기반하여 가상 마이크의 위치(V)를 식별할 수 있다. 식별된 가상 마이크의 위치(V)는, 제1 웨어러블 장치(101-1)에 의한 오디오 신호의 합성(또는 렌더링)에 이용될 수 있다.
도 7을 참고하면, 제1 웨어러블 장치(101-1)는, 표시 영역 내에 가상 마이크에 기반하는 오디오 신호의 레코딩을 제어하기 위한 시각적 객체(720)를 표시할 수 있다. 표시 영역 내에서 오디오 신호의 레코딩을 가이드하는 시각적 객체(130)를 선택하는 입력에 기반하여, 제1 웨어러블 장치(101-1)는 시각적 객체(720)를 표시할 수 있다. 시각적 객체(720) 내에서, 제1 웨어러블 장치(101-1)는, 오디오 신호의 레코딩의 중단을 가이드하는 지정된 텍스트(예, "녹음을 중단할까요?")를 표시할 수 있다. 시각적 객체(720) 내에서, 제1 웨어러블 장치(101-1)는, 오디오 신호의 레코딩을 중단하기 위한 시각적 객체(722)(예, "예"와 같은 지정된 텍스트를 포함하는 버튼) 및 시각적 객체(720)의 표시를 중단하기 위한 시각적 객체(724)(예, "아니오"와 같은 지정된 텍스트를 포함하는 버튼)를 표시할 수 있다. 시각적 객체(722)를 선택함을 지시하는 입력에 응답하여, 제1 웨어러블 장치(101-1)는 가상 마이크에 기반하는 오디오 신호의 합성(또는 렌더링)을 중단할 수 있다. 제2 웨어러블 장치(101-2)로부터 가상 마이크와 관련된 오디오 신호를 수신하는 경우, 제1 웨어러블 장치(101-1)는 상기 입력에 기반하여 제2 웨어러블 장치(101-2)로, 오디오 신호의 합성이 중단됨을 지시하는 신호를 송신할 수 있다. 상기 신호에 기반하여, 제2 웨어러블 장치(101-2)는, 오디오 신호의 획득을 중단할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 제2 웨어러블 장치(101-2)와 같은 외부 전자 장치를 이용하여, 가상 마이크에 대한 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)는, 제2 웨어러블 장치(101-2)와 통신하여, 상기 가상 마이크에 기반하는 오디오 신호의 레코딩을 제어할 수 있다. 제2 웨어러블 장치(101-2)는, 제1 웨어러블 장치(101-1)로부터 송신된 신호에 기반하여, 제2 웨어러블 장치(101-2)의 제2 사용자(110-2)에게, 오디오 신호의 레코딩을 제어하기 위한 시각적 객체(710)를 표시할 수 있다. 시각적 객체(710)에 기반하여, 제2 웨어러블 장치(101-2)는 가상 마이크에 기반하는 오디오 신호의 레코딩을 위한 입력을 식별할 수 있다.
상술한 바와 같이, 가상 마이크는 제3 사용자(110-3)와 같이 이동가능한 외부 객체에 결합될 수 있다. 이하에서는, 도 8을 참고하여, 가상 마이크가 결합된 외부 객체의 이동에 기반하여, 제1 웨어러블 장치(101-1)를 포함하는 복수의 전자 장치들이 수행하는 동작의 일 예가 설명된다.
도 8은, 일 실시예에 따른, 복수의 웨어러블 장치들(101, 810)이 가상 마이크에 기반하여 오디오 신호들을 획득하는 동작의 일 예를 도시한다. 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)는, 도 8의 복수의 웨어러블 장치들(101, 810)을 포함할 수 있다.
도 8을 참고하면, 사용자(110)에 의해 착용된 웨어러블 장치(101)가, 위치들(Va, Vb, Vc)을 따라 순차적으로 이동되는 가상 마이크에 기반하여 오디오 신호를 획득하는 예시적인 상태들(801, 802, 803)이 도시된다. 웨어러블 장치(101)는 상기 가상 마이크로 할당된 적어도 하나의 속성을 포함하는 신호를, 주기적으로 브로드캐스팅할 수 있다. 이하에서, 상기 신호를 수신하는 관점에서, 웨어러블 장치(810)는 외부 전자 장치(810)로 지칭될 수 있다. 이하에서, 웨어러블 장치(101)는 사용자(110)로부터, 도 5a 내지 도 5b를 참고하여 상술된, 가상 마이크를 추가하기 위한 입력을 식별한 것으로 가정한다. 예를 들어, 웨어러블 장치(101)는 사용자(110)로부터, 외부 전자 장치(810)의 사용자(820)의 손에 가상 마이크를 결합하기 위한 입력을 수신할 수 있다.
도 8의 상태(801) 내에서, 웨어러블 장치(101)는 카메라(예, 도 2a의 카메라(240))를 이용하여, 가상 마이크가 결합된 사용자(820) 및/또는 상기 사용자(820)의 손을 식별할 수 있다. 상기 카메라의 FoV(field-of-view)는, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 상기 사용자(110)의 FoV와 적어도 부분적으로 중첩될 수 있다. 웨어러블 장치(101)는 도 2b의 손 인식기(272) 및/또는 외부 객체 인식기(271)의 실행에 기반하여, 카메라로부터 출력되는 프레임들 내에서 상기 손을 식별할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서 상기 사용자(110)에 의해 보여지는 손과 연계된 시각적 객체(830)를 표시할 수 있다. 시각적 객체(830)는 가상 마이크로 할당된 적어도 하나의 속성에 의해 지시되는 형태를 가질 수 있다. 상태(801) 내에서, 웨어러블 장치(101)는 상기 식별된 손의 위치에 기반하여, 상기 가상 마이크의 위치(Va)를 식별할 수 있다. 웨어러블 장치(101)는 상기 위치(Va)에 기반하여, 가상 마이크를 표현한 시각적 객체(830)를 표시할 수 있다. 상기 위치(Va)는, 사용자(110)의 손에 포함될 수 있다.
도 8의 상태(801) 내에서, 웨어러블 장치(101)는 가상 마이크를 이용하여 레코딩을 개시하기 위한(for initiating) 입력에 응답하여, 웨어러블 장치(101)의 마이크를 이용하여 오디오 신호를 획득할 수 있다. 웨어러블 장치(101)는 외부 전자 장치(810)로, 상기 가상 마이크와 관련된 신호를 송신할 수 있다. 상기 신호는, 상기 가상 마이크로 할당된 적어도 하나의 속성 및/또는 상기 가상 마이크에 기반하는 오디오 신호의 레코딩되고 있음을 지시하는 파라미터(예, 지정된 플래그)를 포함할 수 있다. 상기 신호를 수신한 외부 전자 장치(810)는, 상기 신호에 의해 기반하여, 외부 전자 장치(810) 내 마이크를 제어할 수 있다. 외부 전자 장치(810) 내 마이크를 통하여 입력되는 오디오 신호에 기반하여, 외부 전자 장치(810)는 위치(Va) 내 가상 마이크에 대한 오디오 신호를 획득할 수 있다. 외부 전자 장치(810)는 웨어러블 장치(101)로 상기 획득된 오디오 신호를 송신할 수 있다. 상태(801) 내에서, 웨어러블 장치(101)는, 웨어러블 장치(101)의 마이크 및 외부 전자 장치(810)의 마이크 각각의 오디오 신호들을 획득할 수 있다. 웨어러블 장치(101)는 상기 오디오 신호들을 합성하여, 위치(Va) 내에 배치된 가상 마이크에 대한 오디오 신호를 획득할 수 있다.
도 8의 상태(801) 내에서, 가상 마이크와 결합된 손을 포함하는 사용자(820)가 위치(P2)로부터 위치(P3)로 이동한 것으로 가정한다. 사용자(820)가 웨어러블 장치(101)로부터 위치(P2) 보다 먼 위치(P3)로 이동하는 동안, 사용자(820)의 이동 방향이 웨어러블 장치(101)의 전방과 평행할 수 있다. 사용자(820)의 이동 방향이 웨어러블 장치(101)의 전방과 평행하기 때문에, 웨어러블 장치(101)의 상기 전방을 향하는 카메라의 FoV 내에서, 사용자(820)의 손이 사용자(820)의 등에 의해 가려질 수 있다. 사용자(820)가 위치(P3)로 이동한 상태(802) 내에서, 웨어러블 장치(101)는, 가상 마이크와 결합된 사용자(820)의 손이 가려진 것을 식별할 수 있다. 웨어러블 장치(101)는, 상태(802) 내에서, 사용자(820)의 손이 가려진 것을 식별하는 것에 기반하여, 외부 전자 장치(810)로부터 가상 마이크의 위치(Vb)를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 전자 장치(810)로부터 송신된 정보에 기반하여, 가상 마이크의 위치(Vb)를 식별할 수 있다.
도 8의 상태(802) 내에서, 외부 전자 장치(810)는, 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 가상 마이크의 위치(Vb)를 식별할 수 있다. 외부 전자 장치(810)는, 웨어러블 장치(101)로부터 주기적으로 송신된 상기 적어도 하나의 속성에 기반하여, 위치(P3)로 이동한 사용자(820), 및 상기 사용자(820)의 손의 위치를 식별할 수 있다. 식별된 손의 위치에 기반하여, 외부 전자 장치(810)는 가상 마이크의 위치(Vb)를 식별할 수 있다. 외부 전자 장치(810)에 의해 식별된 가상 마이크의 위치(Vb)는, 외부 전자 장치(810)의 위치(P3)를 원점으로 가지는 제1 공간 좌표계에 기반하는 좌표를 가질 수 있다. 외부 전자 장치(810)로부터 상기 좌표를 수신한 웨어러블 장치(101)는, 웨어러블 장치(101)의 위치(P1)를 원점으로 가지는 제2 공간 좌표계 및 상기 제1 공간 좌표계 사이의 차이에 기반하여, 제2 공간 좌표계 내에서의 가상 마이크의 위치(Vb)에 대한 좌표를 획득할 수 있다.
도 8의 상태(802) 내에서, 웨어러블 장치(101)는 외부 전자 장치(810)에 의해 식별된 가상 마이크의 위치(Vb)에 기반하여, 웨어러블 장치(101)의 마이크, 및 외부 전자 장치(810)의 마이크 전부로부터 획득된 오디오 신호들을 합성할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 오디오 신호들을 합성(또는 렌더링)하여, 위치(Vb)에 대한 오디오 신호를 획득할 수 있다.
도 8의 상태(802) 내에서, 가상 마이크와 결합된 손을 포함하는 사용자(820)가 위치(P3)로부터 위치(P4)로 이동한 것으로 가정한다. 사용자(820)는 웨어러블 장치(101)의 위치(P3) 보다 먼 위치(P4)로 이동한 이후의 상태(803) 내에서, 웨어러블 장치(101)를 향하여 서있는 것으로 가정한다. 상태(803) 내에서, 웨어러블 장치(101)는 카메라의 FoV 내에서, 사용자(820)의 손을 식별할 수 있다. 웨어러블 장치(101)는 식별된 손에 중첩으로, 가상 마이크를 표현한 시각적 객체(830)를 표시할 수 있다. 웨어러블 장치(101)는 사용자(820)의 손을 식별하는 것에 기반하여, 가상 마이크의 위치(Vc)를 식별할 수 있다.
도 8의 상태(803) 내에서, 가상 마이크의 위치(Vc) 및 웨어러블 장치(101)의 위치(P1) 사이의 거리가, 지정된 임계치를 초과하는 경우, 웨어러블 장치(101)는 웨어러블 장치(101)의 마이크를 이용하여 획득된 오디오 신호와 독립적으로, 가상 마이크와 관련된 레코딩을 수행할 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)의 마이크 및 외부 전자 장치(810)의 마이크 중에서, 외부 전자 장치(810)의 마이크를 통하여 입력된 오디오 신호를 선택할 수 있다. 웨어러블 장치(101)는 상기 선택된 오디오 신호에 기반하여, 가상 마이크의 위치(Vc)에 대한 오디오 신호를 렌더링할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크와 결합된 외부 객체(예, 사용자(820))의 이동에 기반하여, 상기 가상 마이크의 위치를 추적할 수 있다. 웨어러블 장치(101)는 추적된 위치에 기반하여, 웨어러블 장치(101) 및 외부 전자 장치(810)로부터 수집된 하나 이상의 오디오 신호들을 합성할 수 있다. 웨어러블 장치(101) 및 외부 전자 장치(810)는, 가상 마이크에 기반하는 레코딩을 위한 오디오 신호의 교환과 함께, 웨어러블 장치(101) 및 외부 전자 장치(810) 각각에서 계산된 가상 마이크의 위치를 지시하는 정보를 교환할 수 있다. 예를 들어, 웨어러블 장치(101)가 가상 마이크의 위치(Vb)를 단독으로 계산할 수 없는 상태(802) 내에서, 웨어러블 장치(101)는 외부 전자 장치(810)에 의해 계산된 가상 마이크의 위치(Vb)를 식별할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 가상 마이크의 이동에 기반하여, 상기 가상 마이크에 의하여 레코딩된 것으로 지시되는 오디오 신호를 합성할 수 있다. 예를 들어, 상기 가상 마이크를 표현한 시각적 객체(830)에 기반하여, 웨어러블 장치(101)는 실제 마이크를 대체하는 사용자 경험을 제공할 수 있다. 시각적 객체(830)에 기반하여 가상 마이크와 관련된 오디오 신호의 레코딩을 제어하여, 웨어러블 장치(101)는 실제 마이크의 기능을 증강 현실에 기반하여, 실행(또는 시뮬레이션)할 수 있다.
이하에서는, 도 9 내지 도 11을 참고하여, 일 실시예에 따른, 웨어러블 장치(101) 및 웨어러블 장치(101)로부터 브로드캐스팅된 신호를 수신한 외부 전자 장치(810)의 동작이 설명된다.
도 9는, 일 실시예에 따른, 복수의 웨어러블 장치들(101-1, 101-2) 사이의 신호 흐름도의 일 예를 도시한다. 도 1 및/또는 도 7의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)는, 도 9의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)를 포함할 수 있다. 도 9의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)의 일 예일 수 있다. 도 9의 동작들은, 도 2a 내지 도 2b의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 9를 참고하면, 동작(910) 내에서, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 가상 마이크를 추가하기 위한 입력을 수신할 수 있다. 제1 웨어러블 장치(101-1)는, 도 5a 내지 도 5b를 참고하여 상술된 동작에 기반하여, 상기 입력을 식별할 수 있다. 제1 웨어러블 장치(101-1)는, 가상 마이크로 적어도 하나의 속성을 할당하기 위한 입력을 식별할 수 있다. 제1 웨어러블 장치(101-1)는, 가상 마이크를 추가하기 위한 입력에 기반하여, 가상 마이크를 표현한 시각적 객체(예, 도 1 및/또는 도 7의 시각적 객체(120), 도 5b의 시각적 객체(590), 도 6의 시각적 객체(630), 및/또는 도 8의 시각적 객체(830))를 표시할 수 있다. 상기 시각적 객체의 형태는, 상기 입력에 기반하여 상기 가상 마이크로 할당된 적어도 하나의 속성과 관련될 수 있다.
도 9를 참고하면, 동작(920) 내에서, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 가상 마이크로 할당된 적어도 하나의 속성을 포함하는 신호(925)를 브로드캐스팅할 수 있다. 도 9의 신호(925)는 도 1의 제1 신호(141)를 포함할 수 있다. 제1 웨어러블 장치(101-1)는, 가상 마이크를 표현한 시각적 객체에 기반하여, 상기 가상 마이크와 관련된 레코딩을 개시하기 위한 입력을 식별할 수 있다. 상기 입력에 기반하여, 제1 웨어러블 장치(101-1)는 신호(925)를 브로드캐스팅할 수 있다. 제1 웨어러블 장치(101-1)는, 신호(925)를 반복적으로 송신할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)는, 지정된 주기에 기반하여, 신호(925)를 반복적으로 송신할 수 있다. 제1 웨어러블 장치(101-1)가 가상 마이크의 위치를 추적하는 일 실시예에서, 반복적으로 송신되는 신호(925)는, 신호(925)가 브로드캐스팅된 시점에서의 가상 마이크의 위치를 지시하는 정보를 포함할 수 있다.
도 9를 참고하면, 동작(930) 내에서, 일 실시예에 따른, 제2 웨어러블 장치(101-2)는, 가상 마이크에 기반하는 레코딩을 위한 시각적 객체를 표시할 수 있다. 제2 웨어러블 장치(101-2)는, 신호(925)를 수신하는 것에 기반하여, 상기 시각적 객체를 표시할 수 있다. 제2 웨어러블 장치(101-2)는 신호(925) 내에 포함된 적어도 하나의 속성에 기반하여, 상기 시각적 객체를 표시할지 여부를 결정할 수 있다. 신호(925) 내에 포함된 상기 적어도 하나의 속성은, 동작(910)의 가상 마이크와 관련될 수 있다. 제2 웨어러블 장치(101-2)는 신호(925)를 수신한 상태 내에서, 상기 적어도 하나의 속성에 기반하여, 가상 마이크를 식별할 수 있다. 제2 웨어러블 장치(101-2)가 상기 가상 마이크를 식별하는 것은, 제2 웨어러블 장치(101-2)의 표시 영역 내에 상기 가상 마이크를 표현한 시각적 객체를 표시하는 동작을 포함할 수 있다. 제2 웨어러블 장치(101-2)가 상기 가상 마이크를 식별하는 것은, 제2 웨어러블 장치(101-2)에 의해 인식된 외부 공간을 지시하는 공간 좌표계 내에서, 상기 가상 마이크의 좌표를 계산하는 동작을 포함할 수 있다.
일 실시예에 따른, 제2 웨어러블 장치(101-2)는, 도 7을 참고하여 상술된 제2 웨어러블 장치(101-2)의 동작을 수행하여, 동작(930)의 시각적 객체를 표시할 수 있다. 예를 들어, 동작(930)의 시각적 객체는, 도 7의 시각적 객체(710)를 포함할 수 있다. 제2 웨어러블 장치(101-2)는, 신호(925)에 포함된 적어도 하나의 속성에 의해 식별된 가상 마이크의 위치가 제2 웨어러블 장치(101-2)로부터 지정된 거리 이하인 상태 내에서, 동작(930)의 시각적 객체를 표시할 수 있다.
도 9를 참고하면, 동작(940) 내에서, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 가상 마이크의 위치에 기반하여, 제1 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)는, 신호(925)를 반복적으로 송신하는 것과 독립적으로, 동작(940)을 수행할 수 있다. 제1 웨어러블 장치(101-1)는, 제1 웨어러블 장치(101-1)의 마이크를 입력된 오디오 신호로부터, 동작(940)의 제1 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)는, 가상 마이크로 할당된 적어도 하나의 속성에 기반하여, 제1 웨어러블 장치(101-1)의 마이크를 통하여 입력된 오디오 신호를 변경할 수 있다.
도 9를 참고하면, 동작(950) 내에서, 일 실시예에 따른, 제2 웨어러블 장치(101-2)는, 동작(930)의 시각적 객체와 관련된 입력에 기반하여, 제2 오디오 신호를 획득할 수 있다. 상기 입력은, 동작(930)의 시각적 객체 내에 포함된 다른 시각적 객체(예, 도 7의 버튼의 형태를 가지는 시각적 객체(712))를 선택하는 입력을 포함할 수 있다. 제2 웨어러블 장치(101-2)는 상기 입력에 응답하여, 제2 웨어러블 장치(101-2)의 마이크를 이용하여 획득된 오디오 신호로부터, 동작(950)의 제2 오디오 신호를 획득할 수 있다. 제2 웨어러블 장치(101-2)는, 가상 마이크의 위치를 이용하여, 제2 웨어러블 장치(101-2)의 마이크를 통하여 입력된 오디오 신호를 변경하여, 동작(950)의 제2 오디오 신호를 획득할 수 있다.
도 9를 참고하면, 동작(960) 내에서, 일 실시예에 따른, 제2 웨어러블 장치(101-2)는, 제1 웨어러블 장치(101-1)로, 제2 오디오 신호 및 웨어러블 장치(101-2)에 의해 식별된 가상 마이크의 위치를 송신할 수 있다. 동작(950)에 기반하여 제2 오디오 신호를 획득하는 것에 기반하여, 제2 웨어러블 장치(101-2)는 제1 웨어러블 장치(101-1)로, 상기 획득된 제2 오디오 신호를 포함하는 신호(965)를 송신할 수 있다. 도 9의 신호(965)는, 도 1의 제2 신호(142)를 포함할 수 있다. 신호(965)는, 제1 웨어러블 장치(101-1)로부터 송신된 신호(925)에 대한 응답으로, 제2 웨어러블 장치(101-2)에 의해 송신될 수 있다. 신호(965)는, 제2 웨어러블 장치(101-2)에 의해 계산된 가상 마이크의 위치를 포함할 수 있다.
도 9를 참고하면, 동작(970) 내에서, 일 실시예에 따른, 제1 웨어러블 장치(101-1)는, 동작(940)의 제1 오디오 신호, 및 제2 오디오 신호를, 복수의 웨어러블 장치들 중 적어도 하나에 의해 식별된 가상 마이크의 위치에 기반하여 합성하여, 가상 마이크에 대한 제3 오디오 신호를 획득할 수 있다. 제1 웨어러블 장치(101-1)는, 제1 웨어러블 장치(101-1) 및/또는 제2 웨어러블 장치(101-2)에 의해 식별된 가상 마이크의 위치에 기반하여, 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 합성(또는 렌더링)하여, 상기 제3 오디오 신호를 획득할 수 있다. 상기 제3 오디오 신호는, 상기 가상 마이크의 상기 위치 내에서의 대기의 진동을 지시할 수 있다. 예를 들어, 제1 웨어러블 장치(101-1)는, 상기 가상 마이크에 대한 상기 제3 오디오 신호를 획득할 수 있다.
일 실시예에서, 제1 웨어러블 장치(101-1)는, 가상 마이크에 기반하는 레코딩을 중단함을 지시하는 입력을 수신하기 이전까지, 도 9의 동작들에 기반하여, 상기 제3 오디오 신호를 획득할 수 있다. 상기 가상 마이크에 기반하는 상기 레코딩을 중단함을 지시하는 입력은, 도 7의 시각적 객체(720)를 참고하여 상술된 동작에 기반하여, 수신될 수 있다. 제1 웨어러블 장치(101-1)는, 동작(970)에 기반하여 획득된 상기 제3 오디오 신호를, 제1 웨어러블 장치(101-1)의 메모리 내에 저장하거나, 또는 제1 웨어러블 장치(101-1)와 상이한 다른 외부 전자 장치로 송신할 수 있다. 이하에서는, 도 10 내지 도 11 각각을 참고하여, 도 9의 제1 웨어러블 장치(101-1) 및 제2 웨어러블 장치(101-2)의 동작이 설명된다.
도 10은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 10의 웨어러블 장치는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)의 일 예일 수 있다. 도 10의 동작들은, 도 2a 내지 도 2b의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다. 도 10의 웨어러블 장치는, 도 9의 제1 웨어러블 장치(101-1)에 대응할 수 있다.
도 10을 참고하면, 동작(1010) 내에서, 일 실시예에 따른, 웨어러블 장치는, 외부 객체에 기반하여 가상 마이크를 추가하기 위한 입력을 수신할 수 있다. 웨어러블 장치는, 도 9의 동작(910)과 유사하게, 도 10의 동작(1010)을 수행할 수 있다. 웨어러블 장치는, 도 2a 내지 도 2b의 가상 마이크 어플리케이션(280), 및/또는 도 2b의 가상 마이크 매니저(281)의 실행에 기반하여, 상기 입력을 수신할 수 있다. 상기 입력을 수신하기 위하여, 웨어러블 장치는 표시 영역 내에 가상 마이크의 위치를 선택하기 위한 UI(예, 도 5a 내지 도 5b에 도시된 UI)를 표시할 수 있다. 상기 UI를 통해, 웨어러블 장치는, 가상 마이크가 결합 및/또는 부착될 외부 객체를 식별할 수 있다.
도 10을 참고하면, 동작(1020) 내에서, 일 실시예에 따른, 웨어러블 장치는, 가상 마이크에 매칭된 외부 객체를 추적하기 위한 정보를 포함하는 신호를 브로드캐스팅할 수 있다. 웨어러블 장치는, 도 9의 동작(920)과 유사하게, 도 10의 동작(1020)을 수행할 수 있다. 웨어러블 장치는 도 2b의 통신 제어기(284)의 실행에 기반하여, 상기 신호를 브로드캐스팅할 수 있다. 도 2b의 통신 제어기(284)가 실행된 상태 내에서, 웨어러블 장치는, 외부 전자 장치 및 웨어러블 장치 사이의 통신 링크를 통해, 상기 신호를 주기적으로 송신할 수 있다. 상기 신호는, 웨어러블 장치에 의해 추적된 가상 마이크의 위치, 및/또는 상기 위치를 계산하기 위해 요구되는 정보(예, 상기 가상 마이크로 할당된 적어도 하나의 속성)를 포함할 수 있다.
도 10을 참고하면, 동작(1030) 내에서, 일 실시예에 따른, 웨어러블 장치는, 외부 객체의 위치에 기반하여, 제1 오디오 신호를 획득할 수 있다. 웨어러블 장치는 도 9의 동작(940)과 유사하게, 도 10의 동작(1030)을 수행할 수 있다. 웨어러블 장치는 도 2b의 가상 마이크 위치 식별기(282) 및/또는 오디오 신호 합성기(283)의 실행에 기반하여, 상기 제1 오디오 신호를 획득할 수 있다. 웨어러블 장치는 마이크(예, 도 2a의 마이크(260))를 통하여 입력된 오디오 신호를, 가상 마이크의 위치를 이용하여 변경하여, 동작(1030)의 상기 제1 오디오 신호를 획득할 수 있다.
도 10을 참고하면, 동작(1040) 내에서, 일 실시예에 따른, 웨어러블 장치는, 적어도 하나의 외부 전자 장치로부터, 브로드캐스팅된 신호에 대한 응답으로, 적어도 하나의 제2 오디오 신호를 수신할 수 있다. 웨어러블 장치는 도 2b의 통신 제어기(284)에 의하여 웨어러블 장치와 연결된 상기 적어도 하나의 외부 전자 장치로부터, 상기 적어도 하나의 제2 오디오 신호를 수신할 수 있다. 상기 적어도 하나의 제2 오디오 신호는, 적어도 하나의 외부 전자 장치에 의해 레코딩될 수 있다. 상기 적어도 하나의 외부 전자 장치는, 동작(1020)의 신호에 기반하여 가상 마이크를 식별한 결과에 기반하여, 상기 적어도 하나의 제2 오디오 신호를 획득할 수 있다.
도 10을 참고하면, 동작(1050) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 오디오 신호 및 적어도 하나의 제2 오디오 신호를 합성하여, 가상 마이크에 대한 제3 오디오 신호를 획득할 수 있다. 웨어러블 장치는 도 9의 동작(970)과 유사하게, 도 10의 동작(1050)을 수행할 수 있다. 웨어러블 장치는 도 2b의 오디오 신호 합성기(283)의 실행에 기반하여, 동작(1030)의 제1 오디오 신호 및 동작(1040)의 적어도 하나의 제2 오디오 신호를 합성할 수 있다. 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호의 합성에 기반하여, 웨어러블 장치는 가상 마이크의 위치 내 대기의 진동을 보다 정확하게 추정할 수 있다.
도 11은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 11의 웨어러블 장치는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)의 일 예일 수 있다. 도 11의 동작들은, 도 2a 내지 도 2b의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다. 도 11의 웨어러블 장치는, 도 9의 제2 웨어러블 장치(101-2)에 대응할 수 있다.
도 11을 참고하면, 동작(1110) 내에서, 일 실시예에 따른, 웨어러블 장치는, 외부 전자 장치로부터 브로드캐스팅된 제1 신호에 기반하여, 가상 마이크와 관련된 적어도 하나의 외부 객체를 식별할 수 있다. 동작(1110)의 제1 신호는, 도 9의 신호(925) 및/또는 도 1의 제1 신호(141)를 포함할 수 있다. 상기 적어도 하나의 속성은, 표 1의 행동 양식, 가상 마이크를 표현한 시각적 객체의 형태, 또는 가상 마이크의 위치의 계산에 이용되는 외부 객체 중 적어도 하나와 관련된 정보를 포함할 수 있다.
도 11을 참고하면, 동작(1120) 내에서, 일 실시예에 따른, 웨어러블 장치는, 카메라에 의해 식별된 외부 공간 내에서, 적어도 하나의 외부 객체의 위치에 기반하여 가상 마이크의 위치를 식별할 수 있다. 웨어러블 장치는, 도 2b의 가상 마이크 위치 식별기(282)의 실행에 기반하여, 가상 마이크의 위치를 식별할 수 있다. 예를 들어, 상기 적어도 하나의 속성에 기반하여 외부 객체와 결합된 가상 마이크를 식별한 상태 내에서, 웨어러블 장치는 카메라(예, 도 2a의 카메라(240))를 이용하여 상기 외부 객체를 식별할 수 있다. 식별된 외부 객체의 위치에 기반하여, 웨어러블 장치는 상기 가상 마이크의 위치를 식별할 수 있다.
도 11을 참고하면, 동작(1130) 내에서, 일 실시예에 따른, 웨어러블 장치는, 가상 마이크에 기반하는 레코딩을 위한 시각적 객체를 표시할 수 있다. 웨어러블 장치는 도 9의 동작(930)과 유사하게, 도 11의 동작(1130)을 수행할 수 있다.
도 11을 참고하면, 동작(1140) 내에서, 일 실시예에 따른, 웨어러블 장치는, 시각적 객체와 관련된 입력에 응답하여, 마이크를 통하여 입력된 제1 오디오 신호로부터, 가상 마이크에 대한 제2 오디오 신호를 획득할 수 있다. 웨어러블 장치는 도 9의 동작(950)과 유사하게, 도 11의 동작(1140)을 수행할 수 있다.
도 11을 참고하면, 동작(1150) 내에서, 일 실시예에 따른, 웨어러블 장치는, 외부 전자 장치로, 제1 신호에 대한 응답으로, 제2 오디오 신호 및 적어도 하나의 외부 객체의 위치를 포함하는 제2 신호를 송신할 수 있다. 웨어러블 장치는 도 9의 동작(960)과 유사하게 도 11의 동작(1150)을 수행할 수 있다. 동작(1150)의 제2 신호는, 도 9의 신호(965) 및/또는 도 1의 제2 신호(142)를 포함할 수 있다. 웨어러블 장치는 상기 외부 전자 장치로, 동작(1120)에 기반하여 식별된 가상 마이크의 위치를 지시하는 정보를 송신할 수 있다.
이하에서는, 도 12를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)에 포함된 상이한 하드웨어들이 설명된다.
도 12는, 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 12의 전자 장치(101)는, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101)를 포함할 수 있다.
도 12를 참조하면, 네트워크 환경(1200)에서 전자 장치(1201)는 제 1 네트워크(1298)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1202)와 통신하거나, 또는 제 2 네트워크(1299)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1204) 또는 서버(1208) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1201)는 서버(1208)를 통하여 전자 장치(1204)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1201)는 프로세서(1220), 메모리(1230), 입력 모듈(1250), 음향 출력 모듈(1255), 디스플레이 모듈(1260), 오디오 모듈(1270), 센서 모듈(1276), 인터페이스(1277), 연결 단자(1278), 햅틱 모듈(1279), 카메라 모듈(1280), 전력 관리 모듈(1288), 배터리(1289), 통신 모듈(1290), 가입자 식별 모듈(1296), 또는 안테나 모듈(1297)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1201)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1278))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1276), 카메라 모듈(1280), 또는 안테나 모듈(1297))은 하나의 구성요소(예: 디스플레이 모듈(1260))로 통합될 수 있다.
프로세서(1220)는, 예를 들면, 소프트웨어(예: 프로그램(1240))를 실행하여 프로세서(1220)에 연결된 전자 장치(1201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1220)는 다른 구성요소(예: 센서 모듈(1276) 또는 통신 모듈(1290))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1232)에 저장하고, 휘발성 메모리(1232)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1234)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1220)는 메인 프로세서(1221)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1223)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1201)가 메인 프로세서(1221) 및 보조 프로세서(1223)를 포함하는 경우, 보조 프로세서(1223)는 메인 프로세서(1221)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1223)는 메인 프로세서(1221)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1223)는, 예를 들면, 메인 프로세서(1221)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1221)를 대신하여, 또는 메인 프로세서(1221)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1221)와 함께, 전자 장치(1201)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1260), 센서 모듈(1276), 또는 통신 모듈(1290))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1223)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1280) 또는 통신 모듈(1290))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(1223)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(1201) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1208))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1230)는, 전자 장치(1201)의 적어도 하나의 구성요소(예: 프로세서(1220) 또는 센서 모듈(1276))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1240)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1230)는, 휘발성 메모리(1232) 또는 비휘발성 메모리(1234)를 포함할 수 있다.
프로그램(1240)은 메모리(1230)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1242), 미들 웨어(1244) 또는 어플리케이션(1246)을 포함할 수 있다.
입력 모듈(1250)은, 전자 장치(1201)의 구성요소(예: 프로세서(1220))에 사용될 명령 또는 데이터를 전자 장치(1201)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1250)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1255)은 음향 신호를 전자 장치(1201)의 외부로 출력할 수 있다. 음향 출력 모듈(1255)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1260)은 전자 장치(1201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1260)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(1260)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1270)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1270)은, 입력 모듈(1250)을 통해 소리를 획득하거나, 음향 출력 모듈(1255), 또는 전자 장치(1201)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1202))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1276)은 전자 장치(1201)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1276)은, 예를 들면, 제스쳐 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1277)는 전자 장치(1201)가 외부 전자 장치(예: 전자 장치(1202))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1277)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1278)는, 그를 통해서 전자 장치(1201)가 외부 전자 장치(예: 전자 장치(1202))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1278)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1279)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1279)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1280)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1280)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1288)은 전자 장치(1201)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(1288)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1289)는 전자 장치(1201)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1289)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1290)은 전자 장치(1201)와 외부 전자 장치(예: 전자 장치(1202), 전자 장치(1204), 또는 서버(1208)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1290)은 프로세서(1220)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1290)은 무선 통신 모듈(1292)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1294)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1298)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1299)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1204)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1292)은 가입자 식별 모듈(1296)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1298) 또는 제 2 네트워크(1299)와 같은 통신 네트워크 내에서 전자 장치(1201)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1292)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1292)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1292)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1292)은 전자 장치(1201), 외부 전자 장치(예: 전자 장치(1204)) 또는 네트워크 시스템(예: 제 2 네트워크(1299))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(1292)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1297)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(1297)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1297)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(1298) 또는 제 2 네트워크(1299)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1290)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1290)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1297)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(1297)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1299)에 연결된 서버(1208)를 통해서 전자 장치(1201)와 외부의 전자 장치(1204)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1202, 또는 1204) 각각은 전자 장치(1201)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1201)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1202, 1204, 또는 1208) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1201)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1201)로 전달할 수 있다. 전자 장치(1201)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1201)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(1204)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1208)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(1204) 또는 서버(1208)는 제 2 네트워크(1299) 내에 포함될 수 있다. 전자 장치(1201)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 13은, 메타버스 서비스와 관련된 네트워크 환경에 대한 예시도이다. 메타버스(Metaverse)는 '가상', '초월'을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다. 메타버스 서비스는, 증강 현실(augmented reality, AR), 가상 현실(virtual reality environment, VR), 혼합 현실(mixed environment, MR) 및/또는 확장 현실(extended reality, XR)에 기반하여, 상기 가상 세계에 대한 몰입을 강화하기 위한 미디어 콘텐트를 제공할 수 있다.
예를 들어, 메타버스 서비스에 의해 제공되는 미디어 콘텐트는, 아바타에 기반하는 게임, 콘서트, 파티 및/또는 회의를 포함하는 소셜 인터랙션(social interaction) 콘텐트를 포함할 수 있다. 예를 들어, 상기 미디어 콘텐트는, 광고, 사용자 제작 콘텐트(user created content) 및/또는 제작물의 판매 및/또는 쇼핑과 같은 경제 활동을 위한 정보를 포함할 수 있다. 상기 사용자 제작 콘텐트의 소유권은 블록체인 기반의 NFT(non-fungible token)에 의하여 증명될 수도 있다. 메타버스 서비스는, 실물 화폐 및/또는 암호 화폐에 기반하는 경제 활동을 지원할 수 있다. 메타버스 서비스에 의하여, 디지털 트윈(digital twin) 또는 라이프 로깅(life logging)과 같이, 현실 세계와 연계된 가상 콘텐트가 제공될 수 있다.
도 13은 서버(1310)를 통해 메타버스 서비스를 제공받는 네트워크 환경(1301)에 대한 예시도이다.
도 13을 보면, 네트워크 환경(1301)은, 서버(1310), 사용자 단말(1320)(예, 제1 단말(1320-1) 및 제2 단말(1320-2)), 및 서버(1310) 와 사용자 단말(1320)을 연결하는 네트워크를 포함할 수 있다. 네트워크 환경(1301) 내에서, 서버(1310)는 사용자 단말(1320)로 메타버스 서비스를 제공할 수 있다. 네트워크는, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(1330)에 의해 형성될 수 있다. 사용자 단말(1320)은, 네트워크를 통해 서버(1320)로 접속하여, 사용자 단말(1320)의 사용자에게 메타버스 서비스와 관련된 UI(user interface)를 출력할 수 있다. 상기 UI에 기반하여, 사용자 단말(1320)은 사용자로부터 메타버스 서비스로 입력될 정보를 획득하거나, 또는 사용자에게 메타버스 서비스와 관련된 정보(예, 멀티미디어 콘텐트)를 출력할 수 있다.
이때, 서버(1310)는 가상 공간을 제공하여 사용자 단말(1320)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(1320)은 서버(1310)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(1310)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다. 상기 S/W 에이전트는 서버(1310)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩되어 제공될 수 있다.
일 실시예에서, 메타버스 서비스는, 서버(1310)를 이용하여 사용자 단말(1320) 및/또는 사용자에게 서비스가 제공될 수 있다. 실시예가 이에 제한되는 것은 아니며, 메타버스 서비스는 사용자들 사이의 개별적인 접촉을 통해 제공될 수 있다. 예를 들어, 네트워크 환경(1301) 내에서, 메타버스 서비스는 서버(1310)와 독립적으로, 제1 단말(1320-1) 및 제2 단말(1320-2) 사이의 직접적인 연결에 의해 제공될 수 있다. 도 13을 참고하면, 네트워크 환경(1301) 내에서, 제1 단말(1320-1) 및 제2 단말(1320-2)은 적어도 하나의 중간 노드(1330)에 의해 형성된 네트워크를 통해 서로 연결될 수 있다. 제1 단말(1320-1) 및 제2 단말(1320-2)이 직접적으로 연결된 일 실시예에서, 제1 단말(1320-1) 및 제2 단말(1320-2) 중 어느 한 사용자 단말이, 서버(1310)의 역할을 수행할 수 있다. 예를 들어, 디바이스와 디바이스의 연결(예, P2P(peer-to-peer) 연결)만으로 메타버스 환경이 구성될 수 있다.
일 실시예에서, 사용자 단말(1320)(혹은 제 1 단말(1320-1), 제 2 단말(1320-2)을 포함하는 사용자 단말(1320))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(1320)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(1320-2)), AR 기기(예, 제1 단말(1320-1)), VR 기기, MR 기기, VST(Video See Through) 기기, OST(Optical See Through) 장치, 스마트 렌즈, 스마트 미러, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.
네트워크(예, 적어도 하나의 중간 노드(1330)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 Wifi, BT를 포함하는 근거리 네트워크(예, 제1 단말(1320-1), 및 제2 단말(1320-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
일 실시예에서, 도 13의 사용자 단말(1320)은, 도 1, 도 2a 내지 도 2b의 웨어러블 장치(101) 및/또는 도 12의 전자 장치(101)를 포함할 수 있다.
일 실시예에서, 웨어러블 장치의 마이크로부터 분리된 위치의 대기의 진동을 추정하여, 상기 위치에 대한 오디오 신호를 획득하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(예, 도 2a 내지 도 2b의 웨어러블 장치(101))는, 카메라(예, 도 2a의 카메라(240)), 통신 회로(예, 도 2a의 통신 회로(250)), 마이크(예, 도 2a의 마이크(260)), 및 프로세서(예, 도 2a의 프로세서(210))를 포함할 수 있다. 상기 프로세서는, 상기 웨어러블 장치 주변의 외부 객체에 가상 마이크를 결합하기 위한 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여, 상기 입력에 의해 상기 가상 마이크와 결합된 상기 외부 객체를 추적하기 위한 정보를 포함하는 신호(예, 도 9의 신호(925))를 브로드캐스팅하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라로부터 획득된 프레임들에 기반하여 식별된, 상기 외부 객체의 위치를 이용하여, 상기 마이크로부터 제1 오디오 신호를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 적어도 하나의 외부 전자 장치로부터 적어도 하나의 제2 오디오 신호를 획득하도록, 구성될 수 있다. 상기 적어도 하나의 제2 오디오 신호는, 상기 적어도 하나의 외부 전자 장치로부터 상기 신호에 대한 응답으로(as a response) 송신될 수 있다. 상기 프로세서는, 상기 외부 객체의 위치에 기반하여, 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 가상 마이크에 대한 제3 오디오 신호를 획득하도록, 구성될 수 있다. 일 실시예에 따른, 웨어러블 장치는, 가상 마이크를 이용하여, 웨어러블 장치의 마이크로부터 분리된 외부 공간 내에서 이동가능한(movable) 지점(예, 도 1의 지점(V))의 대기의 진동을 추정하거나, 상기 추정된 진동이 표현된 오디오 신호를 획득할 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 전자 장치로부터, 상기 신호에 대응하는 상기 위치에 기반하여 레코딩된 상기 적어도 하나의 제2 오디오 신호를 수신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 마이크를 이용하여 획득된 상기 적어도 하나의 제2 오디오 신호 및 상기 외부 전자 장치에 의해 결정된 상기 가상 마이크의 위치를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라를 이용하여 인식되는 외부 공간 내에서, 상기 가상 마이크의 위치를 선택하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 선택된 위치에 기반하여, 상기 제1 오디오 신호를 변경하도록, 구성될 수 있다. 상기 프로세서는, 상기 선택된 위치에 기반하여, 상기 적어도 하나의 제2 오디오 신호를 변경하도록, 구성될 수 있다. 상기 프로세서는, 상기 변경된 제1 오디오 신호 및 상기 변경된 적어도 하나의 제2 오디오 신호를 합성하여, 상기 제3 오디오 신호를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라로부터, 상기 입력에 의해 지시되는 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 공간 내 상기 외부 객체의 위치를 이용하여 상기 마이크의 상기 위치를 선택하도록, 구성될 수 있다.
예를 들어, 상기 웨어러블 장치는, 디스플레이(예, 도 2a의 디스플레이(230))를 포함할 수 있다. 상기 프로세서는, 상기 입력에 기반하여, 상기 디스플레이 내에 상기 가상 마이크를 표현하는 시각적 객체(예, 도 1 및/또는 도 7의 시각적 객체(120), 도 5a의 시각적 객체(510), 도 5b의 시각적 객체(590), 도 6의 시각적 객체(630), 도 8의 시각적 객체(830))를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라를 이용하여, 상기 시각적 객체를 이동함을 지시하는 모션을 식별하는 것에 기반하여, 상기 가상 마이크의 위치를 지시하는 상기 정보를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 입력에 의해 지시되는 형태를 가지는 상기 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라를 이용하여 상기 시각적 객체와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 마이크로부터 상기 제1 오디오 신호를 획득하는 것을 개시(initiate)하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 지정된 모션에 기반하여, 상기 통신 회로를 이용하여 상기 신호를 지정된 주기에 기반하여 반복적으로 브로드캐스팅하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 통신 회로를 통하여 외부 전자 장치로부터 브로드캐스팅된 제1 신호를 수신하는 것에 기반하여, 가상 마이크로 할당된 정보를 식별하는 동작(예, 도 11의 동작(1110))을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 카메라를 이용하여, 상기 웨어러블 장치가 포함된 외부 공간 내에서, 상기 정보에 의해 지시되는 상기 가상 마이크의 위치를 식별하는 것에 기반하여, 상기 웨어러블 장치의 디스플레이 내에, 상기 가상 마이크에 기반하는 레코딩을 위한 시각적 객체를 표시하는 동작(예, 도 11의 동작(1130))을 포함할 수 있다. 상기 방법은, 상기 시각적 객체와 관련된 입력에 응답하여, 상기 웨어러블 장치의 마이크로부터 출력된 오디오 신호를 획득하는 동작(예, 도 11의 동작(1140))을 포함할 수 있다. 상기 방법은, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 제1 신호에 대한 응답으로(as a response), 상기 오디오 신호 및 상기 식별된 위치를 포함하는 제2 신호를 송신하는 동작(예, 도 11의 동작(1150))을 포함할 수 있다.
예를 들어, 상기 획득하는 동작은, 상기 디스플레이 내에서 상기 위치에 기반하여, 상기 가상 마이크를 표현한 시각적 객체를 표시한 상태 내에서, 상기 마이크로부터 상기 제1 오디오 신호를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 획득하는 동작은, 상기 위치에 기반하여 상기 오디오 신호를 변경하여, 상기 가상 마이크에 대한 오디오 신호를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 획득하는 동작은, 상기 가상 마이크의 이동을 지시하는 입력을 식별하는 것에 기반하여, 상기 입력에 기반하여 이동된 상기 가상 마이크의 위치에 기반하여, 상기 정보를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 획득하는 동작은, 상기 카메라를 이용하여, 상기 정보에 의해 상기 가상 마이크가 부착된 것으로 지시되는 외부 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 카메라에 의해 식별된 상기 외부 객체의 위치에 기반하여, 상기 가상 마이크의 위치를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 송신하는 동작은, 상기 웨어러블 장치에 의해 식별된 상기 가상 마이크의 상기 위치를 지시하는 정보를 포함하는 상기 제2 신호를 송신하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치 주변의 외부 객체에 가상 마이크를 결합하기 위한 입력을 수신하는 동작(예, 도 10의 동작(1010))을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 통신 회로를 통하여, 상기 입력에 의해 상기 가상 마이크와 결합된 상기 외부 객체를 추적하기 위한 정보를 포함하는 신호를 브로드캐스팅하는 동작(예, 도 10의 동작(1020))을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 카메라로부터 획득된 프레임들에 기반하여 식별된, 상기 외부 객체의 위치를 이용하여, 상기 웨어러블 장치의 마이크로부터 제1 오디오 신호를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 통신 회로를 통하여 적어도 하나의 외부 전자 장치로부터 적어도 하나의 제2 오디오 신호를 획득하는 동작(예, 도 10의 동작들(1030, 1040))을 포함할 수 있다. 상기 적어도 하나의 제2 오디오 신호는, 상기 적어도 하나의 외부 전자 장치로부터 상기 신호에 대한 응답으로 송신될 수 있다. 상기 방법은, 상기 외부 객체의 위치에 기반하여, 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 가상 마이크에 의하여 레코딩된 것으로 지시되는 제3 오디오 신호를 획득하는 동작(예, 도 10의 동작(1050))을 포함할 수 있다.
예를 들어, 상기 적어도 하나의 제2 오디오 신호를 획득하는 동작은, 상기 외부 전자 장치로부터, 상기 신호에 대응하는 상기 위치에 기반하여 레코딩된 상기 적어도 하나의 제2 오디오 신호를 수신하는 동작을 포함할 수 있다.
예를 들어, 상기 적어도 하나의 제2 오디오 신호를 획득하는 동작은, 상기 외부 전자 장치로부터, 상기 외부 전자 장치의 마이크를 이용하여 획득된 상기 적어도 하나의 제2 오디오 신호 및 상기 외부 전자 장치에 의해 결정된 상기 가상 마이크의 위치를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 오디오 신호를 획득하는 동작은, 상기 웨어러블 장치의 카메라를 이용하여 인식되는 외부 공간 내에서, 상기 마이크의 위치를 선택하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 오디오 신호를 획득하는 동작은, 상기 선택된 위치에 기반하여, 상기 적어도 하나의 제2 오디오 신호를 변경하는 동작을 포함할 수 있다. 상기 제3 오디오 신호를 획득하는 동작은, 상기 변경된 제1 오디오 신호, 및 상기 변경된 적어도 하나의 제2 오디오 신호를 합성하여, 상기 제3 오디오 신호를 획득하는 동작을 포함할 수 있다.
예를 들어, 상기 선택하는 동작은, 상기 카메라로부터, 상기 입력에 의해 지시되는 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 공간 내 상기 외부 객체의 위치를 이용하여 상기 마이크의 상기 위치를 선택하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 입력에 기반하여, 상기 웨어러블 장치의 디스플레이 내에 상기 가상 마이크를 표현하는 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 웨어러블 장치의 카메라를 이용하여, 상기 시각적 객체를 이동함을 지시하는 모션을 식별하는 것에 기반하여, 상기 가상 마이크의 위치를 지시하는 상기 정보를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 입력에 의해 지시되는 형태를 가지는 상기 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 오디오 신호를 획득하는 동작은, 상기 웨어러블 장치의 카메라를 이용하여 상기 시각적 객체와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 마이크로부터 상기 제1 오디오 신호를 획득하는 것을 개시하는 동작을 포함할 수 있다.
예를 들어, 상기 브로드캐스팅하는 동작은, 상기 지정된 모션에 기반하여, 상기 통신 회로를 이용하여 상기 신호를 지정된 주기에 기반하여 반복적으로 브로드캐스팅하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(예, 도 2a 내지 도 2b의 웨어러블 장치(101))는, 통신 회로(예, 도 2a의 통신 회로(250)), 마이크(예, 도 2a의 마이크(260)), 디스플레이(예, 도 2a의 디스플레이(230)), 카메라(예, 도 2a의 카메라(240)) 및 프로세서(예, 도 2a의 프로세서(210))를 포함할 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 외부 전자 장치로부터 브로드캐스팅된 제1 신호(예, 도 1의 제1 신호(141))를 수신하는 것에 기반하여, 가상 마이크로 할당된 정보를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라를 이용하여, 상기 웨어러블 장치가 포함된 외부 공간 내에서, 상기 정보에 의해 지시되는 상기 가상 마이크의 위치를 식별하는 것에 기반하여, 상기 디스플레이 내에, 상기 가상 마이크에 기반하는 레코딩을 위한 시각적 객체(예, 도 7의 시각적 객체(710))를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 시각적 객체와 관련된 입력에 응답하여, 상기 마이크로부터 출력된 오디오 신호를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 제1 신호에 대한 응답으로, 상기 오디오 신호 및 상기 식별된 위치를 포함하는 제2 신호(예, 도 1의 제2 신호(142))를 송신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 디스플레이 내에서 상기 위치에 기반하여, 상기 가상 마이크를 표현한 시각적 객체를 표시한 상태 내에서, 상기 마이크로부터 상기 오디오 신호를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 위치에 기반하여 상기 오디오 신호를 변경하여, 상기 가상 마이크에 대한 오디오 신호를 획득하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 가상 마이크의 이동을 지시하는 입력을 식별하는 것에 기반하여, 상기 입력에 기반하여 이동된 상기 가상 마이크의 위치에 기반하여, 상기 정보를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라를 이용하여, 상기 정보에 의해 상기 가상 마이크가 부착된 것으로 지시되는 외부 객체를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라에 의해 식별된 상기 외부 객체의 위치에 기반하여, 상기 가상 마이크의 위치를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 웨어러블 장치에 의해 식별된 상기 가상 마이크의 상기 위치를 지시하는 정보를 포함하는 상기 제2 신호를 송신하도록, 하도록, 구성될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1201)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1236) 또는 외장 메모리(1238))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1240))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1201))의 프로세서(예: 프로세서(1220))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(wearable device)에 있어서,
    카메라;
    통신 회로;
    마이크; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 웨어러블 장치 주변의 외부 객체에 가상 마이크를 결합하기 위한 입력을 수신하고;
    상기 통신 회로를 통하여, 상기 입력에 의해 상기 가상 마이크와 결합된 상기 외부 객체를 추적하기 위한 정보를 포함하는 신호를 브로드캐스팅하고;
    상기 카메라로부터 획득된 프레임들에 기반하여 식별된, 상기 외부 객체의 위치를 이용하여, 상기 마이크로부터 제1 오디오 신호를 획득하고;
    상기 통신 회로를 통하여 적어도 하나의 외부 전자 장치로부터 적어도 하나의 제2 오디오 신호를 획득하고, 상기 적어도 하나의 제2 오디오 신호는, 상기 적어도 하나의 외부 전자 장치로부터 상기 신호에 대한 응답으로(as a response) 송신됨; 및
    상기 외부 객체의 위치에 기반하여, 상기 제1 오디오 신호 및 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 가상 마이크에 대한 제3 오디오 신호를 획득하도록, 구성된,
    웨어러블 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 외부 전자 장치로부터, 상기 신호에 대응하는 상기 위치에 기반하여 레코딩된 상기 적어도 하나의 제2 오디오 신호를 수신하도록, 구성된,
    웨어러블 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 외부 전자 장치로부터, 상기 외부 전자 장치의 마이크를 이용하여 획득된 상기 적어도 하나의 제2 오디오 신호 및 상기 외부 전자 장치에 의해 결정된 상기 가상 마이크의 위치를 획득하도록, 구성된,
    웨어러블 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 카메라를 이용하여 인식되는 외부 공간 내에서, 상기 가상 마이크의 위치를 선택하도록, 구성된,
    웨어러블 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 선택된 위치에 기반하여, 상기 제1 오디오 신호를 변경하고;
    상기 선택된 위치에 기반하여, 상기 적어도 하나의 제2 오디오 신호를 변경하고;
    상기 변경된 제1 오디오 신호 및 상기 변경된 상기 적어도 하나의 제2 오디오 신호를 합성하여, 상기 제3 오디오 신호를 획득하도록, 구성된,
    웨어러블 장치.
  6. 제2항에 있어서, 상기 프로세서는,
    상기 카메라로부터, 상기 입력에 의해 지시되는 상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 공간 내 상기 외부 객체의 위치를 이용하여 상기 마이크의 상기 위치를 선택하도록, 구성된,
    웨어러블 장치.
  7. 제1항에 있어서, 디스플레이를 더 포함하고,
    상기 프로세서는,
    상기 입력에 기반하여, 상기 디스플레이 내에 상기 가상 마이크를 표현하는 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    상기 카메라를 이용하여, 상기 시각적 객체를 이동함을 지시하는 모션을 식별하는 것에 기반하여, 상기 가상 마이크의 위치를 지시하는 상기 정보를 변경하도록, 구성된,
    웨어러블 장치.
  9. 제7항에 있어서, 상기 프로세서는,
    상기 입력에 의해 지시되는 형태를 가지는 상기 시각적 객체를 표시하도록
    구성된,
    웨어러블 장치.
  10. 제7항에 있어서, 상기 프로세서는,
    상기 카메라를 이용하여 상기 시각적 객체와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 마이크로부터 상기 제1 오디오 신호를 획득하는 것을 개시(initiate)하도록, 구성된,
    웨어러블 장치.
  11. 제10항에 있어서, 상기 프로세서는,
    상기 지정된 모션에 기반하여, 상기 통신 회로를 이용하여 상기 신호를 지정된 주기에 기반하여 반복적으로 브로드캐스팅하도록, 구성된,
    웨어러블 장치.
  12. 웨어러블 장치의 방법에 있어서,
    상기 웨어러블 장치의 통신 회로를 통하여 외부 전자 장치로부터 브로드캐스팅된 제1 신호를 수신하는 것에 기반하여, 가상 마이크로 할당된 정보를 식별하는 동작;
    상기 웨어러블 장치의 카메라를 이용하여, 상기 웨어러블 장치가 포함된 외부 공간 내에서, 상기 정보에 의해 지시되는 상기 가상 마이크의 위치를 식별하는 것에 기반하여, 상기 웨어러블 장치의 디스플레이 내에, 상기 가상 마이크에 기반하는 레코딩을 위한 시각적 객체를 표시하는 동작;
    상기 시각적 객체와 관련된 입력에 응답하여, 상기 웨어러블 장치의 마이크로부터 출력된 오디오 신호를 획득하는 동작; 및
    상기 통신 회로를 통하여 상기 외부 전자 장치로, 상기 제1 신호에 대한 응답으로(as a response), 상기 오디오 신호 및 상기 식별된 위치를 포함하는 제2 신호를 송신하는 동작을 포함하는,
    방법.
  13. 제12항에 있어서, 상기 획득하는 동작은,
    상기 디스플레이 내에서 상기 위치에 기반하여, 상기 가상 마이크를 표현한 시각적 객체를 표시한 상태 내에서, 상기 마이크로부터 상기 오디오 신호를 획득하는 동작을 포함하는,
    방법.
  14. 제12항에 있어서, 상기 획득하는 동작은,
    상기 위치에 기반하여 상기 오디오 신호를 변경하여, 상기 가상 마이크에 대한 오디오 신호를 획득하는 동작을 포함하는,
    방법.
  15. 제12항에 있어서, 상기 획득하는 동작은,
    상기 가상 마이크의 이동을 지시하는 입력을 식별하는 것에 기반하여, 상기 입력에 기반하여 이동된 상기 가상 마이크의 위치에 기반하여, 상기 정보를 변경하는 동작을 포함하는,
    방법.
PCT/KR2023/015779 2022-11-09 2023-10-13 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법 Ceased WO2024101683A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23888946.3A EP4614308A4 (en) 2022-11-09 2023-10-13 A wearable device for recording audio signals and associated method
US19/203,858 US20250267398A1 (en) 2022-11-09 2025-05-09 Wearable device for recording audio signal and method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220148757 2022-11-09
KR10-2022-0148757 2022-11-09
KR1020220164959A KR20240067751A (ko) 2022-11-09 2022-11-30 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
KR10-2022-0164959 2022-11-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/203,858 Continuation US20250267398A1 (en) 2022-11-09 2025-05-09 Wearable device for recording audio signal and method thereof

Publications (1)

Publication Number Publication Date
WO2024101683A1 true WO2024101683A1 (ko) 2024-05-16

Family

ID=91032658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015779 Ceased WO2024101683A1 (ko) 2022-11-09 2023-10-13 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20250267398A1 (ko)
EP (1) EP4614308A4 (ko)
WO (1) WO2024101683A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011193A (ja) * 2016-07-13 2018-01-18 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
KR20180106812A (ko) * 2017-03-20 2018-10-01 ㈜라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
KR20190028697A (ko) * 2016-07-15 2019-03-19 퀄컴 인코포레이티드 가상, 증강, 및 혼합 현실
KR20190091474A (ko) * 2016-12-05 2019-08-06 매직 립, 인코포레이티드 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
US20210375257A1 (en) * 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
EP3963902A4 (en) * 2019-09-24 2022-07-13 Samsung Electronics Co., Ltd. METHODS AND SYSTEMS FOR RECORDING MIXED AUDIO SIGNALS AND REPRODUCTION OF DIRECTIONAL AUDIO SIGNALS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018011193A (ja) * 2016-07-13 2018-01-18 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
KR20190028697A (ko) * 2016-07-15 2019-03-19 퀄컴 인코포레이티드 가상, 증강, 및 혼합 현실
KR20190091474A (ko) * 2016-12-05 2019-08-06 매직 립, 인코포레이티드 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
KR20180106812A (ko) * 2017-03-20 2018-10-01 ㈜라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
US20210375257A1 (en) * 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4614308A4 *

Also Published As

Publication number Publication date
EP4614308A4 (en) 2026-03-11
EP4614308A1 (en) 2025-09-10
US20250267398A1 (en) 2025-08-21

Similar Documents

Publication Publication Date Title
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2025048141A1 (ko) 타겟 객체의 위치를 식별하기 위한 웨어러블 장치 및 방법
WO2025053423A1 (ko) 카메라로부터 획득된 이미지를 합성하기 위한 전자 장치 및 그 방법
WO2024025076A1 (ko) 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법
WO2024049178A1 (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법
WO2024215173A1 (ko) 디스플레이 상에 외부 객체의 사이즈에 대응하는 화면을 표시하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능 저장 매체
WO2024225865A1 (ko) 가상 환경 내 이미지를 표시하기 위한 전자 장치 및 방법
WO2024029718A1 (ko) 적어도 하나의 외부 객체에 기반하여 적어도 하나의 외부 전자 장치를 선택하기 위한 전자 장치 및 그 방법
WO2025037953A1 (ko) 다수의 제공자들의 아바타들을 관리하고 표시하기 위한 전자 장치 및 방법
WO2026095304A1 (ko) 센서 데이터를 이용하여 텍스트를 요약하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2025023479A1 (ko) 가상 공간 내에서 어플리케이션에 관한 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2026095355A1 (ko) 디스플레이를 통해 표시되는 화면을 제어하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독가능 저장 매체
WO2026034811A1 (ko) 외부 객체에 대응하는 시각적 객체를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2026106112A1 (ko) 깊이 맵을 생성하기 위한 머리-착용 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2024101676A1 (ko) 외부 객체의 유형에 기반하여 외부 객체 내에 포함된 아이템에 대한 정보를 제공하기 위한 웨어러블 장치 및 그 방법
WO2025225926A1 (ko) 아바타의 전역 움직임을 생성하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독 가능 저장 매체
WO2025023480A1 (ko) 가상 공간의 전환에 기반하여 화면을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025023451A1 (ko) 사용자 시선과의 인터랙션을 위한 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2024122999A1 (ko) 가상 공간에서 사용자 입력을 식별하기 위한 전자 장치 및 방법
WO2026101078A1 (ko) 웨어러블 장치, 웨어러블 장치와 연결되는 전자 장치, 및 그의 구동 방법
WO2026075378A1 (ko) 시각적 객체를 표시하기 위한 웨어러블 장치 및 방법
WO2026043081A1 (ko) 사용자의 시선에 따라 이미지를 획득하기 위한 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독가능 저장매체
WO2026029319A1 (ko) 웨어러블 장치와 상호작용하는 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2024177289A1 (ko) 가상 공간에 외부 객체에 대응하는 가상 객체를 배치하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888946

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023888946

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023888946

Country of ref document: EP

Effective date: 20250603

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023888946

Country of ref document: EP