WO2023058848A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023058848A1
WO2023058848A1 PCT/KR2022/009640 KR2022009640W WO2023058848A1 WO 2023058848 A1 WO2023058848 A1 WO 2023058848A1 KR 2022009640 W KR2022009640 W KR 2022009640W WO 2023058848 A1 WO2023058848 A1 WO 2023058848A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
value
external electronic
sound
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/009640
Other languages
English (en)
French (fr)
Inventor
이정원
류종엽
박경춘
가기환
송민진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP22878671.1A priority Critical patent/EP4325486A4/en
Priority to CN202280053743.8A priority patent/CN117795596A/zh
Priority to US17/976,155 priority patent/US12566263B2/en
Publication of WO2023058848A1 publication Critical patent/WO2023058848A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device performing voice recognition and a control method thereof.
  • a plurality of electronic devices can control voices, but which electronic device among the plurality of electronic devices will process a user's wake-up command has become a problem.
  • one electronic device among a plurality of electronic devices can be specified through Multi Device Wakeup (MDW) technology.
  • MDW Multi Device Wakeup
  • Multi Device Wakeup technology it is assumed that the device closest to the ignition location wakes up.
  • the parameters used for correction are secured in a limited environment, and for example, the limited environment may mean a state such as one space, the same environmental noise, limited obstacles, and limited arrangement.
  • the present disclosure has been made in accordance with the above-described needs, and an object of the present disclosure is to provide an electronic device and a control method thereof for obtaining a correction value for a sound measurement value by reflecting an installation environment.
  • an electronic device includes a communication interface, a microphone, and a processor connected to the communication interface and the microphone to control the electronic device. obtaining a first expected value for a first sound output from an external electronic device and a second expected value for a second sound output from a second external electronic device; Controls the communication interface to transmit a first sound output request signal to the first external electronic device to request sound, and in response to the transmitted first sound output request signal, the first external electronic device to the first external electronic device. When 1 sound is output, a first measurement value for the first sound received through the microphone is obtained, and to the second external electronic device to request the second sound to be output by the second external electronic device.
  • a second measurement value for a second sound is obtained, and the first measurement value obtained through the microphone based on the first measurement value, the second measurement value, the first expected value, and the second expected value
  • a correction value for at least one of the second measured values may be obtained.
  • the processor lowers at least one of the first measured value and the second expected value.
  • a correction value is obtained, and when the first measured value is smaller than the first expected value and the second measured value is smaller than the second expected value, at least one of the first measured value or the second measured value is increased. A positive correction value can be obtained.
  • the processor wakes up when the first measurement value does not fall within a first threshold range based on the first expected value and the second measurement value does not fall within a second threshold range based on the second expected value.
  • a correction value for a measurement value of a sound output at a location within a threshold range based on a location corresponding to the first location information of the first external electronic device may be obtained based on whether a device operating according to a command is changed. .
  • the processor acquires the correction value so that the operating device is restored when the device operating according to the wake-up command is changed, and sets the correction value to 0 when the device operating according to the wake-up command is not changed.
  • the correction value may be obtained within a range in which the device or the operating device is not changed.
  • the processor may perform the first external electronic device based on a third measurement value of the second sound measured by the first external electronic device and second location information of the second external electronic device through the communication interface.
  • a third expected value which is an expected measurement value of the second sound by a device, is received from the first external electronic device, and the first measurement value, the second measurement value, the third measurement value, and the first expectation value are received.
  • a correction value for a measured value of sound acquired through the microphone may be obtained based on the value, the second expected value, and the third expected value.
  • the processor determines that the first measurement value does not fall within a first threshold range based on the first expected value and the second measurement value does not fall within a second threshold range based on the second expected value, and If the third measurement value is within a third threshold range based on the third expected value, a correction value for the measurement value of the sound obtained through the microphone may be obtained.
  • the processor determines that the first measurement value does not fall within a first threshold range based on the first expected value and the second measurement value falls within a second threshold range based on the second expected value, and 3 If the measurement value is within the third threshold range based on the third expected value, the location corresponding to the first location information of the first external electronic device is based on whether a device operating according to the wake-up command is changed. As a result, it is possible to obtain a correction value for a measurement value of a sound output at a position within a critical range.
  • the processor acquires the correction value so that the operating device is restored when the device operating according to the wake-up command is changed, and sets the correction value to 0 when the device operating according to the wake-up command is not changed.
  • the correction value may be obtained within a range in which the device or the operating device is not changed.
  • the processor may control the communication interface to transmit a signal requesting the third measured value and the third expected value based on the hardware performance of the first external electronic device to the first external electronic device.
  • the processor controls the communication interface to transmit a first expected value request signal for the first external electronic device and a second expected value request signal for the second external electronic device to an external server, and the communication interface Through, the first expected value and the second expected value may be received from the external server.
  • the processor further includes a memory in which information is stored, and the processor controls the communication interface to transmit a request signal for the first location information and the second location information to an external server, and the processor controls the communication interface to transmit the request signal from the external server through the communication interface.
  • the processor is configured to acquire a plurality of fourth expected values for a third sound output from a third external electronic device at a plurality of locations and to request the third sound to be output by the third external electronic device. Controls the communication interface to transmit a third sound output request signal at the plurality of locations to the third external electronic device, and the third sound output request signal at each of the plurality of locations in response to the transmitted third sound output request signal.
  • the external electronic device outputs the third sound, a plurality of fourth measurement values of the third sound at each of the plurality of positions are obtained through the microphone, and the first measurement value and the second measurement value are obtained.
  • the electronic device may be a movable device such that the location of the third external electronic device may be changed, and the plurality of fourth expected values may be expected measurement values of the third sound by the electronic device at the plurality of locations.
  • the processor obtains a measurement value of the electronic device for the wake-up command through the microphone, corrects the measurement value based on the correction value, and through the communication interface, A calibrated measured value of the first external electronic device in response to the wake-up command is received from the first external electronic device, and a calibrated measured value of the second external electronic device in response to the wake-up command is received from the second external electronic device. A measurement value is received, and if the corrected measurement value is greater than the corrected measurement value of the first external electronic device and the corrected measurement value of the second external electronic device, wake the electronic device based on the wake-up command. can up
  • the first expected value is an expected measurement value of the first sound by the electronic device based on the first location information of the first external electronic device
  • the second expected value is a value of the second external electronic device. It may be an expected measurement value of the second sound by the electronic device based on the second location information.
  • a control method of an electronic device provides a first expected value for a first sound output from a first external electronic device and a second expected value for a second sound output from a second external electronic device. obtaining an expected value, transmitting a first sound output request signal to the first external electronic device to request the first sound to be output by the first external electronic device, and outputting the transmitted first sound obtaining a first measurement value for the first sound received through a microphone provided in the electronic device when the first sound is output from the first external electronic device in response to the request signal; Transmitting a second sound output request signal to the second external electronic device to request the second sound to be output by the electronic device, in response to the transmitted second sound output request signal, the second external electronic device obtaining a second measurement value for the second sound received through the microphone when the second sound is output from the device; and the first measurement value, the second measurement value, the first expected value, and the first measurement value. 2 obtaining a correction value for at least one of the first measurement value and the second measurement value obtained
  • the obtaining of the correction value may include at least one of the first measurement value and the second measurement value when the first measurement value is greater than the first expected value and the second measurement value is greater than the second expected value.
  • a negative correction value lowering one is obtained, and if the first measured value is smaller than the first expected value and the second measured value is smaller than the second expected value, either the first measured value or the second measured value.
  • a positive correction value that increases at least one of the values may be obtained.
  • the obtaining of the correction value may include the first measurement value not belonging to a first threshold range based on the first expected value, and the second measurement value being a second threshold range based on the second expected value. If it is within the range, a correction value for a measurement value of sound output at a position within a threshold range based on a position corresponding to the first position information of the first external electronic device based on whether a device operating according to a wake-up command is changed. can be obtained.
  • the obtaining of the correction value may include acquiring the correction value so that the operating device is restored when the device operating according to the wake-up command is changed, and when the device operating according to the wake-up command is not changed.
  • the correction value may be obtained as 0 or within a range in which the operating device is not changed.
  • the prediction of the second sound by the first external electronic device based on a third measurement value of the second sound measured by the first external electronic device and second location information of the second external electronic device further includes receiving a third expected value, which is a measurement value, from the first external electronic device, and obtaining the correction value includes the first measurement value, the second measurement value, the third measurement value, A correction value for a measurement value of sound obtained through the microphone may be obtained based on the first expected value, the second expected value, and the third expected value.
  • the obtaining of the correction value may include the first measurement value not belonging to a first threshold range based on the first expected value, and the second measurement value being within a second threshold range based on the second expected value. If it does not fall within the range and the third measurement value is within a third threshold range based on the third expected value, a correction value for the measurement value of the sound obtained through the microphone may be obtained.
  • the obtaining of the correction value may include the first measurement value not belonging to a first threshold range based on the first expected value, and the second measurement value being a second threshold range based on the second expected value. and if the third measurement value is within a third threshold range based on the third expected value, the first location information of the first external electronic device is determined based on whether a device operating according to a wake-up command has changed.
  • a correction value for a measurement value of a sound output at a position within a threshold range based on the corresponding position may be obtained.
  • the electronic device corrects the measured value of sound acquired by the electronic device by reflecting the measured value of sound between the installation environment and a plurality of peripheral devices, and based on the corrected measured value It is possible to determine whether to operate or not to improve the accuracy of the operation.
  • the electronic device may periodically increase the accuracy of the operation by performing a correction operation according to an event such as a new peripheral device being added.
  • FIG. 1 is a diagram for explaining Multi Device Wakeup according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a hardware configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method for obtaining a correction value according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining a restricted environment according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a real environment according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart illustrating a tuning operation according to an exemplary embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating information of a plurality of external electronic devices according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of obtaining location information according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart for explaining a method of obtaining a correction value according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining a method of obtaining a correction value according to an embodiment of the present disclosure.
  • 11 is a diagram for explaining an operation of additionally considering data between external devices according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram for explaining an operation of additionally considering data between external devices according to another embodiment of the present disclosure.
  • FIG. 13 is a diagram for explaining a case in which an obstacle exists in one direction according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram for explaining a method of identifying a direction according to an embodiment of the present disclosure.
  • 15 is a diagram for explaining tuning using a movable device according to another embodiment of the present disclosure.
  • 16 is a flowchart illustrating tuning using a movable device according to an embodiment of the present disclosure.
  • 17 is a flowchart illustrating a method for an electronic device to acquire correction values of a plurality of external electronic devices according to an embodiment of the present disclosure.
  • 18 is a diagram for explaining a specific method of acquiring correction values of a plurality of external electronic devices by an electronic device according to an embodiment of the present disclosure.
  • 19 is a flowchart for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 2 is a block diagram for explaining a hardware configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 is a device that performs voice recognition and natural language understanding for a user's voice signal, and uses a microphone such as a smartphone, tablet PC, desktop PC, laptop, smart watch, set-top box (STB), speaker, computer body, etc. It may be a device for performing voice recognition and natural language understanding on a user's voice signal received through a microphone.
  • a microphone such as a smartphone, tablet PC, desktop PC, laptop, smart watch, set-top box (STB), speaker, computer body, etc. It may be a device for performing voice recognition and natural language understanding on a user's voice signal received through a microphone.
  • the electronic device 100 may include a TV, a video wall, a large format display (LFD), a digital signage, a digital information display (DID), a projector display, a digital video disk (DVD) player, and a monitor. It may be a device without a microphone, such as smart glasses, that receives a user voice signal through wired/wireless communication from an external electronic device such as a remote control device, and performs voice recognition and natural language understanding on the user voice signal. .
  • LFD large format display
  • DID digital information display
  • DVD digital video disk
  • the electronic device 100 may be a device that receives a user voice signal through a microphone, transmits the received user voice signal to a server, and receives a result of voice recognition and natural language understanding of the user voice signal from the server.
  • the electronic device 100 may be any device as long as it can receive a user voice signal.
  • the electronic device 100 includes a communication interface 110 , a microphone 120 and a processor 130 .
  • the electronic device 100 may be implemented in a form in which some components are excluded.
  • the communication interface 110 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the display device 100 may receive a sound measurement value or the like from an external device through the communication interface 110 .
  • the communication interface 110 may include a WiFi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and the Bluetooth module perform communication using the Wi-Fi method and the Bluetooth method, respectively.
  • various connection information such as SSID (Service Set Identifier) and session key may be first transmitted and received, and various information may be transmitted and received after communication connection is established using the transmitted/received information.
  • the infrared communication module performs communication according to infrared data association (IrDA) technology that transmits data wirelessly over a short distance using infrared rays between visible rays and millimeter waves.
  • IrDA infrared data association
  • the wireless communication module can use Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G (5th Generation) may include at least one communication chip that performs communication according to various wireless communication standards.
  • 3G 3rd Generation
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • LTE-A LTE Advanced
  • 4th Generation (4G) may include at least one communication chip that performs communication according to various wireless communication standards.
  • the communication interface 110 may include a wired communication interface such as HDMI, DP, Thunderbolt, USB, RGB, D-SUB, DVI, and the like.
  • the communication interface 110 may include at least one of a local area network (LAN) module, an Ethernet module, or a wired communication module that performs communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • LAN local area network
  • Ethernet Ethernet
  • wired communication module that performs communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • the microphone 120 is a component for receiving sound and converting it into an audio signal.
  • the microphone 120 is electrically connected to the processor 130 and can receive sound under the control of the processor 130 .
  • the sound may include sound generated from at least one of the electronic device 100 and external electronic devices around the electronic device 100 and noise around the electronic device 100 .
  • the microphone 120 may be formed integrally with the electronic device 100 in an upper, front, or side direction.
  • the microphone 120 may be provided in a separate remote control from the electronic device 100 .
  • the remote controller may receive sound through the microphone 120 and provide the received sound to the electronic device 100 .
  • the microphone 120 includes a microphone for collecting analog sound, an amplifier circuit for amplifying the collected sound, an A/D conversion circuit for sampling the amplified sound and converting it into a digital signal, and a noise component removal from the converted digital signal. It may include various configurations such as filter circuits and the like.
  • a plurality of microphones 120 may be provided.
  • the processor 130 may analyze the sound input from the plurality of microphones to identify the sound output location.
  • the microphone 120 may be implemented in the form of a sound sensor, and any method may be used as long as it is configured to collect sound.
  • the processor 130 generally controls the operation of the electronic device 100 .
  • the processor 130 may be connected to each component of the electronic device 100 to control the overall operation of the electronic device 100 .
  • the processor 130 may be connected to components such as the communication interface 110, the microphone 120, a memory (not shown), and a display (not shown) to control the operation of the electronic device 100.
  • the processor 130 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON). However, it is not limited thereto, and the central processing unit ( central processing unit (CPU)), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), or communication processor (CP), ARM processor
  • the processor 130 may be implemented as a system on chip (SoC) having a built-in processing algorithm, a large scale integration (LSI), or an FPGA ( It may be implemented in the form of a field programmable gate array).
  • SoC system on chip
  • the location of a plurality of modules inside the processor 130 in FIG. 2 is to indicate a state in which the plurality of modules are loaded (or executed) by the processor 130 and operated in the processor 130, and the plurality of modules are It may be in a pre-stored state in memory.
  • the processor 130 may control the overall operation of the electronic device 100 by executing modules or instructions stored in memory. Specifically, the processor 130 may read and interpret modules or instructions and determine a sequence for data processing, and accordingly, by transmitting a control signal for controlling the operation of other components such as a memory, it may control the operation of other components. .
  • the processor 130 obtains a first expected value for a first sound received from a first external electronic device and a second expected value for a second sound received from a second external electronic device by executing the expected value obtaining module. can do.
  • the first expected value is an expected measured value of the first sound received from the electronic device 100 based on the first location information of the first external electronic device
  • the second expected value is the second expected value of the second external electronic device. This is an expected measurement value of the second sound received from the electronic device 100 based on the location information, and may be a preset value in a restricted environment.
  • the processor 130 controls the communication interface 110 to transmit expected value request signals for the first external electronic device and the second external electronic device to the external server, and through the communication interface 110, the first expected value and The second expected value may be received from an external server.
  • location information of each of the electronic device 100 , the first external electronic device, and the second external electronic device may be stored in the external server.
  • the external server includes information about a first expected value according to a distance between the electronic device 100 and the first external electronic device and information about a second expected value according to a distance between the electronic device 100 and the second external electronic device. can be stored.
  • the information on the first expected value is the first expected value 1 when the distance between the electronic device 100 and the first external electronic device is 1 m
  • the distance between the electronic device 100 and the first external electronic device is Information such as the first expected value 2 in case of 2m may be included.
  • Information on the second expected value may also include information in a form similar to that of the information on the first expected value.
  • the information on the first expected value may be information in the form of a function using the distance between the electronic device 100 and the first external electronic device as a variable.
  • the information on the second expected value may also be information in the form of a function using the distance between the electronic device 100 and the second external electronic device as a variable.
  • the external server identifies a first expected value corresponding to the distance between the electronic device 100 and the first external electronic device and a second expected value corresponding to the distance between the electronic device 100 and the second external electronic device, and The first expected value and the identified second expected value may be provided to the electronic device 100 .
  • the electronic device 100 provides first information about a first expected value based on the distance between the electronic device 100 and the first external electronic device and second information based on the distance between the electronic device 100 and the second external electronic device. It may further include a memory in which second information about the expected value is stored.
  • the memory may refer to hardware that stores information such as data in an electrical or magnetic form so that the processor 130 or the like can access it.
  • the memory may be implemented as at least one hardware among nonvolatile memory, volatile memory, flash memory, hard disk drive (HDD) or solid state drive (SSD), RAM, ROM, and the like.
  • the processor 130 controls the communication interface 110 to transmit a request signal for the first location information and the second location information to the external server, and receives the first location information from the external server through the communication interface 110. and receiving the second location information, and obtaining a first expected value corresponding to the first location information based on the first information and a second expected value corresponding to the second location information based on the second information.
  • the processor 130 may control the communication interface 110 to transmit the first sound output request signal to the first external electronic device by executing the sound output request module.
  • the first sound output request signal may include a signal for controlling the first external electronic device.
  • the first sound output request signal may include a signal for controlling the first external electronic device to immediately output the first sound upon receiving the first sound output request signal.
  • the processor 130 transmits the first sound output request signal, and when a first measurement value for the first sound output from the first external electronic device is obtained, the processor 130 executes the sound output request module to obtain the second external electronic device.
  • the communication interface 110 may be controlled to transmit the second sound output request signal to the electronic device.
  • the second sound output request signal may include a signal for controlling the second external electronic device.
  • the second sound output request signal may include a signal for controlling the second external electronic device to immediately output the second sound upon receiving the second sound output request signal.
  • the processor 130 may control the communication interface 110 to transmit one sound output request signal to the first external electronic device and the second external electronic device.
  • the sound output request signal may include a signal for differently controlling the first external electronic device and the second external electronic device.
  • the sound output request signal may include a first signal for controlling the first external electronic device to output the first sound immediately after receiving the first sound output request signal and a sound 3 seconds after receiving the first sound output request signal. It may include a second signal for controlling the second external electronic device to output.
  • the sound output request signal may be implemented in various ways.
  • the sound output request signal is a first signal for controlling the first external electronic device to output sound immediately after receiving the first sound output request signal and the first external electronic device after receiving the first sound output request signal.
  • the processor 130 executes the measurement value acquisition module to obtain a first measurement value for the first sound through the microphone 120.
  • a second measurement value for the second sound may be obtained through the microphone 120 .
  • the timing at which the first sound and the second sound are output may be different.
  • the processor 130 corrects the measured value of the sound acquired through the microphone 120 based on the first measured value, the second measured value, the first expected value, and the second expected value by executing the correction value acquisition module. value can be obtained.
  • the processor 130 may obtain a negative correction value for the measurement value of the sound obtained through the microphone 120.
  • the first measurement value and the second measurement value are the first expectation value, respectively. value and the second expected value.
  • the processor 130 may obtain a negative correction value for lowering the measured value of the sound acquired through the microphone 120 .
  • the processor 130 determines a positive correction value for the measurement value of the sound acquired through the microphone 120.
  • a positive correction value for the measurement value of the sound acquired through the microphone 120 can be obtained
  • the first measurement value and the second measurement value may be smaller than the first expected value and the second expected value, respectively, in this case
  • the processor 130 may obtain a positive correction value for increasing a measurement value of sound acquired through the microphone 120 .
  • the processor 130 issues a wake-up command.
  • a correction value for a measurement value of a sound output at a position within a threshold range based on a position corresponding to the first position information may be obtained based on whether a device operating according to the present invention is changed.
  • the first measurement value when there is an obstacle between the electronic device 100 and the first external electronic device, the first measurement value is lower than the first expected value, but there is no obstacle between the electronic device 100 and the second external electronic device.
  • the second measurement value may be within a second threshold range based on the second expected value.
  • the processor 130 may obtain a correction value for a measurement value of sound output at a location within a threshold range from the location of the first external electronic device.
  • the processor 130 acquires a correction value so that the operating device is restored when the device operating according to the wake-up command is changed, and acquires the correction value as 0 or operates when the device operating according to the wake-up command is not changed.
  • the correction value can be obtained within the range in which the device used is not changed.
  • the measured value of the electronic device 100 for the first sound output from the first external electronic device is the first external electronic device. It must be greater than the measured value of the second external electronic device for sound, and the electronic device 100 must wake up.
  • the measured value of the electronic device 100 for the first sound output from the first external electronic device due to the obstacle may be smaller than the measured value of the second external electronic device for the first sound.
  • the electronic device ( 100), the second external electronic device may be woken up. Accordingly, the processor 130 may obtain a correction value so that the electronic device 100 wakes up.
  • the measured value of the electronic device 100 for the first sound output from the first external electronic device may be greater than the measured value of the second external electronic device for the first sound.
  • the processor 130 may obtain a correction value of 0 or obtain a correction value within a range in which the wake-up device does not change.
  • the processor 130 generates the second sound by the first external electronic device based on the third measurement value of the second sound measured by the first external electronic device and the second location information through the communication interface 110 .
  • a third expected value which is an expected measured value of , may be received from the first external electronic device.
  • each of the electronic device 100 , the first external electronic device, and the second external electronic device may share the measured value and the expected value.
  • each of the electronic device 100, the first external electronic device, and the second external electronic device may obtain a correction value for a sound measurement value obtained through a microphone.
  • the processor 130 controls the communication interface 110 to transmit a signal requesting a third measured value and a third expected value based on the hardware performance of the first external electronic device to the first external electronic device, and the communication interface A third expected value that is an expected measurement value of the second sound by the first external electronic device based on the third measurement value of the second sound measured by the first external electronic device and the second location information through (110). may be received from the first external electronic device.
  • the processor 130 obtains a correction value for the measured value of the sound obtained not only from the electronic device 100 but also from the first external electronic device and the second external electronic device, respectively, and converts the obtained correction value to a corresponding external electronic device.
  • the communication interface 110 may be controlled to be transmitted to an electronic device.
  • the processor 130 determines the measured value of the sound acquired through the microphone 120 based on the first measured value, the second measured value, the third measured value, the first expected value, the second expected value, and the third expected value. It is also possible to obtain a correction value for
  • the processor 130 determines that the first measurement value does not fall within the first threshold range based on the first expected value, the second measurement value does not fall within the second threshold range based on the second expected value, and the third measurement value does not fall within the second threshold range based on the second expected value. If it is within the third threshold range based on the third expected value, a correction value for a measurement value of sound obtained through the microphone 120 may be obtained.
  • the processor 130 identifies a hardware problem of the electronic device 100 itself or an environmental problem in which the electronic device 100 is placed, and sets a correction value for a sound measurement value obtained through the microphone 120. can be obtained
  • the processor 130 determines that the first measurement value does not fall within a first threshold range based on the first expected value, the second measurement value falls within a second threshold range based on the second expected value, and the third measurement value If it is within the third threshold range based on the third expected value, sound output at a position within the threshold range based on the position corresponding to the first location information is measured based on whether the device operating in response to the wake-up command is changed. A correction value for the value may be obtained.
  • the processor 130 may obtain a correction value for a measurement value of sound output at a location within a threshold range from the location of the first external electronic device.
  • the processor 130 acquires a correction value so that the operating device is restored when the device operating according to the wake-up command is changed, and acquires the correction value as 0 or operates when the device operating according to the wake-up command is not changed.
  • the correction value can be obtained within the range in which the device used is not changed.
  • the processor 130 may, if the first measured value is greater than the first expected value, the second measured value is greater than the second expected value, and the third measured value is greater than the third expected value, the electronic device 100, the second expected value It can be identified that the space in which the first external electronic device and the second external electronic device are disposed is very narrow. In this case, since there is a high possibility that a device operating according to the wake-up command will not be changed, the processor 130 may not obtain a correction value.
  • the processor 130 obtains a correction value for the measured value of the sound obtained through the microphone 120, and the first external electronic device and the second external electronic device also through their respective microphones.
  • a correction value for the measured value of the acquired sound may be obtained. That is, all devices may obtain the correction value in a state in which devices operating according to the wake-up command do not change.
  • the processor 130 may acquire the correction value by further considering the third measured value and the third expected value, and the accuracy of the correction value through a more accurate analysis of the surrounding environment of the electronic device 100. can improve
  • the processor 130 may obtain a correction value based on the first measurement value, the third measurement value, the first expected value, and the third expected value. For example, if the first measurement value is less than a first threshold range based on the first expected value and the third measurement value is within a third threshold range based on the third expected value, the processor 130 may select the microphone. It is also possible to obtain a positive correction value for the measured value of the sound obtained through
  • the processor 130 obtains a plurality of fourth expected values for third sounds output from third external electronic devices at a plurality of locations, and requests the third external electronic device to output third sounds at a plurality of locations.
  • the communication interface 110 may be controlled to transmit a signal.
  • the third external electronic device may be a movable device, and the plurality of fourth expected values may be expected measurement values of third sounds by the electronic device at a plurality of locations.
  • the processor 130 obtains a plurality of fourth expected values for third sounds output from a robot cleaner capable of moving in a plurality of positions, and a third sound output request signal at a plurality of positions to the robot cleaner. It is possible to control the communication interface 110 to transmit.
  • the processor 130 When the third external electronic device outputs the third sound at each of the plurality of locations based on the third sound output request signal, the processor 130 outputs the third sound at each of the plurality of locations through the microphone 120. A fourth measured value of can be obtained.
  • the processor 130 determines the sound measured through the microphone 120 based on the first measurement value, the second measurement value, the plurality of fourth measurement values, the first expected value, the second expected value, and the plurality of fourth expected values. A correction value for can be obtained.
  • the processor 130 may acquire a correction value by further receiving a sound output from an arbitrary location, not just a sound output from a fixed location, such as the first external electronic device or the second external electronic device. A more accurate analysis of the space where the device 100 is placed is possible.
  • the present invention is not limited thereto, and the processor 130 may obtain a correction value using only a plurality of fourth measured values and a plurality of fourth expected values.
  • the processor 130 does not perform any communication with the first external electronic device and the second external electronic device, and the plurality of fourth expected values for the third sound output from the third external electronic device at a plurality of positions.
  • the electronic device When the electronic device outputs the third sound, a plurality of fourth measurement values of the third sound at each of the plurality of positions are obtained through the microphone 120, and the plurality of fourth measurement values and the plurality of fourth expected values are obtained.
  • a correction value for the sound measured through the microphone 120 may be obtained based on .
  • the third external electronic device may be a movable device
  • the plurality of fourth expected values may be expected measurement values of third sounds by the electronic device 100 at a plurality of locations.
  • the processor 130 acquires a measurement value of the electronic device 100 in response to the wake-up command through the microphone 120, and converts the measurement value to the correction value. Receives a measured value of the first external electronic device in response to a wake-up command from the first external electronic device through the communication interface 110, and receives a measurement value of the first external electronic device in response to a wake-up command from the second external electronic device through the communication interface 110.
  • the electronic device 100 may be woken up based on a wake-up command. there is.
  • the processor 130 can obtain a correction value according to the surrounding environment of the electronic device 100 and determine whether to operate based on the corrected measurement value for the wake-up command, so that even when placed in an arbitrary environment, the processor 130 has high accuracy. High action is possible.
  • the above correction value acquisition module may be implemented as a rule-based model.
  • the correction value acquisition module may be implemented as a neural network model.
  • the electronic device 100 may further include a memory in which a neural network model for obtaining a correction value is stored, and the processor 130 may obtain a correction value of each device by inputting measurement values to the neural network model.
  • the neural network model for obtaining the correction value may be a model obtained by learning the relationship between expected values and measured values.
  • the above artificial intelligence-related functions are operated through the processor 130 and memory.
  • Processor 130 may be composed of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphics-only processor such as a GPU, or a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • GPU graphics-only processor
  • VPU vision processing unit
  • NPU an artificial intelligence-only processor
  • One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory.
  • the processors dedicated to artificial intelligence may be designed as a hardware structure specialized for processing a specific artificial intelligence model.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, and a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the plurality of weights of the plurality of neural network layers may be optimized according to the learning result of the artificial intelligence model. For example, a plurality of weights may be updated to reduce or minimize a loss value or a cost value obtained from an artificial intelligence model during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • FIG. 3 is a flowchart illustrating a method for obtaining a correction value according to an embodiment of the present disclosure.
  • the processor 130 may obtain a first expected value for a first sound output from a first external electronic device and a second expected value for a second sound output from a second external electronic device (S310). .
  • the processor 130 may generate a third expected value that is an expected measurement value of the second sound by the first external electronic device based on the first location information of the first external electronic device and the second location information of the second external electronic device. can also be obtained.
  • the processor 130 may calculate a first expected value, a second expected value, and a third expected value based on first location information of the first external electronic device and second location information of the second external electronic device.
  • a formula for obtaining an expected value based on location information may be stored in the memory.
  • the processor 130 may receive the first expected value, the second expected value, and the third expected value from the server.
  • the first expected value, the second expected value, and the third expected value may be pre-stored in the electronic device 100 .
  • the processor 130 may transmit a sound output request signal to the first external electronic device and the second external electronic device (S320). For example, if there is a user's tuning command, the processor 130 may transmit a sound output request signal to the first external electronic device and the second external electronic device.
  • the tuning command is a command instructing to acquire a correction value for the measured value of the sound acquired through the microphone 120, and if it is determined that there is an error in the process of giving a voice recognition command by the user, the tuning command is sent to the electronic device ( 100) can be entered.
  • the processor 130 may perform the first external electronic device and the first external electronic device if the device that wakes up according to the user's wake-up command is not the closest device to the user and the command is executable by a device other than the woke-up device a predetermined number of times.
  • a sound output request signal may be transmitted to the second external electronic device.
  • the processor 130 transmits a sound output request signal to the first external electronic device and the second external electronic device when the wake up command is repeatedly input even if the device closest to the user is woken up according to the user's wake up command. can also be transmitted.
  • the processor 130 may transmit a sound output request signal to the first external electronic device, the second external electronic device, and the new external electronic device.
  • the electronic device 100, the first external electronic device, and the second external electronic device may periodically obtain a measurement value of sound using an inaudible frequency, and the processor 130 determines that the previously stored measurement value is greater than or equal to a threshold value.
  • a sound output request signal may be transmitted to the first external electronic device and the second external electronic device based on the number of changes. This operation is an operation for periodically obtaining a measurement value of sound without a user's knowledge and for recognizing a change in an arrangement environment.
  • the processor 130 Based on the sound output request signal, the processor 130 obtains a first measurement value for the first sound through the microphone 120 when the first sound is output from the first external electronic device, and in the second external electronic device When the second sound is output, a second measurement value for the second sound may be obtained through the microphone 120 (S330). Also, the processor 130 may receive a third measurement value for the second sound measured by the first external electronic device from the first external electronic device through the communication interface 110 .
  • the processor 130 determines the measured value of the sound acquired through the microphone 120 based on the first measured value, the second measured value, the third measured value, the first expected value, the second expected value, and the third expected value. It is possible to obtain a correction value for (S340).
  • FIGS. 4 to 18 describe individual embodiments for convenience of description. However, the individual embodiments of FIGS. 4 to 18 may be implemented in any combination.
  • FIG. 4 is a diagram for explaining a restricted environment according to an embodiment of the present disclosure.
  • each of a plurality of electronic devices may measure sound at a position of the other electronic devices.
  • the plurality of electronic devices may measure sound at, for example, positions 1, 2, 3, 4, and 5 by means of a movable external electronic device.
  • each of the plurality of electronic devices is tuned in consideration of differences in hardware, etc., and an expected value for sound at an arbitrary position may be obtained.
  • an actual use environment may be different from that of FIG. 4 , for example, arrangement states of a plurality of electronic devices may be changed and obstacles may be disposed between the plurality of electronic devices.
  • FIG. 5 is a diagram for explaining a real environment according to various embodiments of the present disclosure.
  • an obstacle such as a high shelf or a wine cellar may be placed in front of the speaker, and even if the user 510 fires toward the speaker, the speaker does not receive the measurement value due to the obstacle. is lowered, and a refrigerator with a relatively larger measured value than the speaker can be woken up. That is, a device that does not meet the intention of the user 510 may operate due to an obstacle.
  • the washing machine may be placed in a narrow space, and even if the user 520 fires toward a refrigerator that is relatively closer than the washing machine, the washing machine may be damaged by the narrow space. Measurements may be higher. That is, a washing machine other than a refrigerator that is close to the user may be woken up. That is, a device that does not meet the intention of the user 520 may operate due to the arrangement space.
  • each of the plurality of electronic devices may malfunction depending on the arrangement state, etc., and needs to be operated by reflecting the arrangement state or the like.
  • FIG. 6 is a flowchart illustrating a tuning operation according to an exemplary embodiment of the present disclosure.
  • the processor 130 may receive a user's tuning command (S610). However, it is not limited thereto, and as described above, an operation after a tuning command may be performed for reasons such as addition of a new device.
  • a neural network model for identifying whether or not a tuning operation has been performed may be stored in the memory of the electronic device 100, and the processor 130 inputs information about the electronic device 100 and a plurality of external electronic devices into the neural network model. Whether or not a tuning operation is performed may be identified.
  • the processor 130 may measure the surrounding characteristics of the electronic device 100 (S620). For example, the processor 130 may measure reverberation at the installation location by reproducing variable frequency pink noise. However, it is not limited thereto, and the processor 130 may further reproduce non-audible sound, white noise, and the like as well as pink noise.
  • the processor 130 may turn off the wake-up mode and change to the tuning mode (S630).
  • the processor 130 wakes up when a user's wakeup command is received and the measured value is the largest among the electronic device 100 and a plurality of external electronic devices.
  • the processor 130 may not wake up even if a user's wake-up command is received and the electronic device 100 and a plurality of external electronic devices have the largest measured value.
  • the tuning mode may be a mode for performing a tuning operation such as sound output, acquisition, measurement value, and correction value acquisition/calculation.
  • the processor 130 may update information on a plurality of external electronic devices (S640). For example, as shown in FIG. 7 , the processor 130 provides a list of a plurality of external electronic devices, locations of the plurality of external electronic devices, device characteristics, device peripheral characteristics, and each of the plurality of external electronic devices. Information on signal strength for each type of noise may be updated.
  • the processor 130 may receive information on each of the plurality of external electronic devices from each of the plurality of external electronic devices and update information on the plurality of external electronic devices. Alternatively, the processor 130 may receive information on a plurality of external electronic devices through a server and update the information on the plurality of external electronic devices.
  • the processor 130 may update information of a plurality of external electronic devices through an external server. Alternatively, the processor 130 may receive data from each of the plurality of external electronic devices and update information of the plurality of external electronic devices.
  • All of the plurality of external electronic devices may equally perform this operation.
  • the processor 130 may estimate distances/positions of a plurality of external electronic devices (S650). All of a plurality of external electronic devices connected to the network may equally perform this operation. However, it is not limited thereto, and the electronic device 100 and a plurality of external electronic devices may be in a state in which location information for all electronic devices is stored, and in this case, step S650 may be omitted.
  • the processor 130 may reproduce variable frequency pink noise (S810). However, it is not limited thereto, and the processor 130 may further reproduce non-audible sound, white noise, and the like as well as pink noise.
  • the processor 130 may record the sound pressure for each frequency band of the sound output from the external electronic device and measure the distance between the devices (S820). Here, if the measurement value is 0, the processor 130 may identify the location or structure as unreachable by sound (S840). Alternatively, the processor 130 may measure the distance if the measured value is not 0 (S850). For example, the processor 130 may measure the distance based on a Wi-Fi signal, etc., and there is no limitation on how to measure the distance. All of the plurality of external electronic devices may equally perform this operation.
  • the processor 130 may acquire location information on a plurality of external electronic devices and then correct tuning parameters (S660). All of a plurality of external electronic devices connected to the network may equally perform this operation.
  • the processor 130 may measure installation location environment information (S910). For example, at the time of tuning, measurement values may be distorted due to ambient noise such as external sound and human noise, and the processor 130 may minimize distortion by measuring installation location environment information.
  • the processor 130 may reflect environment information (S920).
  • the processor 130 may reflect environmental information such as ambient noise to the size of a measurement value or a signal to noise ratio (SNR).
  • SNR signal to noise ratio
  • the processor 130 may change the setting to a speaker volume for tuning (S930) and reproduce the wake-up trigger audio (S940). This operation is equally performed in an external electronic device, and in this case, the processor 130 may obtain a sound output from the external electronic device as a measurement value.
  • the processor 130 may record a score between devices (S950). For example, the processor 130 obtains the magnitude of sound output from the external electronic device as a measurement value, and updates the measurement value based on speaker characteristics of the external electronic device, microphone characteristics of the electronic device 100, environment information, and the like. You can get points by doing this. For convenience of explanation, it is assumed that only the speaker characteristics differ between the devices, and all other elements are the same. For example, when the speaker of the external electronic device is smaller than the average output of the devices, the processor 130 may obtain a score by correcting a measured value of sound output from the external electronic device to be higher.
  • the processor 130 may share the score with a plurality of external electronic devices (S960) and obtain a correction value based on the relative distance/relative position of each device (S970). For example, the processor 130 obtains a first expected value for a first sound output from the first external electronic device based on location information of the first external electronic device, and obtains the first expected value for the first sound as a first output value for the first sound. can be compared with The processor 130 may perform this operation for each of a plurality of external electronic devices, determine the existence of an obstacle, an installation environment of the electronic device 100, and the like, and obtain a correction value according to the determination result.
  • S960 a plurality of external electronic devices
  • the processor 130 may end the tuning mode, change to the wakeup mode, and restore the volume (S980). All of a plurality of external electronic devices connected to the network may equally perform this operation.
  • FIG. 10 is a diagram for explaining a method of obtaining a correction value according to an embodiment of the present disclosure.
  • the upper part 10-1 of FIG. 10 is a view showing a case where the installation position of device C is a location where the reverberation is large, and the measured value of device C is greater than the expected value.
  • the expected value for the sound output from device A is 0.7 but the measured value is 0.85
  • the expected value for the sound output from device B is 0.8 but the measured value is 0.95. did This is due to the low ceiling height or reverberation, and the C device can obtain -0.15 as a correction value. That is, the device C may lower the measured value of the sound obtained thereafter by 0.15.
  • device C can identify that an operating device is changed as the measured value increases. For example, although device A should have higher operation priority than device C according to the sound at location B, device C may have higher priority than device A in the case of the upper part 10-1 of FIG. 10 . That is, in this case, correction of the measured value of device C may be an essential operation.
  • the lower part 10-2 of FIG. 10 is a diagram showing a case where the measured value of device C is smaller than the expected value.
  • the expected value for the sound output from device A is 0.7 but the measured value is 0.6, and the output from device B is 0.7. It was assumed that the expected value for sound was 0.8 but the measured value was 0.65. This is due to the sound absorbing element, and the C device can obtain +0.1 to +0.15 as a correction value. That is, the device C may increase the measured value of the sound obtained thereafter by 0.15.
  • 11 is a diagram for explaining an operation of additionally considering data between other devices according to an embodiment of the present disclosure.
  • the upper part 11-1 of FIG. 11 represents the expected value
  • the lower part 11-2 of FIG. 11 represents the measured value
  • the measured value between the A device and the C device increased by 0.1 from the expected value
  • the B device and The measured value between C devices increased by 0.1 from the expected value.
  • the measured value between device A and device B decreased by 0.2 from the expected value, indicating that there may be an obstacle between device A and device B.
  • device B should have higher operation priority than device C depending on the sound at location A, but according to the measured value, device C has higher priority than device B depending on the sound at location A. That is, as the priority changes, the measured value between A and B requires correction, the other measured value increases by 0.1, and the measured value between A and B decreases by 0.2, so a correction value of 0.3 is obtained. It can be.
  • the obtained correction value is not applied to all sound measurement values.
  • device A may increase the measured value of sound output at a location within a threshold range relative to the location of device B by 0.3.
  • the B device may increase the measured value of the output sound by 0.3 at a location within a threshold range based on the location of the A device.
  • the critical range may be a preset angular range.
  • device B may correct sound input from a position within a range of 30 degrees to the left and right of device A, and may not correct sound input from a position within the remaining range.
  • the threshold range may be determined by further considering the location of device C.
  • device B may determine the threshold range by equally dividing an angle formed by a straight line from device B to device A and a straight line from device B to device C. That is, device B may correct only sounds input from positions within a range of 45 degrees in a clockwise direction and 45 degrees in a counterclockwise direction from a straight line from device B to device A.
  • FIG. 12 is a diagram for explaining an operation of additionally considering data between other devices according to another embodiment of the present disclosure.
  • the upper part of FIG. 12 shows the expected value
  • the lower part of FIG. 12 shows the measured value
  • the measured value between device A and device B increased by 0.1 from the expected value
  • the measured value between device A and device C exceeded the expected value. increased by 0.1.
  • the measured value between device B and device C increased by 0.15 from the expected value.
  • device B has higher operation priority than device A according to the sound at position C, and even according to the measured value, device B has higher priority than device A according to the sound at position C. That is, the priority is not changed, and the measured value between device B and device C does not require correction.
  • it is okay to correct it like other measured values and since the other measured values increased by 0.1 and the measured values between the B device and the C device increased by 0.15, a correction value of -0.05 can be obtained.
  • the obtained correction value is not applied to all sound measurement values.
  • device B may lower the measured value of sound output at a location within a threshold range relative to the location of device C by 0.05.
  • device C may lower the measured value of sound output at a location within a threshold range based on the location of device B by 0.05.
  • the correction value not only -0.05 but also values between -0.05 and 0 may be used.
  • FIG. 13 is a diagram for explaining a case in which an obstacle exists in one direction according to an embodiment of the present disclosure.
  • an obstacle may exist between device B and device A.
  • device B can identify 45 degrees as one range, and device A direction can be identified as range 1. Thereafter, device B may perform correction on the sound output from a position within the range of 1.
  • 45 degrees is described as one range for convenience of explanation, but this range may be set differently.
  • device B may further consider device C as well as device A and determine 90 degrees as one range.
  • FIG. 14 is a diagram for explaining a method of identifying a direction according to an embodiment of the present disclosure.
  • the electronic device 100 may include a plurality of microphones.
  • the electronic device 100 may include at least two microphones on the same horizontal line.
  • the processor 130 may identify the output direction of the sound based on the frequency of the sound received from the two microphones, a reception time difference, and the like.
  • the electronic device 100 may include three or more microphones.
  • 15 is a diagram for explaining tuning using a movable device according to another embodiment of the present disclosure.
  • the processor 130 may obtain a correction value based on the sound output from the robot cleaner RVC. For example, as shown in FIG. 15 , the processor 130 may transmit sound output request signals for a plurality of locations represented by dots between grids to the robot cleaner. The robot cleaner may output sound at a plurality of positions while moving in space.
  • the robot cleaner may store information on a plurality of locations and transmit the stored information to a plurality of external electronic devices as well as the electronic device 100 .
  • the movable device is a robot cleaner, this is only an example, and any device may be used as long as it is movable in space.
  • FIG. 16 is a flowchart illustrating tuning using a movable device according to an embodiment of the present disclosure.
  • operations of the electronic device 100 overlapping some operations of FIG. 6 are omitted, and the movable device is described as a robot cleaner.
  • the robot cleaner may receive a sound output request signal for a plurality of locations from the electronic device 100 (S1610). For example, when the electronic device 100 changes to the tuning mode, it may transmit a sound output request signal for a plurality of locations to the robot cleaner.
  • the robot cleaner may turn off the wake-up mode and change to the tuning mode (S1620). This mode change may be the same as the operation S630 of FIG. 6 .
  • the robot cleaner may reproduce pink noise at each of a plurality of positions while moving around the space (S1630). However, it is not limited thereto, and the robot cleaner may reproduce not only pink noise but also white noise, voice (wakeup command, etc.) or non-audible sound at each of a plurality of locations.
  • the robot cleaner may measure reverberation before outputting sound at each of a plurality of positions and transmit the measured reverberation to the electronic device 100 .
  • the robot cleaner measures reverberation by outputting at least one of a sweep signal of which frequency is changed, pink noise, white noise, or inaudible sound, and among the sound corresponding to the wake-up command, the sound in the voice band, or the inaudible sound. Tuning may be performed by outputting at least one.
  • the plurality of sounds may be sequentially output for each type.
  • the robot cleaner may perform tuning by outputting pink noise or white noise.
  • the electronic device 100 may obtain a correction value based on information received from the robot cleaner.
  • Steps S1740 and S1770 in FIG. 17 are the same as those described in FIG. 6, so steps S1750 to S1760 will be described.
  • a plurality of external electronic devices may transmit scores to the electronic device (main system, 100) (S1750).
  • the processor 130 may collect data, calculate a correction value based on the relative distance/relative location of each device, and transmit the data to a corresponding device.
  • a plurality of external electronic devices may receive and reflect the correction values (S1760).
  • the processor 130 may perform the above operation when hardware performance among a plurality of external electronic devices is low.
  • 18 is a diagram for explaining a specific method of acquiring correction values of a plurality of external electronic devices by the electronic device 100 according to an embodiment of the present disclosure. 18 illustrates that the electronic device 100 is a refrigerator.
  • Expected values of each of the speaker, washing machine, TV, and air conditioner may be stored in the electronic device 100 .
  • the expected value of the speaker is 0.7
  • the expected value of the washing machine is 0.85
  • the expected value of the TV. is 0.5
  • the expected value of the air conditioner may be 0.4.
  • each of the speaker, washing machine, TV, and air conditioner may acquire a measurement value for the sound and transmit the obtained measurement value to the electronic device 100.
  • the measured value of the speaker is 0.7
  • the measured value of the washing machine is 0.9
  • the measured value of the TV is 0.46
  • the measured value of the air conditioner is 0.46.
  • the processor 130 may determine that there is a possibility that the operation priorities of the TV and the air conditioner may change, and may transmit a correction value of +0.05 to the TV. Specifically, the processor 130 may correct the TV measurement value to be larger than the air conditioner measurement value having a smaller expected value than the TV, and correct the TV measurement value to be smaller than the speaker measurement value having a higher expected value than the TV. there is.
  • 19 is a flowchart for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • a first expected value for a first sound output from a first external electronic device and a second expected value for a second sound output from a second external electronic device are acquired (S1910).
  • the first sound output request signal is transmitted to the first external electronic device (S1920).
  • a first measurement value for the first sound is obtained through a microphone provided in the electronic device (S1930).
  • the second sound output request signal is transmitted to the second external electronic device (S1940).
  • a second measurement value for the second sound is obtained through a microphone provided in the electronic device (S1950).
  • the first expected value is an expected measurement value of the first sound by the electronic device based on the first location information of the first external electronic device
  • the second expected value is based on the second location information of the second external electronic device.
  • it may be an expected measurement value of the second sound by the electronic device.
  • a correction value (S1960) if the first measurement value is greater than the first expected value and the second measurement value is greater than the second expected value, a negative correction value for the measurement value of the sound obtained through the microphone is obtained, and if the first measured value is smaller than the first expected value and the second measured value is smaller than the second expected value, a positive correction value for the measured value of the sound obtained through the microphone may be obtained.
  • a correction value for a measurement value of a sound output at a location within a threshold range based on a location corresponding to the first location information may be obtained based on whether a device operating according to the wakeup command is changed.
  • the step of acquiring the correction values is to acquire the correction values so that the device operating according to the wake-up command is changed so that the operating device is restored, and if the device operating according to the wake-up command is not changed, the correction values are obtained.
  • a correction value may be obtained as 0 or within a range in which an operating device is not changed.
  • a third expected value which is an expected measurement value of the second sound by the first external electronic device, is determined by the first external electronic device.
  • the step of receiving the correction value from an external electronic device is further included, and the step of obtaining the correction value (S1960) includes the first measured value, the second measured value, the third measured value, the first expected value, the second expected value, and the third expected value. Based on the value, a correction value for a measurement value of sound obtained through a microphone may be obtained.
  • the first measurement value does not fall within the first threshold range based on the first expected value and the second measurement value does not fall within the second threshold range based on the second expected value. and the third measurement value is within the third threshold range based on the third expected value, a correction value for the measurement value of the sound obtained through the microphone may be obtained.
  • the first measurement value does not fall within a first threshold range based on the first expected value
  • the second measurement value does not fall within a second threshold range based on the second expected value.
  • the third measurement value is within the third threshold range based on the third expected value, at a position within the threshold range based on the position corresponding to the first location information based on whether the device operating according to the wake-up command is changed.
  • a correction value for the measured value of the output sound may be obtained.
  • the electronic device corrects the measured value of sound acquired by the electronic device by reflecting the measured value of sound between the installation environment and a plurality of peripheral devices, and based on the corrected measured value It is possible to determine whether to operate or not to improve the accuracy of the operation.
  • the electronic device may periodically increase the accuracy of the operation by performing a correction operation according to an event such as a new peripheral device being added.
  • the electronic device transmits a sound output request signal to a plurality of external electronic devices and measures sound output from the plurality of external electronic devices, but is not limited thereto.
  • the electronic device may obtain a correction value by transmitting a sound measurement request signal to a plurality of external electronic devices and receiving sound measured by the plurality of external electronic devices according to sound output.
  • the electronic device may provide correction values for a plurality of external electronic devices.
  • a device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, the electronic device A) according to the disclosed embodiments.
  • the processor may perform a function corresponding to the command directly or by using other components under the control of the processor.
  • An instruction may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • CD-ROM compact disc read only memory
  • application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • the various embodiments described above use software, hardware, or a combination thereof in a recording medium readable by a computer or similar device. can be implemented in In some cases, the embodiments described herein may be implemented by a processor itself. According to software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • Non-transitory computer-readable medium may be stored in a non-transitory computer-readable medium.
  • Computer instructions stored in such a non-transitory computer readable medium when executed by a processor of a specific device, cause a specific device to perform a processing operation in the device according to various embodiments described above.
  • a non-transitory computer readable medium is a medium that stores data semi-permanently and is readable by a device, not a medium that stores data for a short moment, such as a register, cache, or memory.
  • Specific examples of the non-transitory computer readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • each of the components may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or at least some operations are executed in a different order, are omitted, or other operations are added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 통신 인터페이스, 마이크 및 통신 인터페이스 및 마이크와 연결되어 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득하고, 제1 외부 전자 장치에 의해 출력될 제1 사운드를 요청하기 위해 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송하도록 통신 인터페이스를 제어하고, 전송된 제1 사운드 출력 요청 신호에 응답하여, 제1 외부 전자 장치에서 제1 사운드가 출력되면 마이크를 통해 수신된 제1 사운드에 대한 제1 측정값을 획득하고, 제2 외부 전자 장치에 의해 출력될 제2 사운드를 요청하기 위해 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송하도록 통신 인터페이스를 제어하고, 전송된 제2 사운드 출력 요청 신호에 응답하여, 제2 외부 전자 장치에서 제2 사운드가 출력되면 마이크를 통해 수신된 제2 사운드에 대한 제2 측정값을 획득하고, 제1 측정값, 제2 측정값, 제1 기대값 및 제2 기대값에 기초하여 마이크를 통해 획득되는 제1 측정값 또는 제2 측정값 중 적어도 하나에 대한 보정값을 획득할 수 있다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 음성 인식을 수행하는 전자 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 디바이스들이 개발 및 보급되고 있으며, 복수의 전자 장치 간의 상호 작용도 다양하게 수행되고 있다.
특히, 최근에는 음성 인식 기술의 발달에 따라 복수의 전자 장치를 음성을 제어할 수 있는데, 복수의 전자 장치 중 어느 전자 장치가 사용자의 웨이크 업 명령을 처리할 것인지 문제가 되고 있다.
동일한 플랫폼의 경우 Multi Device Wakeup(MDW) 기술을 통해 복수의 전자 장치 중 하나의 전자 장치를 특정할 수 있다. Multi Device Wakeup 기술의 경우, 발화 위치로부터 가장 가까운 장치가 웨이크 업 되는 것을 전제로 한다.
예를 들어, 도 1에 도시된 바와 같이, 사용자가 2의 위치에서 TV 방향으로 웨이크 업 명령을 발화하더라도, Multi Device Wakeup 기술에 따르면 스피커가 웨이크 업 되어야 한다.
여기서, 복수의 전자 장치 각각은 하드웨어적인 특성 등이 상이하여 소리의 크기(amplitude, sound level 등), SNR(signal to noise ratio, 신호대잡음비), 명료도 등과 같은 측정값을 그 자체로서 비교하지 않고, 다양한 파라미터들을 이용하여 수정된 값을 비교하게 된다. 이때, 수정에 이용되는 파라미터들은 제한된 환경에서 확보된 것이며, 가령 제한된 환경은 하나의 공간, 동일한 환경 잡음, 제한적 장애물, 제한된 배치 등의 상태를 의미할 수 있다.
따라서, 실제 설치 환경 및 배치에 의해 오차 발생할 수 있으며, 제한된 환경에서 확보된 값은 고정된 상태로, 실제 설치 후 보정이 어려운 문제가 있다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 설치 환경을 반영하여 사운드의 측정값에 대한 보정값을 획득하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 통신 인터페이스, 마이크 및 상기 통신 인터페이스 및 상기 마이크와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하며, 상기 프로세서는 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득하고, 상기 제1 외부 전자 장치에 의해 출력될 상기 제1 사운드를 요청하기 위해 상기 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 전송된 제1 사운드 출력 요청 신호에 응답하여, 상기 제1 외부 전자 장치에서 상기 제1 사운드가 출력되면 상기 마이크를 통해 수신된 상기 제1 사운드에 대한 제1 측정값을 획득하고, 상기 제2 외부 전자 장치에 의해 출력될 상기 제2 사운드를 요청하기 위해 상기 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 전송된 제2 사운드 출력 요청 신호에 응답하여, 상기 제2 외부 전자 장치에서 상기 제2 사운드가 출력되면 상기 마이크를 통해 수신된 상기 제2 사운드에 대한 제2 측정값을 획득하고, 상기 제1 측정값, 상기 제2 측정값, 상기 제1 기대값 및 상기 제2 기대값에 기초하여 상기 마이크를 통해 획득되는 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나에 대한 보정값을 획득할 수 있다.
또한, 상기 프로세서는 상기 제1 측정값이 상기 제1 기대값보다 크고 상기 제2 측정값이 상기 제2 기대값보다 크면, 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나를 낮추는 음의 보정값을 획득하고, 상기 제1 측정값이 상기 제1 기대값보다 작고 상기 제2 측정값이 상기 제2 기대값보다 작으면, 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나를 높이는 양의 보정값을 획득할 수 있다.
그리고, 상기 프로세서는 상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 상기 제1 외부 전자 장치의 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또한, 상기 프로세서는 상기 웨이크 업 명령에 따라 동작하는 장치가 변경되면 상기 동작하는 장치가 복원되도록 상기 보정값을 획득하고, 상기 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 상기 보정값을 0으로 획득하거나 상기 동작하는 장치가 변경되지 않는 범위 내에서 상기 보정값을 획득할 수 있다.
그리고, 상기 프로세서는 상기 통신 인터페이스를 통해, 상기 제1 외부 전자 장치에서 측정된 상기 제2 사운드에 대한 제3 측정값 및 상기 제2 외부 전자 장치의 제2 위치 정보에 기초하여 상기 제1 외부 전자 장치에 의한 상기 제2 사운드의 예상 측정값인 제3 기대값을, 상기 제1 외부 전자 장치로부터 수신하고, 상기 제1 측정값, 상기 제2 측정값, 상기 제3 측정값, 상기 제1 기대값, 상기 제2 기대값 및 상기 제3 기대값에 기초하여 상기 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또한, 상기 프로세서는 상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 내에 속하지 않고, 상기 제3 측정값이 상기 제3 기대값을 기준으로 제3 임계 범위 이내이면, 상기 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
그리고, 상기 프로세서는 상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 이내이고, 상기 제3 측정값이 상기 제3 기대값을 기준으로 제3 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 상기 제1 외부 전자 장치의 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또한, 상기 프로세서는 상기 웨이크 업 명령에 따라 동작하는 장치가 변경되면 상기 동작하는 장치가 복원되도록 상기 보정값을 획득하고, 상기 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 상기 보정값을 0으로 획득하거나 상기 동작하는 장치가 변경되지 않는 범위 내에서 상기 보정값을 획득할 수 있다.
그리고, 상기 프로세서는 상기 제1 외부 전자 장치의 하드웨어 성능에 기초한 상기 제3 측정값 및 상기 제3 기대값을 요청하는 신호를 상기 제1 외부 전자 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
또한, 상기 프로세서는 상기 제1 외부 전자 장치에 대한 제1 기대값 요청 신호 및 상기 제2 외부 전자 장치에 대한 제2 기대값 요청 신호를 외부 서버로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 통신 인터페이스를 통해, 상기 제1 기대값 및 상기 제2 기대값을 상기 외부 서버로부터 수신할 수 있다.
그리고, 상기 전자 장치와 상기 제1 외부 전자 장치의 거리에 기초한 상기 제1 기대값에 대한 제1 정보 및 상기 전자 장치와 상기 제2 외부 전자 장치의 거리에 기초한 상기 제2 기대값에 대한 제2 정보가 저장된 메모리를 더 포함하고, 상기 프로세서는 상기 제1 위치 정보 및 상기 제2 위치 정보에 대한 요청 신호를 외부 서버로 전송하도록 상기 통신 인터페이스를 제어하고, 상기 통신 인터페이스를 통해 상기 외부 서버로부터 상기 제1 위치 정보 및 상기 제2 위치 정보를 수신하고, 상기 제1 정보에 기초하여 상기 제1 위치 정보에 대응되는 상기 제1 기대값 및 상기 제2 정보에 기초하여 상기 제2 위치 정보에 대응되는 상기 제2 기대값을 획득할 수 있다.
또한, 상기 프로세서는 복수의 위치에서 제3 외부 전자 장치로부터 출력되는 제3 사운드에 대한 복수의 제4 기대값을 획득하고, 상기 제3 외부 전자 장치에 의해 출력될 상기 제3 사운드를 요청하기 위해 상기 제3 외부 전자 장치로 상기 복수의 위치에서의 제3 사운드 출력 요청 신호를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 전송된 제3 사운드 출력 요청 신호에 응답하여 상기 복수의 위치 각각에서 상기 제3 외부 전자 장치가 상기 제3 사운드를 출력하면, 상기 마이크를 통해 상기 복수의 위치 각각에서의 상기 제3 사운드에 대한 복수의 제4 측정값을 획득하고, 상기 제1 측정값, 상기 제2 측정값, 상기 복수의 제4 측정값, 상기 제1 기대값, 상기 제2 기대값 및 상기 복수의 제4 기대값에 기초하여 상기 마이크를 통해 측정되는 사운드에 대한 보정값을 획득하며, 상기 제3 외부 전자 장치는 상기 제3 외부 전자 장치의 위치가 변경 가능하도록 이동 가능한 장치이고, 상기 복수의 제4 기대값은 상기 복수의 위치에서 상기 전자 장치에 의한 상기 제3 사운드의 예상 측정값일 수 있다.
그리고, 상기 프로세서는 웨이크 업 명령이 수신되면 상기 마이크를 통해 상기 웨이크 업 명령에 대한 상기 전자 장치의 측정값을 획득하고, 상기 측정값을 상기 보정값에 기초하여 보정하고, 상기 통신 인터페이스를 통해, 상기 제1 외부 전자 장치로부터 상기 웨이크 업 명령에 대한 상기 제1 외부 전자 장치의 보정된 측정값을 수신하고, 상기 제2 외부 전자 장치로부터 상기 웨이크 업 명령에 대한 상기 제2 외부 전자 장치의 보정된 측정값을 수신하고, 상기 보정된 측정값이 상기 제1 외부 전자 장치의 보정된 측정값 및 상기 제2 외부 전자 장치의 보정된 측정값보다 크면, 상기 웨이크 업 명령에 기초하여 상기 전자 장치를 웨이크 업 할 수 있다.
또한, 상기 제1 기대값은 상기 제1 외부 전자 장치의 제1 위치 정보에 기초하여 상기 전자 장치에 의한 상기 제1 사운드의 예상 측정값이고, 상기 제2 기대값은 상기 제2 외부 전자 장치의 제2 위치 정보에 기초하여 상기 전자 장치에 의한 상기 제2 사운드의 예상 측정값일 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득하는 단계, 상기 제1 외부 전자 장치에 의해 출력될 상기 제1 사운드를 요청하기 위해 상기 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송하는 단계, 상기 전송된 제1 사운드 출력 요청 신호에 응답하여, 상기 제1 외부 전자 장치에서 상기 제1 사운드가 출력되면 상기 전자 장치에 구비된 마이크를 통해 수신된 상기 제1 사운드에 대한 제1 측정값을 획득하는 단계, 상기 제2 외부 전자 장치에 의해 출력될 상기 제2 사운드를 요청하기 위해 상기 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송하는 단계, 상기 전송된 제2 사운드 출력 요청 신호에 응답하여, 상기 제2 외부 전자 장치에서 상기 제2 사운드가 출력되면 상기 마이크를 통해 수신된 상기 제2 사운드에 대한 제2 측정값을 획득하는 단계 및 상기 제1 측정값, 상기 제2 측정값, 상기 제1 기대값 및 상기 제2 기대값에 기초하여 상기 마이크를 통해 획득되는 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나에 대한 보정값을 획득하는 단계를 포함한다.
또한, 상기 보정값을 획득하는 단계는 상기 제1 측정값이 상기 제1 기대값보다 크고 상기 제2 측정값이 상기 제2 기대값보다 크면, 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나를 낮추는 음의 보정값을 획득하고, 상기 제1 측정값이 상기 제1 기대값보다 작고 상기 제2 측정값이 상기 제2 기대값보다 작으면, 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나를 높이는 양의 보정값을 획득할 수 있다.
그리고, 상기 보정값을 획득하는 단계는 상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 상기 제1 외부 전자 장치의 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또한, 상기 보정값을 획득하는 단계는 상기 웨이크 업 명령에 따라 동작하는 장치가 변경되면 상기 동작하는 장치가 복원되도록 상기 보정값을 획득하고, 상기 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 상기 보정값을 0으로 획득하거나 상기 동작하는 장치가 변경되지 않는 범위 내에서 상기 보정값을 획득할 수 있다.
그리고, 상기 제1 외부 전자 장치에서 측정된 상기 제2 사운드에 대한 제3 측정값 및 상기 제2 외부 전자 장치의 제2 위치 정보에 기초하여 상기 제1 외부 전자 장치에 의한 상기 제2 사운드의 예상 측정값인 제3 기대값을, 상기 제1 외부 전자 장치로부터 수신하는 단계를 더 포함하고, 상기 보정값을 획득하는 단계는 상기 제1 측정값, 상기 제2 측정값, 상기 제3 측정값, 상기 제1 기대값, 상기 제2 기대값 및 상기 제3 기대값에 기초하여 상기 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또한, 상기 보정값을 획득하는 단계는 상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 내에 속하지 않고, 상기 제3 측정값이 상기 제3 기대값을 기준으로 제3 임계 범위 이내이면, 상기 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
그리고, 상기 보정값을 획득하는 단계는 상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 이내이고, 상기 제3 측정값이 상기 제3 기대값을 기준으로 제3 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 상기 제1 외부 전자 장치의 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 설치 환경 및 복수의 주변 장치 간의 사운드의 측정값을 반영하여 전자 장치가 획득한 사운드의 측정값을 보정하고, 보정된 측정값에 기초하여 동작 여부를 결정할 수 있어 동작의 정확도를 향상시킬 수 있다.
또한, 전자 장치는 신규 주변 장치가 추가되는 등의 이벤트에 따라 보정 동작을 수행하여 주기적으로 동작의 정확도를 높일 수 있다.
도 1은 본 개시의 일 실시 예에 따른 Multi Device Wakeup을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 하드웨어 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 보정값 획득 방법을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시 예에 따른 제한된 환경을 설명하기 위한 도면이다.
도 5는 본 개시의 다양한 실시 예에 따른 실제 환경을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 튜닝 동작을 설명하기 위한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 복수의 외부 전자 장치들의 정보를 나타내는 도면이다.
도 8은 본 개시의 일 실시 예에 따른 위치 정보를 획득하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른 보정값을 획득하는 방법을 설명하기 위한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 보정값의 획득 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 외부 기기 간의 데이터를 추가로 고려하는 동작을 설명하기 위한 도면이다.
도 12는 본 개시의 다른 실시 예에 따른 외부 기기 간의 데이터를 추가로 고려하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시 예에 따른 일 방향에 장애물이 존재하는 경우를 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 방향을 식별하는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 다른 실시 예에 따른 이동 가능한 장치를 이용한 튜닝을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시 예에 따른 이동 가능한 장치를 이용한 튜닝을 설명하기 위한 흐름도이다.
도 17은 본 개시의 일 실시 예에 따른 전자 장치가 복수의 외부 전자 장치들의 보정값을 획득하는 방법을 설명하기 위한 흐름도이다.
도 18은 본 개시의 일 실시 예에 따른 전자 장치가 복수의 외부 전자 장치들의 보정값을 획득하는 구체적인 방법을 설명하기 위한 도면이다.
도 19는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 하드웨어 구성을 설명하기 위한 블록도이다.
전자 장치(100)는 사용자 음성 신호에 대한 음성 인식 및 자연어 이해를 수행하는 장치로서, 스마트폰, 태블릿 PC, 데스크탑 PC, 노트북, 스마트 워치, 셋탑박스(STB), 스피커, 컴퓨터 본체 등과 같이 마이크를 구비하고, 마이크를 통해 수신된 사용자 음성 신호에 대한 음성 인식 및 자연어 이해를 수행하는 장치일 수 있다.
또는, 전자 장치(100)는 TV, 비디오 월(video wall), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 프로젝터 디스플레이, DVD(digital video disk) 플레이어, 모니터, 스마트 안경 등과 같이 마이크가 구비되지 않은 장치로서, 원격 제어 장치 등과 같은 외부 전자 장치로부터 유무선 통신을 통해 사용자 음성 신호를 수신하고, 사용자 음성 신호에 대한 음성 인식 및 자연어 이해를 수행하는 장치일 수도 있다.
또는, 전자 장치(100)는 마이크를 통해 사용자 음성 신호를 수신하고, 수신된 사용자 음성 신호를 서버로 전송하며, 서버로부터 사용자 음성 신호에 대한 음성 인식 및 자연어 이해 결과를 수신하는 장치일 수도 있다.
다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 사용자 음성 신호를 수신할 수 있는 장치라면 어떠한 장치라도 무방하다.
도 2에 따르면, 전자 장치(100)는 통신 인터페이스(110), 마이크(120) 및 프로세서(130)를 포함한다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 일부 구성이 제외된 형태로 구현될 수도 있다.
통신 인터페이스(110)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 디스플레이 장치(100)는 통신 인터페이스(110)를 통해 외부 장치로부터 사운드 측정값 등을 수신할 수 있다.
통신 인터페이스(110)는 와이파이(WiFi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID(Service Set Identifier) 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
또는, 통신 인터페이스(110)는 HDMI, DP, 썬더볼트, USB, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 포함할 수 있다.
그 밖에 통신 인터페이스(110)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수도 있다.
마이크(120)는 사운드를 입력받아 오디오 신호로 변환하기 위한 구성이다. 마이크(120)는 프로세서(130)와 전기적으로 연결되며, 프로세서(130)의 제어에 의해 사운드를 수신할 수 있다. 여기서, 사운드는 전자 장치(100) 및 전자 장치(100) 주변의 외부 전자 장치 중 적어도 하나에서 발생하는 사운드 및 전자 장치(100) 주변의 노이즈를 포함할 수 있다.
예를 들어, 마이크(120)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 또는, 마이크(120)는 전자 장치(100)와는 별도의 리모컨 등에 구비될 수도 있다. 이 경우, 리모컨은 마이크(120)를 통해 사운드를 수신하고, 수신된 사운드를 전자 장치(100)로 제공할 수도 있다.
마이크(120)는 아날로그 형태의 사운드를 수집하는 마이크, 수집된 사운드를 증폭하는 앰프 회로, 증폭된 사운드를 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
또한, 마이크(120)는 복수로 구비될 수 있다. 이 경우, 프로세서(130)는 복수의 마이크로부터 입력되는 사운드를 분석하여 사운드가 출력되는 위치를 식별할 수 있다.
한편, 마이크(120)는 사운드 센서의 형태로 구현될 수도 있으며, 사운드를 수집할 수 있는 구성이라면 어떠한 방식이라도 무방하다.
프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 통신 인터페이스(110), 마이크(120), 메모리(미도시), 디스플레이(미도시) 등과 같은 구성과 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
도 2에서 프로세서(130) 내부에 복수의 모듈이 위치하는 것은 복수의 모듈이 프로세서(130)에 의해 로딩(또는 실행)되어 프로세서(130)에서 동작되는 상태를 나타내기 위한 것이며, 복수의 모듈은 메모리에 기저장된 상태일 수 있다.
그리고, 프로세서(130)는 메모리에 저장된 모듈 또는 인스트럭션을 실행함으로써 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(130)는 모듈 또는 인스트럭션을 읽고 해석하며 데이터 처리를 위한 시퀀스를 결정할 수 있으며, 그에 따라 메모리 등 다른 구성의 동작을 제어하는 제어 신호를 전송함으로써 다른 구성의 동작을 제어할 수 있다.
프로세서(130)는 기대값 획득 모듈을 실행함으로써, 제1 외부 전자 장치로부터 수신된 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치로부터 수신된 제2 사운드에 대한 제2 기대값을 획득할 수 있다. 여기서, 제1 기대값은 제1 외부 전자 장치의 제1 위치 정보에 기초하여 전자 장치(100)로부터 수신된 제1 사운드의 예상 측정값이고, 제2 기대값은 제2 외부 전자 장치의 제2 위치 정보에 기초하여 전자 장치(100)로부터 수신된 제2 사운드의 예상 측정값이며, 제한된 환경에서 기설정된 값일 수 있다.
프로세서(130)는 제1 외부 전자 장치 및 제2 외부 전자 장치에 대한 기대값 요청 신호를 외부 서버로 전송하도록 통신 인터페이스(110)를 제어하고, 통신 인터페이스(110)를 통해, 제1 기대값 및 제2 기대값을 외부 서버로부터 수신할 수 있다.
이 경우, 외부 서버에는 전자 장치(100), 제1 외부 전자 장치, 제2 외부 전자 장치 각각의 위치 정보가 저장될 수 있다. 또한, 외부 서버에는 전자 장치(100)와 제1 외부 전자 장치의 거리에 따른 제1 기대값에 대한 정보 및 전자 장치(100)와 제2 외부 전자 장치의 거리에 따른 제2 기대값에 대한 정보가 저장될 수 있다. 예를 들어, 제1 기대값에 대한 정보는 전자 장치(100)와 제1 외부 전자 장치의 거리가 1m인 경우의 제1 기대값 1, 전자 장치(100)와 제1 외부 전자 장치의 거리가 2m인 경우의 제1 기대값 2 등과 같은 정보를 포함할 수 있다. 제2 기대값에 대한 정보도 제1 기대값에 대한 정보와 유사한 형태의 정보를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 기대값에 대한 정보는 전자 장치(100)와 제1 외부 전자 장치의 거리를 변수로 하는 함수 형태의 정보일 수도 있다. 제2 기대값에 대한 정보도 전자 장치(100)와 제2 외부 전자 장치의 거리를 변수로 하는 함수 형태의 정보일 수도 있다.
외부 서버는 전자 장치(100)와 제1 외부 전자 장치의 거리에 대응되는 제1 기대값 및 전자 장치(100)와 제2 외부 전자 장치의 거리에 대응되는 제2 기대값을 식별하고, 식별된 제1 기대값 및 식별된 제2 기대값을 전자 장치(100)로 제공할 수 있다.
또는, 전자 장치(100)가 전자 장치(100)와 제1 외부 전자 장치의 거리에 기초한 제1 기대값에 대한 제1 정보 및 전자 장치(100)와 제2 외부 전자 장치의 거리에 기초한 제2 기대값에 대한 제2 정보가 저장된 메모리를 더 포함할 수도 있다. 여기서, 메모리는 프로세서(130) 등이 접근할 수 있도록 데이터 등의 정보를 전기 또는 자기 형태로 저장하는 하드웨어를 지칭할 수 있다. 이를 위해, 메모리는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(Flash Memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD), RAM, ROM 등 중에서 적어도 하나의 하드웨어로 구현될 수 있다.
이 경우, 프로세서(130)는 제1 위치 정보 및 제2 위치 정보에 대한 요청 신호를 외부 서버로 전송하도록 통신 인터페이스(110)를 제어하고, 통신 인터페이스(110)를 통해 외부 서버로부터 제1 위치 정보 및 제2 위치 정보를 수신하고, 제1 정보에 기초하여 제1 위치 정보에 대응되는 제1 기대값 및 제2 정보에 기초하여 제2 위치 정보에 대응되는 제2 기대값을 획득할 수도 있다.
프로세서(130)는 사운드 출력 요청 모듈을 실행함으로써, 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송하도록 통신 인터페이스(110)를 제어할 수 있다. 여기서, 제1 사운드 출력 요청 신호는 제1 외부 전자 장치를 제어하기 위한 신호를 포함할 수 있다. 예를 들어, 제1 사운드 출력 요청 신호는 제1 사운드 출력 요청 신호를 수신하고 곧바로 제1 사운드를 출력하도록 제1 외부 전자 장치를 제어하는 신호를 포함할 수 있다.
또한, 프로세서(130)는 제1 사운드 출력 요청 신호를 전송한 후, 제1 외부 전자 장치에서 출력된 제1 사운드에 대한 제1 측정값이 획득되면, 사운드 출력 요청 모듈을 실행함으로써, 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송하도록 통신 인터페이스(110)를 제어할 수 있다. 여기서, 제2 사운드 출력 요청 신호는 제2 외부 전자 장치를 제어하기 위한 신호를 포함할 수 있다. 예를 들어, 제2 사운드 출력 요청 신호는 제2 사운드 출력 요청 신호를 수신하고 곧바로 제2 사운드를 출력하도록 제2 외부 전자 장치를 제어하는 신호를 포함할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(130)는 제1 외부 전자 장치 및 제2 외부 전자 장치로 하나의 사운드 출력 요청 신호를 전송하도록 통신 인터페이스(110)를 제어할 수도 있다. 여기서, 사운드 출력 요청 신호는 제1 외부 전자 장치 및 제2 외부 전자 장치를 상이하게 제어하기 위한 신호를 포함할 수 있다. 예를 들어, 사운드 출력 요청 신호는 제1 사운드 출력 요청 신호를 수신하고 곧바로 제1 사운드를 출력하도록 제1 외부 전자 장치를 제어하는 제1 신호 및 제1 사운드 출력 요청 신호를 수신하고 3초 뒤 사운드를 출력하도록 제2 외부 전자 장치를 제어하는 제2 신호를 포함할 수 있다.
또는, 사운드 출력 요청 신호는 얼마든지 다양한 방식으로 구현될 수도 있다. 예를 들어, 사운드 출력 요청 신호는 제1 사운드 출력 요청 신호를 수신하고 곧바로 사운드를 출력하도록 제1 외부 전자 장치를 제어하는 제1 신호 및 제1 사운드 출력 요청 신호를 수신한 후 제1 외부 전자 장치로부터 출력되는 제1 사운드를 수신하면 제2 사운드를 출력하도록 제2 외부 전자 장치를 제어하는 제2 신호를 포함할 수도 있다.
프로세서(130)는 측정값 획득 모듈을 실행함으로써, 제1 사운드 출력 요청 신호에 기초하여, 제1 외부 전자 장치에서 제1 사운드가 출력되면 마이크(120)를 통해 제1 사운드에 대한 제1 측정값을 획득하고, 제2 외부 전자 장치에서 제2 사운드가 출력되면 마이크(120)를 통해 제2 사운드에 대한 제2 측정값을 획득할 수 있다. 상술한 바와 같이, 제1 사운드 및 제2 사운드가 출력되는 시점은 상이할 수 있다.
프로세서(130)는 보정값 획득 모듈을 실행함으로써, 제1 측정값, 제2 측정값, 제1 기대값 및 제2 기대값에 기초하여 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
프로세서(130)는 제1 측정값이 제1 기대값보다 크고 제2 측정값이 제2 기대값보다 크면, 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 음의 보정값을 획득할 수 있다. 예를 들어, 전자 장치(100)가 좁은 공간에 설치되었거나 벽지, 바닥재 등이 사운드 반사가 잘 되는 재질이거나 천장이 낮아 음이 반사되는 경우, 제1 측정값 및 제2 측정값이 각각 제1 기대값 및 제2 기대값보다 클 수 있고, 이 경우 프로세서(130)는 마이크(120)를 통해 획득되는 사운드의 측정값을 낮추기 위한 음의 보정값을 획득할 수 있다.
또는, 프로세서(130)는 제1 측정값이 제1 기대값보다 작고 제2 측정값이 제2 기대값보다 작으면, 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 양의 보정값을 획득할 수 있다. 예를 들어, 전자 장치(100)가 넓은 공간에 설치되었거나 커튼 등 흡음 요소가 많은 경우, 제1 측정값 및 제2 측정값이 각각 제1 기대값 및 제2 기대값보다 작을 수 있고, 이 경우 프로세서(130)는 마이크(120)를 통해 획득되는 사운드의 측정값을 높이기 위한 양의 보정값을 획득할 수 있다.
한편, 프로세서(130)는 제1 측정값이 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 제2 측정값이 제2 기대값을 기준으로 제2 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
예를 들어, 전자 장치(100)와 제1 외부 전자 장치 사이에 장애물이 있는 경우 제1 측정값은 제1 기대값보다 낮으나, 전자 장치(100)와 제2 외부 전자 장치 사이에 장애물이 없는 경우 제2 측정값은 제2 기대값을 기준으로 제2 임계 범위 이내일 수 있다. 이 경우, 프로세서(130)는 제1 외부 전자 장치의 위치로부터 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
여기서, 프로세서(130)는 웨이크 업 명령에 따라 동작하는 장치가 변경되면 동작하는 장치가 복원되도록 보정값을 획득하고, 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 보정값을 0으로 획득하거나 동작하는 장치가 변경되지 않는 범위 내에서 보정값을 획득할 수 있다.
예를 들어, 전자 장치(100)가 제2 외부 전자 장치보다 제1 외부 전자 장치와 가까이 있는 경우, 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 전자 장치(100)의 측정값은 제1 사운드에 대한 제2 외부 전자 장치의 측정값보다 커야 하고, 전자 장치(100)가 웨이크 업 되어야 한다. 이때, 장애물로 인해 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 전자 장치(100)의 측정값이 제1 사운드에 대한 제2 외부 전자 장치의 측정값보다 작을 수 있으며, 이 경우 전자 장치(100)가 아닌 제2 외부 전자 장치가 웨이크 업 될 수 있다. 따라서, 프로세서(130)는 전자 장치(100)가 웨이크 업 되도록 보정값을 획득할 수 있다. 또는, 장애물이 있더라도 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 전자 장치(100)의 측정값이 제1 사운드에 대한 제2 외부 전자 장치의 측정값보다 클 수 있으며, 이 경우 전자 장치(100)가 웨이크 업 되므로, 프로세서(130)는 보정값을 0으로 획득하거나 웨이크 업 되는 장치가 변경되지 않는 범위 내에서 보정값을 획득할 수 있다.
한편, 프로세서(130)는 통신 인터페이스(110)를 통해, 제1 외부 전자 장치에서 측정된 제2 사운드에 대한 제3 측정값 및 제2 위치 정보에 기초하여 제1 외부 전자 장치에 의한 제2 사운드의 예상 측정값인 제3 기대값을, 제1 외부 전자 장치로부터 수신할 수 있다.
예를 들어, 전자 장치(100), 제1 외부 전자 장치 및 제2 외부 전자 장치 각각은 측정값 및 기대값을 서로 공유할 수 있다. 이 경우, 전자 장치(100), 제1 외부 전자 장치 및 제2 외부 전자 장치 각각은 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다
또는, 프로세서(130)는 제1 외부 전자 장치의 하드웨어 성능에 기초한 제3 측정값 및 제3 기대값을 요청하는 신호를 제1 외부 전자 장치로 전송하도록 통신 인터페이스(110)를 제어하고, 통신 인터페이스(110)를 통해, 제1 외부 전자 장치에서 측정된 제2 사운드에 대한 제3 측정값 및 제2 위치 정보에 기초하여 제1 외부 전자 장치에 의한 제2 사운드의 예상 측정값인 제3 기대값을, 제1 외부 전자 장치로부터 수신할 수도 있다. 이 경우, 프로세서(130)는 전자 장치(100) 뿐만 아니라 제1 외부 전자 장치 및 제2 외부 전자 장치 각각에서 획득되는 사운드의 측정값에 대한 보정값을 획득하고, 획득된 보정값을 대응되는 외부 전자 장치로 전송하도록 통신 인터페이스(110)를 제어할 수도 있다.
프로세서(130)는 제1 측정값, 제2 측정값, 제3 측정값, 제1 기대값, 제2 기대값 및 제3 기대값에 기초하여 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수도 있다.
프로세서(130)는 제1 측정값이 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 제2 측정값이 제2 기대값을 기준으로 제2 임계 범위 내에 속하지 않고, 제3 측정값이 제3 기대값을 기준으로 제3 임계 범위 이내이면, 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
이 경우, 프로세서(130)는 전자 장치(100) 자체의 하드웨어적인 문제 또는 전자 장치(100)가 배치된 환경 문제로 식별하고, 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또는, 프로세서(130)는 제1 측정값이 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 제2 측정값이 제2 기대값을 기준으로 제2 임계 범위 이내이고, 제3 측정값이 제3 기대값을 기준으로 제3 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수도 있다.
예를 들어, 전자 장치(100)와 제1 외부 전자 장치 사이에만 장애물이 있는 경우 제1 측정값은 제1 기대값보다 낮으나, 제2 측정값은 제2 기대값을 기준으로 제2 임계 범위 이내이고, 제3 측정값은 제3 기대값을 기준으로 제3 임계 범위 이내일 수 있다. 이 경우, 프로세서(130)는 제1 외부 전자 장치의 위치로부터 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
여기서, 프로세서(130)는 웨이크 업 명령에 따라 동작하는 장치가 변경되면 동작하는 장치가 복원되도록 보정값을 획득하고, 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 보정값을 0으로 획득하거나 동작하는 장치가 변경되지 않는 범위 내에서 보정값을 획득할 수 있다.
또는, 프로세서(130)는 제1 측정값이 제1 기대값보다 크고, 제2 측정값이 제2 기대값보다 크고, 제3 측정값이 제3 기대값보다 크면, 전자 장치(100), 제1 외부 전자 장치 및 제2 외부 전자 장치가 배치된 공간이 매우 좁다고 식별할 수 있다. 이 경우, 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않을 가능성이 높으므로, 프로세서(130)는 보정값을 획득하지 않을 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(130)는 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득하고, 제1 외부 전자 장치 및 제2 외부 전자 장치 역시 각각의 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수도 있다. 즉, 모든 장치는 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않는 상태로 보정값을 획득할 수도 있다.
이상과 같이 프로세서(130)는 제3 측정값 및 제3 기대값을 더 고려하여 보정값을 획득할 수 있으며, 전자 장치(100)의 주변 환경 등에 대한 좀 더 정확한 분석을 통해 보정값에 대한 정확도를 향상시킬 수 있다.
한편, 이상에서는 제1 측정값, 제2 측정값, 제3 측정값, 제1 기대값, 제2 기대값 및 제3 기대값에 기초하여 보정값을 획득하는 구성을 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(130)는 제1 측정값, 제3 측정값, 제1 기대값, 및 제3 기대값에 기초하여 보정값을 획득할 수도 있다. 예를 들어, 프로세서(130)는 제1 측정값이 제1 기대값을 기준으로 한 제1 임계 범위보다 작고, 제3 측정값이 제3 기대값을 기준으로 제3 임계 범위 이내이면, 마이크를 통해 획득되는 사운드의 측정값에 대한 양의 보정값을 획득할 수도 있다.
한편, 프로세서(130)는 복수의 위치에서 제3 외부 전자 장치로부터 출력되는 제3 사운드에 대한 복수의 제4 기대값을 획득하고, 제3 외부 전자 장치로 복수의 위치에서의 제3 사운드 출력 요청 신호를 전송하도록 통신 인터페이스(110)를 제어할 수 있다. 여기서, 제3 외부 전자 장치는 이동 가능한 장치이고, 복수의 제4 기대값은 복수의 위치에서 전자 장치에 의한 제3 사운드의 예상 측정값일 수 있다.
예를 들어, 프로세서(130)는 복수의 위치에서 이동이 가능한 로봇 청소기로부터 출력되는 제3 사운드에 대한 복수의 제4 기대값을 획득하고, 로봇 청소기로 복수의 위치에서의 제3 사운드 출력 요청 신호를 전송하도록 통신 인터페이스(110)를 제어할 수 있다.
프로세서(130)는 제3 사운드 출력 요청 신호에 기초하여 복수의 위치 각각에서 제3 외부 전자 장치가 제3 사운드를 출력하면, 마이크(120)를 통해 복수의 위치 각각에서의 제3 사운드에 대한 복수의 제4 측정값을 획득할 수 있다.
프로세서(130)는 제1 측정값, 제2 측정값, 복수의 제4 측정값, 제1 기대값, 제2 기대값 및 복수의 제4 기대값에 기초하여 마이크(120)를 통해 측정되는 사운드에 대한 보정값을 획득할 수 있다.
즉, 프로세서(130)는 제1 외부 전자 장치 또는 제2 외부 전자 장치와 같이 고정된 위치에서 출력되는 사운드만이 아니라 임의의 위치에서 출력되는 사운드를 더 수신하여 보정값을 획득할 수도 있으며, 전자 장치(100)가 배치된 공간에 대한 좀더 정확한 분석이 가능하다.
다만, 이에 한정되는 것은 아니며, 프로세서(130)는 복수의 제4 측정값 및 복수의 제4 기대값만을 이용하여 보정값을 획득할 수도 있다. 이 경우, 프로세서(130)는 제1 외부 전자 장치 및 제2 외부 전자 장치와 아무런 통신을 수행하지 않고, 복수의 위치에서 제3 외부 전자 장치로부터 출력되는 제3 사운드에 대한 복수의 제4 기대값을 획득하고, 제3 외부 전자 장치로 복수의 위치에서의 제2 사운드 출력 요청 신호를 전송하도록 통신 인터페이스(110)를 제어하고, 제2 사운드 출력 요청 신호에 기초하여 복수의 위치 각각에서 제3 외부 전자 장치가 제3 사운드를 출력하면, 마이크(120)를 통해 복수의 위치 각각에서의 제3 사운드에 대한 복수의 제4 측정값을 획득하고, 복수의 제4 측정값 및 복수의 제4 기대값에 기초하여 마이크(120)를 통해 측정되는 사운드에 대한 보정값을 획득할 수도 있다. 여기서, 제3 외부 전자 장치는 이동 가능한 장치이고, 복수의 제4 기대값은 복수의 위치에서 전자 장치(100)에 의한 제3 사운드의 예상 측정값일 수 있다.
이상과 같이 보정값이 획득된 후, 프로세서(130)는 웨이크 업 명령이 수신되면 마이크(120)를 통해 웨이크 업 명령에 대한 전자 장치(100)의 측정값을 획득하고, 측정값을 보정값에 기초하여 보정하고, 통신 인터페이스(110)를 통해, 제1 외부 전자 장치로부터 웨이크 업 명령에 대한 제1 외부 전자 장치의 측정값을 수신하고, 제2 외부 전자 장치로부터 웨이크 업 명령에 대한 제2 외부 전자 장치의 측정값을 수신하고, 보정된 측정값이 제1 외부 전자 장치의 측정값 및 제2 외부 전자 장치의 측정값보다 크면, 웨이크 업 명령에 기초하여 전자 장치(100)를 웨이크 업 할 수 있다.
이상과 같이 프로세서(130)는 전자 장치(100)의 주변 환경에 따른 보정값을 획득하고, 웨이크 업 명령에 대한 보정된 측정값에 기초하여 동작 여부를 결정할 수 있어 임의의 환경에 배치되더라도 정확도가 높은 동작이 가능하다.
한편, 이상의 보정값 획득 모듈은 룰(rule) 베이스 모델로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 보정값 획득 모듈은 신경망 모델로서 구현될 수도 있다. 예를 들어, 전자 장치(100)는 보정값을 획득하기 위한 신경망 모델이 저장된 메모리를 더 포함하며, 프로세서(130)는 측정값들을 신경망 모델에 입력하여 각 장치의 보정값을 획득할 수도 있다. 여기서, 보정값을 획득하기 위한 신경망 모델은 기대값들 및 측정값들의 관계를 학습한 모델일 수 있다.
이상의 인공 지능과 관련된 기능은 프로세서(130)와 메모리를 통해 동작된다.
프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
한편, 전자 장치(100), 제1 외부 전자 장치 및 제2 외부 전자 장치에 대하여만 설명하였으나, 외부 전자 장치의 개수는 얼마든지 다양할 수 있다. 다만, 이하에서는 설명의 편의를 위해 전자 장치(100), 제1 외부 전자 장치 및 제2 외부 전자 장치만이 배치된 상태를 가정한다.
도 3은 본 개시의 일 실시 예에 따른 보정값 획득 방법을 설명하기 위한 흐름도이다.
먼저, 프로세서(130)는 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득할 수 있다(S310). 또는, 프로세서(130)는 제1 외부 전자 장치의 제1 위치 정보 및 제2 외부 전자 장치의 제2 위치 정보에 기초하여 제1 외부 전자 장치에 의한 제2 사운드의 예상 측정값인 제3 기대값을 획득할 수도 있다.
프로세서(130)는 제1 외부 전자 장치의 제1 위치 정보 및 제2 외부 전자 장치의 제2 위치 정보에 기초하여 제1 기대값, 제2 기대값 및 제3 기대값을 계산할 수 있다. 이 경우, 메모리에는 위치 정보에 기초하여 기대값을 획득하기 위한 수식이 저장될 수 있다.
또는, 프로세서(130)는 서버로부터 제1 기대값, 제2 기대값 및 제3 기대값을 수신할 수도 있다.
또는, 전자 장치(100)에는 제1 기대값, 제2 기대값 및 제3 기대값이 기 저장될 수도 있다.
프로세서(130)는 제1 외부 전자 장치 및 제2 외부 전자 장치로 사운드 출력 요청 신호를 전송할 수 있다(S320). 예를 들어, 프로세서(130)는 사용자의 튜닝 명령이 있는 경우, 제1 외부 전자 장치 및 제2 외부 전자 장치로 사운드 출력 요청 신호를 전송할 수 있다. 여기서, 튜닝 명령은 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 것을 지시하는 명령이며, 사용자가 음성 인식 명령을 내리는 과정에서 오류가 있다고 판단되면 튜닝 명령을 전자 장치(100)로 입력할 수 있다.
또는, 프로세서(130)는 사용자의 웨이크 업 명령에 따라 웨이크 업된 장치가 사용자와 가장 가까운 장치가 아니고 웨이크 업된 장치가 아닌 다른 장치가 수행 가능한 명령인 경우가 기설정된 횟수 이상이면 제1 외부 전자 장치 및 제2 외부 전자 장치로 사운드 출력 요청 신호를 전송할 수도 있다.
또는, 프로세서(130)는 사용자의 웨이크 업 명령에 따라 사용자와 가장 가까운 장치가 웨이크 업되었더라도 반복적으로 웨이크 업 명령이 입력되는 경우, 제1 외부 전자 장치 및 제2 외부 전자 장치로 사운드 출력 요청 신호를 전송할 수도 있다.
또는, 프로세서(130)는 새로운 외부 전자 장치가 식별된 경우, 제1 외부 전자 장치, 제2 외부 전자 장치 및 새로운 외부 전자 장치로 사운드 출력 요청 신호를 전송할 수도 있다.
한편, 전자 장치(100), 제1 외부 전자 장치 및 제2 외부 전자 장치는 주기적으로 비가청 주파수를 이용한 사운드의 측정값을 획득할 수 있으며, 프로세서(130)는 기 저장된 측정값이 임계값 이상 변경된 경우의 횟수에 기초하여 제1 외부 전자 장치 및 제2 외부 전자 장치로 사운드 출력 요청 신호를 전송할 수도 있다. 이러한 동작은 사용자의 인지 없이 주기적으로 사운드의 측정값을 획득하고, 배치 환경의 변경을 인지하기 위한 동작이다.
프로세서(130)는 사운드 출력 요청 신호에 기초하여, 제1 외부 전자 장치에서 제1 사운드가 출력되면 마이크(120)를 통해 제1 사운드에 대한 제1 측정값을 획득하고, 제2 외부 전자 장치에서 제2 사운드가 출력되면 마이크(120)를 통해 제2 사운드에 대한 제2 측정값을 획득할 수 있다(S330). 또한, 프로세서(130)는 통신 인터페이스(110)를 통해, 제1 외부 전자 장치에서 측정된 제2 사운드에 대한 제3 측정값을 제1 외부 전자 장치로부터 수신할 수도 있다.
프로세서(130)는 제1 측정값, 제2 측정값, 제3 측정값, 제1 기대값, 제2 기대값 및 제3 기대값에 기초하여 마이크(120)를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다(S340).
보정값을 획득하는 동작에 대하여는 도면을 통해 구체적으로 설명한다.
이하에서는 도 4 내지 도 18을 통해 전자 장치(100)의 동작을 좀더 구체적으로 설명한다. 도 4 내지 도 18에서는 설명의 편의를 위해 개별적인 실시 예에 대하여 설명한다. 다만, 도 4 내지 도 18의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 제한된 환경을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 복수의 전자 장치 각각은 나머지 전자 장치의 위치에서의 사운드를 측정할 수 있다. 또는, 복수의 전자 장치는 이동이 가능한 외부 전자 장치에 의해 가령, 1, 2, 3, 4, 5의 각각의 위치에서의 사운드를 측정할 수 있다. 그리고, 복수의 전자 장치 각각은 하드웨어적인 차이 등을 고려하여 튜닝이 이루어지고, 임의의 위치에서의 사운드에 대한 기대값을 획득할 수 있다.
다만, 실제로 복수의 전자 장치는 배치 상태가 변경될 수 있고, 복수의 전자 장치 사이에 장애물이 배치되는 등, 실제 사용 환경은 도 4와는 상이할 수 있다.
도 5는 본 개시의 다양한 실시 예에 따른 실제 환경을 설명하기 위한 도면이다.
도 5의 좌측(5-1)에 도시된 바와 같이, 스피커의 전방에는 높은 선반이나 와인장 등과 같은 장애물이 배치될 수 있으며, 사용자(510)가 스피커를 향해 발화하더라도 스피커는 장애물에 의해 측정값이 낮아지고, 상대적으로 스피커보다 측정값이 큰 냉장고가 웨이크 업 될 수 있다. 즉, 장애물에 의해 사용자(510)의 의도에 부합되지 않는 장치가 동작할 수 있다.
또한, 도 5의 우측(5-2)에 도시된 바와 같이, 세탁기는 좁은 공간에 배치될 수 있으며, 사용자(520)가 상대적으로 세탁기보다 거리가 가까운 냉장고를 향해 발화하더라도 세탁기는 좁은 공간에 의해 측정값이 높아질 수 있다. 즉, 사용자로부터 거리가 가까운 냉장고가 아닌 세탁기가 웨이크 업 될 수도 있다. 즉, 배치 공간에 의해 사용자(520)의 의도에 부합되지 않는 장치가 동작할 수 있다.
이상과 같이 복수의 전자 장치 각각은 배치 상태 등에 따라 오동작할 수 있으며, 배치 상태 등을 반영하여 동작될 필요가 있다.
도 6은 본 개시의 일 실시 예에 따른 튜닝 동작을 설명하기 위한 흐름도이다.
먼저, 프로세서(130)는 사용자의 튜닝 명령을 수신할 수 있다(S610). 다만, 이에 한정되는 것은 아니며, 상술한 바와 같이 새로운 장치의 추가 등과 같은 이유로 튜닝 명령 이후의 동작을 수행할 수도 있다. 또는, 전자 장치(100)의 메모리에는 튜닝 동작 여부를 식별하는 신경망 모델이 저장될 수 있고, 프로세서(130)는 전자 장치(100) 및 복수의 외부 전자 장치들에 대한 정보를 신경망 모델에 입력하여 튜닝 동작의 수행 여부를 식별할 수도 있다.
프로세서(130)는 전자 장치(100)의 주변의 특성을 측정할 수 있다(S620). 예를 들어, 프로세서(130)는 가변 주파수 핑크 노이즈(pink noise)를 재생하여 설치 위치에서의 잔향을 측정할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 핑크 노이즈 뿐만 아니라 비가청음, 화이트 노이즈(white noise) 등을 더 재생할 수도 있다.
프로세서(130)는 웨이크 업 모드를 오프(off)하고, 튜닝 모드로 변경할 수 있다(S630). 전자 장치(100)가 웨이크 업 모드인 경우, 프로세서(130)는 사용자의 웨이크 업 명령이 수신되고 전자 장치(100) 및 복수의 외부 전자 장치들 중 가장 측정값이 크면 웨이크 업될 수 있다. 전자 장치가(100)가 튜닝 모드인 경우, 프로세서(130)는 사용자의 웨이크 업 명령이 수신되고 전자 장치(100) 및 복수의 외부 전자 장치들 중 가장 측정값이 크더라도 웨이크 업되지 않을 수 있다. 즉, 튜닝 모드는 사운드 출력, 획득, 측정값, 보정값 획득/계산 등의 튜닝 동작을 수행하기 위한 모드일 수 있다.
프로세서(130)는 복수의 외부 전자 장치들의 정보를 갱신할 수 있다(S640). 예를 들어, 프로세서(130)는 도 7에 도시된 바와 같이, 복수의 외부 전자 장치들에 대한 리스트, 복수의 외부 전자 장치들의 위치, 기기 특성, 기기 주변 특성, 복수의 외부 전자 장치들 각각에 대한 노이즈 종류 별 신호 세기 등에 대한 정보를 갱신할 수 있다.
프로세서(130)는 복수의 외부 전자 장치들 각각으로부터 복수의 외부 전자 장치들 각각의 정보를 수신하여 복수의 외부 전자 장치들의 정보를 갱신할 수 있다. 또는, 프로세서(130)는 서버를 통해 복수의 외부 전자 장치들의 정보를 수신하여 복수의 외부 전자 장치들의 정보를 갱신할 수도 있다.
프로세서(130)는 외부 서버를 통해 복수의 외부 전자 장치들의 정보를 갱신할 수 있다. 또는, 프로세서(130)는 복수의 외부 전자 장치들 각각으로부터 데이터를 수신하여 복수의 외부 전자 장치들의 정보를 갱신할 수도 있다.
이러한 동작은 복수의 외부 전자 장치들 모두 동일하게 수행할 수 있다.
프로세서(130)는 복수의 외부 전자 장치들에 대한 거리/위치를 추정할 수 있다(S650). 이러한 동작은 네트워크에 연결된 복수의 외부 전자 장치들 모두 동일하게 수행할 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100) 및 복수의 외부 전자 장치들은 모든 전자 장치들에 대한 위치 정보를 저장한 상태일 수도 있으며, 이 경우 S650 단계는 생략될 수 있다.
위치 정보를 추정하는 구체적인 방법은 도 8을 통해 설명한다. 먼저, 프로세서(130)는 가변 주파수 핑크 노이즈를 재생할 수 있다(S810). 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 핑크 노이즈 뿐만 아니라 비가청음, 화이트 노이즈(white noise) 등을 더 재생할 수도 있다.
프로세서(130)는 외부 전자 장치로부터 출력되는 사운드에 대한 주파수 대역 별 음압을 기록하고, 기기 간 거리를 측정할 수 있다(S820). 여기서, 프로세서(130)는 측정값이 0이면 소리가 도달할 수 없는 위치 또는 구조로 식별할 수 있다(S840). 또는, 프로세서(130)는 측정값이 0이 아니면 거리를 측정할 수 있다(S850). 예를 들어, 프로세서(130)는 와이파이 신호 등에 기초하여 거리를 측정할 수 있으며, 거리를 측정하는 방법에는 제한이 없다. 이러한 동작은 복수의 외부 전자 장치 모두 동일하게 수행할 수 있다.
다시 도 6에 대해 설명하면, 프로세서(130)는 복수의 외부 전자 장치들에 대한 위치 정보를 획득한 뒤, 튜닝 파라미터를 보정할 수 있다(S660). 이러한 동작은 네트워크에 연결된 복수의 외부 전자 장치들 모두 동일하게 수행할 수 있다.
튜닝 파라미터를 보정하는 구체적인 방법은 도 9를 통해 설명한다. 먼저, 프로세서(130)는 설치 위치 환경 정보를 측정할 수 있다(S910). 예를 들어, 튜닝하는 시점에 외부 소리, 사람 소리 등과 같은 주변 노이즈에 의해 측정값이 왜곡될 수 있으며, 프로세서(130)는 설치 위치 환경 정보를 측정하여 왜곡을 최소화할 수 있다.
그리고, 프로세서(130)는 환경 정보를 반영할 수 있다(S920). 예를 들어, 프로세서(130)는 주변 노이즈와 같은 환경 정보를 측정값의 크기 또는 SNR(signal to noise ratio)에 반영할 수 있다.
그리고, 프로세서(130)는 튜닝을 위한 스피커 볼륨으로 설정을 변경하여(S930), 웨이크 업 트리거 오디오를 재생할 수 있다(S940). 이러한 동작은 외부 전자 장치에서도 동일하게 수행되며, 이 경우 프로세서(130)는 외부 전자 장치에서 출력되는 사운드를 측정값으로서 획득할 수 있다.
그리고, 프로세서(130)는 기기 간 스코어(score)를 기록할 수 있다(S950). 예를 들어, 프로세서(130)는 외부 전자 장치에서 출력되는 사운드의 크기를 측정값으로서 획득하고, 외부 전자 장치의 스피커 특성, 전자 장치(100)의 마이크 특성, 환경 정보 등에 기초하여 측정값을 업데이트하여 스코어를 획득할 수 있다. 설명의 편의를 위해 스피커 특성 만이 장치가 차이가 있고, 나머지 요소는 모두 동일한 것으로 가정한다. 예를 들어, 외부 전자 장치의 스피커가 장치들의 평균 출력보다 작은 경우, 프로세서(130)는 외부 전자 장치로부터 출력되는 사운드의 측정값을 좀더 높게 보정하여 스코어로서 획득할 수 있다.
프로세서(130)는 스코어를 복수의 외부 전자 장치들과 공유하고(S960), 기기 별 상대 거리/상대 위치에 의한 보정값을 획득할 수 있다(S970). 예를 들어, 프로세서(130)는 제1 외부 전자 장치의 위치 정보에 기초하여 제1 외부 전자 장치로부터 출력되는 제1 사운드에 대한 제1 기대값을 획득하고, 이를 제1 사운드에 대한 제1 출력값과 비교할 수 있다. 프로세서(130)는 이러한 동작을 복수의 외부 전자 장치 각각에 대하여 수행하고, 장애물의 존재, 전자 장치(100)의 설치 환경 등을 판단할 수 있으며, 판단 결과에 따라 보정값을 획득할 수 있다. 좀더 구체적인 실시 예는 이하의 도면을 통해 후술한다.
프로세서(130)는 튜닝 모드를 종료하고 웨이크 업 모드로 변경하고, 볼륨을 원복할 수 있다(S980). 이러한 동작은 네트워크에 연결된 복수의 외부 전자 장치들 모두 동일하게 수행할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 보정값의 획득 방법을 설명하기 위한 도면이다.
도 10의 상단(10-1)은 C 기기의 설치 위치가 잔향이 큰 위치로서, C 기기의 측정값이 기대값보다 큰 경우를 나타내는 도면이다. 도 10의 상단(10-1)은 A 기기로부터 출력되는 사운드에 대한 기대값은 0.7이나 측정값이 0.85이고, B 기기로부터 출력되는 사운드에 대한 기대값은 0.8이나 측정값이 0.95인 경우를 가정하였다. 이는 천장 높이가 낮거나 반향으로 인한 것으로 C 장치는 보정값으로 -0.15를 획득할 수 있다. 즉, C 장치는 이후 획득되는 사운드의 측정값을 0.15만큼 낮출 수 있다.
특히, C 기기는 측정값이 커짐에 따라 동작하는 장치가 변경되는 것을 식별할 수 있다. 예를 들어, B 위치에서의 사운드에 따라 A 기기가 C 기기보다 동작 우선 순위가 높아야 하나, 도 10의 상단(10-1)과 같은 경우 C 기기가 A 기기보다 우선 순위가 높아질 수 있다. 즉, 이 경우 C 기기의 측정값에 대한 보정은 필수적인 동작일 수 있다.
도 10의 하단(10-2)은 C 기기의 측정값이 기대값보다 작은 경우를 나타내는 도면으로, A 기기로부터 출력되는 사운드에 대한 기대값은 0.7이나 측정값이 0.6이고, B 기기로부터 출력되는 사운드에 대한 기대값은 0.8이나 측정값이 0.65인 경우를 가정하였다. 이는 흡음 요소로 인한 것으로 C 장치는 보정값으로 +0.1~+0.15를 획득할 수 있다. 즉, C 장치는 이후 획득되는 사운드의 측정값을 0.15만큼 높일 수 있다.
다만, 이에 한정되는 것은 아니며, 도 10의 하단(10-2)의 경우에는 보정을 수행하지 않을 수도 있다. 도 10의 상단(10-1)과는 달리 도 10의 하단(10-2)의 경우는 동작하는 장치의 우선 순위가 변경되지 않기 때문이다.
도 11은 본 개시의 일 실시 예에 따른 타 기기 간의 데이터를 추가로 고려하는 동작을 설명하기 위한 도면이다.
도 11의 상단(11-1)은 기대값을 나타내고, 도 11의 하단(11-2)은 측정값을 나타내며, A 기기와 C 기기 사이의 측정값은 기대값보다 0.1 증가하였고, B 기기와 C 기기 사이의 측정값은 기대값보다 0.1 증가하였다.
다만, A 기기와 B 기기 사이의 측정값은 기대값보다 0.2가 감소하였으며, 이는 A 기기와 B 기기 사이에 장애물이 있을 수 있음을 나타낸다. 또한, 기대값에 의하면 A 위치에서의 사운드에 따라 B 기기가 C 기기보다 동작 우선 순위가 높아야 하나, 측정값에 의하면 A 위치에서의 사운드에 따라 B 기기보다 C 기기의 동작 우선 순위가 높아진다. 즉, 우선 순위가 변경됨에 따라 A 기기와 B 기기 사이의 측정값은 보정이 필요하며, 다른 측정값이 0.1 증가하였고, A 기기와 B 기기 사이의 측정값이 0.2 감소하였으므로 0.3의 보정값이 획득될 수 있다. 여기서, 획득된 보정값은 모든 사운드의 측정값에 적용되는 것은 아니다. 예를 들어, A 기기는 B 기기의 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값을 0.3만큼 높일 수 있다. 그리고, B 기기는 A 기기의 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값을 0.3만큼 높일 수 있다.
여기서, 임계 범위는 기설정된 각도 범위일 수 있다. 상술한 예에서, B 기기는 A 기기를 중심으로 좌우 30도 범위의 위치로부터 입력되는 사운드를 보정하고, 나머지 범위의 위치로부터 입력되는 사운드는 보정하지 않을 수 있다.
다만, 이에 한정되는 것은 아니며, 임계 범위는 C 기기의 위치를 더 고려하여 결정될 수도 있다. 상술한 예에서 B 기기는 B 기기로부터 A 기기까지의 직선과 B 기기로부터 C 기기까지의 직선이 이루는 각도를 등분하여 임계 범위를 결정할 수도 있다. 즉, B 기기는 B 기기로부터 A 기기까지의 직선으로부터 시계 방향으로 45도 범위 및 반시계 방향으로 45도 범위의 위치로부터 입력되는 사운드만을 보정할 수도 있다.
도 12는 본 개시의 다른 실시 예에 따른 타 기기 간의 데이터를 추가로 고려하는 동작을 설명하기 위한 도면이다.
도 12의 상단은 기대값을 나타내고, 도 12의 하단은 측정값을 나타내며, A 기기와 B 기기 사이의 측정값은 기대값보다 0.1 증가하였고, A 기기와 C 기기 사이의 측정값은 기대값보다 0.1 증가하였다.
다만, B 기기와 C 기기 사이의 측정값은 기대값보다 0.15가 증가하였다. 다만, 기대값에 의하면 C 위치에서의 사운드에 따라 B 기기가 A 기기보다 동작 우선 순위가 높고, 측정값에 의하더라도 C 위치에서의 사운드에 따라 B 기기가 A 기기보다 동작 우선 순위가 높다. 즉, 우선 순위가 변경되지 않으며, B 기기와 C 기기 사이의 측정값은 보정이 불필요하다. 다만, 다른 측정값과 같이 보정하더라도 무방하며, 다른 측정값이 0.1 증가하였고, B 기기와 C 기기 사이의 측정값이 0.15 증가하였으므로 -0.05의 보정값이 획득될 수 있다. 여기서, 획득된 보정값은 모든 사운드의 측정값에 적용되는 것은 아니다. 예를 들어, B 기기는 C 기기의 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값을 0.05만큼 낮출 수 있다. 그리고, C 기기는 B 기기의 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값을 0.05만큼 낮출 수 있다. 다만, 이에 한정되는 것은 아니며, 보정값은 -0.05 뿐만 아니라 -0.05에서 0 사이의 값이 이용될 수도 있다.
도 13은 본 개시의 일 실시 예에 따른 일 방향에 장애물이 존재하는 경우를 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, B 기기와 A 기기 사이에 장애물이 존재할 수 있다. 이때, B 기기는 45도를 하나의 범위로서 식별하며, A 기기 방향은 ① 범위로서 식별할 수 있다. 이후, B 기기는 ① 범위 내의 위치에서 출력되는 사운드에 대하여 보정을 수행할 수 있다.
도 13에서는 설명의 편의를 위해 45도를 하나의 범위를 설명하였으나, 이 범위를 얼마든지 다르게 설정될 수도 있다. 예를 들어, B 기기는 A 기기 뿐만 아니라 C 기기를 더 고려하여 90도를 하나의 범위로 결정할 수도 있다.
도 14는 본 개시의 일 실시 예에 따른 방향을 식별하는 방법을 설명하기 위한 도면이다.
전자 장치(100)는 복수의 마이크를 포함할 수 있다. 예를 들어, 전자 장치(100)는 도 14에 도시된 바와 같이, 동일한 수평선 상에 적어도 두 개의 마이크를 포함할 수 있다.
이 경우, 프로세서(130)는 두 개의 마이크로부터 수신되는 사운드의 주파수, 수신 시간 차이 등에 기초하여 사운드의 출력 방향을 식별할 수 있다.
다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 세 개 이상의 마이크를 포함할 수도 있다.
도 15는 본 개시의 다른 실시 예에 따른 이동 가능한 장치를 이용한 튜닝을 설명하기 위한 도면이다.
프로세서(130)는 로봇 청소기(RVC)로부터 출력되는 사운드에 기초하여 보정값을 획득할 수도 있다. 예를 들어, 도 15에 도시된 바와 같이, 프로세서(130)는 격자 사이의 점으로 표현되는 복수의 위치에 대한 사운드 출력 요청 신호를 로봇 청소기로 전송할 수 있다. 로봇 청소기는 공간 내를 이동하면서 복수의 위치에서 사운드를 출력할 수 있다.
다만, 이에 한정되는 것은 아니며, 로봇 청소기가 복수의 위치에 대한 정보를 저장하고, 저장된 정보를 전자 장치(100) 뿐만 아니라 복수의 외부 전자 장치로 전송할 수도 있다. 또한, 이동 가능한 장치가 로봇 청소기인 것으로 설명하였으나, 이는 일 실시 예에 불과하고, 공간 내를 이동할 수 있는 장치이면 어떠한 장치라도 무방하다.
도 16은 본 개시의 일 실시 예에 따른 이동 가능한 장치를 이용한 튜닝을 설명하기 위한 흐름도이다. 도 16에서는 설명의 편의를 위해, 도 6의 일부 동작과 중복되는 전자 장치(100)의 동작을 생략하였고, 이동 가능한 장치가 로봇 청소기인 것으로 설명한다.
로봇 청소기는 전자 장치(100)로부터 복수의 위치에 대한 사운드 출력 요청 신호를 수신할 수 있다(S1610). 예를 들어, 전자 장치(100)는 튜닝 모드로 변경되면, 로봇 청소기로 복수의 위치에 대한 사운드 출력 요청 신호를 전송할 수 있다.
로봇 청소기는 사운드 출력 요청 신호가 수신되면, 웨이크 업 모드를 오프하고 튜닝 모드로 변경할 수 있다(S1620). 이러한 모드 변경은 도 6의 S630 동작과 동일할 수 있다.
로봇 청소기는 공간을 돌아다니며 복수의 위치 각각에서 핑크 노이즈를 재생할 수 있다(S1630). 다만, 이에 한정되는 것은 아니며, 로봇 청소기는 복수의 위치 각각에서 핑크 노이즈 뿐만 아니라 화이트 노이즈, 음성(웨이크업 명령 등) 또는 비가청음 등을 재생할 수도 있다.
이때, 로봇 청소기는 복수의 위치 각각에서 사운드를 출력하기 전에 잔향을 측정하고, 측정된 잔향을 전자 장치(100)로 전송할 수도 있다.
또는, 로봇 청소기는 주파수가 변경되는 스윕(sweep) 시그널, 핑크 노이즈, 화이트 노이즈 또는 비가청음 중 적어도 하나를 출력하여 잔향을 측정하고, 웨이크 업 명령에 대응되는 사운드, 음성 대역의 사운드 또는 비가청음 중 적어도 하나를 출력하여 튜닝을 수행할 수도 있다. 여기서, 복수의 사운드를 출력하는 경우, 복수의 사운드는 타입 별로 순차적으로 출력될 수 있다. 다만, 이에 한정되는 것은 아니며, 로봇 청소기는 핑크 노이즈 또는 화이트 노이즈를 출력하여 튜닝을 수행할 수도 있다.
전자 장치(100)는 로봇 청소기로부터 수신된 정보에 기초하여 보정값을 획득할 수 있다.
도 17은 본 개시의 일 실시 예에 따른 전자 장치가 복수의 외부 전자 장치들의 보정값을 획득하는 방법을 설명하기 위한 흐름도이다. 도 17에서 S1740까지의 단계 및 S1770의 단계는 도 6에서 설명한 바와 동일하므로 S1750~S1760의 단계를 설명한다.
복수의 외부 전자 장치는 스코어를 전자 장치(main system, 100)로 전송할 수 있다(S1750).
프로세서(130)는 데이터를 취합하고 기기 별 상대 거리/상대 위치에 의한 보정값을 계산한 후 이를 대응되는 기기로 전송할 수 있다. 복수의 외부 전자 장치는 보정값을 수신하여 반영할 수 있다(S1760).
프로세서(130)는 복수의 외부 전자 장치 중 하드웨어 성능이 낮은 경우에 이상과 같은 동작을 수행할 수 있다.
도 18은 본 개시의 일 실시 예에 따른 전자 장치(100)가 복수의 외부 전자 장치들의 보정값을 획득하는 구체적인 방법을 설명하기 위한 도면이다. 도 18에서는 전자 장치(100)가 냉장고인 것으로 도시하였다.
전자 장치(100)에는 스피커, 세탁기, TV, 에어컨 각각의 기대값이 저장될 수 있다. 예를 들어, 도 18의 상단(18-1)에 도시된 바와 같이, 전자 장치(100)에서 출력되는 사운드에 대하여 스피커의 기대값은 0.7이고, 세탁기의 기대값은 0.85이며, TV의 기대값은 0.5이고, 에어컨의 기대값은 0.4일 수 있다.
이후, 전자 장치(100)에서 사운드가 출력되면, 스피커, 세탁기, TV, 에어컨 각각은 사운드에 대한 측정값을 획득하고, 획득된 측정값을 전자 장치(100)로 전송할 수 있다. 예를 들어, 도 18의 중간(18-2)에 도시된 바와 같이, 스피커의 측정값은 0.7이고, 세탁기의 측정값은 0.9이며, TV의 측정값은 0.46이고, 에어컨의 측정값은 0.46일 수 있다.
여기서, 프로세서(130)는 도 18의 하단(18-3)에 도시된 바와 같이, TV와 에어컨의 동작 우선 순위가 변경될 가능성이 있다고 판단하고, TV로 +0.05의 보정값을 전송할 수 있다. 구체적으로, 프로세서(130)는 TV보다 기대값이 작은 에어컨의 측정값보다는 TV의 측정값이 크도록 보정하고, TV보다 기대값이 큰 스피커의 측정값보다는 TV의 측정값이 작도록 보정할 수 있다.
도 19는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득한다(S1910). 그리고, 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송한다(S1920). 그리고, 제1 사운드 출력 요청 신호에 기초하여, 제1 외부 전자 장치에서 제1 사운드가 출력되면 전자 장치에 구비된 마이크를 통해 제1 사운드에 대한 제1 측정값을 획득한다(S1930). 그리고, 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송한다(S1940). 그리고, 제2 사운드 출력 요청 신호에 기초하여, 제2 외부 전자 장치에서 제2 사운드가 출력되면 전자 장치에 구비된 마이크를 통해 제2 사운드에 대한 제2 측정값을 획득한다(S1950). 그리고, 제1 측정값, 제2 측정값, 제1 기대값 및 제2 기대값에 기초하여 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득한다(S1960). 여기서, 제1 기대값은 제1 외부 전자 장치의 제1 위치 정보에 기초하여 전자 장치에 의한 제1 사운드의 예상 측정값이고, 제2 기대값은 제2 외부 전자 장치의 제2 위치 정보에 기초하여 전자 장치에 의한 제2 사운드의 예상 측정값일 수 있다.
또한, 보정값을 획득하는 단계(S1960)는 제1 측정값이 제1 기대값보다 크고 제2 측정값이 제2 기대값보다 크면, 마이크를 통해 획득되는 사운드의 측정값에 대한 음의 보정값을 획득하고, 제1 측정값이 제1 기대값보다 작고 제2 측정값이 제2 기대값보다 작으면, 마이크를 통해 획득되는 사운드의 측정값에 대한 양의 보정값을 획득할 수 있다.
그리고, 보정값을 획득하는 단계(S1960)는 제1 측정값이 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 제2 측정값이 제2 기대값을 기준으로 제2 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
여기서, 보정값을 획득하는 단계(S1960)는 웨이크 업 명령에 따라 동작하는 장치가 변경되면 동작하는 장치가 복원되도록 보정값을 획득하고, 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 보정값을 0으로 획득하거나 동작하는 장치가 변경되지 않는 범위 내에서 보정값을 획득할 수 있다.
한편, 제1 외부 전자 장치에서 측정된 제2 사운드에 대한 제3 측정값 및 제2 위치 정보에 기초하여 제1 외부 전자 장치에 의한 제2 사운드의 예상 측정값인 제3 기대값을, 제1 외부 전자 장치로부터 수신하는 단계를 더 포함하고, 보정값을 획득하는 단계(S1960)는 제1 측정값, 제2 측정값, 제3 측정값, 제1 기대값, 제2 기대값 및 제3 기대값에 기초하여 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
여기서, 보정값을 획득하는 단계(S1960)는 제1 측정값이 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 제2 측정값이 제2 기대값을 기준으로 제2 임계 범위 내에 속하지 않고, 제3 측정값이 제3 기대값을 기준으로 제3 임계 범위 이내이면, 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
또한, 보정값을 획득하는 단계(S1960)는 제1 측정값이 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 제2 측정값이 제2 기대값을 기준으로 제2 임계 범위 이내이고, 제3 측정값이 제3 기대값을 기준으로 제3 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 설치 환경 및 복수의 주변 장치 간의 사운드의 측정값을 반영하여 전자 장치가 획득한 사운드의 측정값을 보정하고, 보정된 측정값에 기초하여 동작 여부를 결정할 수 있어 동작의 정확도를 향상시킬 수 있다.
또한, 전자 장치는 신규 주변 장치가 추가되는 등의 이벤트에 따라 보정 동작을 수행하여 주기적으로 동작의 정확도를 높일 수 있다.
한편, 이상에서는 전자 장치가 복수의 외부 전자 장치로 사운드 출력 요청 신호를 전송하고, 복수의 외부 전자 장치로부터 출력되는 사운드를 측정하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치는 복수의 외부 전자 장치로 사운드 측정 요청 신호를 전송하고, 사운드의 출력에 따라 복수의 외부 전자 장치가 측정한 사운드를 수신하여 보정값을 획득할 수도 있다. 이 경우, 전자 장치가 복수의 외부 전자 장치에 대한 보정값을 제공할 수도 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 인터페이스;
    마이크; 및
    상기 통신 인터페이스 및 상기 마이크와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득하고,
    상기 제1 외부 전자 장치에 의해 출력될 상기 제1 사운드를 요청하기 위해 상기 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 전송된 제1 사운드 출력 요청 신호에 응답하여, 상기 제1 외부 전자 장치에서 상기 제1 사운드가 출력되면 상기 마이크를 통해 수신된 상기 제1 사운드에 대한 제1 측정값을 획득하고,
    상기 제2 외부 전자 장치에 의해 출력될 상기 제2 사운드를 요청하기 위해 상기 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송하도록 상기 통신 인터페이스를 제어하고, 상기 전송된 제2 사운드 출력 요청 신호에 응답하여, 상기 제2 외부 전자 장치에서 상기 제2 사운드가 출력되면 상기 마이크를 통해 수신된 상기 제2 사운드에 대한 제2 측정값을 획득하고,
    상기 제1 측정값, 상기 제2 측정값, 상기 제1 기대값 및 상기 제2 기대값에 기초하여 상기 마이크를 통해 획득되는 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나에 대한 보정값을 획득하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 측정값이 상기 제1 기대값보다 크고 상기 제2 측정값이 상기 제2 기대값보다 크면, 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나를 낮추는 음의 보정값을 획득하고,
    상기 제1 측정값이 상기 제1 기대값보다 작고 상기 제2 측정값이 상기 제2 기대값보다 작으면, 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나를 높이는 양의 보정값을 획득하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 상기 제1 외부 전자 장치의 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 웨이크 업 명령에 따라 동작하는 장치가 변경되면 상기 동작하는 장치가 복원되도록 상기 보정값을 획득하고,
    상기 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 상기 보정값을 0으로 획득하거나 상기 동작하는 장치가 변경되지 않는 범위 내에서 상기 보정값을 획득하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 통신 인터페이스를 통해, 상기 제1 외부 전자 장치에서 측정된 상기 제2 사운드에 대한 제3 측정값 및 상기 제2 외부 전자 장치의 제2 위치 정보에 기초하여 상기 제1 외부 전자 장치에 의한 상기 제2 사운드의 예상 측정값인 제3 기대값을, 상기 제1 외부 전자 장치로부터 수신하고,
    상기 제1 측정값, 상기 제2 측정값, 상기 제3 측정값, 상기 제1 기대값, 상기 제2 기대값 및 상기 제3 기대값에 기초하여 상기 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 내에 속하지 않고, 상기 제3 측정값이 상기 제3 기대값을 기준으로 제3 임계 범위 이내이면, 상기 마이크를 통해 획득되는 사운드의 측정값에 대한 보정값을 획득하는, 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 측정값이 상기 제1 기대값을 기준으로 제1 임계 범위 내에 속하지 않고, 상기 제2 측정값이 상기 제2 기대값을 기준으로 제2 임계 범위 이내이고, 상기 제3 측정값이 상기 제3 기대값을 기준으로 제3 임계 범위 이내이면, 웨이크 업 명령에 따라 동작하는 장치의 변경 여부에 기초하여 상기 제1 외부 전자 장치의 제1 위치 정보에 대응되는 위치를 기준으로 임계 범위 내의 위치에서 출력되는 사운드의 측정값에 대한 보정값을 획득하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 웨이크 업 명령에 따라 동작하는 장치가 변경되면 상기 동작하는 장치가 복원되도록 상기 보정값을 획득하고,
    상기 웨이크 업 명령에 따라 동작하는 장치가 변경되지 않으면 상기 보정값을 0으로 획득하거나 상기 동작하는 장치가 변경되지 않는 범위 내에서 상기 보정값을 획득하는, 전자 장치.
  9. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 외부 전자 장치의 하드웨어 성능에 기초한 상기 제3 측정값 및 상기 제3 기대값을 요청하는 신호를 상기 제1 외부 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 외부 전자 장치에 대한 제1 기대값 요청 신호 및 상기 제2 외부 전자 장치에 대한 제2 기대값 요청 신호를 외부 서버로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 통신 인터페이스를 통해, 상기 제1 기대값 및 상기 제2 기대값을 상기 외부 서버로부터 수신하는, 전자 장치.
  11. 제1항에 있어서,
    상기 전자 장치와 상기 제1 외부 전자 장치의 거리에 기초한 상기 제1 기대값에 대한 제1 정보 및 상기 전자 장치와 상기 제2 외부 전자 장치의 거리에 기초한 상기 제2 기대값에 대한 제2 정보가 저장된 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 제1 외부 전자 장치의 제1 위치 정보 및 상기 제2 외부 전자 장치의 제2 위치 정보에 대한 요청 신호를 외부 서버로 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 통신 인터페이스를 통해 상기 외부 서버로부터 상기 제1 위치 정보 및 상기 제2 위치 정보를 수신하고,
    상기 제1 정보에 기초하여 상기 제1 위치 정보에 대응되는 상기 제1 기대값 및 상기 제2 정보에 기초하여 상기 제2 위치 정보에 대응되는 상기 제2 기대값을 획득하는, 전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    복수의 위치에서 제3 외부 전자 장치로부터 출력되는 제3 사운드에 대한 복수의 제4 기대값을 획득하고,
    상기 제3 외부 전자 장치에 의해 출력될 상기 제3 사운드를 요청하기 위해 상기 제3 외부 전자 장치로 상기 복수의 위치에서의 제3 사운드 출력 요청 신호를 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 전송된 제3 사운드 출력 요청 신호에 응답하여 상기 복수의 위치 각각에서 상기 제3 외부 전자 장치가 상기 제3 사운드를 출력하면, 상기 마이크를 통해 상기 복수의 위치 각각에서의 상기 제3 사운드에 대한 복수의 제4 측정값을 획득하고,
    상기 제1 측정값, 상기 제2 측정값, 상기 복수의 제4 측정값, 상기 제1 기대값, 상기 제2 기대값 및 상기 복수의 제4 기대값에 기초하여 상기 마이크를 통해 측정되는 사운드에 대한 보정값을 획득하며,
    상기 제3 외부 전자 장치는,
    상기 제3 외부 전자 장치의 위치가 변경 가능하도록 이동 가능한 장치이고,
    상기 복수의 제4 기대값은,
    상기 복수의 위치에서 상기 전자 장치에 의한 상기 제3 사운드의 예상 측정값인, 전자 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    웨이크 업 명령이 수신되면 상기 마이크를 통해 상기 웨이크 업 명령에 대한 상기 전자 장치의 측정값을 획득하고,
    상기 측정값을 상기 보정값에 기초하여 보정하고,
    상기 통신 인터페이스를 통해, 상기 제1 외부 전자 장치로부터 상기 웨이크 업 명령에 대한 상기 제1 외부 전자 장치의 보정된 측정값을 수신하고, 상기 제2 외부 전자 장치로부터 상기 웨이크 업 명령에 대한 상기 제2 외부 전자 장치의 보정된 측정값을 수신하고,
    상기 보정된 측정값이 상기 제1 외부 전자 장치의 보정된 측정값 및 상기 제2 외부 전자 장치의 보정된 측정값보다 크면, 상기 웨이크 업 명령에 기초하여 상기 전자 장치를 웨이크 업 하는, 전자 장치.
  14. 제1항에 있어서,
    상기 제1 기대값은,
    상기 제1 외부 전자 장치의 제1 위치 정보에 기초하여 상기 전자 장치에 의한 상기 제1 사운드의 예상 측정값이고,
    상기 제2 기대값은,
    상기 제2 외부 전자 장치의 제2 위치 정보에 기초하여 상기 전자 장치에 의한 상기 제2 사운드의 예상 측정값인, 전자 장치.
  15. 전자 장치의 제어 방법에 있어서,
    제1 외부 전자 장치에서 출력되는 제1 사운드에 대한 제1 기대값 및 제2 외부 전자 장치에서 출력되는 제2 사운드에 대한 제2 기대값을 획득하는 단계;
    상기 제1 외부 전자 장치에 의해 출력될 상기 제1 사운드를 요청하기 위해 상기 제1 외부 전자 장치로 제1 사운드 출력 요청 신호를 전송하는 단계;
    상기 전송된 제1 사운드 출력 요청 신호에 응답하여, 상기 제1 외부 전자 장치에서 상기 제1 사운드가 출력되면 상기 전자 장치에 구비된 마이크를 통해 수신된 상기 제1 사운드에 대한 제1 측정값을 획득하는 단계;
    상기 제2 외부 전자 장치에 의해 출력될 상기 제2 사운드를 요청하기 위해 상기 제2 외부 전자 장치로 제2 사운드 출력 요청 신호를 전송하는 단계;
    상기 전송된 제2 사운드 출력 요청 신호에 응답하여, 상기 제2 외부 전자 장치에서 상기 제2 사운드가 출력되면 상기 마이크를 통해 수신된 상기 제2 사운드에 대한 제2 측정값을 획득하는 단계; 및
    상기 제1 측정값, 상기 제2 측정값, 상기 제1 기대값 및 상기 제2 기대값에 기초하여 상기 마이크를 통해 획득되는 상기 제1 측정값 또는 상기 제2 측정값 중 적어도 하나에 대한 보정값을 획득하는 단계;를 포함하는, 제어 방법.
PCT/KR2022/009640 2021-10-07 2022-07-05 전자 장치 및 그 제어 방법 Ceased WO2023058848A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22878671.1A EP4325486A4 (en) 2021-10-07 2022-07-05 ELECTRONIC DEVICE AND ITS CONTROL METHOD
CN202280053743.8A CN117795596A (zh) 2021-10-07 2022-07-05 电子装置及其控制方法
US17/976,155 US12566263B2 (en) 2021-10-07 2022-10-28 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210133414A KR20230050111A (ko) 2021-10-07 2021-10-07 전자 장치 및 그 제어 방법
KR10-2021-0133414 2021-10-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/976,155 Continuation US12566263B2 (en) 2021-10-07 2022-10-28 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
WO2023058848A1 true WO2023058848A1 (ko) 2023-04-13

Family

ID=85803558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009640 Ceased WO2023058848A1 (ko) 2021-10-07 2022-07-05 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20230050111A (ko)
WO (1) WO2023058848A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180083587A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20190051304A1 (en) * 2016-08-12 2019-02-14 Paypal, Inc. Location based voice association system
WO2020213767A1 (ko) * 2019-04-19 2020-10-22 엘지전자 주식회사 다중 디바이스 제어 시스템과 방법 및 이를 실행하기 위한 컴포넌트가 저장된 비 일시적 컴퓨터 판독 가능 매체
KR20210069977A (ko) * 2019-12-04 2021-06-14 엘지전자 주식회사 기기 제어 방법 및 이를 이용한 제어 가능한 장치
KR20210116671A (ko) * 2019-05-24 2021-09-27 엘지전자 주식회사 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190051304A1 (en) * 2016-08-12 2019-02-14 Paypal, Inc. Location based voice association system
KR20180083587A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 전자 장치 및 그의 동작 방법
WO2020213767A1 (ko) * 2019-04-19 2020-10-22 엘지전자 주식회사 다중 디바이스 제어 시스템과 방법 및 이를 실행하기 위한 컴포넌트가 저장된 비 일시적 컴퓨터 판독 가능 매체
KR20210116671A (ko) * 2019-05-24 2021-09-27 엘지전자 주식회사 음성인식을 이용하여 장치를 제어하는 방법 및 이를 구현하는 장치
KR20210069977A (ko) * 2019-12-04 2021-06-14 엘지전자 주식회사 기기 제어 방법 및 이를 이용한 제어 가능한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4325486A4 *

Also Published As

Publication number Publication date
KR20230050111A (ko) 2023-04-14

Similar Documents

Publication Publication Date Title
WO2020130237A1 (en) Terminal device and method for controlling thereof
WO2019107885A1 (en) Electronic device operating in associated state with external audio device based on biometric information and method therefor
WO2020171518A1 (en) Electronic device for adaptive power management
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
EP3616009A1 (en) Electronic device and method for controlling thereof
EP3583783A1 (en) Method and apparatus for in-room low-frequency sound power optimization
WO2019013510A1 (en) VOICE PROCESSING METHOD AND ELECTRONIC DEVICE SUPPORTING IT
WO2021025515A1 (en) Method for processing multi-channel audio signal on basis of neural network and electronic device
WO2020071858A1 (en) Electronic apparatus and assistant service providing method thereof
WO2020096218A1 (en) Electronic device and operation method thereof
WO2020256306A1 (en) Electronic apparatus and controlling method thereof
WO2022092741A1 (en) Nonlinear control of a loudspeaker with a neural network
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2018129960A1 (zh) 闪屏处理方法、装置、存储介质及电子设备
WO2023182677A1 (ko) 사용자 선호 콘텐트를 생성하는 전자 장치 및 그 동작 방법
WO2019231068A1 (en) Electronic device and control method thereof
WO2022092569A1 (ko) 전자 장치 및 이의 제어 방법
WO2019088668A1 (ko) 스피커를 포함하는 전자 장치
WO2018164438A1 (en) Method and apparatus for in-room low-frequency sound power optimization
WO2021201365A1 (ko) 전자 장치 및 그 제어 방법
EP3738305A1 (en) Electronic device and control method thereof
WO2023058848A1 (ko) 전자 장치 및 그 제어 방법
WO2023085736A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020075998A1 (ko) 전자 장치 및 그 제어 방법
WO2021040201A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878671

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022878671

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022878671

Country of ref document: EP

Effective date: 20231116

WWE Wipo information: entry into national phase

Ref document number: 202280053743.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE