WO2024076015A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2024076015A1
WO2024076015A1 PCT/KR2023/013501 KR2023013501W WO2024076015A1 WO 2024076015 A1 WO2024076015 A1 WO 2024076015A1 KR 2023013501 W KR2023013501 W KR 2023013501W WO 2024076015 A1 WO2024076015 A1 WO 2024076015A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
noise
clusters
cluster
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/013501
Other languages
English (en)
French (fr)
Inventor
슈마추크아르투르
아렌드크리스토프
자식바르톨로메오
스테판스키그제고르츠
양재모
트카추크야곱
시비옹테크미하우
마시옹토마스
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202380071138.8A priority Critical patent/CN119998878A/zh
Priority to EP23875083.0A priority patent/EP4576078A4/en
Publication of WO2024076015A1 publication Critical patent/WO2024076015A1/ko
Priority to US19/098,577 priority patent/US20250232754A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3012—Algorithms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3014—Adaptive noise equalizers [ANE], i.e. where part of the unwanted sound is retained
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3016—Control strategies, e.g. energy minimization or intensity measurements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3023—Estimation of noise, e.g. on error signals
    • G10K2210/30231—Sources, e.g. identifying noisy processes or components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3027—Feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3033—Information contained in memory, e.g. stored signals or transfer functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Definitions

  • This disclosure relates to an electronic device and a control method thereof, and more specifically, to an electronic device and a control method for selectively removing noise around the electronic device during audio output.
  • Audio devices such as headphones and earphones can use a variety of noise cancellation technologies.
  • an audio device can obtain sound around the audio device through a microphone connected to a noise removal circuit, and output an audio signal of improved quality to the user by removing noise included in the sound around the audio device.
  • Audio devices can determine the surrounding noise environment and actively remove noise by utilizing Active Noise Cancellation (“ANC”) technology.
  • An audio device utilizing ANC technology may be designed to cancel out surrounding noise when an audio signal provided from an electronic device is provided to the user by actively removing noise using the surrounding noise environment.
  • a method of controlling an electronic device includes acquiring audio data and metadata of the audio data.
  • the control method includes dividing the audio data into a plurality of audio clusters based on characteristics of the audio data and characteristics of the metadata.
  • the control method includes detecting whether each of the plurality of audio clusters is included in a plurality of pre-stored noise clusters.
  • the control method includes adding information about an audio cluster among the plurality of audio clusters that is not included in the plurality of noise clusters to the information about the plurality of noise clusters.
  • An electronic device includes a sensor; mike; speaker; a memory storing information about a plurality of noise clusters and at least one command; and a processor connected to the memory and controlling the electronic device, wherein the processor acquires audio data and the audio data through the sensor and the microphone by executing the at least one instruction.
  • the processor divides the audio data into a plurality of audio clusters based on the characteristics of the audio data and the characteristics of the metadata.
  • the processor detects whether each of the plurality of audio clusters is included in the plurality of noise clusters.
  • the processor adds information about audio clusters that are not included in the plurality of noise clusters among the plurality of audio clusters to the information about the plurality of noise clusters.
  • control method includes:
  • FIG. 1 is a block diagram for explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method by which an electronic device clusters audio data according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method by which an electronic device detects whether an audio cluster is included in a pre-stored noise cluster according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method in which an electronic device updates information on a noise cluster by receiving information on an audio cluster from an external server, according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a method by which an electronic device updates information about a noise cluster based on user feedback, according to an embodiment of the present disclosure.
  • FIG. 6 is a sequence diagram illustrating a method by which an electronic device updates information about a plurality of noise clusters stored in an external device according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method by which an electronic device updates information about a plurality of noise clusters using information about an audio cluster included in the plurality of noise clusters, according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method by which an electronic device updates information about a noise cluster stored in a memory of the electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a sequence diagram illustrating a method by which an electronic device updates information about a noise cluster stored in a memory of an external server according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • 11 and 12 are flowcharts for explaining the operation of an electronic device according to an embodiment of the present disclosure.
  • Figure 13 is a flowchart for explaining the operation of an external server according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., component such as numerical value, function, operation, or part). , and does not rule out the existence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” includes (1) at least one A, (2) at least one B, or (3) it may refer to all cases including both at least one A and at least one B.
  • a component e.g., a first component
  • another component e.g., a second component
  • any component may be directly connected to the other component or may be connected through another component (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. ,” can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or determined) to” may not necessarily mean “specifically designed to” in hardware.
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a block diagram for explaining the configuration of an electronic device according to an embodiment of the present disclosure.
  • Electronic device 100 may include memory 110, communication interface 120, user interface 130, microphone 140, speaker 150, display 160, sensor 170, and processor 180. You can.
  • the electronic device 100 may omit some of the above components and may further include other components.
  • the electronic device 100 may be implemented as an audio device such as earphones or a headset, but this is only an example and may be implemented as a smartphone, tablet PC, PC, server, smart TV, mobile phone, or personal digital assistant (PDA). , laptops, media players, e-readers, digital broadcasting terminals, navigation, kiosks, MP3 players, digital cameras, wearable devices, home appliances, and other mobile or non-mobile computing devices.
  • an audio device such as earphones or a headset
  • PDA personal digital assistant
  • laptops media players, e-readers, digital broadcasting terminals, navigation, kiosks, MP3 players, digital cameras, wearable devices, home appliances, and other mobile or non-mobile computing devices.
  • the electronic device 100 is implemented as a device other than earphones or a headset, the electronic device 100 is connected to the earphones or headset through the communication interface 120 and communicates with the earphones or headset. can be controlled.
  • the memory 110 may store at least one instruction related to the electronic device 100.
  • the memory 110 may store an operating system (O/S) for driving the electronic device 100.
  • O/S operating system
  • the memory 110 may store various software programs or applications for operating the electronic device 100 according to various embodiments of the present disclosure.
  • the memory 110 may include a semiconductor memory such as flash memory or a magnetic storage medium such as a hard disk.
  • the memory 110 may store various software modules for operating the electronic device 100 according to various embodiments of the present disclosure, and the processor 180 may execute various software modules stored in the memory 110.
  • the operation of the electronic device 100 can be controlled. That is, the memory 110 is accessed by the processor 180, and data read/write/modify/delete/update, etc. can be performed by the processor 180.
  • memory 110 refers to memory 110, a ROM (not shown) within the processor 180, a RAM (not shown), or a memory card (not shown) mounted on the electronic device 100 (e.g. For example, it can be used to mean including micro SD card, memory stick).
  • the communication interface 120 includes circuitry and is configured to communicate with external devices and servers.
  • the communication interface 120 may communicate with an external device or server based on a wired or wireless communication method.
  • the communication interface 120 may include a Bluetooth module (not shown), a Wi-Fi module (not shown), an infrared (IR) module, a local area network (LAN) module, an Ethernet module, etc.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the wireless communication module includes zigbee, USB (Universal Serial Bus), MIPI CSI (Mobile Industry Processor Interface Camera Serial Interface), 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), and LTE (Long It may include at least one communication chip that performs communication according to various wireless communication standards such as Term Evolution), LTE-A (LTE Advanced), 4G (4th Generation), and 5G (5th Generation).
  • the communication interface 120 may use at least one communication module among various communication modules.
  • the user interface 130 is configured to receive user commands for controlling the electronic device 100. It can be implemented with devices such as buttons, touch pads, mice, and keyboards, or it can be implemented with a touch screen that can also perform display functions and operation input functions.
  • the button may be various types of buttons such as mechanical buttons, touch pads, wheels, etc. formed on any area of the exterior of the main body of the electronic device 100, such as the front, side, or back.
  • the electronic device 100 may obtain various user inputs through the user interface 130.
  • the microphone 140 may be formed integrally with the electronic device 100, such as on the top, front, or side surfaces.
  • the microphone 140 includes a microphone that collects user voice in analog form, an amplifier circuit that amplifies the collected user voice, an A/D conversion circuit that samples the amplified user voice and converts it into a digital signal, and noise components from the converted digital signal. It may include various configurations such as a filter circuit to remove .
  • the microphone 140 can acquire audio data.
  • the audio data may be data about sounds surrounding the electronic device 100. Additionally, sound around the electronic device 100 may include noise.
  • the microphone 140 can acquire user voice input.
  • the speaker 150 can output an audio signal.
  • the speaker 150 may output an analog signal by converting an audio signal into a physical vibration signal that can be audibly perceived by the user.
  • the speaker 150 may also output a noise removal signal to remove noise included in the sound surrounding the electronic device 100. That is, the speaker 150 can output both an audio signal and a noise removal signal.
  • the speaker 150 may output noise removal signals to different degrees for each of the plurality of noises. That is, the speaker 150 may output a plurality of noise removal signals at different anti-noise levels for each type of noise.
  • the anti-noise level may mean the degree of noise removal.
  • the anti-noise level may refer to the intensity, frequency, or power of the noise removal signal corresponding to the inverse phase signal of the noise signal.
  • the speaker 150 may completely remove the first noise by outputting a noise removal signal at a first level (eg, 100%) for the first noise.
  • the speaker 150 may output a noise removal signal at a second level (for example, 50%) with respect to the second noise, thereby removing 50% of the second noise.
  • the speaker 150 may output a noise removal signal at a third level (for example, 0%) for the third noise and not remove the third noise.
  • the third noise may be delivered to the user through a hear-through or pass-through mode that is not removed by the noise removal signal.
  • the display 160 may be implemented as a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • a display including a self-emitting device or a display including a non-emitting device and a backlight.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • LED Light Emitting Diodes
  • micro LED micro LED
  • Mini LED Plasma Display Panel
  • QD Quantum dot
  • QLED Quantum dot light-emitting diodes
  • the display 160 may also include a driving circuit and a backlight unit that may be implemented in the form of a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • LTPS low temperature poly silicon
  • OFT organic TFT
  • the sensor 170 can detect the electronic device 100 and the environment surrounding the electronic device 100.
  • the sensor 170 may be a GPS sensor, gesture sensor, gyro sensor, barometric pressure sensor, magnetic sensor, acceleration sensor, grip sensor, proximity sensor, color sensor, IR (infrared) sensor, temperature sensor, humidity sensor, or illuminance sensor. It may include at least one of the sensors.
  • a GPS sensor can obtain location information of the place where audio data was obtained.
  • the processor 180 may control the overall operation and functions of the electronic device 100. Specifically, the processor 180 is connected to the configuration of the electronic device 100 including the memory 110, and executes at least one instruction stored in the memory 110 as described above, thereby controlling the electronic device 100. You can control the overall movement.
  • Processor 180 may be implemented in various ways.
  • the processor 180 may include an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), and a digital signal processor.
  • ASIC application specific integrated circuit
  • FSM hardware finite state machine
  • DSP digital signal processor
  • processor 180 may be used to include a central processing unit (CPU), a graphics processing unit (GPU), and a main processing unit (MPU).
  • CPU central processing unit
  • GPU graphics processing unit
  • MPU main processing unit
  • Operations of the processor 180 for implementing various embodiments of the present disclosure may be implemented through a plurality of modules.
  • data for a plurality of modules according to the present disclosure may be stored in the memory 110, and the processor 180 may access the memory 110 to store data for the plurality of modules in the memory inside the processor 180.
  • various embodiments according to the present disclosure can be implemented using a plurality of modules.
  • At least one of the plurality of modules according to the present disclosure may be implemented as hardware and may be included in the processor 180 in the form of a system on chip.
  • Audio data may refer to data obtained by receiving an analog audio source signal from around the electronic device 100 and converting it into a digital signal. Specifically, the processor 180 may obtain audio data about sounds around the electronic device 100 through the microphone 140. At this time, the sound around the electronic device 100 may include at least one noise. That is, audio data may include audio signals obtained from multiple audio sources. For example, audio data may include vehicle noise, siren sounds, impact sounds, human conversation sounds, etc.
  • the processor 180 may acquire audio data through the microphone 140, but is not limited thereto, and may also acquire audio data from an external device through the communication interface 120.
  • the processor 180 may obtain metadata of audio data.
  • metadata of audio data may include context information of the audio data.
  • Context information of audio data may mean information about the environment in which the audio was acquired.
  • the processor 180 may obtain context information of audio data through the sensor 170.
  • the context information of the audio data includes the operating state of the electronic device 100 (ANC mode or Hear-Through mode) when the audio data is acquired, the user's state (for example, while exercising), and the audio data.
  • the location e.g., latitude, longitude, or region
  • the location can contain at least one.
  • the direction of the audio source may refer to the direction in which the audio source is located based on the specific direction in which the electronic device 100 faces. For example, if the specific direction in which the electronic device 100 faces is the front direction, the direction information in which the audio data occurred is the front direction of the electronic device 100, a direction 90 degrees to the right relative to the front of the electronic device 100, or It may be toward the back of the electronic device 100 based on the front.
  • the senor 170 may include a plurality of microphones 140.
  • the processor 180 may identify the direction in which the audio signal originated by comparing components of the audio signal input through the plurality of microphones 140.
  • the processor 180 uses a plurality of microphones 140 to determine the audio signal, such as a time difference at which the same audio signal is input to each of the plurality of microphones 140, an amplitude difference of the audio signal, or a phase difference in the frequency of the audio signal.
  • the direction in which the audio signal is output based on the electronic device 100 for example, the front, side, or rear of the electronic device 100 can be determined.
  • the processor 180 may obtain location information of the place where audio data was acquired through a GPS sensor.
  • the processor 180 may obtain context information of audio data through the sensor 170, but this is only an example, and the context of audio data may be obtained from an external device including a sensor through the communication interface 120. Information can be obtained.
  • the processor 180 may divide the audio data into a plurality of audio clusters.
  • the processor 180 may obtain audio data and metadata of the audio data (S210). Then, the processor 180 can acquire the characteristics of the audio data (S220). At this time, based on the characteristics of the audio data, the processor 180 may divide the audio data into a plurality of audio clusters (S230).
  • the processor 180 may divide audio data by time or frequency to obtain a plurality of audio segments and obtain features from the plurality of audio segments. Additionally, the processor 180 may divide the plurality of audio segments into a plurality of audio clusters based on similarity information between features obtained from the plurality of audio segments.
  • the acquired features are Energy, MFCC (Mel Frequency Cepstral Coefficients), Centroid, Volume, energy, sub-band energy, and low short-time energy.
  • audio signals such as ratio, zero crossing rate, frequency centroid, frequency bandwidth, spectral flux, cepstral flux, and loudness. It may be a feature.
  • the processor 180 acquires feature information of the audio data that combines the audio signal features of the audio data and the features of the metadata of the audio data, and divides the plurality of audio data into a plurality of audio clusters according to the similarity information between the obtained feature information. It can be divided into:
  • the acquired features may be in the form of an embedding feature vector (embedding vector).
  • the processor 180 may divide a plurality of audio segments into a plurality of audio clusters. That is, in the embedding space, the more similar the first feature vector and the second feature vector are, the closer they are to each other, and the more dissimilar they are, the farther they can be located. At this time, the processor 180 may divide audio segments clustered within a critical distance in the embedding space into one audio cluster.
  • the processor 180 can divide audio data into a plurality of audio clusters according to the type of audio.
  • the processor 180 may divide audio data into a first audio cluster, a second audio cluster, a third audio cluster, and a fourth audio cluster.
  • the first audio cluster may be audio for an impact sound (eg, a vehicle crash sound).
  • the second audio cluster may be audio for the siren.
  • the third audio cluster may be audio for sounds generated from the front of the electronic device.
  • the fourth audio cluster may be audio for sounds generated from the rear of the electronic device.
  • the first audio cluster may be audio about an impact sound occurring in Seoul.
  • the second audio cluster may be audio about sirens that occurred in Seoul.
  • the third audio cluster may be audio about traffic noise occurring in Seoul.
  • the processor 180 can detect whether each of the plurality of audio clusters is included in the plurality of pre-stored noise clusters (S320).
  • the memory 110 may include information about a plurality of noise clusters.
  • the information about the plurality of noise clusters includes information about each noise, and the information about each noise includes at least one of identification information of the noise, characteristics of the noise signal, metadata of the noise, and an anti-noise level corresponding to the noise. may include.
  • the metadata of the noise includes tag information defining the noise, context information of the noise (e.g. location information, temperature information, etc.), date information when the noise was acquired, time information when the noise was acquired, and information about the noise source. It may include at least one of direction information.
  • the context information of the noise may mean the device that acquired the noise and the context information around the device when the noise is acquired.
  • the anti-noise level may mean the degree of noise removal.
  • the anti-noise level may refer to the intensity, frequency, or power of the noise removal signal corresponding to the inverse phase signal of the noise signal.
  • the processor 180 can generate anti-noise data that can remove 100% of the noise.
  • the processor 180 may generate anti-noise data capable of removing 50% of the noise.
  • the processor 180 may not generate anti-noise data that can remove noise.
  • the electronic device 100 may output an anti-noise signal through the speaker 150 using the generated anti-noise data, but this is only an example, and the anti-noise data may be transmitted to an external device including a speaker. You can control external devices to transmit to (e.g., earphones) and output an anti-noise signal.
  • the processor 180 detects whether each of the plurality of audio clusters is included in the plurality of noise clusters. You can.
  • the processor 180 may identify whether each of the plurality of audio clusters matches one of the plurality of pre-stored noise clusters. If there is no noise cluster matching the first audio cluster, the processor 180 may identify that the first audio cluster is not included in the plurality of noise clusters. Additionally, if there is a noise cluster that matches the second audio cluster, the processor 180 may identify the second audio cluster as being included in the plurality of noise clusters.
  • the processor 180 may identify whether each of the plurality of audio clusters matches one of the plurality of noise clusters based on the similarity value between each of the plurality of audio clusters and each of the plurality of noise clusters.
  • the processor 180 may obtain a similarity value between one of the plurality of audio clusters and one of the plurality of noise clusters. At this time, if the similarity value is greater than or equal to a preset value, the processor 180 may identify one of the plurality of noise clusters as a noise cluster matching one of the plurality of audio clusters.
  • the processor 180 may identify a noise cluster whose similarity value with one of the plurality of audio clusters is greater than or equal to a preset value among the plurality of noise clusters as a noise cluster that matches one of the plurality of audio clusters.
  • the processor 180 may identify the noise cluster with the highest similarity value as the noise cluster that matches one of the plurality of audio clusters.
  • the processor 180 may compare metadata for each of the plurality of audio clusters with metadata for the plurality of noise clusters to detect whether each of the plurality of audio clusters is included in the plurality of noise clusters.
  • the processor 180 may compare the metadata of one of the plurality of audio clusters with the metadata of one of the plurality of noise clusters to identify whether they match.
  • the processor 180 identifies one of the plurality of audio clusters as matching one of the plurality of noise clusters. can do.
  • the metadata may be at least one of tag information, context information of the place where the data was acquired, date information when the data was acquired, time information when the data was acquired, or data direction information.
  • the processor 180 can detect whether one audio cluster among the plurality of audio clusters is included in the plurality of noise clusters. (S320).
  • the processor 180 performs an anti-noise operation for the audio cluster based on the anti-noise level included in the information about the noise cluster matching the audio cluster.
  • Data can be generated (S330).
  • an anti-noise signal can be output through the speaker 150 or transmitted to an external device including a speaker, and the external device can be controlled to output an anti-noise signal.
  • noise that is not included in the information about the noise cluster previously stored in the memory 110 cannot be removed with the anti-noise level optimized for the user. That is, depending on the type of noise, the noise may be noise that requires removal, noise that does not require removal, or noise that requires removal only to a certain extent.
  • the processor 180 provides information to the user. There is a problem in which noise cannot be removed with an optimized anti-noise level.
  • the electronic device 100 of the present disclosure updates the information about the noise cluster previously stored in the memory 110 using information about the audio cluster that is not included in the plurality of noise clusters, and optimizes the sound for the user.
  • a noise cancellation (Acoustic Noise Cancellation, ANC) environment can be provided.
  • the processor 180 adds information about the audio cluster not included in the plurality of noise clusters to the information about the plurality of noise clusters. (S340). That is, the processor 180 may add information about an audio cluster that is not included in the plurality of previously stored noise clusters among the plurality of audio clusters to the information about the plurality of noise clusters.
  • the electronic device 100 may update information about a plurality of noise clusters stored in the memory 110 using information obtained from an external server.
  • the processor 180 selects the audio cluster not included in the plurality of noise clusters.
  • User input regarding whether to receive information about from an external server can be obtained (S420).
  • the processor 180 may output information inquiring whether to receive information about an audio cluster that is not included in the plurality of noise clusters from an external server. For example, the processor 180 outputs a voice through the speaker 150 to inquire whether to receive information about an audio cluster not included in the plurality of noise clusters from an external server, or displays the display 160. Through this, a screen can be displayed to inquire whether to receive information about audio clusters that are not included in the plurality of noise clusters from an external server.
  • the processor 180 may receive information about the audio cluster from the external server (S430) .
  • the information about the audio cluster received from the external server may include characteristic information of the audio cluster, metadata of the audio cluster, and anti-noise level corresponding to the audio cluster.
  • the processor 180 may store information on the audio clusters received from the external server in the memory 110 (S440) and update the information on the plurality of noise clusters stored in the memory 110. That is, the processor 180 may add information about an audio cluster that is not included in the plurality of noise clusters to the information about the plurality of noise clusters.
  • the electronic device 100 may update information about a plurality of noise clusters stored in the memory 110 based on user feedback.
  • the processor 180 when the audio cluster is identified as not included in the plurality of noise clusters (S510), the processor 180 outputs information inquiring whether to add the audio cluster to the plurality of noise clusters. You can.
  • the processor 180 outputs a voice through the speaker 150 inquiring whether to add an audio cluster to a plurality of noise clusters, or displays a screen to inquire whether to add an audio cluster to a plurality of noise clusters. It can be displayed through (160).
  • the processor 180 may obtain a user input regarding whether to add information about an audio cluster that is not included in the plurality of noise clusters to the memory 110 (S520).
  • the processor 180 may output audio such as “Would you like to add information about the noise around the current electronic device?” through the speaker 150. Additionally, the processor 180 may obtain a user voice input such as “Yes” through the microphone 140.
  • the processor 180 may output information inquiring about information about an audio cluster that is not included in the plurality of noise clusters. .
  • the processor 180 outputs a voice inquiring about information about an audio cluster not included in the plurality of noise clusters through the speaker 150, or provides information about an audio cluster not included in the plurality of noise clusters.
  • a screen inquiring about can be displayed through the display 160.
  • the processor 180 may obtain information about the audio cluster from user input (S530).
  • information about the audio cluster obtained from the user input may include metadata of the audio cluster, such as tag information defining the audio cluster, and an anti-noise level corresponding to the audio cluster.
  • the processor 180 may output audio through the speaker 150 that inquires about audio tag information, such as “What would you like to tag the current audio with?” Additionally, the processor 180 may acquire user voice input such as “office noise” through the microphone 140.
  • the processor 180 may output audio such as “What is the anti-noise level of the current audio?” Additionally, the processor 180 may obtain user voice input such as “100%,” “50%,” or “0%.”
  • the processor 180 may store information about the audio cluster in the memory 110 (S540) and add it to the information about the plurality of noise clusters stored in the memory 110. .
  • information added to the information about the plurality of noise clusters may include characteristic information of the audio cluster, metadata of the audio cluster, and anti-noise level corresponding to the audio cluster.
  • the processor 180 may update information about a plurality of noise clusters stored in an external server. That is, the processor 180 may transmit information about the acquired audio clusters to an external server and update information about a plurality of noise clusters stored in the external server.
  • an external server may not store noise information about office noise.
  • the electronic device 100 transmits the acquired characteristic information about the office noise, metadata about the office noise, or anti-noise level corresponding to the office noise to an external server, Information can be updated.
  • the external server may not store noise information obtained in New York.
  • the electronic device 100 may acquire information about noise obtained in New York, transmit the obtained information to an external server, and update information about a plurality of noise clusters stored in the external server.
  • the electronic device 100 may identify that the audio cluster is not included in the plurality of noise clusters pre-stored in the memory 110 or the external server 200 (S610).
  • the electronic device 100 may obtain information about audio clusters that are not included in the plurality of noise clusters through the communication interface 120, user interface 130, or microphone 140 (S620).
  • the electronic device 100 may transmit the information about the acquired audio cluster to the external server 200 (S630).
  • the external server 200 may store information on the received audio clusters in the memory of the external server 200 and update the information on the plurality of noise clusters stored in the memory of the external server 200.
  • the electronic device 100 can transmit information about the acquired audio clusters to the external server 200 and control the external server 200 to update information about the plurality of noise clusters.
  • information about the noise cluster needs to be stored differently depending on the user.
  • characteristic information about the specific noise may differ depending on the user. That is, the office noise of the first user and the office noise of the second user may be different.
  • the information about the office noise cluster stored in the memory 110 may be optimized for the office noise of the first user, but may not be optimized for the office noise of the second user.
  • the external server 200 may store information on a plurality of noise clusters differently for each user account of the electronic device 100, and the electronic device 100 may store information on a plurality of noise clusters corresponding to the user account. It can be updated. Accordingly, the user of the electronic device 100 can use the same ANC environment through an external device by using information about a plurality of noise clusters pre-stored in the user account.
  • the electronic device 100 may update information about a plurality of noise clusters using information about an audio cluster included in the plurality of noise clusters.
  • the processor 180 can update information about the plurality of noise clusters using information about the audio cluster.
  • the processor 180 may obtain audio data and divide the audio data into a plurality of audio clusters (S710).
  • the processor 180 may identify one audio cluster among the plurality of audio clusters as being included in the plurality of noise clusters (S720).
  • the acquired audio cluster may be an “office noise” cluster, and one of the plurality of noise clusters may be an “office noise” cluster.
  • the processor 180 may update information included in the previously stored noise cluster using information about the audio cluster (S730).
  • the information about the audio cluster may include characteristic information of the audio cluster, metadata of the audio cluster, or anti-noise level corresponding to the audio cluster.
  • the processor 180 may update information about the noise cluster in the previously stored “office noise” using characteristic information about the “office noise” audio cluster. That is, the processor 180 can replace the feature information included in the pre-stored “office noise” noise cluster with feature information about the “office noise” audio cluster. Alternatively, the processor 180 may add feature information about the “office noise” audio cluster to feature information included in the pre-stored “office noise” noise cluster.
  • the processor 180 may obtain information about the “office noise” audio cluster through the communication interface 120, the user interface 130, or the microphone 140. At this time, information about the “office noise” audio cluster may include an anti-noise level for the “office noise” audio cluster.
  • the processor 180 may replace the anti-noise level included in the information about the “office noise” noise cluster with the anti-noise level for the “office noise” audio cluster.
  • the processor 180 may add the acquired audio features of the office noise cluster to the audio features of the previously stored office noise cluster. Alternatively, the processor 180 may replace the pre-stored audio features of the office noise cluster with the acquired audio features of the office noise cluster.
  • the electronic device 100 of the present disclosure updates information on the plurality of noise clusters to optimize the user.
  • An ANC environment can be provided.
  • the processor 180 may update information about the noise cluster stored in the memory 110 according to a preset update cycle. Alternatively, when a user input for updating information about the noise cluster stored in the memory 110 is obtained, the processor 180 may update the information about the noise cluster stored in the memory 110.
  • the processor 180 may obtain metadata about the audio cluster (S810) ).
  • the processor 180 may transmit metadata about the acquired audio cluster to an external server (S820).
  • the external server acquires the feature data of the metadata, compares it with the feature data of the noise cluster stored in the external server, and information about the noise cluster matching the audio cluster is stored in the external server. You can identify whether it is stored in memory.
  • the processor 180 can obtain information about the noise cluster matching the audio cluster from the external server ( S830).
  • the acquired information about the noise cluster may include characteristic information of the noise cluster, metadata of the noise cluster, or anti-noise level corresponding to the noise cluster.
  • metadata included in the information about the acquired noise cluster may mean tag information defining the noise cluster.
  • the processor 180 can update the information about the noise cluster stored in the memory 110 (S840).
  • the electronic device 100 may transmit the acquired audio data and context information of the audio data to an external server to update information about the noise cluster stored in the external server.
  • the electronic device 100 may obtain an audio cluster and metadata of the audio cluster (S910).
  • the electronic device 100 may transmit information about the audio cluster to the external server 200 (S920).
  • information about the audio cluster may include metadata about the audio cluster.
  • the external server 200 can obtain characteristic information of the audio cluster (S930).
  • the feature information of the audio cluster may be feature information that combines the audio signal features of the audio cluster and the features of the metadata of the audio cluster.
  • the external server 200 compares the characteristics of the audio cluster with the characteristic information of the noise cluster stored in the memory of the external server 200 to determine whether a noise cluster matching the audio cluster is stored in the memory of the external server 200. can be identified. That is, the external server 200 can detect whether the audio cluster is included in a plurality of noise clusters stored in the memory of the external server 200.
  • the external server 200 determines whether the characteristics of the audio cluster and the characteristics of the noise cluster exist within the threshold distance in the embedding space, and identifies the noise cluster located within the threshold distance as a noise cluster matching the audio cluster. can do.
  • the external server 200 merges or splits the information about the audio cluster with the information about the noise cluster stored in the memory of the external server 200 to Information about the noise cluster stored in the memory can be updated (S950).
  • the external server 200 defines the audio cluster as a new noise cluster and adds information about the new noise cluster to the information about the noise cluster stored in the memory of the external server 200. You can add
  • FIG. 10 is a diagram for explaining a control method of the electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may acquire audio data (S1010).
  • the electronic device 100 may divide audio data into a plurality of audio clusters (S1020).
  • the electronic device 100 can detect whether each of the plurality of audio clusters is included in the plurality of pre-stored noise clusters (S1030).
  • the electronic device 100 may add information about an audio cluster that is not included in the plurality of noise clusters among the plurality of audio clusters to the information about the plurality of noise clusters (S1040).
  • FIG. 11 is a diagram for explaining the operation of the electronic device 100 according to an embodiment of the present disclosure.
  • the processor 180 may obtain audio data and metadata of the audio data (S1100). At this time, metadata of audio data may include information about the location where the audio data was acquired.
  • the processor 180 may divide the audio data into a plurality of audio clusters (S1110). For example, the processor 180 may divide the audio data into a first audio cluster and a second audio cluster, where the first audio cluster is a sound for an impact sound obtained in New York, and the second audio cluster is a sound for an impact sound obtained in New York. It may be a siren sound obtained from .
  • the processor 180 can identify whether each of the plurality of audio clusters is included in the noise cluster stored in the memory! (S1120).
  • the processor 180 may obtain information about the noise cluster corresponding to the audio cluster (S1130). For example, Memory! can store information about impact sound clusters obtained in New York.
  • the processor 180 may generate anti-noise data for the audio cluster using settings that are matched to and stored in the noise cluster (S1140).
  • the processor 180 If the audio cluster is identified as not included in the plurality of noise clusters (S1120-N), if the audio cluster is identified as not included in the plurality of noise clusters (S1120-N), the processor 180 provides information about the audio cluster. It is possible to identify whether to search from an external server (S1150).
  • the processor 180 may provide the user with information to inquire whether to retrieve information about the audio cluster from an external server. And, based on the user input regarding whether to retrieve information about the audio cluster, the processor 180 can identify whether to retrieve information about the audio cluster from an external server.
  • the processor 180 may provide the user with information to inquire whether to retrieve information about the audio cluster from an external server. At this time, the processor 180 may control the speaker 150 to output a voice to inquire whether to retrieve information about the audio cluster from an external server. Alternatively, the processor 180 may control the display 160 to display a screen including a phrase to inquire whether to retrieve information about the audio cluster from an external server. Alternatively, the processor 180 may transmit a control signal to the user terminal device to display information to inquire whether to retrieve information about the audio cluster from an external server.
  • processor 180 may ask, “Would you like to retrieve information about the currently acquired audio cluster from an external server?”
  • the speaker 150 can be controlled to output a voice such as “Would you like to retrieve information about the currently acquired audio cluster from the cloud?”
  • processor 180 may ask, “Would you like to retrieve information about the currently acquired audio cluster from an external server?”
  • a UI including phrases such as “Would you like to retrieve information about the currently acquired audio cluster from the cloud?” may be provided through the display 160.
  • the processor 180 may ask, “Would you like to retrieve information about the currently acquired audio cluster from an external server?”
  • a control signal for displaying a UI including phrases such as “Would you like to retrieve information about the currently acquired audio cluster from the cloud” may be transmitted to the user terminal device.
  • the processor 180 may obtain user input regarding whether to add the audio cluster to the noise cluster through the communication interface 120, the user interface 130, or the microphone 140.
  • the processor 180 may delete data about the audio cluster from memory (S1160).
  • the processor 180 can transmit the information about the audio cluster to an external server (S1170).
  • information about the audio cluster may include at least one of characteristics of the audio data, metadata of the audio data, and tags of the audio data.
  • the processor 180 may receive information corresponding to the noise cluster corresponding to the transmitted audio cluster (1180).
  • the information corresponding to the noise cluster may include at least one of noise cluster characteristics, metadata, tag information, and anti-noise level.
  • the processor 180 may add information about the acquired noise cluster to information about a plurality of noise clusters stored in memory! (S1190). Accordingly, the processor 180 may add information about the acquired noise cluster to the information about the plurality of noise clusters stored in the memory! (S1190). Accordingly, the processor 180 Anti-noise data can be generated for audio clusters with noise levels.
  • the user of the electronic device 100 can use information received from an external server even if the environment (e.g., location) changes (e.g., from Seoul to New York) to store multiple information stored in the memory! Information about noise clusters can be updated to optimize for changed environments. Additionally, the user of the electronic device 100 can experience a noise canceling environment optimized for the user even in a changed environment.
  • environment e.g., location
  • changes e.g., from Seoul to New York
  • FIG. 12 is a diagram for explaining the operation of an electronic device according to an embodiment of the present disclosure.
  • the processor 180 obtains a user input regarding whether to add the audio cluster to the plurality of noise clusters. can do.
  • the processor 180 may provide the user with information to inquire whether to add an audio cluster to a plurality of noise clusters. Specifically, the processor 180 may control the speaker 150 to output a voice to inquire whether to add the audio cluster to the plurality of noise clusters. Alternatively, the processor 180 may control the display 160 to display a screen including a phrase to inquire whether to add the audio cluster to the plurality of noise clusters.
  • processor 180 may ask, “Do you want to add the currently acquired audio cluster to the noise cluster?”
  • the speaker 150 can be controlled to output a voice such as “Do you want to add the currently acquired audio cluster to the cloud?”
  • processor 180 may ask, “Do you want to add the currently acquired audio cluster to the noise cluster?”
  • a UI including phrases such as “Would you like to add the currently acquired audio cluster to the cloud?” may be provided through the display 160.
  • processor 180 may ask, “Do you want to add the currently acquired audio cluster to the noise cluster?”
  • information for displaying a UI including phrases such as “Do you want to add the currently acquired audio cluster to the cloud” may be transmitted to the user terminal device.
  • the processor 180 may obtain user input regarding whether to add the audio cluster to the noise cluster through the communication interface 120, the user interface 130, or the microphone 140.
  • the processor 180 may delete information about the audio cluster stored in memory!.
  • the processor 180 may obtain tag information about the audio cluster (S1230).
  • the processor 180 may obtain tag information of the audio cluster through the communication interface 120, user interface 130, or microphone 140.
  • the tag may be text information defining an audio cluster.
  • the tag of audio data may be text information that defines the type of audio cluster.
  • tags of audio data include “office noise,” “siren sound,” “music sound,” “lecture sound,” “sound from the front of the electronic device 100,” “sound from the side of the electronic device.” ”, “Sound heard from the rear of the electronic device 100”, etc.
  • the processor 180 may provide the user with information to query the tag of the audio cluster to obtain tag information of the audio cluster. Specifically, the processor 180 may output a voice to inquire about the tag of the audio cluster through the speaker 150. Alternatively, the processor 180 may display a screen containing a phrase for inquiring about the tag of the audio cluster through the display 160.
  • processor 180 may ask, “Please define the currently acquired audio.”, “What is the type of currently acquired audio?”
  • a voice such as “Please enter the tag of the currently acquired audio cluster” can be output through the speaker 150.
  • the processor 180 may ask, “Please define the currently acquired audio.”, “What is the type of currently acquired audio?” or “Please enter the tag of the currently acquired audio cluster.”
  • a UI including phrases such as may be provided through the display 160.
  • the processor 180 may obtain a user voice input that inputs the tag of the audio cluster through the microphone 140.
  • the processor 180 may obtain a user input for inputting a tag of an audio cluster through the user interface 130.
  • the processor 180 may obtain a user input for entering a tag of an audio cluster through a UI provided through the display 160.
  • the processor 180 may obtain information about the tag of the audio cluster through the communication interface 120.
  • the processor 180 may obtain user input for setting the anti-noise level of the audio cluster. At this time, the processor 180 may provide the user with information to inquire about the anti-noise level of the audio cluster in order to obtain the anti-noise level of the audio cluster. Specifically, the processor 180 may output a voice to inquire about the anti-noise level of the audio cluster through the speaker 150. Alternatively, the processor 180 may display a screen including a phrase to inquire about the anti-noise level of the audio cluster through the display 160.
  • the processor 180 may add information about the audio cluster to the information about the plurality of noise clusters stored in the memory! and transmit the information about the audio cluster to the external server 200.
  • the external server 200 may update information on a plurality of noise clusters stored in the external server 200 using information on the received audio clusters.
  • FIG. 13 is a diagram illustrating a method for a server to update information about a noise cluster according to an embodiment of the present disclosure.
  • the server 200 may obtain information about the audio cluster from the electronic device 100 (S1310). At this time, information about the audio cluster obtained from the electronic device 100 may include at least one of audio signal characteristics, metadata, and tag information.
  • the server 200 may obtain feature information for at least one of the features of the audio signal, the features of the metadata, and the features of the tag information, and obtain a feature vector for the feature.
  • the server 200 may identify whether a noise cluster corresponding to the audio cluster obtained from information on a plurality of noise clusters stored in the server 200 exists (S1330). That is, the server 200 can identify whether information about a noise cluster matching the acquired audio cluster is stored in the server 200.
  • the server 200 may add information about the acquired audio cluster to the information about the plurality of noise clusters.
  • the server 200 can continuously update the information about the noise cluster stored in the server 200 using the information about the audio cluster obtained from the user.
  • the server 200 may store information about a plurality of noise clusters for the user account of the electronic device 100. Accordingly, information about a plurality of noise clusters corresponding to the user's account stored in the server 200 can be continuously updated to be optimized for the user.
  • the server 200 may update the noise cluster corresponding to the audio cluster. That is, the server 200 can merge information about the acquired audio cluster and information about the noise cluster corresponding to the audio cluster. Alternatively, the server 200 may divide the acquired information on the audio cluster and the information on the noise cluster corresponding to the audio cluster and store them in the memory of the server 200.
  • unit or “module” used in the present disclosure includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. You can.
  • a “part” or “module” may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored in a storage medium and operating according to the called instructions, and may include the electronic device 100 according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • Each component may be composed of a single or multiple entities, and some of the above-described sub-components may be omitted or other sub-components may be used. It may be further included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

음향 노이즈 소거(Acoustic Noise Cancellation, ANC)를 위한 안티 노이즈(anti-noise)를 생성할 수 있는 전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 전자 장치의 제어 방법에 있어서, 오디오 데이터 및 오디오 데이터의 메타 데이터를 획득하는 단계, 오디오 데이터의 특징 및 메타 데이터의 특징에 기초하여, 오디오 데이터를 복수의 오디오 클러스터로 구분하는 단계, 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출하는 단계 및 복수의 오디오 클러스터 중 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 복수의 노이즈 클러스터에 대한 정보에 추가하는 단계를 포함한다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 오디오 출력 중 전자 장치 주변의 노이즈를 선별적으로 제거하는 전자 장치 및 그 제어 방법에 관한 것이다.
헤드폰, 이어폰과 같은 오디오 장치는 다양한 노이즈 제거 기술을 이용할 수 있다. 예를 들어, 오디오 장치는 노이즈 제거 회로와 연결된 마이크를 통하여 오디오 장치 주변의 음향을 획득하고, 오디오 장치 주변의 음향에 포함된 노이즈를 제거함으로써 사용자에게 품질이 향상된 오디오 신호를 출력할 수 있다.
오디오 장치는 능동적 노이즈 제거(Active Noise Cancellation, 이하 "ANC") 기술을 활용함으로써, 주변 잡음 환경을 판단하고, 능동적으로 노이즈를 제거할 수 있다. ANC 기술을 활용하는 오디오 장치는 주변 잡음 환경을 이용하여 능동적으로 노이즈를 제거함으로써 전자장치로부터 제공되는 오디오 신호가 사용자에게 제공될 때, 주변 노이즈를 상쇄하도록 설계될 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 오디오 데이터 및 상기 오디오 데이터의 메타 데이터를 획득하는 단계;를 포함한다. 상기 제어 방법은, 상기 오디오 데이터의 특징 및 상기 메타 데이터의 특징에 기초하여, 상기 오디오 데이터를 복수의 오디오 클러스터로 구분하는 단계;를 포함한다. 상기 제어 방법은, 상기 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출하는 단계;를 포함한다. 상기 제어 방법은, 상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 단계;를 포함한다.
본 개시의 일 실시 예에 따른 전자 장치는 센서; 마이크; 스피커; 복수의 노이즈 클러스터에 대한 정보 및 적어도 하나의 명령어를 저장하는 메모리; 및 상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 명령어를 실행함으로써, 상기 센서 및 상기 마이크를 통해 오디오 데이터 및 상기 오디오 데이터의 를 획득한다. 상기 프로세서는, 상기 오디오 데이터의 특징 및 상기 메타 데이터의 특징에 기초하여, 상기 오디오 데이터를 복수의 오디오 클러스터로 구분한다. 상기 프로세서는, 상기 복수의 오디오 클러스터 각각이 상기 복수의 노이즈 클러스터에 포함되는지 여부를 검출한다. 상기 프로세서는, 상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가한다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 제어 방법은,
오디오 데이터 및 상기 오디오 데이터의 메타 데이터를 획득하는 단계; 상기 오디오 데이터의 특징 및 상기 메타 데이터의 특징에 기초하여, 상기 오디오 데이터를 복수의 오디오 클러스터로 구분하는 단계; 상기 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출하는 단계; 및 상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 단계;를 포함한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 오디오 데이터를 클러스터링하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치가 오디오 클러스터가 기저장된 노이즈 클러스터에 포함되는지 여부를 검출하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 외부 서버로부터 오디오 클러스터에 대한 정보를 수신하여 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 사용자 피드백에 기초하여 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 외부 장치에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 시퀀스도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 복수의 노이즈 클러스터에 포함된 오디오 클러스터에 대한 정보를 이용하여 복수의 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 전자 장치의 메모리에 저장된 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 외부 서버의 메모리에 저장된 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 시퀀스도이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 11 및 도 12는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 외부 서버의 동작을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
전자 장치(100)는 메모리(110), 통신 인터페이스(120), 사용자 인터페이스(130), 마이크(140), 스피커(150), 디스플레이(160), 센서(170) 및 프로세서(180)를 포함할 수 있다. 전자 장치(100)는 상기 구성요소 중 일부가 생략될 수 있으며, 다른 구성요소를 더 포함할 수 있다.
그리고, 전자 장치(100)는 이어폰 또는 헤드셋과 같은 오디오 기기로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 스마트폰, 태블릿 PC, PC, 서버, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 웨어러블 장치, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치 등 다양한 형태로 구현될 수 있다.
이 때, 전자 장치(100)가 이어폰 또는 헤드셋 이외의 장치로 구현되는 경우, 전자 장치(100)는 통신 인터페이스(120)를 통해 이어폰 또는 헤드셋과 연결되어 이어폰 또는 헤드셋과 통신을 수행하며 이어폰 또는 헤드셋을 제어할 수 있다.
메모리(110)는 전자 장치(100)에 관한 적어도 하나의 명령어(instruction)를 저장할 수 있다. 메모리(110)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)를 저장할 수 있다. 또한, 메모리(110)는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션을 저장할 수 있다. 그리고, 메모리(110)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(110)는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈을 저장할 수 있으며, 프로세서(180)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(110)는 프로세서(180)에 의해 액세스되며, 프로세서(180)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(110)라는 용어는 메모리(110), 프로세서(180) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
통신 인터페이스(120)는 회로(circuitry)를 포함하며, 외부 기기 및 서버와 통신할 수 있는 구성이다. 통신 인터페이스(120)는 유선 또는 무선 통신 방식에 기초하여 외부 기기 또는 서버와 통신을 수행할 수 있다. 이 경우, 통신 인터페이스(120)는 블루투스 모듈(미도시), 와이파이 모듈(미도시), IR(infrared) 모듈, LAN(Local Area Network) 모듈, 이더넷(Ethernet) 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다. 무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), USB(Universal Serial Bus), MIPI CSI(Mobile Industry Processor Interface Camera Serial Interface), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(120)는 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
사용자 인터페이스(130)는 전자 장치(100)를 제어하기 위한 사용자 명령을 입력받기 위한 구성이다. 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다. 전자 장치(100)는 사용자 인터페이스(130)를 통해 다양한 사용자 입력을 획득할 수 있다.
마이크(140)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(140)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
그리고, 마이크(140)는 오디오 데이터를 획득할 수 있다. 이 때, 오디오 데이터는 전자 장치(100)의 주변의 음향에 대한 데이터일 수 있다. 그리고, 전자 장치(100) 주변의 음향은 노이즈를 포함할 수 있다.
그리고, 마이크(140)는 사용자 음성 입력을 획득할 수 있다.
스피커(150)는 오디오 신호를 출력할 수 있다. 예를 들어, 스피커(150)는 오디오 신호를 사용자가 청각적으로 인식할 수 있는 물리적인 진동 신호로 변환함으로써, 아날로그 신호를 출력할 수 있다.
이 때, 스피커(150)는 전자 장치(100) 주변 음향 내에 포함된 노이즈를 제거하기 위한 노이즈 제거 신호를 함께 출력할 수 있다. 즉, 스피커(150)는 오디오 신호 및 노이즈 제거 신호를 함께 출력할 수 있다.
한편, 스피커(150)는 복수의 노이즈 각각에 대해 서로 다른 정도로 노이즈 제거 신호를 출력할 수 있다. 즉, 스피커(150)는 복수의 노이즈 각각의 종류마다 상이한 안티 노이즈 레벨로 복수의 노이즈 제거 신호를 출력할 수 있다.
이 때, 안티 노이즈 레벨은 노이즈 제거 정도를 의미할 수 있다. 구체적으로, 안티 노이즈 레벨은 노이즈 신호의 역 위상 신호에 해당하는 노이즈 제거 신호의 세기, 주파수 또는 전력을 의미할 수 있다. 예를 들어, 스피커(150)는 제1 노이즈에 대해서 제1 레벨(예로, 100%)로 노이즈 제거 신호를 출력하여 제1 노이즈를 완전히 제거할 수 있다. 그리고, 스피커(150)는 제2 노이즈에 대해서 제2 레벨(예로, 50%)로 노이즈 제거 신호를 출력하여, 제2 노이즈의 50%를 제거할 수 있다. 그리고, 스피커(150)는 제3 노이즈에 대해서 제3 레벨(예로, 0%)로 노이즈 제거 신호를 출력하여, 제3 노이즈를 제거하지 않을 수 있다. 이 때, 제3 노이즈는 노이즈 제거 신호에 의해 제거되지 않는 히어 스루(Hear-Through) 또는 패스 스루(Pass-Through) 모드를 통해 사용자에게 전달될 수 있다.
디스플레이(160)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(160) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
센서(170)는 전자 장치(100) 및 전자 장치(100) 주변의 환경을 감지할 수 있다. 예를 들어, 센서(170)는 GPS 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 포함할 수 있다. 예를 들어, GPS 센서는 오디오 데이터가 획득된 장소의 위치 정보를 획득할 수 있다.
프로세서(180)는 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 구체적으로, 프로세서(180)는 메모리(110)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(110)에 저장된 적어도 하나의 명령어를 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(180)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(180)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(180)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.
본 개시의 다양한 실시 예를 구현하기 위한 프로세서(180)의 동작은 복수의 모듈을 통해 구현될 수 있다.
구체적으로, 본 개시에 따른 복수의 모듈에 대한 데이터는 메모리(110)에 저장될 수 있고, 프로세서(180)는 메모리(110)에 엑세스하여 복수의 모듈에 대한 데이터를 프로세서(180) 내부의 메모리 또는 버퍼에 로딩한 후, 복수의 모듈을 이용하여 본 개시에 따른 다양한 실시예를 구현할 수 있다.
다만, 본 개시에 따른 복수의 모듈 중 적어도 하나는 하드웨어로 구현되어 시스템 온 칩(system on chip)의 형태로 프로세서(180)내에 포함될 수도 있다.
프로세서(180)는 오디오 데이터를 획득할 수 있다. 여기서, 오디오 데이터는 전자 장치(100) 주변의 아날로그 형태의 오디오 소스 신호를 수신하여 디지털 신호로 변환한 데이터를 의미할 수 있다. 구체적으로, 프로세서(180)는 마이크(140)를 통해 전자 장치(100) 주변의 음향에 대한 오디오 데이터를 획득할 수 있다. 이 때, 전자 장치(100) 주변의 음향은 적어도 하나의 노이즈를 포함할 수 있다. 즉, 오디오 데이터는 복수의 오디오 소스로부터 획득된 오디오 신호를 포함할 수 있다. 예를 들어, 오디오 데이터는 차량 소음, 사이렌 소리, 충격음, 사람의 대화 소리 등을 포함할 수 있다.
한편, 프로세서(180)는 마이크(140)를 통해 오디오 데이터를 획득할 수 있으나, 이에 제한되는 것은 아니며, 통신 인터페이스(120)를 통해 외부 장치로부터 오디오 데이터를 획득할 수도 있다.
한편, 프로세서(180)는 오디오 데이터의 메타 데이터를 획득할 수 있다. 여기서, 오디오 데이터의 메타 데이터는 오디오 데이터의 컨텍스트 정보를 포함할 수 있다. 오디오 데이터의 컨텍스트 정보는 오디오가 획득된 환경에 대한 정보를 의미할 수 있다.
구체적으로, 프로세서(180)는 센서(170)를 통해 오디오 데이터의 컨텍스트 정보를 획득할 수 있다. 구체적으로, 오디오 데이터의 컨텍스트 정보는 오디오 데이터가 획득될 때 전자 장치(100)의 동작 상태(ANC 모드 또는 Hear-Through 모드), 오디오 데이터가 획득될 때 사용자의 상태(예로, 운동 중), 오디오 데이터가 획득된 장소의 위치(예로, 위도, 경도, 또는 지역), 오디오 소스의 방향, 오디오 데이터가 획득된 장소의 날씨, 오디오 데이터가 획득된 장소의 온도, 오디오 데이터가 획득된 장소의 습도 중 적어도 하나를 포함할 수 있다.
이 때, 오디오 소스의 방향은 전자 장치(100)가 향하는 특정 방향을 기준으로 오디오 소스가 위치하는 방향을 의미할 수 있다. 예를 들어, 전자 장치(100)가 향하는 특정 방향이 정면 방향이면, 오디오 데이터가 발생한 방향 정보는 전자 장치(100)의 정면 방향, 전자 장치(100)의 정면을 기준으로 우측으로 90도도 방향 또는 전자 장치(100)의 정면을 기준으로 후면 방향일 수 있다.
구체적으로, 센서(170)는 복수의 마이크(140)를 포함할 수 있다. 이 때, 프로세서(180)는 복수의 마이크(140)를 통해 입력된 오디오 신호의 성분을 비교하여 오디오 신호가 발생한 방향을 식별할 수 있다. 구체적으로, 프로세서(180)는 복수의 마이크(140)를 이용하여 동일한 오디오 신호가 복수의 마이크(140) 각각에 입력되는 시간 차이 또는 오디오 신호의 진폭 차이, 오디오 신호의 주파수의 위상 차이와 같은 오디오 성분을 기준으로 전자 장치(100)를 기준으로 오디오 신호가 출력되는 방향(예로, 전자 장치(100)의 정면, 측면 또는 후면)을 결정할 수 있다.
또는, 프로세서(180)는 GPS 센서를 통해 오디오 데이터가 획득된 장소의 위치 정보를 획득할 수 있다.
한편, 프로세서(180)는 센서(170)를 통해 오디오 데이터의 컨텍스트 정보를 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 센서를 포함하는 외부 장치로부터 통신 인터페이스(120)를 통해 오디오 데이터의 컨텍스트 정보를 획득할 수 있다.
그리고, 오디오 데이터의 특징 및 오디오 데이터의 메타 데이터의 특징 중 적어도 하나에 기초하여, 프로세서(180)는 오디오 데이터를 복수의 오디오 클러스터로 구분할 수 있다.
도 2를 참조하면, 프로세서(180)는 오디오 데이터 및 오디오 데이터의 메타 데이터를 획득할 수 있다(S210). 그리고, 프로세서(180)는 오디오 데이터의 특징을 획득할 수 있다(S220). 이 때, 오디오 데이터의 특징에 기초하여, 프로세서(180)는 오디오 데이터를 복수의 오디오 클러스터로 구분할 수 있다(S230).
구체적으로, 프로세서(180)는 오디오 데이터를 시간 또는 주파수 단위로 분할하여 복수의 오디오 세그먼트를 획득하고, 복수의 오디오 세그먼트로부터 특징을 획득할 수 있다. 그리고, 프로세서(180)는 복수의 오디오 세그먼트로부터 획득된 특징 간의 유사도 정보에 기초하여, 복수의 오디오 세그먼트를 복수의 오디오 클러스터로 구분할 수 있다.
이 때, 획득된 특징은 Energy, MFCC(Mel Frequency Cepstral Coefficients), Centroid, 볼륨(Volume), 파워(energy), 서브 밴드 에너지(sub-band energy), 로우 쇼트 타입 에너지 비율(low short-time energy ratio), 제로 크로싱 비(zero crossing rate), 주파수 중심(frequency centroid), 주파수 대역폭(frequency bandwidth), 스펙트럼 변화(spectral flux), 켑스트랄 변화(cepstral flux), 라우드니스(loudness)와 같은 오디오 신호 특징일 수 있다.
또는, 프로세서(180)는 오디오 데이터의 오디오 신호 특징과 오디오 데이터의 메타 데이터의 특징을 결합한 오디오 데이터의 특징 정보를 획득하고, 획득된 특징 정보 간의 유사도 정보에 따라 복수의 오디오 데이터를 복수의 오디오 클러스터로 구분할 수 있다.
그리고, 획득된 특징은 임베딩 특징 벡터(임베딩 벡터) 형태 일 수 있다. 이 때, 임베딩 공간 상에서 특징 벡터 간의 거리에 기초하여, 프로세서(180)는 복수의 오디오 세그먼트를 복수의 오디오 클러스터로 구분할 수 있다. 즉, 임베딩 공간 상에서 제1 특징 벡터와 제2 특징 벡터는 유사할수록 가까운 거리에 위치하고, 유사하지 않을수록 먼 거리에 위치할 수 있다. 이 때, 프로세서(180)는 임베딩 공간에서 임계 거리 내에 군집화된 오디오 세그먼트를 하나의 오디오 클러스터로 구분할 수 있다.
이에 따라, 프로세서(180)는 오디오 데이터를 오디오의 종류에 따라 복수의 오디오 클러스터로 구분할 수 있다. 예를 들어, 프로세서(180)는 오디오 데이터를 제1 오디오 클러스터, 제2 오디오 클러스터, 제3 오디오 클러스터 및 제4 오디오 클러스터로 구분할 수 있다. 이 때, 제1 오디오 클러스터는 충격음(예로, 차량의 충돌음)에 대한 오디오일 수 있다. 제2 오디오 클러스터는 사이렌에 대한 오디오일 수 있다. 제3 오디오 클러스터는 전자 장치의 전면에서 발생된 소리에 대한 오디오일 수 있다. 제4 오디오 클러스터는 전자 장치의 후면에서 발생된 소리에 대한 오디오일 수 있다.
또는, 제1 오디오 클러스터는 서울에서 발생한 충격음에 대한 오디오일 수 있다. 제2 오디오 클러스터는 서울에서 발생한 사이렌에 대한 오디오일 수 있다. 제3 오디오 클러스터는 서울에서 발생한 교통 소음에 대한 오디오일 수 있다.
그리고, 프로세서(180)는 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출할 수 있다(S320).
구체적으로, 메모리(110)는 복수의 노이즈 클러스터에 대한 정보를 포함할 수 있다. 여기서, 복수의 노이즈 클러스터에 대한 정보는 노이즈 각각에 대한 정보를 포함하며, 노이즈 각각에 대한 정보는 노이즈의 식별 정보, 노이즈 신호의 특징, 노이즈의 메타 데이터 및 노이즈에 대응되는 안티 노이즈 레벨 중 적어도 하나를 포함할 수 있다.
이 때, 노이즈의 메타 데이터는 노이즈를 정의하는 태그(tag) 정보, 노이즈의 컨텍스트 정보(예로, 위치 정보, 온도 정보 등), 노이즈가 획득된 날짜 정보, 노이즈가 획득된 시간 정보, 노이즈 소스의 방향 정보 중 적어도 하나를 포함할 수 있다.
여기서, 노이즈의 컨텍스트 정보는 노이즈가 획득될 때, 노이즈를 획득한 장치 및 장치 주변의 컨텍스트 정보를 의미할 수 있다.
이 때, 안티 노이즈 레벨은 노이즈 제거 정도를 의미할 수 있다. 구체적으로, 안티 노이즈 레벨은 노이즈 신호의 역 위상 신호에 해당하는 노이즈 제거 신호의 세기, 주파수 또는 전력을 의미할 수 있다. 예를 들어, 노이즈에 대응되는 안티 노이즈 레벨이 100%이면, 프로세서(180)는 노이즈를 100% 제거할 수 있는 안티 노이즈 데이터를 생성할 수 있다. 또는, 노이즈에 대응되는 안티 노이즈 레벨이 50%이면, 프로세서(180)는 노이즈를 50% 제거할 수 있는 안티 노이즈 데이터를 생성할 수 있다. 또는, 노이즈에 대응되는 안티 노이즈 레벨이 0%이면, 프로세서(180)는 노이즈를 제거할 수 있는 안티 노이즈 데이터를 생성하지 않을 수 있다.
이 때, 전자 장치(100)는 생성된 안티 노이즈 데이터를 이용하여 안티 노이즈 신호를 스피커(150)를 통해 출력할 수 있으나, 이는 일 실시예에 불과할 뿐, 안티 노이즈 데이터를 스피커를 포함하는 외부 장치(예로, 이어폰)로 전송하고, 안티 노이즈 신호를 출력하도록 외부 장치를 제어할 수 있다.
구체적으로, 복수의 오디오 클러스터 각각의 특징 정보와 복수의 노이즈 클러스터 각각의 특징 정보 사이의 유사도 값에 기초하여, 프로세서(180)는 복수의 오디오 클러스터 각각이 복수의 노이즈 클러스터에 포함되는지 여부를 검출할 수 있다.
구체적으로, 프로세서(180)는 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터 중 하나와 매칭되는지 여부를 식별할 수 있다. 제1 오디오 클러스터와 매칭되는 노이즈 클러스터가 존재하지 않으면, 프로세서(180)는 제1 오디오 클러스터가 복수의 노이즈 클러스터에 포함되지 않는 것으로 식별할 수 있다. 그리고, 제2 오디오 클러스터와 매칭되는 노이즈 클러스터가 존재하면, 프로세서(180)는 제2 오디오 클러스터가 복수의 노이즈 클러스터에 포함되는 것으로 식별할 수 있다.
이 때, 프로세서(180)는 복수의 오디오 클러스터 각각과 복수의 노이즈 클러스터 각각 사이의 유사도 값에 기초하여, 복수의 오디오 클러스터 각각이 복수의 노이즈 클러스터 중 하나와 매칭되는지 여부를 식별할 수 있다.
구체적으로, 프로세서(180)는 복수의 오디오 클러스터 중 하나와 복수의 노이즈 클러스터 중 하나 사이의 유사도 값을 획득할 수 있다. 이 때, 유사도 값이 기설정된 값 이상이면, 프로세서(180)는 복수의 노이즈 클러스터 중 하나를 복수의 오디오 클러스터 중 하나에 매칭되는 노이즈 클러스터로 식별할 수 있다.
즉, 프로세서(180)는 복수의 노이즈 클러스터 중 복수의 오디오 클러스터 중 하나와 유사도 값이 기설정된 값 이상인 노이즈 클러스터를 복수의 오디오 클러스터 중 하나와 매칭되는 노이즈 클러스터로 식별할 수 있다.
이 때, 유사도 값이 기설정된 값 이상인 노이즈 클러스터가 복수 개 존재하면, 프로세서(180)는 유사도 값이 가장 높은 노이즈 클러스터를 복수의 오디오 클러스터 중 하나와 매칭되는 노이즈 클러스터로 식별할 수 있다.
또는, 프로세서(180)는 복수의 오디오 클러스터 각각에 대한 메타 데이터와 복수의 노이즈 클러스터에 대한 메타 데이터를 비교하여 복수의 오디오 클러스터 각각이 복수의 노이즈 클러스터에 포함되는지 여부를 검출할 수 있다.
구체적으로, 프로세서(180)는 복수의 오디오 클러스터 중 하나의 메타 데이터와 복수의 노이즈 클러스터 중 하나의 메타 데이터를 비교하여 일치하는지 여부를 식별할 수 있다.
예를 들어, 프로세서(180)는 복수의 오디오 클러스터 중 하나의 메타 데이터가 복수의 노이즈 클러스터 중 하나의 메타 데이터와 일치하면, 복수의 오디오 클러스터 중 하나가 복수의 노이즈 클러스터 중 하나에 매칭되는 것으로 식별할 수 있다. 이 때, 메타 데이터는 태그 정보, 데이터가 획득된 장소의 컨텍스트 정보, 데이터가 획득된 날짜 정보, 데이터가 획득된 시간 정보 또는 데이터의 방향 정보 중 적어도 하나일 수 있다.
즉, 도 3을 참조하면, 오디오 데이터가 복수의 오디오 클러스터로 구분되면(S310), 프로세서(180)는 복수의 오디오 클러스터 중 하나의 오디오 클러스터가 복수의 노이즈 클러스터에 포함되는지 여부를 검출할 수 있다(S320).
이 때, 오디오 클러스터가 복수의 노이즈 클러스터에 포함되면(S320-Y), 프로세서(180)는 오디오 클러스터에 매칭되는 노이즈 클러스터에 대한 정보에 포함된 안티 노이즈 레벨에 기초하여, 오디오 클러스터에 대한 안티 노이즈 데이터를 생성할 수 있다(S330). 그리고, 생성된 안티 노이즈 데이터에 기초하여, 안티 노이즈 신호를 스피커(150)를 통해 출력하거나, 스피커를 포함하는 외부 장치로 전송하여, 외부 장치가 안티 노이즈 신호를 출력하도록 제어할 수 있다.
한편, 메모리(110)에 기저장된 노이즈 클러스터에 대한 정보에 포함되어 있지 않은 노이즈는 사용자에게 최적화된 안티 노이즈 레벨로 제거할 수 없는 문제가 있다. 즉, 노이즈는 노이즈의 종류에 따라 제거가 필요한 노이즈 또는 제거가 필요하지 않은 노이즈, 일정 정도만 제거가 필요한 노이즈일 수 있으나, 기저장된 노이즈 클러스터에 포함되어 있지 않은 노이즈에 대해서는 프로세서(180)가 사용자에게 최적화된 안티 노이즈 레벨로 노이즈를 제거할 수 없는 문제가 있다.
이에 따라, 본 개시의 전자 장치(100)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 이용하여 메모리(110)에 기저장된 노이즈 클러스터에 대한 정보를 업데이트하고, 사용자에게 최적화된 음향 노이즈 소거(Acoustic Noise Cancellation, ANC) 환경을 제공할 수 있다.
따라서, 오디오 클러스터가 복수의 노이즈 클러스터에 포함되어 있지 않으면(S320-N), 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다(S340). 즉, 프로세서(180)는 복수의 오디오 클러스터 중 기저장된 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치(100)는 외부 서버로부터 획득된 정보를 이용하여 메모리(110)에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
구체적으로, 도 4를 참조하면, 복수의 오디오 클러스터 중 하나의 오디오 클러스터가 복수의 노이즈 클러스터에 포함되지 않은 것으로 식별되면(S410), 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신할 지 여부에 대한 사용자 입력을 획득할 수 있다(S420).
구체적으로, 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신할 지 여부를 문의하는 정보를 출력할 수 있다. 예를 들어, 프로세서(180)는 스피커(150)를 통해 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신할 지 여부를 문의하는 음성을 출력하거나, 디스플레이(160)를 통해 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신할 지 여부를 문의하는 화면을 표시할 수 있다.
그리고, 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신하기 위한 사용자 입력이 획득되면, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버로부터 수신할 수 있다(S430).
이 때, 외부 서버로부터 수신된 오디오 클러스터에 대한 정보는 오디오 클러스터의 특징 정보, 오디오 클러스터의 메타 데이터 및 오디오 클러스터에 대응되는 안티 노이즈 레벨을 포함할 수 있다.
그리고, 프로세서(180)는 외부 서버로부터 수신된 오디오 클러스터에 대한 정보를 메모리(110)에 저장하여(S440), 메모리(110)에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다. 즉, 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다.
한편, 본 개시의 일 실시예에 따르면, 전자 장치(100)는 사용자 피드백에 기초하여 메모리(110)에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
구체적으로, 도 5를 참조하면, 오디오 클러스터가 복수의 노이즈 클러스터에 포함되지 않은 것으로 식별되면(S510), 프로세서(180)는 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부를 문의하는 정보를 출력할 수 있다.
구체적으로, 프로세서(180)는 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부를 문의하는 음성을 스피커(150)를 통해 출력하거나, 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부를 문의하는 화면을 디스플레이(160)를 통해 표시할 수 있다.
그리고, 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 메모리(110)에 추가할지 여부에 대한 사용자 입력을 획득할 수 있다(S520).
예를 들어, 프로세서(180)는 스피커(150)를 통해 “현재 전자 장치 주변의 노이즈에 대한 정보를 추가하시겠습니까?”와 같은 오디오를 출력할 수 있다. 그리고, 프로세서(180)는 마이크(140)를 통해 “네.”와 같은 사용자 음성 입력을 획득할 수 있다.
그리고, 오디오 클러스터에 대한 정보를 메모리(110)에 추가하기 위한 사용자 입력이 획득되면, 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 문의하는 정보를 출력할 수 있다.
구체적으로, 프로세서(180)는 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 문의하는 음성을 스피커(150)를 통해 출력하거나, 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 문의하는 화면을 디스플레이(160)를 통해 표시할 수 있다.
그리고, 프로세서(180)는 오디오 클러스터에 대한 정보를 사용자 입력으로부터 획득할 수 있다(S530). 이 때, 사용자 입력으로부터 획득된 오디오 클러스터에 대한 정보는 오디오 클러스터를 정의하는 태그 정보와 같은 오디오 클러스터의 메타 데이터 및 오디오 클러스터에 대응되는 안티 노이즈 레벨을 포함할 수 있다.
예를 들어, 프로세서(180)는 스피커(150)를 통해 “현재 오디오를 무엇으로 태그하시겠습니까?”와 같이 오디오의 태그 정보를 문의하는 오디오를 출력할 수 있다. 그리고, 프로세서(180)는 마이크(140)를 통해 “사무실 소음”와 같은 사용자 음성 입력을 획득할 수 있다.
또한, 프로세서(180)는 “현재 오디오의 안티 노이즈 레벨은 몇입니까?”와 같은 오디오를 출력할 수 있다. 그리고, 프로세서(180)는 “100%”, “50%” 또는 “0%”와 같은 사용자 음성 입력을 획득할 수 있다.
그리고, 획득된 사용자 입력에 기초하여, 프로세서(180)는 오디오 클러스터에 대한 정보를 메모리(110)에 저장하여(S540), 메모리(110)에 저장된 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다. 이 때, 복수의 노이즈 클러스터에 대한 정보에 추가되는 정보는 오디오 클러스터의 특징 정보, 오디오 클러스터의 메타 데이터 및 오디오 클러스터에 대응되는 안티 노이즈 레벨을 포함할 수 있다.
한편, 프로세서(180)는 외부 서버에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다. 즉, 프로세서(180)는 획득된 오디오 클러스터에 대한 정보를 외부 서버로 전송하여 외부 서버에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
예를 들어, 외부 서버는 사무실 소음에 대한 노이즈 정보를 저장하고 있지 않을 수 있다. 이 때, 전자 장치(100)는 획득된 사무실 소음에 대한 특징 정보, 사무실 소음에 대한 메타 데이터 또는 사무실 소음에 대응되는 안티 노이즈 레벨을 외부 서버로 전송하여, 외부 서버에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
또는, 외부 서버는 뉴욕에서 획득된 노이즈 정보를 저장하고 있지 않을 수 있다. 이 때, 전자 장치(100)는 뉴욕에서 획득된 노이즈에 대한 정보를 획득하고, 획득된 정보를 외부 서버로 전송하여, 외부 서버에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
구체적으로, 도 6을 참조하면, 전자 장치(100)는 오디오 클러스터가 메모리(110) 또는 외부 서버(200)에 기저장된 복수의 노이즈 클러스터에 포함되지 않은 것으로 식별할 수 있다(S610).
이 때, 전자 장치(100)는 통신 인터페이스(120), 사용자 인터페이스(130) 또는 마이크(140)를 통해 복수의 노이즈 클러스터에 포함되지 않은 오디오 클러스터에 대한 정보를 획득할 수 있다(S620). 복수의 노이즈 클러스터에 포함되지 않은 오디오 클러스터에 대한 정보가 획득되면, 전자 장치(100)는 획득된 오디오 클러스터에 대한 정보를 외부 서버(200)로 전송할 수 있다(S630).
이에 따라, 외부 서버(200)는 수신된 오디오 클러스터에 대한 정보를 외부 서버(200)의 메모리에 저장하여, 외부 서버(200)의 메모리에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
즉, 전자 장치(100)는 획득된 오디오 클러스터에 대한 정보를 외부 서버(200)로 전송하여, 외부 서버(200)가 복수의 노이즈 클러스터에 대한 정보를 업데이트하도록 제어할 수 있다.
한편, 노이즈의 종류가 동일하더라도, 사용자에 따라 노이즈 클러스터에 대한 정보가 상이하게 저장될 필요가 있다. 예를 들어, 메모리(110)에 “사무실 소음”와 같이 특정 노이즈에 대한 정보가 저장되어 있더라도, 사용자에 따라 특정 노이즈에 대한 특징 정보 등이 상이할 수 있다. 즉, 제1 사용자의 사무실 소음과 제2 사용자의 사무실 소음은 상이할 수 있다. 메모리(110)에 저장된 사무실 소음 클러스터에 대한 정보는 제1 사용자의 사무실 소음에 최적화되어 있고, 제2 사용자의 사무실 소음에는 최적화되어 있지 않을 수 있다.
한편, 외부 서버(200)는 전자 장치(100)의 사용자 계정 별로 상이하게 복수의 노이즈 클러스터에 대한 정보를 저장할 수 있으며, 전자 장치(100)는 사용자 계정에 대응되는 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다. 이에 따라, 전자 장치(100)의 사용자는 사용자 계정에 기저장된 복수의 노이즈 클러스터에 대한 정보를 이용하여 동일한 ANC 환경을 외부 장치를 통해서도 이용할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치(100)는 복수의 노이즈 클러스터에 포함된 오디오 클러스터에 대한 정보를 이용하여 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
즉, 오디오 클러스터가 복수의 노이즈 클러스터에 포함된 경우에도, 프로세서(180)는 오디오 클러스터에 대한 정보를 이용하여 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
구체적으로, 도 7을 참조하면, 프로세서(180)는 오디오 데이터를 획득하고, 오디오 데이터를 복수의 오디오 클러스터로 구분할 수 있다(S710).
그리고, 프로세서(180)는 복수의 오디오 클러스터 중 하나의 오디오 클러스터가 복수의 노이즈 클러스터에 포함되는 것으로 식별할 수 있다(S720).
예를 들어, 획득된 오디오 클러스터는 “사무실 소음” 클러스터이고, 복수의 노이즈 클러스터 중 하나는 “사무실 소음” 클러스터일 수 있다.
이 때, 프로세서(180)는 오디오 클러스터에 대한 정보를 이용하여 기저장된 노이즈 클러스터에 포함된 정보를 업데이트할 수 있다(S730). 이 때, 오디오 클러스터에 대한 정보는 오디오 클러스터의 특징 정보, 오디오 클러스터의 메타 데이터 또는 오디오 클러스터에 대응되는 안티 노이즈 레벨을 포함할 수 있다.
예를 들어, 프로세서(180)는 “사무실 소음” 오디오 클러스터에 대한 특징 정보를 이용하여 기저장된 “사무실 소음”에 노이즈 클러스터에 대한 정보를 업데이트할 수 있다. 즉, 프로세서(180)는 기저장된 “사무실 소음” 노이즈 클러스터에 포함된 특징 정보를 “사무실 소음” 오디오 클러스터에 대한 특징 정보로 교체할 수 있다. 또는, 프로세서(180)는 기저장된 “사무실 소음” 노이즈 클러스터에 포함된 특징 정보에 “사무실 소음” 오디오 클러스터에 대한 특징 정보를 추가할 수 있다.
또는, 프로세서(180)는 “사무실 소음” 오디오 클러스터에 대한 정보를 통신 인터페이스(120), 사용자 인터페이스(130) 또는 마이크(140)를 통해 획득할 수 있다. 이 때, “사무실 소음” 오디오 클러스터에 대한 정보는 “사무실 소음” 오디오 클러스터에 대한 안티 노이즈 레벨을 포함할 수 있다.
이에 따라, 프로세서(180)는 “사무실 소음” 노이즈 클러스터에 대한 정보에 포함된 안티 노이즈 레벨을 “사무실 소음” 오디오 클러스터에 대한 안티 노이즈 레벨로 교체할 수 있다.
구체적으로, 프로세서(180)는 획득된 사무실 소음 클러스터의 오디오 특징을 기저장된 사무실 소음 클러스터의 오디오 특징에 추가할 수 있다. 또는, 프로세서(180)는 기저장된 사무실 소음 클러스터의 오디오 특징을 획득된 사무실 소음 클러스터의 오디오 특징으로 교체할 수 있다.
상술한 바에 따라, 본 개시의 전자 장치(100)는 획득된 오디오 클러스터가 메모리(110)에 기저장된 복수의 노이즈 클러스터에 포함되어 있는 경우에도, 복수의 노이즈 클러스터에 대한 정보를 업데이트하여 사용자에게 최적화된 ANC 환경을 제공할 수 있다.
한편, 본 개시의 일 실시예에 따른 프로세서(180)는 기설정된 업데이트 주기에 따라 메모리(110)에 저장된 노이즈 클러스터에 대한 정보를 업데이트할 수 있다. 또는, 메모리(110)에 저장된 노이즈 클러스터에 대한 정보를 업데이트하기 위한 사용자 입력이 획득되면, 프로세서(180)는 메모리(110)에 저장된 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
구체적으로, 도 8을 참조하면, 기설정된 업데이트 주기가 되거나 기저장된 노이즈 클러스터에 대한 정보를 업데이트하기 위한 사용자 입력이 획득되면, 프로세서(180)는 오디오 클러스터에 대한 메타 데이터를 획득할 수 있다(S810).
그리고, 프로세서(180)는 획득된 오디오 클러스터에 대한 메타 데이터를 외부 서버로 전송할 수 있다(S820). 이 때, 오디오 클러스터에 대한 메타 데이터가 수신되면, 외부 서버는 메타 데이터의 특징 데이터를 획득하고, 외부 서버에 저장된 노이즈 클러스터의 특징 데이터와 비교하여 오디오 클러스터에 매칭되는 노이즈 클러스터에 대한 정보가 외부 서버의 메모리에 저장되어 있는지 여부를 식별할 수 있다.
이에 따라, 오디오 클러스터에 매칭되는 노이즈 클러스터에 대한 정보가 외부 서버의 메모리에 저장되어 있는 것으로 식별되면, 프로세서(180)는 외부 서버로부터 오디오 클러스터에 매칭되는 노이즈 클러스터에 대한 정보를 획득할 수 있다(S830). 이 때, 획득된 노이즈 클러스터에 대한 정보는 노이즈 클러스터의 특징 정보, 노이즈 클러스터의 메타 데이터 또는 노이즈 클러스터에 대응되는 안티 노이즈 레벨을 포함할 수 있다. 이 때, 획득된 노이즈 클러스터에 대한 정보에 포함된 메타 데이터는 노이즈 클러스터를 정의하는 태그 정보를 의미할 수 있다.
그리고, 외부 서버로부터 획득된 노이즈 클러스터에 대한 정보를 이용하여, 프로세서(180)는 메모리(110)에 저장된 노이즈 클러스터에 대한 정보를 업데이트할 수 있다(S840).
본 개시의 일 실시 예에 따르면, 전자 장치(100)는 획득된 오디오 데이터 및 오디오 데이터의 컨텍스트 정보를 외부 서버로 전송하여 외부 서버에 저장된 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
구체적으로, 도 9를 참조하면, 전자 장치(100)는 오디오 클러스터 및 오디오 클러스터의 메타 데이터를 획득할 수 있다(S910).
그리고, 전자 장치(100)는 외부 서버(200)로 오디오 클러스터에 대한 정보를 전송할 수 있다(S920). 이 때, 오디오 클러스터에 대한 정보는 오디오 클러스터에 대한 메타 데이터를 포함할 수 있다.
그리고, 외부 서버(200)는 오디오 클러스터의 특징 정보를 획득할 수 있다(S930). 이 때, 오디오 클러스터의 특징 정보는 오디오 클러스터의 오디오 신호 특징 및 오디오 클러스터의 메타 데이터의 특징을 결합한 특징 정보일 수 있다.
그리고, 외부 서버(200)는 오디오 클러스터의 특징을 외부 서버(200)의 메모리에 저장된 노이즈 클러스터의 특징 정보와 비교하여 오디오 클러스터에 매치되는 노이즈 클러스터가 외부 서버(200)의 메모리에 저장되어 있는지 여부를 식별할 수 있다. 즉, 외부 서버(200)는 오디오 클러스터가 외부 서버(200)의 메모리에 저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출할 수 있다.
이 때, 외부 서버(200)는 임베딩 공간에서 오디오 클러스터의 특징 및 노이즈 클러스터의 특징이 임계값 거리 내에 존재하는지 여부를 판단하고, 임계값 거리 내에 위치한 노이즈 클러스터를 오디오 클러스터에 매칭되는 노이즈 클러스터로 식별할 수 있다.
오디오 클러스터에 매칭되는 노이즈 클러스터가 식별되면(S940), 외부 서버(200)는 오디오 클러스터에 대한 정보를 외부 서버(200)의 메모리에 저장된 노이즈 클러스터에 대한 정보와 병합하거나 분할하여 외부 서버(200)의 메모리에 저장된 노이즈 클러스터에 대한 정보를 업데이트할 수 있다(S950).
오디오 클러스터에 매칭되는 노이즈 클러스터가 식별되지 않으면, 외부 서버(200)는 오디오 클러스터를 새로운 노이즈 클러스터로 정의하고, 새로운 노이즈 클러스터에 대한 정보를 외부 서버(200)의 메모리에 저장된 노이즈 클러스터에 대한 정보에 추가할 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치(100)의 제어 방법을 설명하기 위한 도면이다.
전자 장치(100)는 오디오 데이터를 획득할 수 있다(S1010).
그리고, 전자 장치(100)는 오디오 데이터를 복수의 오디오 클러스터로 구분할 수 있다(S1020).
그리고, 전자 장치(100)는 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출할 수 있다(S1030).
그리고, 전자 장치(100)는 복수의 오디오 클러스터 중 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다(S1040).
도 11은 본 개시의 일 실시예에 따른 전자 장치(100)의 동작을 설명하기 위한 도면이다.
프로세서(180)는 오디오 데이터 및 오디오 데이터의 메타 데이터를 획득할 수 있다(S1100). 이 때, 오디오 데이터의 메타 데이터는 오디오 데이터가 획득된 위치에 대한 정보를 포함할 수 있다.
그리고, 오디오 데이터의 특징 및 오디오 데이터의 메타 데이터의 특징에 기초하여, 프로세서(180)는 오디오 데이터를 복수의 오디오 클러스터로 구분할 수 있다(S1110). 예를 들어, 프로세서(180)는 오디오 데이터를 제1 오디오 클러스터 및 제2 오디오 클러스터로 구분할 수 있으며, 이 때, 제1 오디오 클러스터는 뉴욕에서 획득된 충격음에 대한 소리이고, 제2 오디오 클러스터는 뉴욕에서 획득된 사이렌 소리일 수 있다.
그리고, 프로세서(180)는 복수의 오디오 클러스터 각각이 메모리!에 저장된 노이즈 클러스터에 포함되는지 여부를 식별할 수 있다(S1120).
오디오 클러스터가 복수의 노이즈 클러스터에 포함되는 것으로 식별되면(S1120-Y), 프로세서(180)는 오디오 클러스터에 대응되는 노이즈 클러스터에 대한 정보를 획득할 수 있다(S1130). 예를 들어, 메모리!는 뉴욕에서 획득된 충격음 클러스터에 대한 정보를 저장 할 수 있다.
그리고, 프로세서(180)는 노이즈 클러스터에 매칭되어 저장된 설정으로 오디오 클러스터에 대한 안티 노이즈 데이터를 생성할 수 있다(S1140).
오디오 클러스터가 복수의 노이즈 클러스터에 포함되지 않는 것으로 식별되면(S1120-N), 오디오 클러스터가 복수의 노이즈 클러스터에 포함되지 않는 것으로 식별되면(S1120-N), 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버에서 검색할지 여부를 식별할 수 있다(S1150).
이 때, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버에서 검색할 지 여부를 문의하기 위한 정보를 사용자에게 제공할 수 있다. 그리고, 오디오 클러스터에 대한 정보를 검색할지 여부에 대한 사용자 입력에 기초하여, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버로부터 검색할지 여부를 식별할 수 있다.
구체적으로, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버에서 검색할지 여부를 문의하는 정보를 사용자에게 제공할 수 있다. 이 때로, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버에서 검색할지 여부를 문의하기 위한 음성을 출력하도록 스피커(150)를 제어할 수 있다. 또는, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버에서 검색할지 여부를 문의하기 위한 문구를 포함하는 화면을 표시하도록 디스플레이(160)를 제어할 수 있다. 또는, 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버에서 검색할지 여부를 문의하기 위한 정보를 표시하도록 사용자 단말 장치로 제어 신호를 전송할 수 있다.
예를 들어, 프로세서(180)는 “현재 획득된 오디오 클러스터에 대한 정보를 외부 서버에서 검색하시겠습니까?” 또는 “현재 획득된 오디오 클러스터에 대한 정보를 클라우드에서 검색하시겠습니까?”와 같은 음성을 출력하도록 스피커(150)를 제어할 수 있다.
또는, 프로세서(180)는 “현재 획득된 오디오 클러스터에 대한 정보를 외부 서버에서 검색하시겠습니까?” 또는 “현재 획득된 오디오 클러스터에 대한 정보를 클라우드에서 검색하시겠습니까?”와 같은 문구를 포함하는 UI를 디스플레이(160)를 통해 제공할 수 있다.
또는, 프로세서(180)는 “현재 획득된 오디오 클러스터에 대한 정보를 외부 서버에서 검색하시겠니까?” 또는 “현재 획득된 오디오 클러스터에 대한 정보를 클라우드에서 검색하시겠습니까?”와 같은 문구를 포함하는 UI가 표시되기 위한 제어 신호를 사용자 단말 장치로 전송할 수 있다.
그리고, 프로세서(180)는 통신 인터페이스(120), 사용자 인터페이스(130) 또는 마이크(140)를 통해 오디오 클러스터를 노이즈 클러스터에 추가할지 여부에 대한 사용자 입력을 획득할 수 있다.
오디오 클러스터에 대한 정보를 검색하지 않기 위한 사용자 입력이 획득되면(S1150-N), 프로세서(180)는 오디오 클러스터에 대한 데이터를 메모리!에서 삭제할 수 있다(S1160).
그리고, 오디오 클러스터에 대한 정보를 검색하기 위한 사용자 입력이 획득되면(S1150-Y), 프로세서(180)는 오디오 클러스터에 대한 정보를 외부 서버로 전송할 수 있다(S1170). 여기서, 오디오 클러스터에 대한 정보는 오디오 데이터의 특징, 오디오 데이터의 메타 데이터 및 오디오 데이터의 태그 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(180)는 전송된 오디오 클러스터에 대응되는 노이즈 클러스터에 대응되는 정보를 수신할 수 있다(1180). 이 때, 노이즈 클러스터에 대응되는 정보는 노이즈 클러스터의 특징, 메타 데이터, 태그 정보, 안티 노이즈 레벨 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(180)는 획득된 노이즈 클러스터에 대한 정보를 메모리!에 저장된 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다(S1190).이에 따라, 프로세서(180)는 획득된 노이즈 클러스터에 대응되는 노이즈 레벨로 오디오 클러스터에 대한 안티 노이즈 데이터를 생성할 수 있다.
즉, 본 개시의 일 실시예에 따르면, 전자 장치(100)의 사용자는 환경(예로, 위치)가 변화하더라도(예로, 서울에서 뉴욕으로) 외부 서버로부터 수신된 정보를 이용하여 메모리!에 저장된 복수의 노이즈 클러스터에 대한 정보를 변화된 환경에 최적화하도록 업데이트할 수 있다. 그리고, 전자 장치(100)의 사용자는 변화된 환경에서도 사용자에게 최적화된 노이즈 캔슬링 환경을 체험할 수 있다.
도 12는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 오디오 클러스터가 기저장된 복수의 노이즈 클러스터에 포함되지 않는 것으로 식별되면(S1120-N), 프로세서(180)는 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부에 대한 사용자 입력을 획득할 수 있다.
구체적으로, 프로세서(180)는 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부를 문의하는 정보를 사용자에게 제공할 수 있다. 구체적으로, 프로세서(180)는 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부를 문의하기 위한 음성을 출력하도록 스피커(150)를 제어할 수 있다. 또는, 프로세서(180)는 오디오 클러스터를 복수의 노이즈 클러스터에 추가할지 여부를 문의하기 위한 문구를 포함하는 화면을 표시하도록 디스플레이(160)를 제어할 수 있다.
예를 들어, 프로세서(180)는 “현재 획득된 오디오 클러스터를 노이즈 클러스터에 추가하시겠습니까?” 또는 “현재 획득된 오디오 클러스터를 클라우드에 추가하시겠습니까?”와 같은 음성을 출력하도록 스피커(150)를 제어할 수 있다.
또는, 프로세서(180)는 “현재 획득된 오디오 클러스터를 노이즈 클러스터에 추가하시겠습니까?” 또는 “현재 획득된 오디오 클러스터를 클라우드에 추가하시겠습니까?”와 같은 문구를 포함하는 UI를 디스플레이(160)를 통해 제공할 수 있다.
또는, 프로세서(180)는 “현재 획득된 오디오 클러스터를 노이즈 클러스터에 추가하시겠습니까?” 또는 “현재 획득된 오디오 클러스터를 클라우드에 추가하시겠습니까?”와 같은 문구를 포함하는 UI가 표시되기 위한 정보를 사용자 단말 장치로 전송할 수 있다.
그리고, 프로세서(180)는 통신 인터페이스(120), 사용자 인터페이스(130) 또는 마이크(140)를 통해 오디오 클러스터를 노이즈 클러스터에 추가할지 여부에 대한 사용자 입력을 획득할 수 있다.
오디오 클러스터를 복수의 노이즈 클러스터에 추가하지 않기 위한 사용자 입력이 획득되면(S1210-N), 프로세서(180)는 메모리!에 저장된 오디오 클러스터에 대한 정보를 삭제할 수 있다.
오디오 클러스터를 복수의 노이즈 클러스터에 추가하기 위한 사용자 입력이 획득되면(S1210-Y), 프로세서(180)는 오디오 클러스터에 대한 태그 정보를 획득할 수 있다(S1230).
구체적으로, 프로세서(180)는 통신 인터페이스(120), 사용자 인터페이스(130) 또는 마이크(140)를 통해 오디오 클러스터의 태그 정보를 획득할 수 있다. 여기서, 태그는 오디오 클러스터를 정의하는 텍스트 정보일 수 있다. 구체적으로, 오디오 데이터의 태그는 오디오 클러스터의 종류를 정의하는 텍스트 정보일 수 있다. 예를 들어, 오디오 데이터의 태그는 “사무실 소음”, “사이렌 소리”, “음악 소리”, “강의 소리”, “전자 장치(100)의 전방에서 들리는 소리”, “전자 장치의 측면에서 들리는 소리”, “전자 장치(100)의 후방에서 들리는 소리” 등 일 수 있다.
이 때, 프로세서(180)는 오디오 클러스터의 태그 정보를 획득하기 위해 오디오 클러스터의 태그를 문의하는 정보를 사용자에게 제공할 수 있다. 구체적으로, 프로세서(180)는 오디오 클러스터의 태그를 문의하기 위한 음성을 스피커(150)를 통해 출력할 수 있다. 또는, 프로세서(180)는 오디오 클러스터의 태그를 문의하기 위한 문구를 포함하는 화면을 디스플레이(160)를 통해 표시할 수 있다.
예를 들어, 프로세서(180)는 “현재 획득된 오디오를 정의해주세요.”, “현재 획득된 오디오의 종류는 무엇입니까?” 또는 “현재 획득된 오디오 클러스터의 태그를 입력해주세요.”와 같은 음성을 스피커(150)를 통해 출력할 수 있다.
또는, 프로세서(180)는 “현재 획득된 오디오를 정의해주세요.”, “현재 획득된 오디오의 종류는 무엇입니까?” 또는 “현재 획득된 오디오 클러스터의 태그를 입력해주세요.” 와 같은 문구를 포함하는 UI를 디스플레이(160)를 통해 제공할 수 있다.
이 때, 프로세서(180)는 마이크(140)를 통해 오디오 클러스터의 태그를 입력하는 사용자 음성 입력을 획득할 수 있다.
또는, 프로세서(180)는 사용자 인터페이스(130)를 통해 오디오 클러스터의 태그를 입력하는 사용자 입력을 획득할 수 있다. 여기서, 프로세서(180)는 디스플레이(160)를 통해 제공된 UI를 통해 오디오 클러스터의 태그를 입력하는 사용자 입력을 획득할 수 있다.
또는, 프로세서(180)는 통신 인터페이스(120)를 통해 오디오 클러스터의 태그에 대한 정보를 획득할 수 있다.
또한, 프로세서(180)는 오디오 클러스터의 안티 노이즈 레벨을 설정하기 위한 사용자 입력을 획득할 수 있다. 이 때, 프로세서(180)는 오디오 클러스터의 안티 노이즈 레벨을 획득하기 위해 오디오 클러스터의 안티 노이즈 레벨을 문의하는 정보를 사용자에게 제공할 수 있다. 구체적으로, 프로세서(180)는 오디오 클러스터의 안티 노이즈 레벨을 문의하기 위한 음성을 스피커(150)를 통해 출력할 수 있다. 또는, 프로세서(180)는 오디오 클러스터의 안티 노이즈 레벨을 문의하기 위한 문구를 포함하는 화면을 디스플레이(160)를 통해 표시할 수 있다.
그리고, 프로세서(180)는 오디오 클러스터에 대한 정보를 메모리!에 저장된 복수의 노이즈 클러스터에 대한 정보에 추가하고, 오디오 클러스터에 대한 정보를 외부 서버(200)로 전송할 수 있다.
이에 따라, 외부 서버(200)는 수신된 오디오 클러스터에 대한 정보를 이용하여 외부 서버(200)에 저장된 복수의 노이즈 클러스터에 대한 정보를 업데이트할 수 있다.
도 13은 본 개시의 일 실시예에 따른 서버가 노이즈 클러스터에 대한 정보를 업데이트하는 방법을 설명하기 위한 도면이다.
서버(200)는 전자 장치(100)로부터 오디오 클러스터에 대한 정보를 획득할 수 있다(S1310). 이 때, 전자 장치(100)로부터 획득된 오디오 클러스터에 대한 정보는 오디오 신호의 특징, 메타 데이터 및 태그 정보 중 적어도 하나를 포함할 수 있다.
그리고, 획득된 오디오 클러스터에 대한 정보에 기초하여, 오디오 클러스터의 특징을 획득할 수 있다(S1320). 구체적으로, 서버(200)는 오디오 신호의 특징, 메타 데이터의 특징 및 태그 정보의 특징 중 적어도 하나에 대한 특징 정보를 획득하고, 이에 대한 특징 벡터를 획득할 수 있다.
그리고, 서버(200)는 서버(200)에 저장된 복수의 노이즈 클러스터에 대한 정보에서 획득된 오디오 클러스터에 대응되는 노이즈 클러스터가 존재하는지 여부를 식별할 수 있다(S1330). 즉, 서버(200)는 획득된 오디오 클러스터에 매칭되는 노이즈 클러스터에 대한 정보가 서버(200)에 저장되어 있는지 여부를 식별할 수 있다.
이에 따라, 오디오 클러스터에 대응되는 노이즈 클러스터가 존재하지 않으면(S1330-N), 서버(200)는 획득된 오디오 클러스터에 대한 정보를 복수의 노이즈 클러스터에 대한 정보에 추가할 수 있다.
이에 따라, 서버(200)는 사용자로부터 획득된 오디오 클러스터에 대한 정보를 이용하여 서버(200)에 저장된 노이즈 클러스터에 대한 정보를 지속적으로 업데이트할 수 있다.
이 때, 서버(200)는 전자 장치(100)의 사용자의 계정에 대한 복수의 노이즈 클러스터에 대한 정보를 저장할 수 있다. 이에 따라, 서버(200)에 저장된 사용자의 계정에 대응되는 복수의 노이즈 클러스터에 대한 정보는 사용자에게 최적화되도록 지속적으로 업데이트될 수 있다.
그리고, 오디오 클러스터에 대응되는 노이즈 클러스터가 존재하면(S1330-Y), 서버(200)는 오디오 클러스터에 대응되는 노이즈 클러스터를 업데이트할 수 있다. 즉, 서버(200)는 획득된 오디오 클러스터의 정보와 오디오 클러스터에 대응되는 노이즈 클러스터에 대한 정보를 병합할 수 있다. 또는, 서버(200)는 획득된 오디오 클러스터의 정보와 오디오 클러스터에 대응되는 노이즈 클러스터에 대한 정보를 분할하여 서버(200)의 메모리에 저장할 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(100)를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 음향 노이즈 소거(Acoustic Noise Cancellation, ANC)를 위한 안티 노이즈(anti-noise)를 생성할 수 있는 전자 장치의 제어 방법에 있어서,
    오디오 데이터 및 상기 오디오 데이터의 메타 데이터를 획득하는 단계;
    상기 오디오 데이터의 특징 및 상기 메타 데이터의 특징에 기초하여, 상기 오디오 데이터를 복수의 오디오 클러스터로 구분하는 단계;
    상기 복수의 오디오 클러스터 각각이 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출하는 단계; 및
    상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 복수의 오디오 클러스터 각각이 상기 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출하는 단계는,
    상기 복수의 노이즈 클러스터 중 상기 복수의 오디오 클러스터 중 하나에 매칭되는 노이즈 클러스터가 존재하면, 상기 복수의 오디오 클러스터 중 하나는 상기 복수의 노이즈 클러스터에 포함되는 것으로 검출하는 제어 방법.
  3. 제2항에 있어서,
    상기 복수의 오디오 클러스터 각각이 상기 기저장된 복수의 노이즈 클러스터에 포함되는지 여부를 검출하는 단계는,
    상기 복수의 오디오 클러스터 중 하나와 상기 복수의 노이즈 클러스터 중 하나와의 유사도 값을 획득하고,
    상기 유사도 값이 기설정된 값 이상이면, 상기 복수의 노이즈 클러스터 중 하나를 상기 복수의 오디오 클러스터 중 하나에 매칭되는 노이즈 클러스터로 식별하는 제어 방법.
  4. 제1항에 있어서,
    상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터를 상기 복수의 노이즈 클러스터에 추가하는 단계는,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신하고,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 제어 방법.
  5. 제1항에 있어서,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 단계는,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 식별 정보를 입력하는 사용자 입력을 획득하고,
    상기 식별 정보를 포함하는 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 제어 방법.
  6. 제5항에 있어서,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 단계는,
    상기 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가할지 여부를 문의하는 사운드를 출력하고,
    상기 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하기 위한 사용자 음성이 획득되면, 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 식별 정보를 입력하는 사용자 입력을 획득하는 제어 방법.
  7. 제1항에 있어서,
    상기 제어 방법은,
    상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있는 오디오 클러스터 각각에 대해 상기 오디오 클러스터에 매칭되는 노이즈 클러스터에 대응되는 레벨로 안티 노이즈 데이터를 생성하는 단계;를 더 포함하는 제어 방법.
  8. 제7항에 있어서,
    상기 복수의 오디오 클러스터는 제1 오디오 클러스터 및 제2 오디오 클러스터를 포함하고,
    상기 안티 노이즈 데이터를 생성하는 단계는,
    상기 복수의 노이즈 클러스터 중 상기 제1 오디오 클러스터에 매칭되는 제1 노이즈 클러스터에 대응되는 제1 레벨로 제1 오디오 클러스터에 대한 제1 안티 노이즈 데이터를 생성하고,
    상기 복수의 노이즈 클러스터 중 상기 제2 오디오 클러스터에 매칭되는 제2 노이즈 클러스터에 대응되는 제2 레벨로 제2 오디오 클러스터에 대한 제2 안티 노이즈 데이터를 생성하는 제어 방법.
  9. 제1항에 있어서,
    상기 오디오 데이터를 복수의 오디오 클러스터로 구분하는 단계는,
    상기 오디오 데이터를 분할하여 복수의 오디오 세그먼트를 획득하고,
    상기 복수의 오디오 세그먼트에 대한 특징을 추출하여 복수의 특징 데이터를 획득하고,
    상기 복수의 특징 데이터에 기초하여, 상기 복수의 세그먼트를 상기 복수의 사운드 클러스터로 구분하는 제어 방법.
  10. 제1항에 있어서,
    상기 오디오 데이터의 메타 데이터는 상기 오디오 데이터가 획득된 위치에 대한 정보를 포함하는 제어 방법.
  11. 음향 노이즈 소거(Acoustic Noise Cancellation, ANC)를 위한 안티 노이즈(anti-noise)를 생성할 수 있는 전자 장치에 있어서,
    센서;
    마이크;
    스피커;
    복수의 노이즈 클러스터에 대한 정보 및 적어도 하나의 명령어를 저장하는 메모리; 및
    상기 메모리와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하고,
    상기 프로세서는, 상기 적어도 하나의 명령어를 실행함으로써,
    상기 마이크 및 상기 센서를 통해 오디오 데이터 및 상기 오디오 데이터의 메타 데이터를 획득하고,
    상기 오디오 데이터의 특징 및 상기 메타 데이터의 특징에 기초하여, 상기 오디오 데이터를 복수의 오디오 클러스터로 구분하고,
    상기 복수의 오디오 클러스터 각각이 상기 복수의 노이즈 클러스터에 포함되는지 여부를 검출하고,
    상기 복수의 오디오 클러스터 중 상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 노이즈 클러스터 중 상기 복수의 오디오 클러스터 중 하나에 매칭되는 노이즈 클러스터가 존재하면, 상기 복수의 오디오 클러스터 중 하나는 상기 복수의 노이즈 클러스터에 포함되는 것으로 검출하는 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 복수의 오디오 클러스터 중 하나와 상기 복수의 노이즈 클러스터 중 하나와의 유사도 값을 획득하고,
    상기 유사도 값이 기설정된 값 이상이면, 상기 복수의 노이즈 클러스터 중 하나를 상기 복수의 오디오 클러스터 중 하나에 매칭되는 노이즈 클러스터로 식별하는 전자 장치.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 외부 서버로부터 수신하고,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 전자 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 노이즈 클러스터에 포함되어 있지 않은 오디오 클러스터에 대한 식별 정보를 입력하는 사용자 입력을 획득하고,
    상기 식별 정보를 포함하는 오디오 클러스터에 대한 정보를 상기 복수의 노이즈 클러스터에 대한 정보에 추가하는 전자 장치.
PCT/KR2023/013501 2022-10-06 2023-09-08 전자 장치 및 그 제어 방법 Ceased WO2024076015A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380071138.8A CN119998878A (zh) 2022-10-06 2023-09-08 电子装置及其控制方法
EP23875083.0A EP4576078A4 (en) 2022-10-06 2023-09-08 ELECTRONIC DEVICE AND ITS CONTROL METHOD
US19/098,577 US20250232754A1 (en) 2022-10-06 2025-04-02 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220128054A KR20240048363A (ko) 2022-10-06 2022-10-06 전자 장치 및 그 제어 방법
KR10-2022-0128054 2022-10-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/098,577 Continuation US20250232754A1 (en) 2022-10-06 2025-04-02 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
WO2024076015A1 true WO2024076015A1 (ko) 2024-04-11

Family

ID=90608671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013501 Ceased WO2024076015A1 (ko) 2022-10-06 2023-09-08 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20250232754A1 (ko)
EP (1) EP4576078A4 (ko)
KR (1) KR20240048363A (ko)
CN (1) CN119998878A (ko)
WO (1) WO2024076015A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027866B2 (en) * 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090030077A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 부대역의 불확실성 정보를 이용한 잡음환경에서의 음성인식 방법 및 장치
KR20100010136A (ko) * 2008-07-22 2010-02-01 삼성전자주식회사 잡음을 제거하는 장치 및 방법
JP4856662B2 (ja) * 2008-02-29 2012-01-18 日本電信電話株式会社 雑音除去装置、その方法、そのプログラム及び記録媒体
KR102260216B1 (ko) * 2019-07-29 2021-06-03 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치, 지능형 컴퓨팅 디바이스 및 서버
JP2021525493A (ja) * 2018-06-05 2021-09-24 安克創新科技股▲ふん▼有限公司Ａｎｋｅｒ Ｉｎｎｏｖａｔｉｏｎｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． ディープラーニングに基づく音質特性処理方法及びシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145320B2 (en) * 2015-11-25 2021-10-12 Dolby Laboratories Licensing Corporation Privacy protection in collective feedforward
US11284183B2 (en) * 2020-06-19 2022-03-22 Harman International Industries, Incorporated Auditory augmented reality using selective noise cancellation
WO2022055432A1 (en) * 2020-09-11 2022-03-17 Nanyang Technological University A system and method for actively cancelling a noise signal entering through an aperture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090030077A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 부대역의 불확실성 정보를 이용한 잡음환경에서의 음성인식 방법 및 장치
JP4856662B2 (ja) * 2008-02-29 2012-01-18 日本電信電話株式会社 雑音除去装置、その方法、そのプログラム及び記録媒体
KR20100010136A (ko) * 2008-07-22 2010-02-01 삼성전자주식회사 잡음을 제거하는 장치 및 방법
JP2021525493A (ja) * 2018-06-05 2021-09-24 安克創新科技股▲ふん▼有限公司Ａｎｋｅｒ Ｉｎｎｏｖａｔｉｏｎｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． ディープラーニングに基づく音質特性処理方法及びシステム
KR102260216B1 (ko) * 2019-07-29 2021-06-03 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치, 지능형 컴퓨팅 디바이스 및 서버

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4576078A4 *

Also Published As

Publication number Publication date
EP4576078A1 (en) 2025-06-25
CN119998878A (zh) 2025-05-13
KR20240048363A (ko) 2024-04-15
US20250232754A1 (en) 2025-07-17
EP4576078A4 (en) 2025-12-10

Similar Documents

Publication Publication Date Title
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020166944A1 (en) Sound outputting device including plurality of microphones and method for processing sound signal using plurality of microphones
WO2020096218A1 (en) Electronic device and operation method thereof
WO2017047884A1 (en) Voice recognition server and control method thereof
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2017052162A1 (en) Electronic apparatus, audio device, and method that is performable by the electronic apparatus to set network of the audio device
WO2014157757A1 (ko) 이동식 입력 장치 및 그를 이용한 명령 입력 방법
WO2021201429A1 (ko) 전자 장치 및 그의 오디오 출력을 제어하는 방법
WO2024076015A1 (ko) 전자 장치 및 그 제어 방법
WO2022169039A1 (ko) 전자 장치 및 그 제어 방법
WO2021125784A1 (ko) 전자장치 및 그 제어방법
WO2017160062A1 (ko) 컨텐트를 인식하는 방법 및 장치
WO2020096406A1 (ko) 사운드 생성 방법 및 이를 수행하는 장치들
WO2020075998A1 (ko) 전자 장치 및 그 제어 방법
WO2022139122A1 (ko) 전자 장치 및 이의 제어 방법
WO2022030750A1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2022010320A1 (ko) 음성을 처리하기 위한 장치 및 이의 작동 방법
WO2021187956A1 (ko) 사용자 입력을 처리하는 전자 장치 및 방법
WO2024144019A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2019198913A1 (ko) 전자 장치 및 그 제어 방법
WO2023239028A1 (ko) 전자 장치 및 그 제어 방법
WO2022163963A1 (ko) 전자 장치 및 전자 장치의 단축 명령어 수행 방법
WO2022060105A1 (ko) 전자 장치 및 그 동작방법
WO2024053851A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875083

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023875083

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023875083

Country of ref document: EP

Effective date: 20250321

WWE Wipo information: entry into national phase

Ref document number: 202380071138.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380071138.8

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023875083

Country of ref document: EP