WO2020009378A1 - 소리를 출력하는 디바이스 및 그 방법 - Google Patents

소리를 출력하는 디바이스 및 그 방법 Download PDF

Info

Publication number
WO2020009378A1
WO2020009378A1 PCT/KR2019/007871 KR2019007871W WO2020009378A1 WO 2020009378 A1 WO2020009378 A1 WO 2020009378A1 KR 2019007871 W KR2019007871 W KR 2019007871W WO 2020009378 A1 WO2020009378 A1 WO 2020009378A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
output
music
voice
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/007871
Other languages
English (en)
French (fr)
Inventor
마르친키에비치피오트르
파벨 그레제시악그제고
티카주크야쿠브
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP19829897.8A priority Critical patent/EP3806488A4/en
Priority to CN201980044603.2A priority patent/CN112369044B/zh
Priority to US17/255,077 priority patent/US11710495B2/en
Publication of WO2020009378A1 publication Critical patent/WO2020009378A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Definitions

  • the present disclosure relates to a device for outputting sound and a method thereof. More particularly, the present invention relates to a sound output device and a method for variably adjusting the sound to be output.
  • the voice recognition function enables the user to easily control the device through voice without manipulating a separate button or touching the touch module.
  • Various artificial intelligence technologies may be used for the voice recognition function.
  • the linguistic understanding allows the user to accurately recognize the user's speech and to understand the user's intentions included in the speech.
  • through visual understanding it is possible to understand the content used by the user, and inference prediction may generate an appropriate response according to the user's intention and the content being executed by the user.
  • the response generated through the operation control may be output in an appropriate form.
  • Some embodiments may provide a device and method for predicting external sound and adjusting the sound to be output based on the predicted external sound.
  • some embodiments may provide a device and method for receiving an external sound and predicting the future external sound based on the received external sound.
  • some embodiments may provide a device and method for predicting future external sounds based on previously stored information.
  • the sound output device may variably adjust the sound to be output so that the user may experience an improved sound output.
  • FIG. 1 is a diagram illustrating an example in which a device outputs sound according to an exemplary embodiment.
  • FIG. 2 is a flowchart of a method of outputting sound by a device according to some embodiments.
  • FIG 3 is a flowchart illustrating a method in which the device 1000 variably adjusts and outputs a sound to be output based on a predicted external sound, according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method in which the device 1000 variably adjusts and outputs a sound to be output based on a predicted external sound, according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing an external sound including a voice input of a user, according to some exemplary embodiments.
  • FIG. 6 is a diagram for describing an example in which a device variably adjusts sound according to an exemplary embodiment.
  • FIG. 7 is a diagram for explaining an example in which a device disassembles and adjusts a sound to be output, according to an exemplary embodiment.
  • FIG. 8 is a diagram for describing a sound adjusted by a device, according to some embodiments.
  • FIG. 9 is a diagram for describing a sound adjusted by a device, according to some embodiments.
  • FIG. 10 is a diagram for describing a method of predicting, by a device, external sound according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing a method of predicting an external sound by a device according to some embodiments.
  • FIG. 12 is a diagram for describing a method of predicting an external sound by a device according to some embodiments.
  • FIG. 13 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • FIG. 14 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • 15 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • 16 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • 17 is a block diagram of a device in accordance with some embodiments.
  • FIG. 18 is a block diagram of a device in accordance with some embodiments.
  • 19 is a block diagram of a processor in accordance with some embodiments.
  • 20 is a block diagram of a data learner according to an exemplary embodiment.
  • 21 is a block diagram of a data recognizer according to an exemplary embodiment.
  • FIG. 22 is a diagram illustrating an example of learning and recognizing data by interworking with a device and a server according to some embodiments.
  • a sound output device includes a speaker for outputting sound, a memory for storing one or more instructions and a processor for executing the one or more instructions;
  • the processor predicts an external sound to be received from an external environment by executing the one or more instructions, variably adjusts a sound to be output from the speaker based on the predicted external sound, and outputs the adjusted sound.
  • the speaker can be controlled to be.
  • the sound output method comprises the steps of predicting the external sound received from the external environment, variablely adjusting the sound to be output from the device based on the predicted external sound and the adjusted sound It may include the step of outputting.
  • the computer-readable recording medium may be a computer-readable recording medium that records a program for executing the above-described method.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented in algorithms running on one or more processors.
  • the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • ... unit refers to a unit that processes at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software.
  • the “unit” and “module” may be implemented by a program stored in a storage medium that can be addressed and executed by a processor.
  • FIG. 1 is a diagram illustrating an example in which a device outputs sound according to an exemplary embodiment.
  • the device 1000 may receive an external sound, which is a sound received from the external environment 1.
  • the external environment 1 may include a user for providing a voice input, an external device for playing multimedia content, a noise source for generating noise, and the like.
  • the device 1000 may output sound to the external environment 1.
  • the sound output by the device 1000 may include a voice guide, multimedia content, a warning sound, and the like.
  • this is exemplary and the sound output by the device 1000 is not limited to the above-described example.
  • the device 1000 may predict an external sound, which is a sound received from the external environment 1. More specifically, the device 1000 may predict an external sound to be received from the external environment 1 to the device 1000 in the future.
  • the device 1000 may predict a future external sound based on the external sound previously received.
  • the device 1000 may predict a future external sound based on the information previously obtained by the device 1000.
  • the device 1000 may determine a sound that the device 1000 outputs in the future based on the information about the multimedia currently being played by the device 1000.
  • the device 1000 may variably adjust a sound to be output from the device 1000 based on the predicted external sound.
  • the device 1000 may variably adjust the sound to be output such that the predicted external sound and the sound to be output are separated in at least one of the frequency domain and the time domain.
  • the device 1000 may variably adjust the characteristics of the filter used to adjust the sound to be output according to a change in time. For example, the device 1000 may continuously predict the external sound according to a time change and continuously determine a new filter based on the updated prediction result.
  • the server 2000 may predict the external sound by interworking with the device 1000.
  • the device 1000 may be a smart phone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, a global positioning system (GPS) device, an e-book device, a digital broadcasting terminal, navigation, and the like. , Kiosks, MP3 players, digital cameras, home appliances, and other mobile or non-mobile computing devices.
  • the device 1000 may be a wearable device such as a watch, glasses, a hair band, and a ring having a communication function and a data processing function.
  • the present disclosure is not limited thereto, and the device 1000 may include all kinds of devices that receive an external sound and output a sound.
  • the device 1000 may communicate with a server and another device (not shown) through a predetermined network in order to use information regarding various external sounds.
  • the network may include a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, a satellite communication network, and their interconnections. It is a comprehensive data communication network that includes a combination and allows each network component to communicate smoothly with each other.
  • the network communication device may include a wired internet, a wireless internet, and a mobile wireless communication network.
  • Wireless communication includes, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy, Zigbee, Wi-Fi Direct (WFD), ultra wideband (UWB), infrared communication (IrDA) ), But may include Near Field Communication (NFC), but is not limited thereto.
  • Wi-Fi wireless LAN
  • Wi-Fi Direct WFD
  • UWB ultra wideband
  • IrDA infrared communication
  • NFC Near Field Communication
  • FIG. 2 is a flowchart of a method of outputting sound by a device according to some embodiments.
  • the device 1000 may predict an external sound, which is a sound received from the external environment 1. More specifically, the device 1000 may predict an external sound to be received from the external environment 1 to the device 1000 in the future. In an embodiment, the device 1000 may predict an external sound to be received from the external environment 1 after a predetermined time. The predetermined time may be determined in various ways based on how the device 1000 predicts the external sound.
  • the device 1000 may predict a future external sound based on the external sound previously received.
  • the device 1000 may acquire information regarding various sounds that may be received from the external environment 1 in advance.
  • the above-mentioned information about various sounds may include information about a user's voice input, published music, or guide broadcast.
  • the device 1000 may predict that an external sound including the user's voice “up the volume.” Can be.
  • the device 1000 may predict that an external sound including the next portion of the above-described music track will be received.
  • the device 1000 may predict that an external sound including the announcement sound "train is coming in” will be received.
  • the device 1000 may predict a future external sound based on information previously obtained by the device 1000. For example, the device 1000 may determine a sound that the device 1000 outputs in the future based on the information about the multimedia currently being played by the device 1000. The device 1000 may predict a future external sound based on the determined sound to be output in the future. Alternatively, the device 1000 may acquire, from the external device or the server 2000, information about the multimedia being played by the devices located near the device 1000 through a network, and may transmit a future external sound based on the obtained information. It can be predicted.
  • the device 1000 may variably adjust a sound to be output from the device 1000 based on the predicted external sound.
  • the device 1000 may variably adjust the sound to be output such that the predicted external sound and the sound to be output are separated in at least one of the frequency domain and the time domain.
  • the device 1000 may determine at least one filter to be applied to the sound to be output such that the predicted external sound and the sound to be output are separated in at least one of the frequency domain and the time domain.
  • the device 1000 may variably adjust the characteristics of the filter, such as the number, frequency range, shape, and amplitude, according to a change in time. For example, the device 1000 may continuously predict the external sound according to a time change and continuously determine a new filter based on the updated prediction result.
  • the sound to be output from the device 1000 may include a voice guide provided by the device 1000 to the user.
  • the device 1000 may apply a filter to separate the predicted external sound from the sound to be output from the device 1000, so that the voice guide may be more clearly provided to the user.
  • the device 1000 applies a filter to separate the predicted external sound and the sound to be output from the device 1000, so that the user's voice input is changed. It can be more clearly recognized.
  • the device 1000 may apply a filter to separate the predicted external sound from the sound to be output from the device 1000 when the predicted external sound includes a sound including information, for example, a warning sound.
  • a filter to separate the predicted external sound from the sound to be output from the device 1000 when the predicted external sound includes a sound including information, for example, a warning sound.
  • the device 1000 may output the adjusted sound.
  • the sound output by the device 1000 may be in various forms including a voice guide, multimedia content, a warning sound, and the like.
  • FIG 3 is a flowchart illustrating a method in which the device 1000 variably adjusts and outputs a sound to be output based on a predicted external sound, according to an exemplary embodiment.
  • the device 1000 may adjust the sound to be output such that the sound to be output is separated from the predicted external sound in the time band. Separating the two sounds in the time band may be such that the two sounds do not overlap in the time band or have a small amount of overlap. For example, the device 1000 may adjust the sound to be output such that the sound is output from the device 1000 at a time when it is predicted that the volume of the external sound is small.
  • the device 1000 may decompose the sound to be output into a plurality of components. For example, if the sound to be output includes orchestra music, the device 1000 may decompose orchestra music into components based on a musical instrument.
  • the device 1000 may independently adjust each component of the sound to be output, in order to separate the sound to be output from the predicted external sound. For example, the device 1000 may selectively adjust only a component based on a drum among the components of the output sound to separate the output sound from the predicted external sound.
  • this is exemplary and the component adjusting operation of the device 1000 is not limited to the above-described example.
  • the device 1000 may output the adjusted sound.
  • the device 1000 may output a sound separated in time from the external sound, so that the external sound and the output sound may be clearly recognized by the user.
  • FIG. 4 is a flowchart illustrating a method in which the device 1000 variably adjusts and outputs a sound to be output based on a predicted external sound, according to an exemplary embodiment.
  • the device 1000 may adjust the sound to be output so that the sound to be output is separated from the predicted external sound in the frequency band. Separating two sounds in a frequency band may be such that the two sounds do not overlap or a small amount overlaps in the frequency band. For example, the device 1000 may adjust the sound to be output so that the frequency of the sound to be output from the device 1000 is located in a frequency band where the power of the frequency of the external sound is expected to be small.
  • the device 1000 may decompose the sound to be output into a plurality of components.
  • the device 1000 may independently adjust each component of the sound to be output, in order to separate the sound to be output from the predicted external sound.
  • the device 1000 may selectively adjust only the frequency of a component based on flute among the components of the output sound to separate the output sound from the predicted external sound.
  • this is exemplary and the component adjusting operation of the device 1000 is not limited to the above-described example.
  • the device 1000 may output the adjusted sound.
  • the device 1000 may output a sound separated in frequency from the external sound, so that the external sound and the output sound may be clearly recognized by the user.
  • FIG. 5 is a diagram for describing an external sound including a voice input of a user, according to some exemplary embodiments.
  • the user's voice input is illustrated as “six”. However, this is illustrative, and it will be apparent to those skilled in the art that the technical features of the present disclosure are not limited by the contents of the voice input of the user.
  • a portion corresponding to “s” and a portion corresponding to “i” among voice inputs exhibit different frequency and power characteristics. That is, the frequency and power characteristics of the external sound including the voice input change with time, and the device 1000 may predict the content of the voice input to predict the change.
  • the device 1000 may variably adjust the sound to be output based on an external sound including a predicted voice input in order to efficiently separate the external sound from the sound to be output.
  • FIG. 6 is a diagram for describing an example in which a device variably adjusts sound according to an exemplary embodiment.
  • the external sound includes a voice signal of a user, and the sound to be output from the device 1000 is illustrated as including a music soundtrack.
  • this is exemplary and it will be apparent to those skilled in the art that the technical features of the present disclosure are not limited by the type of external sound and the sound to be output from the device 1000.
  • the device 1000 receives a first voice.
  • the first voice is part of the voice signal and includes the voice signal during the first reception time t11.
  • the first reception time t11 may be a predetermined time when the device 1000 receives an external sound.
  • the device 1000 may predict a music soundtrack of a next time zone.
  • the device 1000 since the device 1000 already has information about the music soundtrack being played, the device 1000 may predict the music soundtrack to be output in the future based on the information already held. For example, the device 1000 may predict a music soundtrack to be output during the first prediction time t21.
  • the first prediction time t21 may be a predetermined time including a sound to be output in the future predicted by the device 1000.
  • the device 1000 may predict a voice signal of a next time zone.
  • the device 1000 may predict an external sound including a voice signal to be received during the first prediction time t21 based on the received first voice.
  • the device 1000 may predict a voice model of the user who spoke the voice signal based on the received first voice.
  • the device 1000 may predict the content of the voice signal to be received during the first prediction time t21 based on the received first voice.
  • the device 1000 may predict the voice signal to be received during the first prediction time t21 by using at least one of the predicted voice model and the contents of the voice signal. For example, the device 1000 may determine a voice model of a user who is a female based on the first voice “Bixby,”.
  • the device 1000 may predict the content of “up the volume.” Based on the first voice.
  • the device 1000 may predict the speech signal based on the determined speech model and contents.
  • the device 1000 may determine at least one filter to be applied to separate the output sound from the external sound during the first output time t31 based on the predicted external sound and the sound to be output.
  • the first output time t31 may be a time when the determined filter is applied to the sound to be output.
  • the device 1000 may repeatedly perform the above-described steps S610, S620, and S630.
  • the device 1000 may variably adjust the characteristics of the filter, such as the number, frequency range, shape, and amplitude, according to a change in time.
  • the device 1000 may continuously separate the external sound from the output sound by continuously determining a new filter based on the updated prediction result while continuously predicting the external sound according to the time change.
  • FIG. 7 is a diagram for explaining an example in which a device disassembles and adjusts a sound to be output, according to some embodiments.
  • the device 1000 may decompose the sound to be output into a plurality of musical instrument components, and select at least one of the plurality of musical instrument components.
  • the device 1000 may select a musical instrument component so as to easily separate the external sound from the sound to be output.
  • the device 1000 may select an instrument component recognized insensitively to a user.
  • the device 1000 may select a musical instrument component of a frequency band in which power of external sound is low.
  • the method of selecting an instrument component of the device 1000 is not limited to the above-described example.
  • the device 1000 may adjust the selected instrument component such that the sound to be output is separated from the predicted sound.
  • the device 1000 may adjust the selected musical instrument component based on at least one of a time band and a frequency band.
  • the device 1000 may output the adjusted sound. More specifically, the device 1000 may recombine each of the adjusted musical instrument components. The device 1000 may output the combined sound.
  • FIG. 8 is a diagram for describing a sound adjusted by a device, according to some embodiments.
  • the top spectrogram of FIG. 8 is a diagram showing the power of an uncontrolled existing music file in time and frequency bands.
  • the lower spectrogram of FIG. 8 is a diagram showing the power of the music file controlled by the device 1000 in time and frequency bands.
  • the music file may be adjusted and output to be separated from external sounds in the time and frequency domains.
  • FIG. 9 is a diagram for describing a sound adjusted by a device, according to some embodiments.
  • the first spectrogram shown in FIG. 9 is a plot of the power of the predicted external sound, including the ambient environment, in time and frequency bands.
  • the second spectrogram is a diagram showing the power of sound in time and frequency bands, including a voice assistant, to be output from the device 1000.
  • the third spectrogram is a diagram showing the power of sound received by the user in time and frequency bands when the sound to be output from the device 1000 is not controlled.
  • the fourth spectrogram is a diagram showing the power of the sound received by the user in time and frequency bands when the sound to be output from the device 1000 is adjusted.
  • the device 1000 may separate the sound to be output from the external sound in a time or frequency band, so that the user may receive the voice assistant more clearly.
  • FIG. 10 is a diagram for describing a method of predicting, by a device, external sound according to an exemplary embodiment.
  • the device 1000 may receive a second voice.
  • the second voice may be a voice of a user included in an external sound, received for a predetermined time.
  • the device 1000 may apply the second voice to the first learning model to predict the first voice.
  • the first voice may be a voice of a user included in an external sound to be received after a predetermined time.
  • the first learning model may be trained to determine a voice model of the user.
  • the device 1000 may train the first learning model by applying information about a user's voice to the first learning model.
  • the device 1000 may train the first learning model by applying information about a frequency of a voice, information about a gender of a user, and voice talk habits to the first learning model.
  • the first learning model may be trained to predict the content of the voice.
  • the device 1000 may train the first learning model by applying information about a voice input to the first learning model.
  • the device 1000 may train the first learning model by applying information about a voice input history of the user to the first learning model.
  • the first learning model may be preset and stored in the device 1000.
  • the server 2000 generating and operating the first learning model may provide the first learning model to the device 1000, and the device 1000 may store the first learning model received from the server 2000. 1000 and can be managed.
  • the preset first learning model may be stored in the server 2000.
  • the device 1000 may provide trajectory information to the server and receive word information determined based on the trajectory information from the server 2000.
  • the first learning model may be managed for each user by the server 2000.
  • FIG. 11 is a diagram for describing a method of predicting an external sound by a device according to some embodiments.
  • the device 1000 may receive a second music sound.
  • the second music sound may be a music sound included in an external sound received for a predetermined time.
  • the second musical sound may be part of the music already issued.
  • the device 1000 may predict the first music sound based on the second music sound.
  • the first music sound may be a music sound included in an external sound to be received after a predetermined time. That is, the first music sound may be a part after the second music sound of the already issued music including the second music sound.
  • the device 1000 may predict the first music sound by applying the second music sound to a first learning model for identifying music.
  • the device 1000 may identify already published music including the second music sound by using the first learning model.
  • the device 1000 may predict the first music sound based on the identified music.
  • the device 1000 may predict the first music sound by matching the second music sound with a database including information on at least one music.
  • the device 1000 may identify already issued music including the second music sound by using the database.
  • the device 1000 may predict the first music sound based on the identified music.
  • FIG. 12 is a diagram for describing a method of predicting an external sound by a device according to some embodiments.
  • the device 1000 may receive a second music sound.
  • the second music sound may be a music sound included in an external sound received for a predetermined time.
  • the second musical sound may be part of the music already issued.
  • the device 1000 may acquire a database including information about at least one music.
  • the database may be stored in advance in the device 1000.
  • the device 1000 may receive a database or information about the same from the server 2000.
  • the device 1000 may match the information about the at least one music included in the database with the received second music sound. More specifically, the device 1000 may match the information about the at least one music included in the database with the second music sound to identify already published music including the second music sound.
  • the device 1000 may predict the first music sound based on the matching result. More specifically, the device 1000 may predict the first music sound based on the music identified through the matching.
  • FIG. 13 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • the external environment 1 includes various sound sources including an external noise source, a user, and the like.
  • the device 1000 receives an external sound, which includes sound generated from various sound sources, from the external environment 1.
  • the external sound is illustrated as including external noise and a user's voice input.
  • the device 1000 may perform echo cancellation while receiving the external sound.
  • the device 1000 may receive external noise information from an external noise source connected through a network, and perform an echo cancellation operation using the received external noise information.
  • the device 1000 may perform an echo cancellation operation based on information about a sound, for example, music, output from the device 1000. The device 1000 may receive the external sound more clearly by using the echo cancellation operation.
  • the device 1000 may predict an external sound.
  • the device 1000 may predict the external sound based on the received external noise information and the received voice input of the user.
  • the device 1000 may acquire content of a voice input by using natural language understanding (NLU).
  • NLU natural language understanding
  • the device 1000 may obtain information about a voice to be output from the device 1000 by using the voice assistant, corresponding to the content of the voice input.
  • the device 1000 may obtain information about music to be output from the device 1000. In an embodiment, the device 1000 may determine a filter for separating the output music from the external sound based on the predicted external sound and information about the music to be output. In an embodiment, the device 1000 may determine a filter for separating the voice to be output from the music to be output based on the information about the voice to be output and the music to be output.
  • the device 1000 may apply the determined filter to the music and the voice to be output.
  • the device 1000 may output the adjusted music and voice using a filter.
  • FIG. 14 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • the device 1000 may receive a first voice.
  • the first voice may be a voice of a user included in an external sound received for a predetermined time.
  • the device 1000 may determine the user by using the received first voice.
  • the determining of the user may include identifying whether the user is one of a predetermined user.
  • the device 1000 may acquire a voice model of the user using the first voice. More specifically, the device 1000 may obtain a voice model of the user by inputting the first voice into the trained learning model to determine the voice model of the user.
  • the device 1000 may receive external noise.
  • the external noise may be noise included in the external sound received for a predetermined time.
  • the device 1000 may perform echo cancellation.
  • the device 1000 may receive external noise information from an external noise source connected through a network, and perform an echo cancellation operation using the received external noise information.
  • the device 1000 may perform an echo cancellation operation based on the information about the sound already output by the device 1000. The device 1000 may receive the external sound more clearly by using the echo cancellation operation.
  • the device 1000 may perform a natural language understanding operation on the received first voice.
  • the device 1000 may perform the natural language understanding operation by applying the first voice to a learned model that understands the natural language.
  • the device 1000 may acquire content of the first voice by using a natural language understanding operation.
  • the device 1000 may predict a next word of the user's voice input based on the acquired content of the first voice.
  • the device 1000 may predict the second voice based on the acquired voice model of the user and the predicted next word.
  • the second voice may be a voice of a user included in an external sound to be received after a predetermined time.
  • the device 1000 may obtain a signal to be output from the device.
  • the device 1000 may obtain information about a signal to be output after a predetermined time, based on the obtained signal to be output.
  • the device 1000 may determine a section in which the second voice overlaps with the signal to be output based on the predicted second voice and the obtained information about the output signal.
  • the device 1000 may determine a filter to be applied to the signal to be output in the overlapping period.
  • the device 1000 may determine a filter such that the second voice and the signal to be output are separated in the overlapping period.
  • the device 1000 may output a sound by applying a filter to the signal to be output.
  • 15 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • the device 1000 may obtain information about an external sound.
  • the device 1000 may obtain information about external sound from external devices connected through a network.
  • the device 1000 may obtain information about external sound from the server.
  • the information about the external sound may be information about multimedia content played from external devices.
  • the information about the external sound may be information about a warning sound to be issued at a place where the device 1000 is located.
  • this is exemplary and the information about the external sound in the present invention is not limited to the above-described embodiments.
  • the device 1000 may acquire a next portion of the external sound.
  • the device 1000 may predict and obtain a next portion of the external sound based on the obtained information about the external sound.
  • the device 1000 may directly receive information about the next portion of the external sound through the network.
  • the device 1000 may obtain information about music currently being played by the device 1000.
  • the device 1000 may acquire a next portion of music to be output based on the obtained information about music.
  • the device 1000 may determine a frequency of a voice to be output from the device 1000, a time to be output, and a voice model based on the acquired external sound and music to be output.
  • the device 1000 may determine the acquired future external sound and the music to be output and the time and the voice model of the outputted voice so that the voice to be output is separated in at least one of time and frequency bands. Can be.
  • the device 1000 In operation S1531, the device 1000 generates a voice to be output based on the determined frequency, the time to be output, and the voice model using a text to speech module (TSM).
  • TSM text to speech module
  • the device 1000 may determine a filter to be applied to the music to be output so that the voice to be output from the device 1000 and the music to be output are separated.
  • the device 1000 may apply the determined filter to music to be output.
  • the device 1000 may combine and output the music to which the filter is applied and the generated voice.
  • 16 is a diagram for describing a method of outputting a sound by a device according to some embodiments.
  • the device 1000 may obtain information about an external sound.
  • the device 1000 may obtain information about external sound from external devices connected through a network.
  • the device 1000 may obtain information about external sound from the server.
  • the device 1000 may acquire a next portion of the external sound.
  • the device 1000 may predict and obtain a next portion of the external sound based on the obtained information about the external sound.
  • the device 1000 may directly receive information about the next portion of the external sound through the network.
  • the device 1000 may obtain information about music that is currently being played by the device 1000.
  • the device 1000 may acquire a next portion of music to be output based on the obtained information about music.
  • the device 1000 may generate a voice to be output by using a text to speech module (TSM).
  • TSM text to speech module
  • the device 1000 may determine a filter to be applied to the voice to be output so that the voice to be output from the device 1000 and the music to be output and the external sound are separated.
  • the device 1000 may determine a filter to be applied to the music to be output so that the voice to be output from the device 1000 and the music to be output and the external sound are separated.
  • the device 1000 may apply the determined filters to the voice and music to be output.
  • the device 1000 may combine and output music and voice to which the filter is applied, respectively.
  • 17 and 18 are block diagrams of the device 1000 in accordance with some embodiments.
  • the device 1000 may include a user input unit 1100, an output unit 1200, a controller 1300, and a communicator 1500.
  • the device 1000 may be implemented by more components than the components illustrated in FIG. 17, and the device 1000 may be implemented by fewer components than the components illustrated in FIG. 17.
  • the device 1000 may include a sensing unit 1400 in addition to the user input unit 1100, the output unit 1200, the control unit 1300, and the communication unit 1500. ) May further include an A / V input unit 1600 and a memory 1700.
  • the user input unit 1100 means a means for a user to input data for controlling the device 1000.
  • the user input unit 1100 includes a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), jog wheel, jog switch, microphone, etc., but is not limited thereto.
  • the user input unit 1100 may receive an external sound from an external environment.
  • the external sound may include a user's voice input.
  • the output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210, an audio output unit 1220, and a vibration motor 1230. have.
  • the display unit 1210 displays and outputs information processed by the device 1000.
  • the display 1210 may display a user interface for providing a voice input authentication result to the user.
  • the display unit 1210 may be used as an input device in addition to the output device.
  • the display unit 1210 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. 3D display, an electrophoretic display.
  • the device 1000 may include two or more display units 1210 according to an implementation form of the device 1000. In this case, the two or more display units 1210 may be disposed to face each other using a hinge.
  • the sound output unit 1220 outputs audio data received from the communication unit 1500 or stored in the memory 1700.
  • the sound output unit 1220 outputs a sound signal related to a function (for example, a call signal reception sound, a message reception sound, and a notification sound) performed by the device 1000.
  • the sound output unit 1220 may include a speaker, a buzzer, and the like.
  • the vibration motor 1230 may output a vibration signal.
  • the vibration motor 1230 may output a vibration signal corresponding to the output of audio data or video data (eg, a call signal reception sound, a message reception sound, etc.).
  • the vibration motor 1230 may output a vibration signal when a touch is input to the touch screen.
  • the controller 1300 generally controls the overall operation of the device 1000.
  • the controller 1300 executes programs stored in the memory 1700, such that the user input unit 1100, the output unit 1200, the sensing unit 1400, the communication unit 1500, and the A / V input unit 1600 are provided. ) Can be controlled overall.
  • the controller 1300 may predict a future external sound and variably adjust a sound to be output based on the predicted external sound.
  • the controller 1300 may predict the future external sound based on the external sound previously received. Alternatively, the controller 1300 may predict the future external sound based on the information previously obtained by the controller 1300. For example, the controller 1300 may determine a sound to be output by the device 1000 in the future based on the information about the multimedia currently being played by the device 1000.
  • the controller 1300 may variably adjust the sound to be output from the device 1000 based on the predicted external sound. In an embodiment, the controller 1300 may variably adjust the sound to be output such that the predicted external sound and the sound to be output are separated in at least one of the frequency domain and the time domain.
  • the controller 1300 may variably adjust the characteristics of the filter used to adjust the sound to be output according to a change in time. For example, the controller 1300 may continuously predict the external sound according to a time change and continuously determine a new filter based on the updated prediction result.
  • the sensing unit 1400 may detect a state of the device 1000 or a state around the device 1000 and transmit the detected information to the controller 1300.
  • the sensing unit 1400 may include a geomagnetic sensor 1410, an acceleration sensor 1420, a temperature / humidity sensor 1430, an infrared sensor 1440, a gyroscope sensor 1450, and a position sensor. (Eg, GPS) 1460, barometric pressure sensor 1470, proximity sensor 1480, and RGB sensor (illuminance sensor) 1490, but are not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
  • the communicator 1500 may include one or more components that allow communication between the device 1000 and the HMD apparatus or the device 1000 and the server.
  • the communicator 1500 may include a short range communicator 1510, a mobile communicator 1520, and a broadcast receiver 1530.
  • the short-range wireless communication unit 1510 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 1520 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 1530 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel. According to an implementation example, the device 1000 may not include the broadcast receiver 1530.
  • the communication unit 1500 may transmit / receive information for using the context information with the HMD device, the server, and the peripheral device.
  • the A / V input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 and a microphone 1620.
  • the camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured by the image sensor may be processed by the controller 1300 or a separate image processor (not shown).
  • the image frame processed by the camera 1610 may be stored in the memory 1700 or transmitted to the outside through the communication unit 1500. Alternatively, the image frame may be used to determine the voice active condition and the voice inactive condition of the controller 1300. Two or more cameras 1610 may be provided according to the configuration aspect of the terminal.
  • the microphone 1620 receives external sound.
  • the external sound received by the microphone 1620 may include a voice input.
  • the microphone 1620 receives an external sound signal and processes it as electrical voice data.
  • the microphone 1620 may receive an acoustic signal from an external device or speaker.
  • the microphone 1620 may use various noise removing algorithms for removing noise generated in the process of receiving an external sound signal including a voice input.
  • the memory 1700 may store a program for processing and controlling the controller 1300, and may store data input to or output from the device 1000.
  • the memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM Random Access Memory (RAM) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions.
  • the programs stored in the memory 1700 may be classified into a UI module 1710, a touch screen module 1720, a notification module 1730, and the like. .
  • the UI module 1710 may provide a specialized UI, GUI, or the like that is linked with the device 1000 for each application.
  • the touch screen module 1720 may detect a touch gesture on a user's touch screen and transmit information about the touch gesture to the controller 1300.
  • the touch screen module 1720 according to some embodiments may recognize and analyze a touch code.
  • the touch screen module 1720 may be configured as separate hardware including a controller.
  • Various sensors may be provided inside or near the touch screen to detect a touch or proximity touch of the touch screen.
  • An example of a sensor for sensing a touch of a touch screen is a tactile sensor.
  • the tactile sensor refers to a sensor that senses the contact of a specific object to the extent that a person feels or more.
  • the tactile sensor may sense various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like.
  • an example of a sensor for sensing a touch of a touch screen is a proximity sensor.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the user's touch gesture may include tap, touch and hold, double tap, drag, pan, flick, drag and drop, and swipe.
  • the notification module 1730 may generate a signal for notifying occurrence of an event of the device 1000. Examples of events occurring in the device 1000 include call signal reception, message reception, key signal input, and schedule notification.
  • the notification module 1730 may output a notification signal in the form of a video signal through the display unit 1210, may output the notification signal in the form of an audio signal through the sound output unit 1220, and the vibration motor 1230. Through the notification signal may be output in the form of a vibration signal.
  • 19 is a block diagram of a processor 1300 in accordance with some embodiments.
  • a processor 1300 may include a data learner 1310 and a data recognizer 1320.
  • At least a part of the data learner 1310 and at least a part of the data recognizer 1320 may be implemented as a software module or manufactured in the form of a hardware chip and mounted on a device.
  • the data learner 1310 may learn a criterion for determining at least one of a user's voice model, contents of a voice input, and identification of input music.
  • the data learner 1310 may learn a criterion about what data to use to determine at least one of a user's voice model, contents of a voice input, and identification of input music.
  • the data learner 1310 may learn a criterion on how to determine a criterion for determining at least one of a user's voice model, contents of a voice input, and identification of input music using the provided data.
  • the data learner 1310 acquires data to be used for learning, and applies the acquired data to a data recognition model to be described later, so as to provide a criterion for at least one of a user's voice model, contents of a voice input, and identification of input music. Can learn.
  • the data learner 1310 may provide functions of the learning models used by the device in FIGS. 1 to 10, and the learning model used by the device in FIGS. 1 to 16 by one or more data learners 1310. Their function can be implemented.
  • the data recognizer 1320 may perform at least one of a user's voice model, contents of a voice input, and identification of input music based on the data.
  • the data recognizing unit 1320 may perform at least one operation of the user's voice model, contents of a voice input, and input music by using the learned data recognition model.
  • the data recognizing unit 1320 may obtain predetermined data according to a preset reference by learning, and use the data recognition model by using the acquired data as an input value.
  • the data recognizing unit 1320 may perform at least one operation of the user's voice model, the contents of the voice input, and the input music from the predetermined data based on the predetermined data.
  • the result value output by the data recognition model using the acquired data as an input value may be used to update the data recognition model.
  • At least one of the data learner 1310 and the data recognizer 1320 may be manufactured in the form of at least one hardware chip and mounted on the device 1000.
  • at least one of the data learner 1310 and the data recognizer 1320 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general purpose processor (eg, a CPU).
  • the device may be manufactured as a part of an application processor or a graphics processor (eg, a GPU) and mounted on the aforementioned various devices 1000.
  • the dedicated hardware chip for artificial intelligence is a dedicated processor specialized in probability calculation, and has higher parallelism performance than the conventional general-purpose processor, so that it is possible to process arithmetic tasks in the field of artificial intelligence such as machine learning.
  • the data learner 1310 and the data recognizer 1320 may be mounted in one device or may be mounted in separate devices, respectively.
  • one of the data learner 1310 and the data recognizer 1320 may be included in the device, and the other may be included in the server.
  • the data learner 1310 and the data recognizer 1320 may provide model information constructed by the data learner 1310 to the data recognizer 1320 via a wired or wireless connection.
  • the data input to 1320 may be provided to the data learner 1310 as additional learning data.
  • At least one of the data learner 1310 and the data recognizer 1320 may be implemented as a software module.
  • the software module may be a computer readable non-transitory computer. It may be stored in a non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS operating system
  • others may be provided by a predetermined application.
  • 20 is a block diagram of a data learner 1310, according to some embodiments.
  • the data learner 1310 may include a data acquirer 1310-1, a preprocessor 1310-2, a training data selector 1310-3, and a model learner 1310. -4) and the model evaluator 1310-5.
  • the data acquirer 1310-1 may acquire data necessary for performing at least one of a user's voice model, contents of a voice input, and identification of input music, from the predetermined data.
  • the data acquirer 1310-1 may, for example, acquire information about a predetermined user voice or music.
  • the preprocessing unit 1310-2 obtains the acquired data so that the acquired data can be used for learning to perform at least one of the user's voice model, contents of the voice input, and identification of the input music from the predetermined data. Can be preprocessed.
  • the preprocessing unit 1310-2 is configured to learn by the model learning unit 1310-4 to be described later to perform at least one operation among a user's voice model, contents of a voice input, and identification of input music from predetermined data.
  • the obtained data may be processed into a preset format.
  • the training data selector 1310-3 may select data required for learning from the preprocessed data.
  • the selected data may be provided to the model learner 1310-4.
  • the training data selection unit 1310-3 is configured to learn from preprocessed data according to a predetermined criterion to perform at least one of a user's voice model, contents of a voice input, and identification of input music from predetermined data. You can select the required data.
  • the training data selector 1310-3 may select data according to preset criteria by learning by the model learner 1310-4 to be described later.
  • the model learner 1310-4 may learn a criterion for performing at least one of a user's voice model, contents of a voice input, and identification of input music, based on the training data. In addition, the model learner 1310-4 may determine, based on the predetermined data, what learning data should be used to perform at least one of a user's voice model, contents of a voice input, and identification of input music. You can also learn.
  • the model learner 1310-4 may use the training data using a data recognition model used to perform at least one of a user's voice model, contents of a voice input, and identification of input music from predetermined data.
  • the data recognition model may be a pre-built model.
  • the data recognition model may be a model built in advance by receiving basic training data (eg, sample data).
  • the data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model can be designed to simulate the human brain structure on a computer.
  • the data recognition model may include a plurality of weighted network nodes that simulate neurons in a human neural network.
  • the plurality of network nodes may form a connection relationship so that neurons simulate synaptic activity through which signals are sent and received through synapses.
  • the data recognition model may include, for example, a neural network model or a deep learning model developed from the neural network model. In the deep learning model, a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • the data recognition model may include, for example, models such as a deep neural network (DNN), a recurrent neural network (RNN), a bidirectional recurrent deep neural network (BRDNN), and the like.
  • DNN deep neural network
  • RNN recurrent neural network
  • the model learner 1310-4 may be a data recognition model to learn a data recognition model having a large correlation between input training data and basic training data. You can decide.
  • the basic training data may be previously classified by the type of data, and the data recognition model may be pre-built by the type of data. For example, the basic training data is classified based on various criteria such as the region where the training data is generated, the time at which the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, and the types of objects in the training data. It may be.
  • model learner 1310-4 may train the data recognition model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method. .
  • model learner 1310-4 may train the data recognition model through, for example, supervised learning using the training data as an input value.
  • the model learner 1310-4 for example, by unsupervised learning to find a criterion for situation determination by learning the kind of data necessary for situation determination without any guidance, You can train the data recognition model.
  • the model learner 1310-4 may train the data recognition model, for example, through reinforcement learning using feedback on whether the result of the situation determination according to the learning is correct.
  • the model learner 1310-4 may store the trained data recognition model.
  • the model learner 1310-4 may store the learned data recognition model in a memory of the electronic device including the data recognizer 1320.
  • the model learner 1310-4 may store the learned data recognition model in a memory of an electronic device including the data recognizer 1320, which will be described later.
  • the model learner 1310-4 may store the learned data recognition model in a memory of a server connected to the electronic device through a wired or wireless network.
  • the memory in which the learned data recognition model is stored may store, for example, commands or data related to at least one other element of the electronic device.
  • the memory may also store software and / or programs.
  • the program may include, for example, a kernel, middleware, an application programming interface (API) and / or an application program (or “application”), and the like.
  • the model evaluator 1310-5 may input the evaluation data into the data recognition model, and cause the model learner 1310-4 to relearn if the recognition result output from the evaluation data does not satisfy a predetermined criterion. have.
  • the evaluation data may be preset data for evaluating the data recognition model.
  • the model evaluator 1310-5 may determine a predetermined criterion when the number or ratio of the evaluation data that is not accurate among the recognition results of the learned data recognition model for the evaluation data exceeds a preset threshold. It can be evaluated as not satisfied. For example, when a predetermined criterion is defined at a ratio of 2%, the model evaluator 1310-5 when the learned data recognition model outputs an incorrect recognition result for more than 20 evaluation data out of a total of 1000 evaluation data. Can be judged that the learned data recognition model is not suitable.
  • the model evaluator 1310-5 evaluates whether each learned video recognition model satisfies a predetermined criterion, and recognizes a model satisfying the predetermined criterion for final data. Can be determined as a model. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 1310-5 may determine any one or a predetermined number of models that are preset in the order of the highest evaluation score as the final data recognition model.
  • At least one of -5) may be manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data acquirer 1310-1, the preprocessor 1310-2, the training data selector 1310-3, the model learner 1310-4, and the model evaluator 1310-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as a part of an existing general purpose processor (eg, a CPU or application processor) or a graphics dedicated processor (eg, a GPU). It may be mounted on various electronic devices.
  • AI artificial intelligence
  • the data obtaining unit 1310-1, the preprocessor 1310-2, the training data selecting unit 1310-3, the model learning unit 1310-4, and the model evaluating unit 1310-5 are electronic components. It may be mounted on the device, or may be mounted on separate electronic devices, respectively. For example, some of the data acquirer 1310-1, the preprocessor 1310-2, the training data selector 1310-3, the model learner 1310-4, and the model evaluator 1310-5. May be included in the electronic device, and the rest may be included in the server.
  • At least one of the data acquirer 1310-1, the preprocessor 1310-2, the training data selector 1310-3, the model learner 1310-4, and the model evaluator 1310-5 may be used. It may be implemented as a software module. At least one of the data acquirer 1310-1, the preprocessor 1310-2, the training data selector 1310-3, the model learner 1310-4, and the model evaluator 1310-5 is a software module. (Or a program module including instructions), the software module may be stored in a computer readable non-transitory computer readable media. In this case, at least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • OS operating system
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • 21 is a block diagram of a data recognizer 1320 according to some embodiments.
  • the data recognizer 1320 may include a data acquirer 1320-1, a preprocessor 1320-2, a recognition data selector 1320-3, and a recognition result provider ( 1320-4) and a model updater 1320-5.
  • the data acquirer 1320-1 may acquire, from the predetermined data, data necessary for performing at least one of a user's voice model, contents of a voice input, and identification of input music. 2) may preprocess the obtained data so that the obtained data may be used to perform at least one of the user's voice model, contents of the voice input, and identification of the input music from the predetermined data.
  • the preprocessor 1320-2 is obtained by the recognition result providing unit 1320-4, which will be described later, for performing at least one of a user's voice model, contents of a voice input, and identification of input music from predetermined data. In order to use the data, the acquired data may be processed into a preset format.
  • the recognition data selector 1320-3 may select data required to perform at least one of a user's voice model, contents of a voice input, and identification of input music, from among the preprocessed data.
  • the selected data may be provided to the recognition result provider 1320-4.
  • the recognition data selector 1320-3 may perform some or more of the preprocessed data according to a preset criterion to perform at least one of a user's voice model, contents of a voice input, and identification of input music from predetermined data. You can choose all.
  • the recognition data selector 1320-3 may select data according to a predetermined criterion by learning by the model learner 1310-4 to be described later.
  • the recognition result providing unit 1320-4 may apply the selected data to the data recognition model to perform at least one operation of the user's voice model, the contents of the voice input, and the input music from the predetermined data.
  • the recognition result providing unit 1320-4 may provide a recognition result according to a recognition purpose of data.
  • the recognition result provider 1320-4 may apply the selected data to the data recognition model by using the data selected by the recognition data selector 1320-3 as an input value.
  • the recognition result may be determined by the data recognition model.
  • the model updater 1320-5 may cause the data recognition model to be updated based on the evaluation of the recognition result provided by the recognition result provider 1320-4. For example, the model updater 1320-5 provides the model learning unit 1310-4 with the recognition result provided by the recognition result providing unit 1320-4 so that the model learner 1310-4 provides the recognition result.
  • the data recognition model can be updated.
  • the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selector 1320-3, the recognition result providing unit 1320-4, and the model updater in the data recognition unit 1320 may be manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • At least one may be fabricated in the form of a dedicated hardware chip for artificial intelligence (AI), or may be fabricated as part of an existing general purpose processor (e.g., CPU or application processor) or graphics dedicated processor (e.g., GPU). It may be mounted on various electronic devices.
  • AI artificial intelligence
  • the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model updater 1320-5 may be mounted on an electronic device, or may be mounted on separate electronic devices, respectively.
  • the preprocessor 1320-2, the recognition data selector 1320-3, the recognition result provider 1320-4, and the model updater 1320-5 may be included in the electronic device, and others may be included in the server.
  • At least one of the data acquirer 1320-1, the preprocessor 1320-2, the recognition data selector 1320-3, the recognition result provider 1320-4, and the model updater 1320-5 May be implemented as a software module.
  • At least one of the data acquirer 1320-1, the preprocessor 1320-2, the recognition data selector 1320-3, the recognition result provider 1320-4, and the model updater 1320-5 is software.
  • the software module When implemented as a module (or a program module including instructions), the software module may be stored on a computer readable non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • some of the at least one software module may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • 22 is a diagram illustrating an example in which the device 1000 and the server 2000 learn and recognize data by interworking with each other, according to an exemplary embodiment.
  • the server 2000 may learn a criterion for performing at least one of a voice model of a user, contents of a voice input, and identification of input music from predetermined data, and the device 1000.
  • the user may perform at least one operation among the voice model of the user, the contents of the voice input, and the input music based on the learning result by the server 2000.
  • the model learner 2340 of the server 2000 may perform a function of the data learner 1310 illustrated in FIG. 29.
  • the model learner 2340 of the server 2000 may learn a criterion on what data to use to perform at least one of a user's voice model, contents of a voice input, and identification of input music from predetermined data. Can be.
  • the model learner 2340 of the server may learn a criterion for performing at least one operation of the user's voice model, the contents of the voice input, and the input music from the predetermined data using the data.
  • the model learner 2340 acquires data to be used for learning, and applies the acquired data to a data recognition model to be described later, thereby identifying at least one of a user's voice model, contents of a voice input, and input music from predetermined data. A criterion for performing an operation can be learned.
  • the recognition result providing unit 1320-4 of the device 1000 applies the data selected by the recognition data selecting unit 1320-3 to a data recognition model generated by the server 2000, thereby providing a user with predetermined data. At least one of the voice model, the content of the voice input, and the identification of the input music may be performed.
  • the recognition result provider 1320-4 transmits the data selected by the recognition data selector 1320-3 to the server 2000, and the server 2000 transmits the recognition data selector 1320-3.
  • the recognition result providing unit 1320-4 may provide information for performing at least one operation of the user's voice model, the contents of the voice input, and the identification of the input music from the predetermined data determined by the server 2000. It may receive from the server 2000.
  • the recognition result providing unit 1320-4 of the device 1000 receives a recognition model generated by the server 2000 from the server 2000, and uses a received recognition model to generate a voice of the user from predetermined data. At least one of a model, contents of a voice input, and identification of input music may be performed. In this case, the recognition result providing unit 1320-4 of the device 1000 applies the data selected by the recognition data selecting unit 1320-3 to a data recognition model received from the server 2000, thereby providing a user with predetermined data. At least one of the voice model, the content of the voice input, and the identification of the input music may be performed.
  • the device 1000 and the server 2000 may effectively distribute and perform a task for learning the data recognition model and data recognition, thereby efficiently processing data in order to provide a service corresponding to the user's intention. To protect the user's privacy.
  • Some embodiments may be implemented as S / W programs that include instructions stored on computer-readable storage media.
  • a computer may be a device capable of calling stored instructions from a storage medium and operating according to the disclosed embodiments according to the called instructions, and may include a device according to the disclosed embodiments or an external server connected to the device. .
  • the computer readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal or a current, and is tangible, but does not distinguish that the data is semi-permanently or temporarily stored in the storage medium.
  • non-transitory storage media may be stored temporarily such as registers, caches, buffers, as well as non-transitory readable storage media such as CD, DVD, hard disk, Blu-ray disc, USB, internal memory, memory card, ROM, or RAM. Media may be included.
  • the method according to the disclosed embodiments may be provided as a computer program product.
  • the computer program product may include a S / W program, a computer readable storage medium on which the S / W program is stored, or a product traded between a seller and a buyer.
  • a computer program product may include a product (eg, a downloadable app) in the form of a S / W program that is distributed electronically through a device manufacturer or an electronic market (eg, Google Play Store, App Store).
  • a product eg, a downloadable app
  • an electronic market eg, Google Play Store, App Store
  • at least a part of the S / W program may be stored in a storage medium or temporarily generated.
  • the storage medium may be a server of a manufacturer or an electronic market, or a storage medium of a relay server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

소리를 출력하는 디바이스 및 그 방법이 개시된다. 소리 출력 방법은 외부 환경으로부터 수신되는 외부 소리를 예측하는 단계, 상기 예측된 외부 소리에 기반하여 상기 디바이스로부터 출력될 소리를 가변적으로 조절하는 단계 및 상기 조절된 소리를 출력하는 단계를 포함한다.

Description

소리를 출력하는 디바이스 및 그 방법
본 개시는 소리를 출력하는 디바이스 및 그 방법에 관한 것이다. 보다 상세하게는, 출력될 소리를 가변적으로 조절하는 소리 출력 디바이스 및 그 방법에 관한 것이다.
산업이 고도화됨에 따라, 다양한 전자 장치가 아날로그 형태로부터 디지털 형태로 변화되고 있으며, 음향 기기의 경우에도 디지털화가 급속히 보급되고 있다.
한편, 최근에 스마트폰과 같이 다양한 기능을 복합적으로 수행하는 전자 장치들이 개발됨에 따라, 디지털화에 이어, 음성 인식 기능이 탑재된 다양한 전자 장치들이 출시되고 있다. 음성 인식 기능은, 사용자가 별도의 버튼을 조작하거나 또는 터치 모듈에 대한 접촉을 하지 않고, 음성을 통해 장치를 손쉽게 제어할 수 있도록 한다.
음성 인식 기능에는 다양한 인공지능 기술이 활용될 수 있다. 언어적 이해를 통해 사용자의 발화 내용을 정확하게 인식하고, 발화 내용에 포함된 사용자의 의도를 파악할 수 있다. 또한, 시각적 이해를 통해 사용자가 사용하는 컨텐츠에 대한 이해가 가능하고, 추론 예측을 통해 사용자의 의도 및 사용자가 실행 중인 컨텐츠에 따른 적절한 응답을 생성할 수도 있다. 나아가, 동작 제어를 통해 생성한 응답을 적절한 형태로 출력할 수도 있다.
보다 향상된 성능을 제공하기 위하여 출력될 소리를 가변적으로 조절하는 소리 출력 디바이스가 요구된다.
일부 실시예는, 외부 소리를 예측하고, 예측된 외부 소리에 기초하여 출력될 소리를 조절하는 디바이스 및 방법을 제공할 수 있다.
또한, 일부 실시예는, 외부 소리를 수신하고, 수신한 외부 소리에 기초하여 미래의 외부 소리를 예측하는 디바이스 및 방법을 제공할 수 있다.
또한, 일부 실시예는, 미리 저장된 정보에 기초하여 미래의 외부 소리를 예측하는 디바이스 및 방법을 제공할 수 있다.
실시예에 의한 소리 출력 디바이스는 출력될 소리를 가변적으로 조절하여 사용자에게 향상된 소리 출력을 경험하게 할 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일부 실시예에 따른 디바이스가 소리를 출력하는 예시를 나타내는 도면이다.
도 2는 일부 실시예에 따른 디바이스가 소리를 출력하는 방법의 흐름도이다.
도 3은 일부 실시예에 따른 디바이스(1000)가, 예측된 외부 소리에 기반하여, 출력될 소리를 가변적으로 조절하고 출력하는 방법을 나타내는 흐름도이다.
도 4는 일부 실시예에 따른 디바이스(1000)가, 예측된 외부 소리에 기반하여, 출력될 소리를 가변적으로 조절하고 출력하는 방법을 나타내는 흐름도이다.
도 5는 일부 실시예에 따른, 사용자의 음성 입력을 포함하는 외부 소리를 설명하기 위한 도면이다.
도 6은 일부 실시예에 따른 디바이스가 가변적으로 소리를 조절하는 예시를 설명하기 위한 도면이다
도 7은 일부 실시예에 따른 디바이스가 출력될 소리를 컴포넌트로 분해하고 조절하는 예시를 설명하기 위한 도면이다.
도 8은 일부 실시예에 따른 디바이스에 의하여 조절된 소리를 설명하기 위한 도면이다.
도 9는 일부 실시예에 따른 디바이스에 의하여 조절된 소리를 설명하기 위한 도면이다.
도 10은 일부 실시예에 따른 디바이스가 외부 소리를 예측하는 방법을 설명하기 위한 도면이다.
도 11은 일부 실시예에 따른 디바이스가 외부 소리를 예측하는 방법을 설명하기 위한 도면이다.
도 12는 일부 실시예에 따른 디바이스가 외부 소리를 예측하는 방법을 설명하기 위한 도면이다.
도 13은 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
도 14는 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
도 15는 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
도 16은 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
도 17은 일부 실시예에 따른 디바이스의 블록도이다.
도 18은 일부 실시예에 따른 디바이스의 블록도이다.
도 19는 일부 실시예에 따른 프로세서의 블록도이다.
도 20은 일부 실시예에 따른 데이터 학습부의 블록도이다.
도 21은 일부 실시예에 따른 데이터 인식부의 블록도이다.
도 22는 일부 실시예에 따른 디바이스 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예에 따른 소리 출력 디바이스는, 소리를 출력하는 스피커, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 외부 환경으로부터 수신될 외부 소리를 예측하고, 상기 예측된 외부 소리에 기반하여 상기 스피커로부터 출력될 소리를 가변적으로 조절하며, 상기 조절된 소리가 출력되도록 상기 스피커를 제어할 수 있다.
또한 본 개시의 일 실시예에 따른 소리 출력 방법은 외부 환경으로부터 수신되는 외부 소리를 예측하는 단계, 상기 예측된 외부 소리에 기반하여 상기 디바이스로부터 출력될 소리를 가변적으로 조절하는 단계 및 상기 조절된 소리를 출력하는 단계를 포함할 수 있다.
또한 본 개시의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는, 상술된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. "부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 즉, 본 개시의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 개시의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 각각의 실시예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 발명의 일 실시예와 다른 일 실시예의 일부분들이 서로 조합되어 장치의 동작이 운용될 수 있다.
도 1은 일부 실시예에 따른 디바이스가 소리를 출력하는 예시를 나타내는 도면이다.
도 1을 참조하면, 디바이스(1000)는 외부 환경(1)으로부터 수신되는 소리인 외부 소리를 수신할 수 있다. 이때 외부 환경(1)은 음성 입력을 제공하는 사용자, 멀티미디어 컨텐츠를 재생하는 외부 장치, 노이즈를 발생시키는 노이즈 소스 등을 포함할 수 있다. 또한 디바이스(1000)는 외부 환경(1)으로 소리를 출력할 수 있다. 디바이스(1000)가 출력하는 소리는 음성 가이드, 멀티미디어 컨텐츠, 경고음 등을 포함할 수 있다. 그러나 이는 예시적인 것으로, 디바이스(1000)가 출력하는 소리는 상술된 예시에 한정되지 않는다.
디바이스(1000)는, 외부 환경(1)으로부터 수신되는 소리인 외부 소리를 예측할 수 있다. 보다 구체적으로, 디바이스(1000)는, 미래에, 외부 환경(1)으로부터 디바이스(1000)로 수신될 외부 소리를 예측할 수 있다.
실시 예에 있어서, 디바이스(1000)는 미리 수신된 외부 소리에 기초하여, 미래의 외부 소리를 예측할 수 있다. 혹은 실시 예에 있어서, 디바이스(1000)는 디바이스(1000)가 미리 획득한 정보에 기초하여, 미래의 외부 소리를 예측할 수 있다. 예를 들어, 디바이스(1000)는 현재 디바이스(1000)가 재생 중인 멀티미디어에 관한 정보에 기초하여, 미래에 디바이스(1000)가 출력할 소리를 판별할 수 있다.
디바이스(1000)는 예측된 외부 소리에 기반하여, 디바이스(1000)로부터 출력될 소리를 가변적으로 조절할 수 있다. 실시 예에 있어서, 디바이스(1000)는 예측된 외부 소리와 출력될 소리가, 주파수 영역 혹은 시간 영역 중 적어도 하나에서 분리되도록, 출력될 소리를 가변적으로 조절할 수 있다.
이때, 디바이스(1000)는, 출력될 소리를 조절하기 위하여 이용되는 필터의 특성을, 시간 변화에 따라 가변적으로 조절할 수 있다. 예를 들어, 디바이스(1000)는 시간 변화에 따라 지속적으로 외부 소리를 예측하면서, 갱신되는 예측 결과에 기초하여 지속적으로 새로이 필터를 판별할 수 있다.
한편, 서버(2000)는 디바이스(1000)와 연동함으로써 외부 소리를 예측할 수 있다. 디바이스(1000)는 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 한정되지 않는다. 또한, 디바이스(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 디바이스일 수 있다. 그러나, 이에 한정되지 않으며, 디바이스(1000)는 외부 소리를 수신하고, 소리를 출력하는 모든 종류의 기기를 포함할 수 있다.
또한, 디바이스(1000)는 다양한 외부 소리에 관한 정보를 이용하기 위하여, 소정의 네트워크를 통하여 서버 및 다른 장치(미도시)와 통신할 수 있다. 이 경우, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 일부 실시예에 따른 디바이스가 소리를 출력하는 방법의 흐름도이다.
단계 S210에서, 디바이스(1000)는, 외부 환경(1)으로부터 수신되는 소리인 외부 소리를 예측할 수 있다. 보다 구체적으로, 디바이스(1000)는, 미래에, 외부 환경(1)으로부터 디바이스(1000)로 수신될 외부 소리를 예측할 수 있다. 실시 예에 있어서, 디바이스(1000)는, 소정의 시간 이후, 외부 환경(1)으로부터 수신될 외부 소리를 예측할 수 있다. 소정의 시간은 디바이스(1000)가 외부 소리를 예측하는 방식에 기초하여 다양한 방식으로 정해질 수 있다.
실시 예에 있어서, 디바이스(1000)는 미리 수신된 외부 소리에 기초하여, 미래의 외부 소리를 예측할 수 있다. 외부 소리를 예측하기 위하여, 디바이스(1000)는 외부 환경(1)으로부터 수신될 수 있는 다양한 소리에 관한 정보들을 미리 획득할 수 있다. 실시 예에 있어서, 상술된 다양한 소리에 관한 정보들은 사용자의 음성 입력, 발표된 음악, 혹은 안내 방송에 관한 정보를 포함할 수 있다.
예를 들어, 디바이스(1000)는 "빅스비(Bixby)," 라는 사용자의 음성이 포함된 외부 소리를 수신하면, "볼륨을 올려."라는 사용자의 음성이 포함된 외부 소리가 수신될 것이라고 예측할 수 있다. 혹은 디바이스(1000)는 이미 알고 있는 음악 트랙의 일부분이 포함된 외부 소리를 수신하면, 상술된 음악 트랙의 다음 부분이 포함된 외부 소리가 수신될 것이라고 예측할 수 있다. 혹은 디바이스(1000)는 "열차가 들어오고 있습니다," 라는 안내 방송 소리를 포함하는 외부 소리를 수신하면, "물러서 주시기 바랍니다."라는 다음 안내 방송 소리를 포함하는 외부 소리가 수신될 것이라고 예측할 수 있다.
실시 예에 있어서, 디바이스(1000)는 디바이스(1000)가 미리 획득한 정보에 기초하여, 미래의 외부 소리를 예측할 수 있다. 예를 들어, 디바이스(1000)는 현재 디바이스(1000)가 재생 중인 멀티미디어에 관한 정보에 기초하여, 미래에 디바이스(1000)가 출력할 소리를 판별할 수 있다. 디바이스(1000) 판별된 미래에 출력될 소리에 기초하여, 미래의 외부 소리를 예측할 수 있다. 혹은 디바이스(1000)는, 네트워크를 통하여, 외부 기기 혹은 서버(2000)로부터, 디바이스(1000) 주변에 위치한 기기들이 재생 중인 멀티미디어에 관한 정보를 획득하고, 획득한 정보에 기초하여 미래의 외부 소리를 예측할 수 있다.
단계 S220에서, 디바이스(1000)는 예측된 외부 소리에 기반하여, 디바이스(1000)로부터 출력될 소리를 가변적으로 조절할 수 있다.
실시 예에 있어서, 디바이스(1000)는 예측된 외부 소리와 출력될 소리가, 주파수 영역 혹은 시간 영역 중 적어도 하나에서 분리되도록, 출력될 소리를 가변적으로 조절할 수 있다. 디바이스(1000)는 예측된 외부 소리와 출력될 소리가, 주파수 영역 혹은 시간 영역 중 적어도 하나에서 분리되도록, 출력될 소리에 적용할 적어도 하나의 필터를 판별할 수 있다. 이때, 디바이스(1000)는, 개수, 주파수 범위, 형태, 진폭 등 필터의 특성을, 시간 변화에 따라 가변적으로 조절할 수 있다. 예를 들어, 디바이스(1000)는 시간 변화에 따라 지속적으로 외부 소리를 예측하면서, 갱신되는 예측 결과에 기초하여 지속적으로 새로이 필터를 판별할 수 있다.
실시 예에 있어서, 디바이스(1000)에서 출력될 소리는 디바이스(1000)가 사용자에게 제공하는 음성 가이드를 포함할 수 있다. 디바이스(1000)는 예측된 외부 소리와 디바이스(1000)에서 출력될 소리가 분리되도록 필터를 적용하여, 사용자에게 보다 명확하게 음성 가이드가 제공되도록 할 수 있다.
실시 예에 있어서, 디바이스(1000)는 예측된 외부 소리에 사용자의 음성 입력이 포함되는 경우, 예측된 외부 소리와 디바이스(1000)에서 출력될 소리가 분리되도록 필터를 적용하여, 사용자의 음성 입력이 보다 명확하게 인식되도록 할 수 있다.
실시 예에 있어서, 디바이스(1000)는 예측된 외부 소리에 정보를 포함하는 소리, 예를 들어 경고음, 가 포함되는 경우, 예측된 외부 소리와 디바이스(1000)에서 출력될 소리가 분리되도록 필터를 적용하여, 사용자에게 정보를 포함하는 소리가 보다 명확하게 인식되도록 할 수 있다.
단계 S230에서, 디바이스(1000)는 조절된 소리를 출력할 수 있다. 디바이스(1000)가 출력하는 소리는 음성 가이드, 멀티미디어 컨텐츠, 경고음 등을 포함하는 다양한 형태일 수 있다.
도 3은 일부 실시예에 따른 디바이스(1000)가, 예측된 외부 소리에 기반하여, 출력될 소리를 가변적으로 조절하고 출력하는 방법을 나타내는 흐름도이다.
단계 S310에서, 디바이스(1000)는 출력될 소리가 예측된 외부 소리와 시간 대역에서 분리되도록, 출력될 소리를 조절할 수 있다. 두 소리를 시간 대역에서 분리한다는 것은, 두 소리가 시간 대역에서 중첩되지 않거나 적은 양이 중첩되도록 하는 것일 수 있다. 예를 들어, 디바이스(1000)는 외부 소리의 크기가 작을 것이라 예측되는 시간에 디바이스(1000)로부터 소리가 출력되도록, 출력될 소리를 조절할 수 있다.
실시 예에 있어서, 디바이스(1000)는 출력될 소리를 복수의 컴포넌트들로 분해할 수 있다. 예를 들어, 디바이스(1000)는 출력될 소리가 오케스트라 음악을 포함하는 경우, 오케스트라 음악을 악기에 기초하는 컴포넌트들로 분해할 수 있다. 디바이스(1000)는 출력될 소리와 예측된 외부 소리를 분리하기 위하여, 출력될 소리의 각 컴포넌트들을 각각 독립적으로 조절할 수 있다. 예를 들어, 디바이스(1000)는 출력될 소리와 예측된 외부 소리를 분리하기 위하여, 출력될 소리의 컴포넌트들 중 드럼에 기초한 컴포넌트만 선택적으로 조절할 수 있다. 그러나 이는 예시적인 것으로, 디바이스(1000)의 컴포넌트 조절 동작은 상술된 예에 한정되지 않는다.
단계 S320에서, 디바이스(1000)는 조절된 소리를 출력할 수 있다. 디바이스(1000)는 외부 소리와 시간적으로 분리된 소리를 출력하여, 외부 소리 및 출력되는 소리가 사용자에게 명확하게 인식되도록 할 수 있다.
도 4는 일부 실시예에 따른 디바이스(1000)가, 예측된 외부 소리에 기반하여, 출력될 소리를 가변적으로 조절하고 출력하는 방법을 나타내는 흐름도이다.
단계 S410에서, 디바이스(1000)는 출력될 소리가 예측된 외부 소리와 주파수 대역에서 분리되도록, 출력될 소리를 조절할 수 있다. 두 소리를 주파수 대역에서 분리한다는 것은, 두 소리가 주파수 대역에서 중첩되지 않거나 적은 양이 중첩되도록 하는 것일 수 있다. 예를 들어, 디바이스(1000)는 외부 소리의 주파수의 전력이 작을 것이라 예측되는 주파수 대역에, 디바이스(1000)로부터 출력될 소리의 주파수가 위치되도록, 출력될 소리를 조절할 수 있다.
실시 예에 있어서, 디바이스(1000)는 출력될 소리를 복수의 컴포넌트들로 분해할 수 있다. 디바이스(1000)는 출력될 소리와 예측된 외부 소리를 분리하기 위하여, 출력될 소리의 각 컴포넌트들을 각각 독립적으로 조절할 수 있다. 예를 들어, 디바이스(1000)는 출력될 소리와 예측된 외부 소리를 분리하기 위하여, 출력될 소리의 컴포넌트들 중 플루트에 기초한 컴포넌트의 주파수만 선택적으로 조절할 수 있다. 그러나 이는 예시적인 것으로, 디바이스(1000)의 컴포넌트 조절 동작은 상술된 예에 한정되지 않는다.
단계 S420에서, 디바이스(1000)는 조절된 소리를 출력할 수 있다. 디바이스(1000)는 외부 소리와 주파수적으로 분리된 소리를 출력하여, 외부 소리 및 출력되는 소리가 사용자에게 명확하게 인식되도록 할 수 있다.
도 5는 일부 실시예에 따른, 사용자의 음성 입력을 포함하는 외부 소리를 설명하기 위한 도면이다.
도 5를 참조하면, 사용자의 음성 입력은 "six"로 예시되었다. 그러나 이는 예시적인 것으로, 본 개시의 기술적 특징이 사용자의 음성 입력의 내용에 의하여 제한되지 않음은 당업자에게 자명하다.
도 5를 참조하면, 음성 입력 중 "s"에 해당되는 부분과, "i"에 해당되는 부분은 서로 다른 주파수 및 전력 특성을 나타낸다. 즉, 음성 입력을 포함하는 외부 소리의 주파수 및 전력 특성은, 시간에 따라 변화하며, 디바이스(1000)는 음성 입력의 내용을 예측하여 그 변화를 예측할 수 있다. 디바이스(1000)는 외부 소리를 출력될 소리와 효율적으로 분리하기 위하여, 예측된 음성 입력을 포함하는 외부 소리에 기초하여, 출력될 소리를 시간에 따라 가변적으로 조절할 수 있다.
도 6은 일부 실시예에 따른 디바이스가 가변적으로 소리를 조절하는 예시를 설명하기 위한 도면이다.
도 6을 참조하면, 외부 소리는 사용자의 음성 신호(speech signal)를 포함하고, 디바이스(1000)로부터 출력될 소리는 음악 사운드트랙(music soundtrack)을 포함하는 것으로 예시되었다. 그러나 이는 예시적인 것으로, 본 개시의 기술적 특징이 외부 소리 및 디바이스(1000)로부터 출력될 소리의 종류에 의하여 제한되지 않음은 당업자에게 자명하다.
도 6을 참조하면, 단계 S610에서, 디바이스(1000)는 제 1 음성을 수신한다. 제 1 음성은 음성 신호의 일부분으로, 제 1 수신 시간(t11) 동안의 음성 신호를 포함한다. 제 1 수신 시간(t11)은 디바이스(1000)가 외부 소리를 수신하는 소정의 시간일 수 있다.
단계 S620 단계에서, 디바이스(1000)는 다음 시간대의 음악 사운드트랙을 예측할 수 있다. 실시 예에 있어서, 디바이스(1000)는 자신이 재생하고 있는 음악 사운드트랙에 관한 정보를 이미 가지고 있으므로, 미리 가지고 있는 정보에 기초하여 앞으로 출력될 음악 사운드트랙을 예측할 수 있다. 예를 들어, 디바이스(1000)는 제 1 예측 시간(t21) 동안 출력될 음악 사운드트랙을 예측할 수 있다. 제 1 예측 시간(t21)은, 디바이스(1000)에 의하여 예측된, 앞으로 출력될 소리가 포함되는 소정의 시간일 수 있다.
또한, 디바이스(1000)는 다음 시간대의 음성 신호를 예측할 수 있다. 디바이스(1000)는 수신한 제 1 음성에 기초하여, 제 1 예측 시간(t21)동안 수신될 음성 신호를 포함하는 외부 소리를 예측할 수 있다.
실시 예에 있어서, 디바이스(1000)는 수신한 제 1 음성에 기초하여, 음성 신호를 발성한 사용자의 음성 모델을 예측할 수 있다. 또한, 디바이스(1000)는 수신한 제 1 음성에 기초하여, 제 1 예측 시간(t21)동안 수신될 음성 신호의 내용을 예측할 수 있다. 디바이스(1000)는 예측한 음성 모델 및 음성 신호의 내용 중 적어도 하나를 이용하여, 제 1 예측 시간(t21)동안 수신될 음성 신호를 예측할 수 있다. 예를 들어, 디바이스(1000)는 "빅스비(Bixby)," 라는 제 1 음성에 기초하여, 여성인 사용자의 음성 모델을 판정할 수 있다. 또한 디바이스(1000)는 제 1 음성에 기초하여 "볼륨을 올려."라는 내용을 예측할 수 있다. 디바이스(1000)는 판정된 음성 모델과 내용에 기초하여, 음성 신호를 예측할 수 있다.
디바이스(1000)는 예측된 외부 소리 및 출력할 소리에 기초하여, 출력될 소리를, 제 1 출력 시간(t31)동안 외부 소리와 분리하기 위하여 적용할 적어도 하나의 필터를 판별할 수 있다. 제 1 출력 시간(t31)은, 판별된 필터가 출력될 소리에 적용되는 시간일 수 있다.
디바이스(1000)는 상술된 S610, S620 및 S630 단계를 반복하여 수행할 수 있다. 이때, 디바이스(1000)는, 개수, 주파수 범위, 형태, 진폭 등 필터의 특성을, 시간 변화에 따라 가변적으로 조절할 수 있다. 디바이스(1000)는 시간 변화에 따라 지속적으로 외부 소리를 예측하면서, 갱신되는 예측 결과에 기초하여 지속적으로 새로이 필터를 판별하여 효과적으로 외부 소리와 출력될 소리를 분리할 수 있다.
도 7은 일부 실시예에 따른 디바이스가 출력될 소리를 컴포넌트로 분해하고 조절하는 예시를 설명하기 위한 도면이다.
단계 S710에서, 디바이스(1000)는 출력될 소리를 복수의 악기 컴포넌트들로 분해(decompose)하고, 복수의 악기 컴포넌트들 중 적어도 하나를 선택할 수 있다. 실시 예에 있어서, 디바이스(1000)는 외부 소리와 출력될 소리를 분리하기 용이하도록, 악기 컴포넌트를 선택할 수 있다. 예를 들어, 디바이스(1000)는 사용자에게 둔감하게 인식되는 악기 컴포넌트를 선택할 수 있다. 혹은, 디바이스(1000)는 외부 소리의 전력이 낮게 예측되는 주파수 대역의 악기 컴포넌트를 선택할 수 있다. 그러나 디바이스(1000)의 악기 컴포넌트 선택 방법은 상술된 예시에 한정되지 않는다.
단계 S720에서, 디바이스(1000)는 출력될 소리가 예측된 소리와 분리되도록, 선택된 악기 컴포넌트를 조절할 수 있다. 실시 예에 있어서, 디바이스(1000)는, 선택된 악기 컴포넌트를, 시간 대역 및 주파수 대역 중 적어도 하나에 기초하여 조절할 수 있다.
단계 S730에서, 디바이스(1000)는 조절된 소리를 출력할 수 있다. 보다 구체적으로, 디바이스(1000)는 조절된 각 악기 컴포넌트들을 다시 결합할 수 있다. 디바이스(1000)는 결합된 소리를 출력할 수 있다.
도 8은 일부 실시예에 따른 디바이스에 의하여 조절된 소리를 설명하기 위한 도면이다.
도 8의 상단 스펙트로그램(spectrogram)은 조절되지 않은 기존 음악 파일의 전력을, 시간 및 주파수 대역에서 표시한 도면이다. 도 8의 하단 스펙트로그램(spectrogram)은, 디바이스(1000)에 의하여 조절된 음악 파일의 전력을, 시간 및 주파수 대역에서 표시한 도면이다.
도 8을 참조하면, 음악 파일은, 시간 및 주파수 영역에서 외부 소리와 분리되도록, 조절되어 출력될 수 있다.
도 9는 일부 실시예에 따른 디바이스에 의하여 조절된 소리를 설명하기 위한 도면이다.
도 9에 도시된 첫 번째 스펙트로그램(spectrogram)은, 주변 환경 소리(environment)을 포함하는, 예측된 외부 소리의 전력을, 시간 및 주파수 대역에 표시한 도면이다. 두 번째 스펙트로그램(spectrogram)은 디바이스(1000)로부터 출력될, 음성 어시스턴트(voice assistant)를 포함하는, 소리의 전력을, 시간 및 주파수 대역에 표시한 도면이다. 세 번째 스펙트로그램(spectrogram)은 디바이스(1000)로부터 출력될 소리가 조절되지 않은 경우 사용자가 수신하는 소리 의 전력을, 시간 및 주파수 대역에 표시한 도면이다. 네 번째 스펙트로그램(spectrogram)은 디바이스(1000)로부터 출력될 소리가 조절된 경우 사용자가 수신하는 소리의 전력을, 시간 및 주파수 대역에서 표시한 도면이다.
도 9를 참조하면, 디바이스(1000)는 출력될 소리를 시간 혹은 주파수 대역에서 외부 소리와 분리하여, 사용자로 하여금 음성 어시스턴트를 보다 명료하게 수신하도록 할 수 있다.
도 10은 일부 실시예에 따른 디바이스가 외부 소리를 예측하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 단계 S1010에서, 디바이스(1000)는 제 2 음성을 수신할 수 있다. 제 2 음성은, 소정의 시간 동안 수신된, 외부 소리에 포함된 사용자의 음성일 수 있다.
단계 S1020에서, 디바이스(1000)는 제 2 음성을 제 1 학습 모델에 적용하여 제 1 음성을 예측할 수 있다. 제 1 음성은, 소정의 시간 후 수신될, 외부 소리에 포함된 사용자의 음성일 수 있다.
실시 예에 있어서, 제 1 학습 모델은 사용자의 음성 모델을 결정하기 위하여 학습된 것일 수 있다. 디바이스(1000)는 제 1 학습 모델에, 사용자의 음성에 관한 정보를 적용함으로써, 제 1 학습 모델을 학습시킬 수 있다. 예를 들어, 디바이스(1000)는 음성의 주파수에 관한 정보, 사용자의 성별, 발성 습관에 관한 정보를 제 1 학습 모델에 적용하여 제 1 학습 모델을 학습시킬 수 있다.
실시 예에 있어서, 제 1 학습 모델은 음성의 내용을 예측하기 위하여 학습된 것일 수 있다. 디바이스(1000)는 제 1 학습 모델에, 음성 입력에 관한 정보를 적용함으로써, 제 1 학습 모델을 학습시킬 수 있다. 예를 들어, 디바이스(1000)는 사용자의 음성 입력 이력에 관한 정보를 제 1 학습 모델에 적용하여 제 1 학습 모델을 학습시킬 수 있다.
실시 예에 있어서, 제 1 학습 모델은 미리 설정되어 디바이스(1000)에 저장된 것일 수 있다. 이 경우, 제 1 학습 모델을 생성 운영하는 서버(2000)가 디바이스(1000)에게 제 1 학습 모델을 제공할 수 있으며, 디바이스(1000)는 서버(2000)로부터 수신된 제 1 학습 모델을 디바이스(1000) 내에 저장하고 관리할 수 있다.
또한, 미리 설정된 제 1 학습 모델은 서버(2000)에 저장될 수 있다. 이 경우, 디바이스(1000)는 서버에게 궤적 정보를 제공하고, 궤적 정보에 기초하여 결정된 단어 정보를 서버(2000)로부터 수신할 수 있다. 또한, 이 경우에는, 서버(2000)에 의해 제 1 학습 모델이 사용자 별로 관리될 수 있다.
도 11은 일부 실시예에 따른 디바이스가 외부 소리를 예측하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 단계 S1110에서, 디바이스(1000)는 제 2 음악 소리를 수신할 수 있다. 제 2 음악 소리는, 소정의 시간 동안 수신된, 외부 소리에 포함된 음악 소리일 수 있다. 제 2 음악 소리는 이미 발행된 음악의 일부분일 수 있다.
단계 S1120에서, 디바이스(1000)는 제 2 음악 소리에 기초하여 제 1 음악 소리를 예측할 수 있다. 제 1 음악 소리는, 소정의 시간 후 수신될, 외부 소리에 포함된 음악 소리일 수 있다. 즉, 제 1 음악 소리는, 제 2 음악 소리가 포함되는 이미 발행된 음악의, 제 2 음악 소리보다 뒤의 부분일 수 있다.
실시 예에 있어서, 디바이스(1000)는 제 2 음악 소리를, 음악을 식별하기 위한 제 1 학습 모델에 적용하여 제 1 음악 소리를 예측할 수 있다. 디바이스(1000)는 제 1 학습 모델을 이용하여, 제 2 음악 소리가 포함되는 이미 발행된 음악을 식별할 수 있다. 디바이스(1000)는 식별된 음악에 기초하여 제 1 음악 소리를 예측할 수 있다.
혹은, 디바이스(1000)는 제 2 음악 소리를, 적어도 하나의 음악에 관한 정보를 포함하는 데이터베이스와 매칭하여 제 1 음악 소리를 예측할 수 있다. 디바이스(1000)는 데이터베이스를 이용하여, 제 2 음악 소리가 포함되는 이미 발행된 음악을 식별할 수 있다. 디바이스(1000)는 식별된 음악에 기초하여 제 1 음악 소리를 예측할 수 있다.
도 12는 일부 실시예에 따른 디바이스가 외부 소리를 예측하는 방법을 설명하기 위한 도면이다.
단계 S1210에서, 디바이스(1000)는 제 2 음악 소리를 수신할 수 있다. 제 2 음악 소리는, 소정의 시간 동안 수신된, 외부 소리에 포함된 음악 소리일 수 있다. 제 2 음악 소리는 이미 발행된 음악의 일부분일 수 있다.
단계 S1220에서, 디바이스(1000)는 적어도 하나의 음악에 관한 정보를 포함하는 데이터베이스를 획득할 수 있다. 데이터베이스는 디바이스(1000)에 미리 저장될 수 있다. 혹은, 디바이스(1000)는 서버(2000)로부터 데이터베이스 혹은 그에 관한 정보를 수신할 수 있다.
단계 S1230에서, 디바이스(1000)는 데이터베이스에 포함된 적어도 하나의 음악에 대한 정보와, 수신한 제 2 음악 소리를 매칭할 수 있다. 보다 구체적으로, 디바이스(1000)는 데이터베이스에 포함된 적어도 하나의 음악들에 대한 정보와 제 2 음악 소리를 매칭하여, 제 2 음악 소리가 포함되는 이미 발행된 음악을 식별할 수 있다.
단계 S1240에서, 디바이스(1000)는 매칭 결과에 기초하여, 제 1 음악 소리를 예측할 수 있다. 보다 구체적으로, 디바이스(1000)는 매칭을 통해 식별된 음악에 기초하여, 제 1 음악 소리를 예측할 수 있다.
도 13은 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 외부 환경(1)은 외부 노이즈 소스, 사용자 등을 포함하는 다양한 소리 발생원들을 포함한다. 디바이스(1000)는 외부 환경(1)으로부터, 다양한 소리 발생원들로부터 발생된 소리를 포함하는, 외부 소리를 수신한다. 도 13을 참조하면, 외부 소리는 외부 노이즈 및 사용자의 음성 입력을 포함하는 것으로 예시되었다.
디바이스(1000)는 외부 소리를 수신하는 동안, 반향 소거(echo cancellation)동작을 수행할 수 있다. 실시 예에 있어서, 디바이스(1000)는 네트워크를 통하여 연결된 외부 노이즈 소스로부터 외부 노이즈 정보를 수신하고, 수신한 외부 노이즈 정보를 이용하여 반향 소거 동작을 수행할 수 있다. 또한, 실시 예에 있어서, 디바이스(1000)는 디바이스(1000)가 출력한 소리, 예를 들어 음악, 에 관한 정보에 기초하여 반향 소거 동작을 수행할 수 있다. 디바이스(1000)는 반향 소거 동작을 이용하여, 보다 명료하게 외부 소리를 수신할 수 있다.
디바이스(1000)는 외부 소리를 예측할 수 있다. 실시 예에 있어서, 디바이스(1000)는 수신한 외부 노이즈 정보 및 수신한 사용자의 음성 입력에 기초하여, 외부 소리를 예측할 수 있다.
또한 디바이스(1000)는 자연어 이해(NLU: Natural Language Understanding)를 이용하여 음성 입력의 내용을 획득할 수 있다. 디바이스(1000)는 음성 입력의 내용에 대응하여, 음성 어시스턴트를 이용하여, 디바이스(1000)로부터 출력될 음성에 관한 정보를 획득할 수 있다.
한편, 디바이스(1000)는 디바이스(1000)로부터 출력될 음악에 관한 정보를 획득할 수 있다. 실시 예에 있어서, 디바이스(1000)는 예측된 외부 소리와 출력될 음악에 관한 정보에 기초하여, 출력될 음악을 외부 소리와 분리하기 위한 필터를 판정할 수 있다. 또한 실시 예에 있어서, 디바이스(1000)는 출력될 음성과 출력될 음악에 관한 정보에 기초하여, 출력될 음성과 출력될 음악을 분리하기 위한 필터를 판정할 수 있다.
디바이스(1000)는, 출력될 음악 및 음성에, 판정된 필터를 적용할 수 있다. 디바이스(1000)는 필터를 이용하여 조절된 음악 및 음성을 출력할 수 있다.
도 14는 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
S1410 단계에서, 디바이스(1000)는 제 1 음성을 수신할 수 있다. 제 1 음성은, 소정의 시간 동안 수신된, 외부 소리에 포함된 사용자의 음성일 수 있다.
S1411 단계에서, 디바이스(1000)는 수신한 제 1 음성을 이용하여, 사용자를 판정할 수 있다. 사용자를 판정하는 동작은 사용자가 미리 지정된 사용자 중 하나인지 식별하는 동작을 포함할 수 있다.
S1412 단계에서, 디바이스(1000)는 제 1 음성을 이용하여, 사용자의 음성 모델을 획득할 수 있다. 보다 구체적으로, 디바이스(1000)는 사용자의 음성 모델을 결정하기 위하여 학습된 학습 모델에 제 1 음성을 입력하여, 사용자의 음성 모델을 획득할 수 있다
S1420 단계에서, 디바이스(1000)는 외부 노이즈를 수신할 수 있다. 외부 노이즈는, 소정의 시간동안 수신된, 외부 소리에 포함된 노이즈일 수 있다.
S1421 단계에서, 디바이스(1000)는 반향 소거(echo cancellation)동작을 수행할 수 있다. 실시 예에 있어서, 디바이스(1000)는 네트워크를 통하여 연결된 외부 노이즈 소스로부터 외부 노이즈 정보를 수신하고, 수신한 외부 노이즈 정보를 이용하여 반향 소거 동작을 수행할 수 있다. 또한, 실시 예에 있어서, 디바이스(1000)는, 디바이스(1000)가 이미 출력한 소리에 관한 정보에 기초하여 반향 소거 동작을 수행할 수 있다. 디바이스(1000)는 반향 소거 동작을 이용하여, 보다 명료하게 외부 소리를 수신할 수 있다.
S1422 단계에서, 디바이스(1000)는 수신한 제 1 음성에 대한 자연어 이해 동작을 수행할 수 있다. 실시 예에 있어서, 디바이스(1000)는 제 1 음성을, 자연어를 이해하도록 학습된 학슴 모델에 적용하여 자연어 이해 동작을 수행할 수 있다. 디바이스(1000)는 자연어 이해 동작을 이용하여, 제 1 음성의 내용을 획득할 수 있다.
S1423 단계에서, 디바이스(1000)는, 획득한 제 1 음성의 내용에 기초하여 , 사용자의 음성 입력의 다음 단어를 예측할 수 있다.
S1424 단계에서, 디바이스(1000)는, 획득한 사용자의 음성 모델과, 예측된 다음 단어에 기초하여, 제 2 음성을 예측할 수 있다. 제 2 음성은 소정의 시간 후 수신될, 외부 소리에 포함된 사용자의 음성일 수 있다.
S1425 단계에서, 디바이스(1000)는 디바이스로부터 출력될 신호를 획득할 수 있다. 또한, S1426 단계에서, 디바이스(1000)는 획득한 출력될 신호에 기초하여, 소정의 시간 후 출력될 신호에 관한 정보를 획득할 수 있다.
S1427 단계에서, 디바이스(1000)는 예측된 제 2 음성과, 획득한 출력될 신호에 관한 정보에 기초하여, 제 2 음성과 출력될 신호가 중첩될 구간을 판정할 수 있다.
S1428 단계에서, 디바이스는(1000)는 중첩된 구간에서, 출력될 신호에 적용될 필터를 판정할 수 있다. 디바이스(1000)는 중첩된 구간에서, 제 2 음성과 출력될 신호가 분리되도록 필터를 판정할 수 있다.
S1429 단계에서, 디바이스(1000)는 출력될 신호에 필터를 적용하여, 소리를 출력할 수 있다.
도 15는 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
S1510 단계에서, 디바이스(1000)는 외부 소리에 관한 정보를 획득할 수 있다. 실시 예에 있어서, 디바이스(1000)는, 네트워크를 통하여 연결된 외부 기기들로부터 외부 소리에 관한 정보를 획득할 수 있다. 혹은, 디바이스(1000)는 서버로부터 외부 소리에 관한 정보를 획득할 수 있다. 실시 예에 있어서, 외부 소리에 관한 정보는, 외부 기기들로부터 재생되는 멀티미디어 컨텐츠에 관한 정보일 수 있다. 혹은, 실시 예에 있어서, 외부 소리에 관한 정보는, 디바이스(1000)가 위치한 장소에서 발령될 경고음에 관한 정보일 수 있다. 그러나 이는 예시적인 것으로, 본 발명에서 외부 소리에 관한 정보는 상술된 실시예들로 한정되지 않는다.
S1511 단계에서, 디바이스(1000)는 외부 소리의 다음 부분을 획득할 수 있다. 실시 예에 있어서, 디바이스(1000)는 획득한 외부 소리에 관한 정보에 기초하여, 외부 소리의 다음 부분을 예측하고, 획득할 수 있다. 혹은, 디바이스(1000)는 네트워크를 통하여, 외부 소리의 다음 부분에 관한 정보를 직접 수신할 수도 있다.
한편, S1520 단계에서, 디바이스(1000)는 현재 디바이스(1000)가 재생하고 있는 음악에 관한 정보를 획득할 수 있다.
S1521단계에서, 디바이스(1000)는, 획득한 음악에 관한 정보에 기초하여 , 출력될 음악의 다음 부분을 획득할 수 있다.
S1530 단계에서, 디바이스(1000)는, 획득한 미래의 외부 소리 및 출력될 음악에 기초하여, 디바이스(1000)로부터 출력될 음성의 주파수, 출력될 시간 및 음성 모델을 판정할 수 있다.
보다 구체적으로, 디바이스(1000)는 획득한 미래의 외부 소리 및 출력될 음악과, 출력될 음성이, 시간 및 주파수 대역 중 적어도 하나에서 분리되도록, 출력될 음성의 출력될 시간 및 음성 모델을 판정할 수 있다.
S1531 단계에서, 디바이스(1000)는, 텍스트 음성 변환 모듈(TSM: Text to Speech Module)을 이용하여, 판정된 주파수, 출력될 시간 및 음성 모델에 기초하여, 출력될 음성을 생성한다.
한편, S1540 단계에서, 디바이스(1000)는, 디바이스(1000)로부터 출력될 음성과, 출력될 음악이 분리되도록, 출력될 음악에 적용될 필터를 판별할 수 있다.
S1541 단계에서, 디바이스(1000)는, 판별된 필터를 출력될 음악에 적용할 수 있다
S1532 단계에서, 디바이스(1000)는, 필터가 적용된 음악과, 생성된 음성을, 결합하여 출력할 수 있다.
도 16은 일부 실시예에 따른 디바이스가 소리를 출력하는 방법을 설명하기 위한 도면이다.
S1610 단계에서, 디바이스(1000)는 외부 소리에 관한 정보를 획득할 수 있다. 실시 예에 있어서, 디바이스(1000)는, 네트워크를 통하여 연결된 외부 기기들로부터 외부 소리에 관한 정보를 획득할 수 있다. 혹은, 디바이스(1000)는 서버로부터 외부 소리에 관한 정보를 획득할 수 있다.
S1611 단계에서, 디바이스(1000)는 외부 소리의 다음 부분을 획득할 수 있다. 실시 예에 있어서, 디바이스(1000)는 획득한 외부 소리에 관한 정보에 기초하여, 외부 소리의 다음 부분을 예측하고, 획득할 수 있다. 혹은, 디바이스(1000)는 네트워크를 통하여, 외부 소리의 다음 부분에 관한 정보를 직접 수신할 수도 있다.
한편, S1620 단계에서, 디바이스(1000)는 현재 디바이스(1000)가 재생하고 있는 음악에 관한 정보를 획득할 수 있다.
S1621단계에서, 디바이스(1000)는, 획득한 음악에 관한 정보에 기초하여 , 출력될 음악의 다음 부분을 획득할 수 있다.
S1630 단계에서, 디바이스(1000)는, 텍스트 음성 변환 모듈(TSM: Text to Speech Module)을 이용하여, 출력될 음성을 생성할 수 있다.
S1631 단계에서, 디바이스(1000)는, 디바이스(1000)로부터 출력될 음성 및 출력될 음악과 외부 소리가 분리되도록, 출력될 음성에 적용될 필터를 판별할 수 있다.
한편, S1640 단계에서, 디바이스(1000)는, 디바이스(1000)로부터 출력될 음성 및 출력될 음악과 외부 소리가 분리되도록, 출력될 음악에 적용될 필터를 판별할 수 있다.
S1641 단계 및 S1632 단계에서, 디바이스(1000)는, 판별된 필터들을 출력될 음성 및 음악에 적용할 수 있다
S1633 단계에서, 디바이스(1000)는, 필터가 각각 적용된 음악 및 음성을, 결합하여 출력할 수 있다.
도 17 및 도 18은 일부 실시예에 따른 디바이스(1000)의 블록도이다.
도 17 및 도 18에 도시된 바와 같이, 일부 실시예에 따른 디바이스(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500)를 포함할 수 있다. 그러나, 도 17에 도시된 구성 요소 모두가 디바이스(1000)의 필수 구성 요소인 것은 아니다. 도 17에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(1000)가 구현될 수도 있고, 도 17에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(1000)가 구현될 수도 있다.
예를 들어, 도 18에 도시된 바와 같이, 일부 실시예에 따른 디바이스(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치, 마이크 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는 외부 환경으로부터 외부 소리를 수신할 수 있다. 실시 예에 있어서, 외부 소리는 사용자의 음성 입력을 포함할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 디바이스(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는 사용자에게 음성 입력 인증 결과를 제공하기 위한 사용자 인터페이스를 디스플레이 할 수 있다.
한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(1000)의 구현 형태에 따라 디바이스(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1210)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 디바이스(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(1300)는, 통상적으로 디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
구체적으로, 제어부(1300)는, 미래의 외부 소리를 예측하고, 예측된 외부 소리에 기반하여, 출력될 소리를 가변적으로 조절할 수 있다.
실시 예에 있어서, 제어부(1300)는 미리 수신된 외부 소리에 기초하여, 미래의 외부 소리를 예측할 수 있다. 혹은 실시 예에 있어서, 제어부(1300)는 제어부(1300)가 미리 획득한 정보에 기초하여, 미래의 외부 소리를 예측할 수 있다. 예를 들어, 제어부(1300)는 현재 디바이스(1000)가 재생 중인 멀티미디어에 관한 정보에 기초하여, 미래에 디바이스(1000)가 출력할 소리를 판별할 수 있다.
제어부(1300)는 예측된 외부 소리에 기반하여, 디바이스(1000)로부터 출력될 소리를 가변적으로 조절할 수 있다. 실시 예에 있어서, 제어부(1300)는 예측된 외부 소리와 출력될 소리가, 주파수 영역 혹은 시간 영역 중 적어도 하나에서 분리되도록, 출력될 소리를 가변적으로 조절할 수 있다.
이때, 제어부(1300)는, 출력될 소리를 조절하기 위하여 이용되는 필터의 특성을, 시간 변화에 따라 가변적으로 조절할 수 있다. 예를 들어, 제어부(1300)는 시간 변화에 따라 지속적으로 외부 소리를 예측하면서, 갱신되는 예측 결과에 기초하여 지속적으로 새로이 필터를 판별할 수 있다.
센싱부(1400)는, 디바이스(1000)의 상태 또는 디바이스(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 디바이스(1000)와 HMD 장치 또는 디바이스(1000)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
또한, 통신부(1500)는, 컨텍스트 정보를 이용하기 위한 정보를, HMD 장치, 서버 및 주변 기기와 송수신할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 혹은 화상 프레임은 제어부(1300)의 음성 활성 조건 및 음성 비활성 조건 판별 동작에 이용될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부 소리를 수신한다. 마이크로폰(1620)이 수신하는 외부 소리는 음성 입력을 포함할 수 있다. 또한 마이크로폰(1620)은 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 음성 입력을 포함하는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디바이스(1000)로 입력되거나 디바이스(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 디바이스(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 디바이스(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 19는 일부 실시예에 따른 프로세서(1300)의 블록도이다.
도 19를 참조하면, 일부 실시예에 따른 프로세서(1300)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
실시 형태에 따라 데이터 학습부(1310)의 적어도 일부 및 데이터 인식부(1320)의 적어도 일부는 소프트웨어 모듈로 구현되거나 또는 하드웨어 칩 형태로 제작되어 디바이스에 탑재될 수 있다.
데이터 학습부(1310)는 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나를 판단하기 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나를 판별하기 위하여, 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다. 또한, 데이터 학습부(1310)는 제공되는 데이터를 이용하여 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나를 판단하기 위한 기준을 어떻게 결정할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나에 관한 기준을 학습할 수 있다.
데이터 학습부(1310)는 도 1 내지 도 10에서의 디바이스가 이용하는 학습 모델들의 기능을 제공할 수 있으며, 1개 이상의 데이터 학습부(1310)에 의해 도 1 내지 도 16에서의 디바이스가 이용하는 학습 모델들의 기능이 구현될 수 있다.
데이터 인식부(1320)는 데이터에 기초하여 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용할 수 있다. 또한, 데이터 인식부(1320)는 이를 이용함으로써, 소정의 데이터에 기초한 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 디바이스(1000)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 디바이스(1000)에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 머신러닝과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 디바이스에 탑재될 수도 있으며, 또는 별개의 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 디바이스에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 20은 일부 실시예에 따른 데이터 학습부(1310)의 블록도이다.
도 20을 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.
데이터 획득부(1310-1)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는, 예를 들어, 소정의 사용자 음성 혹은 음악에 관한 정보를 획득할 수 있다.
전처리부(1310-2)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1310-4)는 학습 데이터에 기초하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1310-4)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 데이터 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 데이터 인식 모델에는, 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델 들이 포함될 수 있으며, 전술한 예에 특별히 한정되지는 않는다.
다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도없이 상황 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 상황 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 동영상 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 21은 일부 실시예에 따른 데이터 인식부(1320)의 블록도이다.
도 21을 참조하면, 일부 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.
데이터 획득부(1320-1)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위해 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에게 제공될 수 있다. 인식 데이터 선택부(1320-3)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 22는 일부 실시예에 따른 디바이스(1000) 및 서버(2000)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 22를 참조하면, 서버(2000)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 기준을 학습할 수 있으며, 디바이스(1000)는 서버(2000)에 의한 학습 결과에 기초하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다.
이 경우, 서버(2000)의 모델 학습부(2340)는 도 29에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위하여 어떤 데이터를 이용할 지에 관한 기준을 학습할 수 있다. 또한, 서버의 모델 학습부(2340)는 데이터를 이용하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 기준을 학습할 수 있다.
또한, 디바이스(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에게 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행하기 위한 정보를 서버(2000)로부터 수신할 수 있다.
또는, 디바이스(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다. 이 경우, 디바이스(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 소정의 데이터로부터 사용자의 음성 모델, 음성 입력의 내용 및 입력된 음악의 식별 중 적어도 하나의 동작을 수행할 수 있다.
또한, 디바이스(1000) 및 서버(2000)는 데이터 인식 모델의 학습 및 데이터 인식을 위한 작업을 효과적으로 분배하여 수행할 수 있으며, 이를 통하여, 사용자의 의도에 부합하는 서비스를 제공하기 위하여 데이터 처리를 효율적으로 수행하고, 사용자의 프라이버시를 효과적으로 보호할 수 있다.
일부 실시예는 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어들을 포함하는 S/W 프로그램으로 구현될 수 있다.
예로, 컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 디바이스 또는 디바이스와 통신 연결된 외부의 서버를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal), 전류(current)를 포함하지 않으며, 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예로, 비일시적 저장 매체는 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 내장 메모리, 메모리 카드, ROM 또는 RAM 등과 같은 비일시적 판독가능 저장매체뿐만 아니라 레지스터, 캐쉬, 버퍼 등과 같이 임시적으로 저장되는 매체를 포함할 수 있다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)으로 제공될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체 또는 판매자 및 구매자 간에 거래되는 상품을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램 제품은 디바이스 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.

Claims (15)

  1. 소리를 출력하는 디바이스에 있어서:
    상기 소리를 출력하는 스피커;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스트럭션을 실행하는 프로세서;
    를 포함하며,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 외부 환경으로부터 수신될 외부 소리를 예측하고, 상기 예측된 외부 소리에 기반하여 상기 스피커로부터 출력될 소리를 가변적으로 조절하며, 상기 조절된 소리가 출력되도록 상기 스피커를 제어하는, 디바이스.
  2. 제 1항에 있어서,
    상기 프로세서는 상기 예측된 외부 소리와, 상기 출력될 소리의 적어도 한 부분을, 주파수 및 시간 중 적어도 하나의 대역에서 분리하여, 상기 출력될 소리를 가변적으로 조절하는 디바이스.
  3. 제 2항에 있어서,
    상기 프로세서는 상기 출력될 소리를 필터링하기 위한 적어도 하나의 주파수 대역을 설정하고, 상기 적어도 하나의 주파수 대역에 기초하여 필터링된 소리가 출력되도록 상기 스피커를 제어하되, 상기 적어도 하나의 주파수 대역은 시간 대역에서 동적으로 조절되는, 디바이스.
  4. 제 3항에 있어서,
    상기 프로세서는 상기 적어도 하나의 주파수 대역의 수를 설정하고, 상기 적어도 하나의 주파수 대역의 폭 및 중심 주파수 중 적어도 하나를 설정하여, 상기 출력될 소리를 필터링하기 위한 적어도 하나의 주파수 대역을 설정하는, 디바이스.
  5. 제 2항에 있어서,
    상기 출력될 소리는 적어도 하나의 악기 컴포넌트를 포함하는 음악 소리를 포함하며, 상기 프로세서는 상기 적어도 하나의 악기 컴포넌트 중 적어도 하나의 악기 컴포넌트를 주파수 및 시간 중 적어도 하나의 대역에서 조절하는, 디바이스.
  6. 제 1항에 있어서,
    상기 예측된 외부 소리는 사용자가 발성할 제 1 음성을 포함하며,
    상기 프로세서는 상기 사용자가 발성한 제 2 음성을 획득하고, 상기 획득한 제 2 음성에 기초하여 상기 제 1 음성을 예측하는, 디바이스.
  7. 제 1항에 있어서,
    상기 예측된 외부 소리는 제 1 음악 소리를 포함하며,
    상기 프로세서는 상기 외부 환경으로부터 제 2 음악 소리를 획득하고, 상기 제 2 음악 소리에 기초하여, 상기 제 2 음악 소리가 포함되는 이미 발행된 음악을 식별하며, 상기 식별된 음악에 기초하여 상기 제 1 음악 소리를 예측하는, 디바이스.
  8. 제 7항에 있어서,
    상기 프로세서는 적어도 하나의 음악에 관한 정보를 포함하는 데이터베이스를 획득하고, 상기 데이터베이스에 포함된 적어도 하나의 음악에 관한 정보와 상기 획득한 제 2 음악 소리를 매칭하며, 상기 매칭 결과에 기초하여 상기 발행된 음악을 식별하는, 디바이스.
  9. 제 1항에 있어서,
    상기 스피커로부터 출력될 소리는 음성 소리 및 음악 소리를 포함하고,
    상기 프로세서는 상기 예측된 외부 소리, 상기 음성 소리 및 상기 음악 소리의 적어도 한 부분을, 주파수 및 시간 중 적어도 하나의 대역에서 분리하는, 디바이스.
  10. 제 9항에 있어서,
    상기 프로세서는, 상기 음성 소리 및 상기 음악 소리에 서로 다른 필터를 적용하여, 상기 예측된 외부 소리, 상기 음성 소리 및 상기 음악 소리의 적어도 한 부분을, 주파수 및 시간 중 적어도 하나의 대역에서 분리하는, 디바이스.
  11. 디바이스를 이용하여 소리를 출력하는 방법에 있어서:
    외부 환경으로부터 수신되는 외부 소리를 예측하는 단계;
    상기 예측된 외부 소리에 기반하여 상기 디바이스로부터 출력될 소리를 가변적으로 조절하는 단계; 및
    상기 조절된 소리를 출력하는 단계를 포함하는, 소리 출력 방법.
  12. 제 11항에 있어서,
    상기 예측된 외부 소리에 기반하여 상기 출력될 소리를 가변적으로 조절하는 단계는
    상기 예측된 외부 소리와, 상기 출력될 소리의 적어도 한 부분을, 주파수 및 시간 중 적어도 하나의 대역에서 분리하는 단계인 소리 출력 방법.
  13. 제 12항에 있어서,
    상기 예측된 외부 소리와, 상기 출력될 소리의 적어도 한 부분을, 주파수 및 시간 중 적어도 하나의 대역에서 분리하는 단계는
    상기 출력될 소리를 필터링하기 위한 적어도 하나의 주파수 대역을 설정하는 단계; 및
    상기 적어도 하나의 주파수 대역에 기초하여 필터링된 소리를 출력하는 단계를 포함하며,
    상기 적어도 하나의 주파수 대역은 시간 대역에서 동적으로 조절되는 소리 출력 방법.
  14. 제 13항에 있어서,
    상기 출력될 소리를 필터링하기 위한 적어도 하나의 주파수 대역을 설정하는 단계는,
    상기 적어도 하나의 주파수 대역의 수를 설정하는 단계; 및
    상기 적어도 하나의 주파수 대역의 폭 및 중심 주파수 중 적어도 하나를 설정하는 단계를 포함하는 소리 출력 방법.
  15. 제 12항에 있어서,
    상기 출력될 소리는 적어도 하나의 악기 컴포넌트를 포함하는 음악 소리를 포함하고, 상기 예측된 외부 소리와, 상기 출력될 소리의 적어도 한 부분을, 주파수 및 시간 중 적어도 하나의 대역에서 분리하는 단계는
    상기 적어도 하나의 악기 컴포넌트 중 적어도 하나의 악기 컴포넌트를 주파수 및 시간 중 적어도 하나의 대역에서 조절하는 단계를 포함하는 소리 출력 방법.
PCT/KR2019/007871 2018-07-03 2019-06-28 소리를 출력하는 디바이스 및 그 방법 Ceased WO2020009378A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19829897.8A EP3806488A4 (en) 2018-07-03 2019-06-28 SOUND OUTPUT DEVICE AND METHOD THEREOF
CN201980044603.2A CN112369044B (zh) 2018-07-03 2019-06-28 用于输出声音的设备及其方法
US17/255,077 US11710495B2 (en) 2018-07-03 2019-06-28 Device for outputting sound and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180077318A KR102544250B1 (ko) 2018-07-03 2018-07-03 소리를 출력하는 디바이스 및 그 방법
KR10-2018-0077318 2018-07-03

Publications (1)

Publication Number Publication Date
WO2020009378A1 true WO2020009378A1 (ko) 2020-01-09

Family

ID=69060096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007871 Ceased WO2020009378A1 (ko) 2018-07-03 2019-06-28 소리를 출력하는 디바이스 및 그 방법

Country Status (5)

Country Link
US (1) US11710495B2 (ko)
EP (1) EP3806488A4 (ko)
KR (1) KR102544250B1 (ko)
CN (1) CN112369044B (ko)
WO (1) WO2020009378A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355713B1 (ko) * 2020-01-20 2022-01-28 주식회사 원더풀플랫폼 인공지능형 멀티미디어장치 제어 방법 및 시스템
US11848019B2 (en) * 2021-06-16 2023-12-19 Hewlett-Packard Development Company, L.P. Private speech filterings
CN115842983B (zh) * 2021-09-18 2026-02-27 财团法人成大研究发展基金会 语音活动侦测系统及其声音特征撷取电路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102142A1 (en) * 2001-02-13 2005-05-12 Frederic Soufflet Method, module, device and server for voice recognition
JP2006171077A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 音声認識装置および音声認識方法
JP3982823B2 (ja) * 2004-01-08 2007-09-26 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
KR20090094576A (ko) * 2008-03-03 2009-09-08 옥종석 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법
KR20180070970A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 음성 인식 방법 및 장치

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1756539A1 (en) 2004-06-04 2007-02-28 Philips Intellectual Property & Standards GmbH Performance prediction for an interactive speech recognition system
GB2445984B (en) * 2007-01-25 2011-12-07 Sonaptic Ltd Ambient noise reduction
US8611554B2 (en) * 2008-04-22 2013-12-17 Bose Corporation Hearing assistance apparatus
JP4591557B2 (ja) 2008-06-16 2010-12-01 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
US8484573B1 (en) 2012-05-23 2013-07-09 Google Inc. Predictive virtual keyboard
US9251787B1 (en) * 2012-09-26 2016-02-02 Amazon Technologies, Inc. Altering audio to improve automatic speech recognition
US9319019B2 (en) * 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
EP2787502B1 (en) * 2013-04-05 2021-03-10 BlackBerry Limited Active noise equalization
US9515629B2 (en) * 2013-05-16 2016-12-06 Apple Inc. Adaptive audio equalization for personal listening devices
US9324322B1 (en) 2013-06-18 2016-04-26 Amazon Technologies, Inc. Automatic volume attenuation for speech enabled devices
US9286897B2 (en) 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
US10720153B2 (en) 2013-12-13 2020-07-21 Harman International Industries, Incorporated Name-sensitive listening device
WO2015092943A1 (en) * 2013-12-17 2015-06-25 Sony Corporation Electronic devices and methods for compensating for environmental noise in text-to-speech applications
US9466310B2 (en) * 2013-12-20 2016-10-11 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Compensating for identifiable background content in a speech recognition device
WO2015124211A1 (en) * 2014-02-24 2015-08-27 Widex A/S Hearing aid with assisted noise suppression
US9326087B2 (en) * 2014-03-11 2016-04-26 GM Global Technology Operations LLC Sound augmentation system performance health monitoring
US9779752B2 (en) * 2014-10-31 2017-10-03 At&T Intellectual Property I, L.P. Acoustic enhancement by leveraging metadata to mitigate the impact of noisy environments
US9633661B1 (en) 2015-02-02 2017-04-25 Amazon Technologies, Inc. Speech-responsive portable speaker
US9412356B1 (en) * 2015-02-09 2016-08-09 Doppler Labs, Inc. Apparatus and method for non-occluded active noise shaping
US10147442B1 (en) * 2015-09-29 2018-12-04 Amazon Technologies, Inc. Robust neural network acoustic model with side task prediction of reference signals
CN108370457B (zh) * 2015-11-13 2021-05-28 杜比实验室特许公司 个人音频系统、声音处理系统及相关方法
US20170148466A1 (en) * 2015-11-25 2017-05-25 Tim Jackson Method and system for reducing background sounds in a noisy environment
US10468053B2 (en) * 2015-12-04 2019-11-05 Chromera, Inc. Verifying messages projected from an intelligent audible device
US20170213550A1 (en) * 2016-01-25 2017-07-27 Hyundai America Technical Center, Inc Adaptive dual collaborative kalman filtering for vehicular audio enhancement
CN107547983B (zh) * 2016-06-27 2021-04-27 奥迪康有限公司 用于提高目标声音的可分离性的方法和听力装置
US10224017B2 (en) * 2017-04-26 2019-03-05 Ford Global Technologies, Llc Active sound desensitization to tonal noise in a vehicle
US10157627B1 (en) * 2017-06-02 2018-12-18 Bose Corporation Dynamic spectral filtering
WO2019010250A1 (en) * 2017-07-05 2019-01-10 Interactions Llc REAL-TIME CONFIDENTIALITY FILTER
US10832658B2 (en) * 2017-11-15 2020-11-10 International Business Machines Corporation Quantized dialog language model for dialog systems
WO2019133765A1 (en) * 2017-12-28 2019-07-04 Knowles Electronics, Llc Direction of arrival estimation for multiple audio content streams
WO2019133732A1 (en) * 2017-12-28 2019-07-04 Knowles Electronics, Llc Content-based audio stream separation
US10885907B2 (en) * 2018-02-14 2021-01-05 Cirrus Logic, Inc. Noise reduction system and method for audio device with multiple microphones
US10606549B2 (en) * 2018-05-07 2020-03-31 Spotify Ab Automated low power mode based upon aspects associated with vehicle
US10978059B2 (en) * 2018-09-25 2021-04-13 Google Llc Speaker diarization using speaker embedding(s) and trained generative model
EP3980994B1 (en) * 2019-06-05 2025-11-19 Harman International Industries, Incorporated Sound modification based on frequency composition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102142A1 (en) * 2001-02-13 2005-05-12 Frederic Soufflet Method, module, device and server for voice recognition
JP3982823B2 (ja) * 2004-01-08 2007-09-26 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
JP2006171077A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 音声認識装置および音声認識方法
KR20090094576A (ko) * 2008-03-03 2009-09-08 옥종석 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법
KR20180070970A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 음성 인식 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3806488A4 *

Also Published As

Publication number Publication date
CN112369044A (zh) 2021-02-12
KR102544250B1 (ko) 2023-06-16
EP3806488A1 (en) 2021-04-14
US11710495B2 (en) 2023-07-25
US20210264932A1 (en) 2021-08-26
CN112369044B (zh) 2023-05-02
KR20200004198A (ko) 2020-01-13
EP3806488A4 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
WO2018117428A1 (en) Method and apparatus for filtering video
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019194451A1 (ko) 인공지능을 이용한 음성 대화 분석 방법 및 장치
WO2018124620A1 (en) Method and device for transmitting and receiving audio data
WO2020122677A1 (en) Method of performing function of electronic device and electronic device using same
WO2019164120A1 (ko) 전자 장치 및 그 제어 방법
WO2019182265A1 (ko) 인공 지능 기기 및 그의 동작 방법
WO2020096218A1 (en) Electronic device and operation method thereof
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2018074895A1 (en) Device and method for providing recommended words for character input
EP3891729A1 (en) Method and apparatus for performing speech recognition with wake on voice
WO2019124963A1 (ko) 음성 인식 장치 및 방법
WO2020071858A1 (en) Electronic apparatus and assistant service providing method thereof
EP3533052A1 (en) Speech recognition method and apparatus
WO2020116993A1 (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
EP3545685A1 (en) Method and apparatus for filtering video
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
EP3847641A1 (en) Electronic device and system which provides service based on voice recognition
WO2020141641A1 (ko) 수면 유도 장치
WO2020145524A1 (ko) 전자 장치 및 이를 이용하는 어시스턴트 서비스를 제공하는 방법
WO2020009378A1 (ko) 소리를 출력하는 디바이스 및 그 방법
WO2019245331A1 (ko) 텍스트 입력 디바이스 및 그 방법
WO2022211590A1 (en) Electronic device for processing user utterance and controlling method thereof
WO2020076086A1 (en) System for processing user utterance and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829897

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019829897

Country of ref document: EP

Effective date: 20210106