WO2022039310A1 - 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법 - Google Patents

복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법 Download PDF

Info

Publication number
WO2022039310A1
WO2022039310A1 PCT/KR2020/011206 KR2020011206W WO2022039310A1 WO 2022039310 A1 WO2022039310 A1 WO 2022039310A1 KR 2020011206 W KR2020011206 W KR 2020011206W WO 2022039310 A1 WO2022039310 A1 WO 2022039310A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
information
channel
devices
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/011206
Other languages
English (en)
French (fr)
Inventor
정성원
최택성
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020227001471A priority Critical patent/KR102789967B1/ko
Priority to PCT/KR2020/011206 priority patent/WO2022039310A1/ko
Priority to CN202080082493.1A priority patent/CN114747196B/zh
Priority to EP20950391.1A priority patent/EP4203446A4/en
Priority to US17/641,747 priority patent/US12081964B2/en
Publication of WO2022039310A1 publication Critical patent/WO2022039310A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Definitions

  • the present disclosure relates to a terminal and method for outputting multi-channel audio using a plurality of audio devices.
  • the existing multi-channel audio system consists of audio devices whose output channels are determined in advance, and an expert's help is needed to arrange the audio devices for correct output of five-channel audio. Therefore, even if a user has a plurality of audio devices constituting a multi-channel audio system, there is a great difficulty in installing it at a suitable location.
  • a multi-channel audio system can be built by combining mono-channel audio devices or stereo channel audio devices provided in the home, it is possible to provide high-satisfaction audio to the user at a low cost.
  • An object of the present disclosure is to provide a terminal for outputting multi-channel audio using a plurality of audio devices and a method therefor.
  • Another object of the present disclosure is to provide a terminal and a method for providing a suitable arrangement position of a plurality of audio devices constituting a multi-channel audio system.
  • An embodiment of the present disclosure provides a terminal for outputting multi-channel audio using a plurality of audio devices, comprising: a camera; a communication unit connected to a plurality of first audio devices; and obtaining device information on the plurality of first audio devices through the communication unit or the camera, and including at least two or more second audio devices among the plurality of first audio devices in consideration of the device information. and a processor that configures a channel audio system and outputs audio data through the second audio devices based on audio system information corresponding to the multi-channel audio system.
  • the device information may include audio channel information and volume level information for each of the plurality of first audio devices.
  • the processor obtains first image data including the first audio device through the camera, specifies the first audio device included in the first image data, and corresponds to the specified first audio device.
  • Device information can be obtained.
  • the audio system information may include audio channel information of the multi-channel audio system, audio channel allocation information for the second audio devices, volume level information, and arrangement location information.
  • the processor may acquire second image data for a listening space of the multi-channel audio system through the camera, and determine the arrangement position information based on the second image data.
  • the processor obtains first image data including the first audio device through the camera, specifies the first audio device included in the first image data, and corresponds to the specified first audio device.
  • Device information can be obtained.
  • the audio system information may include audio channel information of the multi-channel audio system, audio channel allocation information for the second audio devices, volume level information, and arrangement location information.
  • the processor may acquire second image data for a listening space of the multi-channel audio system through the camera, and determine the arrangement position information based on the second image data.
  • the terminal may further include an input unit, and the processor may obtain the listening position information in the second image data from the user through the input unit, and determine the arrangement position information based on the listening position information.
  • the terminal may further include a display unit, and the processor may output the arrangement location information for the second audio devices through the display unit.
  • the processor may upmix the audio data and output the upmixed audio data through the second audio devices.
  • the communication unit may receive the upmixed audio data corresponding to the audio data from the upmixing server.
  • the processor may determine a sound effect based on an audio characteristic of the audio data, and output the audio data through the second audio devices by reflecting the sound effect.
  • the sound effect may include at least one of an equalizer and a stereophonic sound.
  • the processor may analyze the audio characteristic corresponding to the audio data by using an audio analysis model composed of an artificial neural network.
  • an embodiment of the present disclosure provides a method of outputting multi-channel audio using a plurality of audio devices, the method comprising: connecting to a plurality of first audio devices through a communication unit; acquiring device information on the plurality of first audio devices through the communication unit or the camera; configuring a multi-channel audio system including at least two second audio devices from among the plurality of first audio devices in consideration of the device information; and outputting audio data through the second audio devices based on audio system information corresponding to the multi-channel audio system.
  • an embodiment of the present disclosure provides a recording medium recording a method of outputting multi-channel audio using a plurality of audio devices, the method comprising: connecting to a plurality of first audio devices through a communication unit; acquiring device information on the plurality of first audio devices through the communication unit or the camera; configuring a multi-channel audio system including at least two second audio devices from among the plurality of first audio devices in consideration of the device information; and outputting audio data through the second audio devices based on audio system information corresponding to the multi-channel audio system.
  • a multi-channel audio system not supported by an individual audio device may be configured by combining a plurality of audio devices.
  • upmixed audio data may be output through an audio device that does not support upmixing.
  • audio data may be output by applying a sound effect suitable for audio characteristics of the audio data.
  • FIG. 1 is a diagram illustrating a multi-channel audio output system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a terminal 1 that outputs multi-channel audio using a plurality of audio devices according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an audio device according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of outputting multi-channel audio using a plurality of audio devices according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of acquiring device information of an audio device using a camera of a terminal.
  • FIG. 6 is a flowchart illustrating an example of a step of configuring the multi-channel audio system shown in FIG. 4 .
  • FIG. 7 is a diagram illustrating an example of outputting audio system information from a terminal.
  • FIG. 8 is a flowchart illustrating an example of outputting audio data through the multi-channel audio system illustrated in FIG. 4 .
  • FIG. 9 is a diagram illustrating an example of upmixing audio data.
  • FIG. 10 is a flowchart illustrating an example of outputting audio data through the multi-channel audio system illustrated in FIG. 4 .
  • 11 and 12 are diagrams illustrating a multi-channel audio output system according to embodiments of the present disclosure.
  • the terminal 100 is a TV, a projector, a mobile phone, a smart phone, a desktop computer, a notebook computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation system, a tablet PC, a wearable device, a set-top box (STB) , a DMB receiver, a radio, a washing machine, a refrigerator, a digital signage, a robot, a vehicle, etc., may be implemented as a fixed device or a movable device.
  • FIG. 1 is a diagram illustrating a multi-channel audio output system 1 according to an embodiment of the present disclosure.
  • a multi-channel audio output system 1 may include a terminal 100 , a plurality of audio devices 200 , an upmixing server 300 , and a content provider 400 .
  • the terminal 100 may refer to a device that connects to the audio device 200 using a wireless communication technology, outputs a sound through the audio device 200 , and controls the audio device 200 .
  • the terminal 100 provides an audio signal or audio data to the audio device 200
  • the terminal 100 may be viewed as an audio signal providing apparatus or an audio data providing apparatus.
  • the terminal 100 may output multi-channel audio through the plurality of audio devices 200 .
  • the terminal 100 may output multi-channel audio by transmitting audio signals of different channels to each audio device 200 .
  • the audio devices 200 that output multi-channel audio may be referred to as one multi-channel audio system. That is, the plurality of audio devices 200 may operate as one audio system, and such an audio system may operate as one audio device including a plurality of sound output units. For example, even if the two audio devices 200 each include only one sound output unit, one of the two audio devices 200 outputs a left channel sound corresponding to a left channel audio signal, and the other audio device 200 outputs a right channel sound. A right channel sound corresponding to the audio signal may be output, and accordingly, the two audio devices 200 may operate as one stereo audio device.
  • the terminal 100 may transmit and receive a pairing signal, a positioning signal, an audio signal, and the like, with the audio device 200 using a wireless communication technology.
  • the pairing signal may mean a signal transmitted and received to connect the audio device 200 to the terminal 100 .
  • the positioning signal may mean a signal transmitted and received to measure a relative position between the terminal 100 and the audio device 200 .
  • the audio signal may mean a signal transmitted by the terminal 100 to the audio device 200 to output audio through the audio device 200 .
  • the terminal 100 may receive content data including audio data from the content provider 400 using wired/wireless communication technology, and transmit audio data corresponding to the received audio data to the audio device 200 .
  • the terminal 100 may transmit audio data corresponding to the audio data stored in the memory 170 to the audio device 200 .
  • the audio device 200 may be connected to the terminal 100 using a wireless communication technology, and may output audio based on audio data received from the terminal 100 .
  • the audio device 200 may include at least one sound output unit or speaker.
  • the audio device 200 may include one or more sound output units 340 , and may output audio of the same channel or audio of different channels through each of the sound output units 340 .
  • the audio device 200 may include two sound output units, such as headphones or neckband type earphones. In this case, the audio device 200 outputs the left channel audio and the right channel audio through each sound output unit.
  • one wireless acoustic device may function as a master wireless acoustic device, and the other wireless acoustic devices may function as a slave wireless acoustic device.
  • the terminal 100 may connect to a slave wireless acoustic device through the master wireless acoustic device and output sound from the slave acoustic device.
  • the terminal 100 when a plurality of audio devices 200 operate as a group, the terminal 100 connects to each audio device 200 and individually transmits audio data to each audio device 200 . Audio can be output.
  • an audio device connected to the terminal 100 may be referred to as a first audio device 200_1 , and an audio device constituting a multi-channel audio system among the first audio devices 200_1 is a second audio device It can be called (200_2). Since the second audio device 200_2 is also connected to the terminal 100 , the second audio device 200_2 is also the first audio device 200_1 .
  • the upmixing server 300 may up-mix audio data received from the terminal 100 using a wired/wireless communication technology, and provide the upmixed audio data to the terminal 100 .
  • Upmixing or audio upmixing may refer to an operation of expanding the number of channels of audio data.
  • the upmixing server 300 may receive 2-channel audio data from the terminal 100 , upmix the received audio data into 5.1-channel audio data, and transmit it to the terminal 100 .
  • the upmixing server 300 may be configured as a single server, or may be configured as a server cluster including a plurality of servers or a cloud server.
  • the content provider 400 may provide video content data or audio content data to the terminal 100 using wired/wireless communication technology.
  • the video content or audio content data may include audio data.
  • the content provider 400 may refer to various content providing devices such as a radio base station, a terrestrial base station, a broadcast satellite, and a content data server.
  • FIG. 2 is a block diagram illustrating a terminal 100 that outputs multi-channel audio using a plurality of audio devices according to an embodiment of the present disclosure.
  • the terminal 100 includes a communication unit 110 , an input unit 120 , a learning processor 130 , a sensing unit 140 , an output unit 150 , a memory 170 , and a processor 180 , etc. may include
  • the communication unit 110 may also be referred to as a communication modem or a communication circuit.
  • the communication unit 110 may transmit/receive data to and from external devices such as the audio device 200 using wired/wireless communication technology.
  • the communication unit 110 may transmit and receive sensor information, a user input, a learning model, a control signal, and the like with external devices.
  • the communication technology used by the communication unit 110 includes GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), There are Bluetooth (Bluetooth), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, NFC (Near Field Communication), and the like.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Bluetooth Bluetooth
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 120 may be referred to as an input interface.
  • the input unit 120 may acquire various types of data.
  • the input unit 120 may include a camera 121 for inputting an image signal, a microphone 122 for receiving an audio signal, a user input unit 123 for receiving information from a user, and the like.
  • a signal obtained from the camera 121 or the microphone 122 may be referred to as sensing data or sensor information.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the input unit 120 may acquire training data for model training and input data to be used when acquiring an output using the training model.
  • the input unit 120 may acquire raw input data, and in this case, the processor 180 or the learning processor 130 may extract an input feature by preprocessing the input data.
  • the camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a shooting mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170 .
  • the microphone 122 processes an external sound signal as electrical voice data.
  • the processed voice data may be utilized in various ways according to a function (or a running application program) being performed by the terminal 100 . Meanwhile, various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be applied to the microphone 122 .
  • the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123 , the processor 180 may control the operation of the terminal 100 to correspond to the input information. .
  • the user input unit 123 may include a mechanical input means (eg, a button located on the front/rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc.) and a touch input means.
  • a mechanical input means eg, a button located on the front/rear or side of the terminal 100, a dome switch, a jog wheel, a jog switch, etc.
  • a touch input means consists of a virtual key, a soft key, or a visual key displayed on the touch screen through software processing, or is disposed on a part other than the touch screen. It can be made of a touch key (touch key).
  • the learning processor 130 may train a model composed of an artificial neural network by using the training data.
  • the learned artificial neural network may be referred to as a learning model.
  • the learning model may be used to infer a result value with respect to new input data other than the training data, and the inferred value may be used as a basis for a decision to perform a certain operation.
  • the learning processor 130 may perform AI processing together with a learning processor (not shown) of an artificial intelligence server (not shown).
  • the learning processor 130 may include a memory integrated or implemented in the terminal 100 .
  • the learning processor 130 may be implemented using the memory 170 , an external memory directly coupled to the terminal 100 , or a memory maintained in an external device.
  • the sensing unit 140 may be referred to as a sensor unit or a sensor.
  • the sensing unit 140 may acquire at least one of internal information of the terminal 100 , information about the surrounding environment of the terminal 100 , and user information by using various sensors.
  • Sensors included in the sensing unit 140 include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, a lidar, and a radar. etc.
  • the output unit 150 may be referred to as an output interface.
  • the output unit 150 may generate an output related to sight, hearing, or touch.
  • the output unit 150 includes at least one of a display unit (Display Unit, 151), a sound output unit (Sound Output Unit, 152), a haptic module (Haptic Module, 153), and an optical output unit (Optical Output Unit, 154) can do.
  • the display unit 151 displays (outputs) information processed by the terminal 100 .
  • the display unit 151 may display information on an execution screen of an application program driven in the terminal 100 , or user interface (UI) and graphic user interface (GUI) information according to the information on the execution screen.
  • UI user interface
  • GUI graphic user interface
  • the display unit 151 may implement a touch screen by forming a layer structure with the touch sensor or being integrally formed. Such a touch screen may function as the user input unit 123 providing an input interface between the terminal 100 and the user, and may provide an output interface between the terminal 100 and the user.
  • the sound output unit 152 may output audio data received from the communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may include at least one of a receiver, a speaker, and a buzzer.
  • the haptic module 153 generates various tactile effects that a user can feel.
  • a representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the light output unit 154 outputs a signal for notifying the occurrence of an event by using the light of the light source of the terminal 100 .
  • Examples of the event generated in the terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the memory 170 may store data supporting various functions of the terminal 100 .
  • the memory 170 may store input data obtained from the input unit 120 , learning data, a learning model, a learning history, and the like.
  • the processor 180 may control the overall operation of the terminal 100 .
  • the image signal processed by the processor 180 may be input to the display unit 151 and displayed as an image corresponding to the image signal. Also, the image signal processed by the processor 180 may be input to an external output device through an external device interface unit (not shown).
  • the audio signal processed by the processor 180 may be output through the sound output unit 152 . Also, the audio signal processed by the processor 180 may be input to an external output device through an external device interface unit (not shown).
  • the processor 180 may determine at least one executable operation of the terminal 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. In addition, the processor 180 may perform the determined operation by controlling the components of the terminal 100 . To this end, the processor 180 may request, search, receive, or utilize the data of the learning processor 130 or the memory 170, and perform a predicted operation or an operation determined to be preferable among the at least one executable operation. It is possible to control the components of the terminal 100 to execute.
  • the processor 180 may generate a control signal for controlling the corresponding external device and transmit the generated control signal to the corresponding external device.
  • the processor 180 may obtain intention information with respect to a user input, and determine a user's requirement based on the obtained intention information.
  • the processor 180 uses at least one of a speech to text (STT) engine for converting a voice input into a string or a natural language processing (NLP) engine for obtaining intention information of a natural language, Corresponding intention information may be obtained.
  • STT speech to text
  • NLP natural language processing
  • At least one of the STT engine and the NLP engine may be configured as an artificial neural network, at least a part of which is learned according to a machine learning algorithm.
  • at least one or more of the STT engine or the NLP engine is learned by the learning processor 130, or learned by the learning processor (not shown) of the artificial intelligence server (not shown), or in their distributed processing may have been learned by
  • the processor 180 collects history information including user feedback on the operation contents or operation of the terminal 100 and stores it in the memory 170 or the learning processor 130, or an artificial intelligence server (not shown), etc. can be transmitted to an external device.
  • the collected historical information may be used to update the learning model.
  • the processor 180 may control at least some of the components of the terminal 100 in order to drive an application program stored in the memory 170 . Furthermore, the processor 180 may operate by combining two or more of the components included in the terminal 100 to drive the application program.
  • the terminal 100 illustrated in FIG. 1 is merely an embodiment of the present disclosure, and some of the illustrated components may be integrated, added, or omitted according to the specifications of the terminal 100 that are actually implemented. .
  • two or more components of the terminal 100 may be combined into one component, or one component may be subdivided into two or more components.
  • the function performed by each block is for describing an embodiment of the present disclosure, and the specific operation or device does not limit the scope of the present disclosure.
  • FIG. 3 is a block diagram illustrating an audio device 200 according to an embodiment of the present disclosure.
  • the audio device 200 may include a communication unit 210 , an input unit 220 , an output unit 250 , a memory 270 , and a processor 280 .
  • the communication unit 210 may also be referred to as a communication modem or a communication circuit.
  • the communication unit 210 may transmit/receive data to and from external devices such as the terminal 100 using wired/wireless communication technology.
  • the communication unit 110 may transmit and receive sensor information, a user input, a learning model, a control signal, and the like with external devices.
  • the communication technology used by the communication unit 210 includes GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), There are Bluetooth (Bluetooth), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, NFC (Near Field Communication), and the like.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Bluetooth Bluetooth
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the communication unit 210 may receive an FM radio signal or an AM radio signal from a radio base station.
  • the input unit 220 may be referred to as an input interface.
  • the input unit 220 may include a microphone 222 for receiving an audio signal, a user input unit 223 for receiving information from a user, and the like.
  • a signal obtained from the microphone 222 may be referred to as sensing data or sensor information.
  • the voice data or image data collected by the input unit 220 may be analyzed and processed as a user's control command.
  • the microphone 222 processes an external sound signal as electrical voice data.
  • the processed voice data may be utilized in various ways according to a function (or a running application program) being performed by the terminal 200 . Meanwhile, various noise removal algorithms for removing noise generated in the process of receiving an external sound signal may be applied to the microphone 222 .
  • the user input unit 223 is for receiving information from a user, and when information is input through the user input unit 223 , the processor 280 may control the operation of the terminal 200 to correspond to the input information. .
  • the user input unit 223 may include a mechanical input means (eg, a button positioned on the front/rear or side of the terminal 200, a dome switch, a jog wheel, a jog switch, etc.) and a touch input means.
  • a mechanical input means eg, a button positioned on the front/rear or side of the terminal 200, a dome switch, a jog wheel, a jog switch, etc.
  • a touch input means consists of a virtual key, a soft key, or a visual key displayed on the touch screen through software processing, or is disposed on a part other than the touch screen. It can be made of a touch key (touch key).
  • the output unit 250 may be referred to as an output interface.
  • the output unit 250 may generate an output related to sight, hearing, or touch.
  • the output unit 250 includes at least one of a display unit (Display Unit, 151), a sound output unit (Sound Output Unit, 152), a haptic module (Haptic Module, 153), and an optical output unit (Optical Output Unit, 154). can do.
  • the display unit 251 displays (outputs) information processed by the terminal 200 .
  • the display unit 251 may display execution screen information of an application program driven in the terminal 200 or UI (User Interface) and GUI (Graphic User Interface) information according to the execution screen information.
  • UI User Interface
  • GUI Graphic User Interface
  • the display unit 251 may implement a touch screen by forming a mutually layered structure or integrally formed with the touch sensor.
  • a touch screen may function as the user input unit 223 providing an input interface between the terminal 200 and the user, and may provide an output interface between the terminal 200 and the user.
  • the sound output unit 252 may output audio data received from the communication unit 210 or stored in the memory 270 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 252 may include at least one of a receiver, a speaker, and a buzzer.
  • the sound output unit 252 may include a diaphragm, an acoustic coil, and a permanent magnet that forms a magnetic field around the acoustic coil.
  • a diaphragm When power is applied to the acoustic coil, electromagnetic force is generated within the magnetic field formed by the permanent magnet to move the acoustic coil, and the diaphragm vibrates according to the movement of the acoustic coil to output sound.
  • the memory 270 may store data supporting various functions of the audio device 200 .
  • the memory 270 may store input data acquired from the input unit 220 , audio data received from the terminal 100 , and the like.
  • the processor 280 may control the overall operation of the audio device 200 .
  • FIG. 4 is a flowchart illustrating a method of outputting multi-channel audio using a plurality of audio devices according to an embodiment of the present disclosure.
  • the processor 180 of the terminal 100 connects to the plurality of first audio devices 200_1 through the communication unit 110 ( S401 ).
  • the audio devices 200 connected to the terminal 100 are referred to as a first audio device 200_1
  • the above-described step S401 is performed by the processor 180 of the terminal 100 through the communication unit 110 . It can be treated the same as connecting to a plurality of audio devices 200 .
  • the terminal 100 and the first audio devices 200_1 may be connected by pairing with each other.
  • the first audio devices 200_1 transmit a pairing request signal (or a connection request signal), and the terminal 100 scans the devices transmitting the pairing request signal to transmit a pairing request signal to the first audio device.
  • a connection can be established with the ones 200_1.
  • the processor 180 of the terminal 100 obtains device information on the plurality of first audio devices 200_1 through the communication unit 110 or the camera 121 ( S403 ).
  • the processor 180 may receive device information on the first audio device 200_1 from the first audio device 200_1 through the communication unit 110 .
  • the terminal 100 may receive device information from the already connected first audio device 200_1 or from the first audio device 200_1 that transmits a connection request signal to establish a connection.
  • the processor 180 acquires first image data including the first audio device 200_1 through the camera 121 , specifies the first audio device 200_1 included in the first image data, and Device information on the first audio device 200_1 may be acquired.
  • the processor 180 may specify the first audio device 200_1 from the first image data using the object recognition model, and the first audio device 200_1 identified through the Internet or an external server (not shown). ) for device information can be received.
  • the device information may include a device name, a device model name, a device serial number, audio channel information, sound level information, equalizer information, and the like.
  • the audio channel information may mean the number of audio channels outputable by the audio device 200 and configuration information of the audio channels.
  • the processor 180 may essentially acquire audio channel information on the first audio device 200_1 .
  • the step of obtaining device information on the first audio devices 200_1 ( S403 ) is performed after the step of connecting with the first audio devices 200_1 ( S401 ) is performed.
  • the present disclosure is not limited thereto. That is, according to an embodiment, the step of connecting the terminal 100 to the first audio devices 200_1 ( S401 ) and the step of obtaining device information about the first audio devices 200_1 ( S403 ) may be simultaneously performed. Alternatively, it may be performed in the reverse order.
  • the processor 180 of the terminal 100 configures a multi-channel audio system including at least two or more second audio devices 200_2 among the plurality of first audio devices 200_1 in consideration of device information ( S405).
  • the processor 180 recognizes an audio channel of each of the first audio devices 200_1 in consideration of device information on the plurality of connected first audio devices 200_1, and based on this, the plurality of first audio devices 200_1 ( A multi-channel audio system including at least two or more second audio devices 200_2 among 200_1) may be configured.
  • the processor 180 may generate audio system information while configuring a multi-channel audio system, and the audio system information includes audio channel information of the multi-channel audio system, audio channel allocation information for each of the second audio devices 200_2, It may include volume level information, arrangement location information, and the like.
  • the processor 180 may output audio system information about the configured multi-channel audio system through the output unit 150 .
  • the processor 180 configures the second audio devices 200_2 constituting the multi-channel audio system, audio channel allocation information for each of the second audio devices 200_2, and each of the second audio devices 200_2 based on the audio system information. Volume level information for 200_2 ) or arrangement location information for each of the second audio devices 200_2 may be output.
  • the processor 180 outputs arrangement location information for each of the second audio devices 200_2 through the output unit 150 to allow the user to locate the second audio devices 200_2 at a location suitable for the multi-channel audio system. Can guide you to place it.
  • the processor 180 may inquire whether to configure the multi-channel audio system from the user through the output unit 150 , and may or may not configure the multi-channel audio system based on the user's input.
  • the processor 180 of the terminal 100 outputs audio data through the multi-channel audio system (S407).
  • the processor 180 may output audio data stored in the memory 170 or audio data received from the content provider 300 through the second audio devices 200_2 constituting the multi-channel audio system.
  • the processor 180 may upmix audio data based on audio channel information of the multi-channel audio system and output the upmixed audio data through the multi-channel audio system. Also, as shown in FIG. 10 , the processor 180 may determine a sound effect in consideration of audio characteristics of the audio data, and output upmixed audio data to which the sound effect is applied through a multi-channel audio system. . Also, the processor 180 may upmix audio data and apply a sound effect to output it through a multi-channel audio system. When both the upmixing of audio data and the application of sound effects are performed, it does not matter which one is performed first.
  • the order of the steps shown in FIG. 4 is only an example, and the present disclosure is not limited thereto. That is, the order of some of the steps shown in FIG. 4 may be changed and performed. Also, some of the steps shown in FIG. 4 may be performed in parallel. Also, only some of the steps shown in FIG. 4 may be performed.
  • FIG. 5 is a diagram illustrating an example of acquiring device information of an audio device using a camera of a terminal.
  • the terminal 510 may acquire image data (or first image data, 531 ) including the audio device 520 through a camera, and the audio device 520 included in the acquired image data. ), the audio device 520 may be specified, and device information 532 on the specified audio device 520 may be acquired.
  • the terminal 510 may directly identify and specify the audio device 520 from the image data, but transmit the image data to a separate external server (not shown) and send the image data from the external server (not shown) to the audio included in the image data. Identification information of the device 520 may be acquired.
  • the terminal 510 may output the device information 532 of the audio device 520 through the display unit.
  • the terminal 510 includes a plurality of display units, but the present disclosure is not limited thereto. That is, the terminal 510 may include one display unit or a plurality of display units.
  • FIG. 6 is a flowchart illustrating an example of a step S405 of configuring the multi-channel audio system shown in FIG. 4 .
  • the processor 180 of the terminal 100 acquires second image data for the listening space of the multi-channel audio system through the camera 121 ( S601 ).
  • the listening space of the multi-channel audio system refers to a space in which a plurality of second audio devices 200_2 constituting the multi-channel audio system are disposed and a space in which audio output through the plurality of audio devices 200_2 is simultaneously listened to. can do.
  • the processor 180 of the terminal 100 acquires the listening position information for the second image data through the input unit 120 (S603).
  • the processor 180 may output second image data through the display unit 151 , and obtain listening position information on the second image data through the user input unit 123 . If the display unit 151 is a touch screen capable of a touch input, the processor 180 may acquire listening position information for the second image data through the display unit 151 .
  • the processor 180 of the terminal 100 determines audio system information based on the device information and the listening position information on the first audio devices 200_1 ( S605 ).
  • the processor 180 determines second audio devices 200_2 to configure a multi-channel audio system based on audio channel information of each of the first audio devices 200_1, and sends the information to each of the second audio devices 200_2. It is possible to determine audio channel allocation information and volume level information for the . Also, the processor 180 may determine arrangement location information for the second audio devices 200_2 based on audio channel allocation information, volume level information, and listening location information for the second audio devices 200_2 .
  • the processor 180 of the terminal 100 outputs audio system information through the display unit 151 (S607).
  • the processor 180 provides a list of the second audio devices 200_2 constituting the multi-channel audio system, audio channel information allocated to each of the second audio devices 200_2, and the second audio through the display unit 151 .
  • the arrangement position of each of the devices 200_2 may be displayed.
  • the processor 180 may display an arrangement position of each of the second audio devices 200_2 on the second image data.
  • FIG. 7 is a diagram illustrating an example of outputting audio system information from a terminal.
  • the terminal 710 may acquire image data (or second image data, 731 ) for the listening space 720 of the multi-channel audio system through the camera, and is acquired through the input unit 120 . It is possible to obtain the listening position information 732 on one image data 731 , and configure a multi-channel audio system based on the device information and the listening position information 732 on the audio devices 740_1 to 740_5 .
  • the image data 731 for the listening space 720 may refer to image data captured to provide augmented reality (AR).
  • AR augmented reality
  • the display unit of the terminal 710 may be a touch screen, the terminal 710 outputs the second image data 731 to the display unit, and the user (not shown) outputs the second image data 731 to the display unit. You can input listening location information 732 by touching the listening location in .
  • the terminal 710 determines second audio devices 740_1 to 740_5 to configure the multi-channel audio system from among the connected first audio devices, and sends the second audio devices 740_1 to 740_5.
  • Multi-channel by determining audio system information including audio channel allocation information, volume level information for each of the second audio devices 740_1 to 740_5, and arrangement location information for each of the second audio devices 740_1 to 740_5 You can configure your audio system.
  • the terminal 710 may output a list 733 of the second audio devices 740_1 to 740_5 constituting the multi-channel audio system through the display unit.
  • the terminal 710 may output the second image data 731 and the arrangement positions of each of the second audio devices 740_1 to 740_5 constituting the multi-channel audio system through the display unit. In this case, the terminal 710 may display the first image data 531 of the second audio devices 740_1 to 740_5 at a position corresponding to the determined arrangement position information on the second image data 731 .
  • the terminal 710 includes a plurality of display units, but the present disclosure is not limited thereto. That is, the terminal 710 may include one display unit or a plurality of display units.
  • FIG. 8 is a flowchart illustrating an example of outputting audio data through the multi-channel audio system illustrated in FIG. 4 ( S407 ).
  • the processor 180 of the terminal 100 determines whether the number of channels of audio data is smaller than the number of channels of the multi-channel audio system (S801).
  • the processor 180 may check the number of channels of the multi-channel audio system through audio channel information of the audio system information. For example, when the processor 180 configures six second audio devices 200_2 as one multi-channel audio system, audio channel information of audio system information may be 5.1 channels.
  • step S801 If it is determined in step S801 that the number of channels of audio data is smaller than the number of channels in the multi-channel audio system, the processor 180 of the terminal 100 up-mixes the audio data (S803), and The upmixed audio data is output through the audio system (S805).
  • the processor 180 may directly upmix audio data corresponding to the number of audio channels of the multi-channel audio system, or may upmix audio data through the upmixing server 300 .
  • the processor 180 may transmit audio data and audio channel information of the multi-channel audio system to the upmixing server 300 through the communication unit 110 , and the upmixing server 300 may transmit the received audio data and the multi-channel audio system.
  • Audio data may be upmixed based on audio channel information of , and the processor 180 may receive the upmixed audio data from the upmixing server 300 through the communication unit 110 .
  • step S801 If it is determined in step S801 that the number of channels of the audio data is not smaller than the number of channels of the multi-channel audio system, the processor 180 of the terminal 100 outputs unmixed audio data through the multi-channel audio system ( S807).
  • the terminal 100 may output audio data through the multi-channel audio system without upmixing the audio data.
  • FIG. 9 is a diagram illustrating an example of upmixing audio data.
  • the terminal 910 After configuring the multi-channel audio system, the terminal 910 outputs the number of audio devices 930_1 to 930_5 constituting the multi-channel audio system and upmixing information corresponding to the multi-channel audio system ( 921) can be done.
  • the terminal 910 when configuring the multi-channel audio system or outputting audio data through the multi-channel audio system, the terminal 910 outputs a notification asking whether to upmix the audio data in response to the multi-channel audio system ( 922 ). )can do.
  • FIG. 10 is a flowchart illustrating an example of outputting audio data through the multi-channel audio system illustrated in FIG. 4 ( S407 ).
  • the processor 180 of the terminal 100 determines whether to apply a sound effect when outputting audio data ( S1001 ).
  • the processor 180 may determine whether to apply a sound effect when outputting audio data based on a user input through the input unit 120 or a predetermined setting value.
  • the sound effect may include at least one of an equalizer and a stereophonic sound.
  • the processor 180 of the terminal 100 determines the sound effect based on the audio characteristics of the audio data (S1003), and applies the sound effect through the multi-channel audio system.
  • the applied audio data is output (S1005).
  • the processor 180 may analyze an audio characteristic of the audio data in consideration of frequency-specific distribution of sound waves included in the audio data, a voice, a background sound, and the like, and determine a sound effect based on the analyzed audio characteristic of the audio data.
  • the processor 180 may determine the sound effect to be applied to the audio data by determining the content of the audio data based on the audio characteristic of the audio data, and selecting a preset sound effect in response to the determined content.
  • the processor 180 may determine a mode flag for the sound effect based on the content of the audio data, and apply the sound effect according to the determined mode flag.
  • [Table 1] below shows examples of mode flags for sound effects.
  • the audio data corresponding to news or sports which contain most of the voice component, applies the “Center Boosting” stereophonic sound effect, and the audio data corresponding to the 2-channel music with a lot of background sound is “Widening” stereophonic effect.
  • a sound effect is applied, and audio data corresponding to a movie applies a "Widening Surround” stereophonic effect, and audio data corresponding to an entertainment show that is difficult to give a stereophonic effect due to frequent scene changes may not give a stereoscopic sound effect.
  • the processor 180 may analyze the audio characteristics of the audio data using an audio analysis model composed of an artificial neural network.
  • the audio analysis model may be a model that determines and outputs content or genre included in audio data when audio data is input, or determines and outputs a sound effect or mode flag to be applied to audio data when audio data is input It could be a model.
  • the processor 180 may determine the sound effect by directly analyzing the audio data of the audio data, or may determine the sound effect by analyzing the audio data of the audio data through an external server (eg, the upmixing server 300, etc.) .
  • the processor 180 may transmit audio data to an external server through the communication unit 110 , the external server may analyze audio characteristics of the received audio data to determine a sound effect, and the processor 180 may transmit the audio data to the communication unit 110 . It is possible to receive the sound effect information determined from the external server through the.
  • the processor 180 transmits information (eg, a mode flag) on the determined sound effect together with the audio data to the second audio device 200_2 , so that the audio data can be output by applying the sound effect.
  • the processor 180 may apply the sound effect to the audio data and output the audio data by transmitting the audio data to which the sound effect is applied to the second audio device 200_2 after applying the sound effect to the audio data.
  • step S1001 When it is determined in step S1001 that no sound effect is applied, the processor 180 of the terminal 100 outputs audio data to which the sound effect is not applied through the multi-channel audio system (S1007).
  • 11 and 12 are diagrams illustrating multi-channel audio output systems 1100 and 1200 according to embodiments of the present disclosure.
  • multi-channel audio output systems 1100 and 1200 include a terminal 1110, a plurality of audio devices 1120_1 to 1120_4, display devices 1130 and 1230, and It may include a microphone 1140 and the like.
  • the display device 1130 is a device such as a TV or monitor including a display panel
  • the display device 1230 projects light corresponding to an image through a light source onto a wall or screen 1235 .
  • the terminal 1110 connects to a plurality of audio devices 1120_1 to 1120_4 , configures a multi-channel audio system with the connected audio devices 1120_1 to 1120_4 , and configures a multi-channel audio system with a plurality of audio devices Audio data may be output through the ones 1120_1 to 1120_4.
  • the terminal 1110 may output 1111 information about the multi-channel audio system, whether upmixing corresponding to the multi-channel audio system is possible, and whether to perform upmixing through the display unit 1111 .
  • the terminal 1110 may be connected to the display apparatuses 1130 and 1230 and output image data through the connected display apparatus 1130 . Also, the terminal 1110 may be connected to the microphone 1140 and receive audio data through the connected microphone 1140 .
  • the terminal 1110 may configure a multi-channel audio system with a plurality of audio devices 1120_1 to 1120_4 and transmit audio system information of the multi-channel audio system to the connected display devices 1130 and 1230 . Also, the terminal 1110 determines the arrangement location information of each of the audio devices 1120_1 to 1120_4 in consideration of the audio channel allocated to each of the plurality of audio devices 1120_1 to 1120_4, and the arrangement location information determined through the display unit can be printed out. Accordingly, the display apparatuses 1130 and 1230 may output multi-channel audio through the plurality of audio devices 1120_1 to 1120_4 constituting the multi-channel audio system even after the connection with the terminal 1110 is cut off.
  • the multi-channel audio output systems 1100 and 1200 may provide a home karaoke service.
  • the terminal 1110 executes the karaoke (karaoke) application, displays the karaoke application screen through the display devices 1130 and 1230, and plays the sound of the karaoke application through the plurality of audio devices 1120_1 to 1120_4. output, and the user's voice may be received through the microphone 1140 .
  • karaoke karaoke
  • the multi-channel audio output systems 1100 and 1200 may provide a home cinema service.
  • the terminal 1110 may display an image of the video content through the display devices 1130 and 1230 , and may output audio of the video content through the plurality of audio devices 1120_1 to 1120_4 .
  • the terminal 1110 may receive content including audio data from a separate content provider 400 . Also, the terminal 1110 may upmix audio data through a separate upmixing server 300 .
  • the above-described method may be implemented as computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is this.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 개시의 일 실시 예는 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기에 있어서, 카메라; 복수의 제1 오디오 기기들과 연결하는 통신부; 및 상기 통신부 또는 상기 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하고, 상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하고, 상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 프로세서를 포함하는, 단말기를 제공한다.

Description

복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
본 개시(disclosure)는 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법에 관한 것이다.
기존의 다채널 오디오 시스템은 미리 출력 채널이 결정된 오디오 기기들로 구성되며, 올바른 오채널 오디오의 출력을 위한 오디오 기기들의 배치에 전문가의 도움이 필요하였다. 따라서, 기존에는 사용자가 다채널 오디오 시스템을 구성하는 복수의 오디오 기기들을 구비하더라도 적합한 위치에 설치하는데 큰 어려움이 있었다. 또한, 기존에는 다채널 오디오 시스템을 구축하기 위하여는 미리 정해진 채널의 음향을 출력할 수 있는 여러 오디오 기기들의 조합에 맞추어 장치를 구비하여야했다.
만약 가정 내에 구비되는 모노 채널 오디오 기기나 스테레오 채널 오디오 기기들을 조합하여 다채널 오디오 시스템을 구축할 수 있다면, 사용자에게 적은 비용으로도 만족도 높은 오디오를 제공할 수 있을 것이다.
본 개시는 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법을 제공하고자 한다.
또한, 본 개시는 다채널 오디오 시스템을 구성하는 복수의 오디오 기기들의 적합한 배치 위치를 제공하는 단말기 및 그 방법을 제공하고자 한다.
본 개시의 일 실시 예는, 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기에 있어서, 카메라; 복수의 제1 오디오 기기들과 연결하는 통신부; 및 상기 통신부 또는 상기 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하고, 상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하고, 상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 프로세서를 포함하는, 단말기를 제공한다.
상기 기기 정보는 상기 복수의 제1 오디오 기기들 각각에 대한 오디오 채널 정보 및 음량 레벨 정보를 포함할 수 있다.
상기 프로세서는 상기 카메라를 통해 상기 제1 오디오 기기를 포함하는 제1 이미지 데이터를 획득하고, 상기 제1 이미지 데이터에 포함된 상기 제1 오디오 기기를 특정하고, 상기 특정된 제1 오디오 기기에 대응하는 기기 정보를 획득할 수 있다.
상기 오디오 시스템 정보는 상기 다채널 오디오 시스템의 오디오 채널 정보, 상기 제2 오디오 기기들에 대한 오디오 채널 할당 정보, 음량 레벨 정보 및 배치 위치 정보를 포함할 수 있다.
상기 프로세서는 상기 카메라를 통해 상기 다채널 오디오 시스템의 청취 공간에 대한 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터에 기초하여 상기 배치 위치 정보를 결정할 수 있다.
상기 프로세서는 상기 카메라를 통해 상기 제1 오디오 기기를 포함하는 제1 이미지 데이터를 획득하고, 상기 제1 이미지 데이터에 포함된 상기 제1 오디오 기기를 특정하고, 상기 특정된 제1 오디오 기기에 대응하는 기기 정보를 획득할 수 있다.
상기 오디오 시스템 정보는 상기 다채널 오디오 시스템의 오디오 채널 정보, 상기 제2 오디오 기기들에 대한 오디오 채널 할당 정보, 음량 레벨 정보 및 배치 위치 정보를 포함할 수 있다.
상기 프로세서는 상기 카메라를 통해 상기 다채널 오디오 시스템의 청취 공간에 대한 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터에 기초하여 상기 배치 위치 정보를 결정할 수 있다.
상기 단말기는 입력부를 더 포함하고, 상기 프로세서는 상기 입력부를 통해 사용자로부터 상기 제2 이미지 데이터에서의 청취 위치 정보를 획득하고, 상기 청취 위치 정보에 기초하여 상기 배치 위치 정보를 결정 할 수 있다.
상기 단말기는 디스플레이부를 더 포함하고, 상기 프로세서는 상기 디스플레이부를 통해 상기 제2 오디오 기기들에 대한 상기 배치 위치 정보를 출력 할 수 있다.
상기 프로세서는 상기 오디오 데이터의 채널 수가 상기 오디오 채널 정보의 채널 수보다 적은 경우에 상기 오디오 데이터를 업믹싱하고, 상기 제2 오디오 기기들을 통해 상기 업믹싱된 오디오 데이터를 출력 할 수 있다.
상기 통신부는 업믹싱 서버로부터 상기 오디오 데이터에 대응하는 상기 업믹싱된 오디오 데이터를 수신 할 수 있다.
상기 프로세서는 상기 오디오 데이터의 오디오 특성에 기초하여 음향 효과를 결정하고, 상기 음향 효과를 반영하여 상기 제2 오디오 기기들을 통해 상기 오디오 데이터를 출력 할 수 있다.
상기 음향 효과는 이퀄라이저 또는 입체 음향 중에서 적어도 하나 이상을 포함 할 수 있다.
상기 프로세서는 인공 신경망으로 구성된 오디오 분석 모델을 이용하여 상기 오디오 데이터에 상응하는 상기 오디오 특성을 분석 할 수 있다.
또한, 본 개시의 일 실시 예는, 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 방법에 있어서, 통신부를 통해 복수의 제1 오디오 기기들과 연결하는 단계; 상기 통신부 또는 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하는 단계; 상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하는 단계; 및 상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 단계를 포함하는, 방법을 제공한다.
또한, 본 개시의 일 실시 예는, 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 방법을 기록한 기록 매체에 있어서, 상기 방법은 통신부를 통해 복수의 제1 오디오 기기들과 연결하는 단계; 상기 통신부 또는 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하는 단계; 상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하는 단계; 및 상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 단계를 포함하는, 기록 매체를 제공한다.
본 개시의 다양한 실시 예에 따르면, 복수의 오디오 기기들을 조합하여 개별 오디오 기기에서 지원하지 않는 다채널 오디오 시스템을 구성할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 사용자에게 개별적인 오디오 기기들에 할당된 오디오 채널에 적합한 배치 위치를 제공할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 업믹싱을 지원하지 않는 오디오 기기을 통해서도 업믹싱된 오디오 데이터를 출력할 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 오디오 데이터의 오디오 특성에 적합한 음향 효과를 적용하여 오디오 데이터를 출력할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 다채널 오디오 출력 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기(1를 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 오디오 기기를 나타낸 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 방법을 나타낸 흐름도이다.
도 5는 단말기의 카메라를 이용하여 오디오 기기의 기기 정보를 획득하는 예시를 나타낸 도면이다.
도 6은 도 4에 도시된 다채널 오디오 시스템을 구성하는 단계의 일 예를 나타낸 흐름도이다.
도 7은 단말기에서 오디오 시스템 정보를 출력하는 예시를 나타낸 도면이다.
도 8은 도 4에 개시된 다채널 오디오 시스템을 통해 오디오 데이터를 출력하는 단계의 일 예를 나타낸 흐름도이다.
도 9는 오디오 데이터를 업믹싱하는 예시를 나타낸 도면이다.
도 10은 도 4에 개시된 다채널 오디오 시스템을 통해 오디오 데이터를 출력하는 단계의 일 예를 나타낸 흐름도이다.
도 11 및 12는 본 개시의 실시 예들에 따른 다채널 오디오 출력 시스템을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단말기(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 다채널 오디오 출력 시스템(1)을 나타낸 도면이다.
도 1을 참조하면, 다채널 오디오 출력 시스템(1)은 단말기(100), 복수의 오디오 기기(200), 업믹싱 서버(300) 및 컨텐츠 제공자(400) 등을 포함할 수 있다.
단말기(100)는 무선 통신 기술을 이용하여 오디오 기기(200)와 연결하고, 오디오 기기(200)를 통해 소리를 출력하고, 오디오 기기(200)를 제어하는 장치를 의미할 수 있다. 단말기(100)가 오디오 기기(200)에 오디오 신호 또는 오디오 데이터를 제공한다는 점에서, 단말기(100)를 오디오 신호 제공 장치 또는 오디오 데이터 제공 장치라고 볼 수 있다.
단말기(100)는 복수의 오디오 기기(200)를 통해 다채널의 오디오를 출력할 수 있다. 예컨대, 단말기(100)는 각 오디오 기기(200)에 서로 다른 채널의 오디오 신호를 전송함으로써 다채널 오디오를 출력할 수 있다. 이 경우, 다채널 오디오를 출력하는 오디오 기기들(200)을 하나의 다채널 오디오 시스템이라 칭할 수 있다. 즉, 복수의 오디오 기기(200)는 하나의 오디오 시스템으로 동작할 수 있고, 이러한 오디오 시스템은 마치 복수의 음향 출력부를 포함하는 하나의 오디오 기기처럼 동작할 수 있다. 예컨대, 두 개의 오디오 기기(200)가 각각 하나의 음향 출력부만을 포함하더라도, 이러한 두 개의 오디오 기기(200) 중에서 하나는 좌 채널 오디오 신호에 대응하는 좌 채널 소리를 출력하고, 나머지 하나는 우 채널 오디오 신호에 대응하는 우 채널 소리를 출력할 수 있고, 이에 따라 두 개의 오디오 기기(200)가 하나의 스테레오 오디오 기기처럼 동작할 수 있다.
단말기(100)는 무선 통신 기술을 이용하여 오디오 기기(200)와 페어링(pairing) 신호, 측위 신호, 오디오 신호 등을 송수신할 수 있다. 페어링 신호는 오디오 기기(200)를 단말기(100)에 연결하는데 송수신하는 신호를 의미할 수 있다. 측위 신호는 단말기(100)와 오디오 기기(200) 사이의 상대적 위치를 측정하는데 송수신하는 신호를 의미할 수 있다. 오디오 신호는 단말기(100)가 오디오 기기(200)를 통해 오디오를 출력하기 위하여 오디오 기기(200)에 전송하는 신호를 의미할 수 있다.
단말기(100)는 유무선 통신 기술을 이용하여 컨텐츠 제공자(400)로부터 오디오 데이터를 포함하는 컨텐츠 데이터를 수신하고, 수신한 오디오 데이터에 대응하는 오디오 데이터를 오디오 기기(200)에 전송할 수 있다. 또는, 단말기(100)는 메모리(170)에 저장된 오디오 데이터에 대응하는 오디오 데이터를 오디오 기기(200)에 전송할 수도 있다.
오디오 기기(200)는 무선 통신 기술을 이용하여 단말기(100)와 연결하며, 단말기(100)로부터 수신한 오디오 데이터에 기초하여 오디오를 출력할 수 있다. 이를 위해, 오디오 기기(200)는 적어도 하나 이상의 음향 출력부 또는 스피커를 포함할 수 있다.
오디오 기기(200)는 하나 이상의 음향 출력부(340)를 포함할 수 있고, 각 음향 출력부(340)를 통해 동일한 채널의 오디오를 출력할 수도 있고, 서로 다른 채널의 오디오를 출력할 수도 있다. 예컨대, 오디오 기기(200)는 헤드폰이나 넥 밴드형 이어폰과 같이 두 개의 음향 출력부들을 포함할 수 있고, 이 경우 오디오 기기(200)는 각 음향 출력부를 통해 좌 채널 오디오와 우 채널 오디오를 출력할 수 있다.
일 실시 예에서, 복수의 오디오 기기(200)가 하나의 그룹으로 동작할 경우, 하나의 무선 음향 기기가 마스터 무선 음향 기기로 기능하고, 나머지 무선 음향 기기가 슬레이브 무선 음향 기기로 기능할 수 있다. 이 경우, 단말기(100)는 마스터 무선 음향 기기에만 연결하더라도, 마스터 무선 음향 기기를 통해 슬레이브 무선 음향 기기에서도 오디오를 출력할 수 있다. 또한, 단말기(100)는 마스터 무선 음향 기기를 통하여 슬레이브 무선 음향 기기와도 연결하고, 슬레이브 음향 기기에서 소리를 출력할 수 있다.
일 실시 예에서, 복수의 오디오 기기(200)가 하나의 그룹으로 동작할 경우, 단말기(100)가 각 오디오 기기(200)와 모두 연결하고 각 오디오 기기(200)에 개별적으로 오디오 데이터를 전송하여 오디오를 출력할 수 있다.
오디오 기기(200) 중에서 단말기(100)와 연결되는 오디오 기기를 제1 오디오 기기(200_1)라 칭할 수 있고, 제1 오디오 기기(200_1) 중에서 다채널 오디오 시스템을 구성하는 오디오 기기를 제2 오디오 기기(200_2)라 칭할 수 있다. 제2 오디오 기기(200_2) 역시도 단말기(100)와 연결된다는 점에서, 제2 오디오 기기(200_2)는 제1 오디오 기기(200_1)이기도 하다.
업믹싱 서버(300)는 유무선 통신 기술을 이용하여 단말기(100)로부터 수신한 오디오 데이터를 업믹싱(up-mixing)하고, 업믹싱한 오디오 데이터를 단말기(100)에 제공할 수 있다. 업믹싱 또는 오디오 업믹싱은 오디오 데이터의 채널 수를 확장시키는 동작을 의미할 수 있다. 예컨대, 업믹싱 서버(300)는 단말기(100)로부터 2채널의 오디오 데이터를 수신하고, 수신한 오디오 데이터를 5.1채널의 오디오 데이터로 업믹싱하여 단말기(100)에 전송할 수 있다.
업믹싱 서버(300)는 단일한 서버로 구성될 수도 있지만, 복수의 서버들을 포함하는 서버 클러스터 또는 클라우드 서버 등으로 구성될 수도 있다.
컨텐츠 제공자(400)는 유무선 통신 기술을 이용하여 단말기(100)에 비디오 컨텐츠 데이터 또는 오디오 컨텐츠 데이터 등을 제공할 수 있다. 비디오 컨텐츠 또는 오디오 컨텐츠 데이터는 오디오 데이터를 포함할 수 있다.
컨텐츠 제공자(400)는 라디오 기지국, 지상파 기지국, 방송 위성, 컨텐츠 데이터 서버 등의 다양한 컨텐츠 제공 장치를 지칭할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기(100)를 나타낸 블록도이다.
도 2를 참조하면, 단말기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 통신 모뎀(communication modem) 또는 통신 회로(communication circuit)라고도 칭할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 오디오 기기(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 입력 인터페이스(input interface)라고 칭할 수 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(122), 사용자로부터 정보를 입력받기 위한 사용자 입력부(123) 등을 포함할 수 있다. 여기서, 카메라(121)나 마이크로폰(122)을 센서로 취급하여, 카메라(121)나 마이크로폰(122)으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
카메라(121)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로써, 사용자 입력부(123)를 통해 정보가 입력되면, 프로세서(180)는 입력된 정보에 대응되도록 단말기(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 입력 수단 (예컨대, 단말기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력 수단을 포함할 수 있다. 예컨대, 터치식 입력 수단은, 소프트웨어적인 처리를 통해 터치 스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치 스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
러닝 프로세서(130)는 인공 지능 서버(미도시)의 러닝 프로세서(미도시)와 함께 AI 프로세싱을 수행할 수 있다.
러닝 프로세서(130)는 단말기(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), 단말기(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 센서부 또는 센서라고 칭할 수 있다.
센싱부(140)는 다양한 센서들을 이용하여 단말기(100) 내부 정보, 단말기(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 출력 인터페이스(output interface)라고 칭할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(150)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(151)는 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화 모드 또는 녹음 모드, 음성 인식 모드, 방송 수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module, 153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
메모리(170)는 단말기(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 단말기(100)의 전반적인 동작을 제어할 수 있다.
프로세서(180)에서 영상 처리된 영상 신호는 디스플레이부(151)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 프로세서(180)에서 영상 처리된 영상 신호는 외부 장치 인터페이스부(미도시)를 통하여 외부 출력 장치로 입력될 수 있다.
프로세서(180)에서 처리된 오디오 신호는 음향 출력부(152)를 통해 출력될 수 있다. 또한, 프로세서(180)에서 처리된 오디오 신호는 외부 장치 인터페이스부(미도시)를 통하여 외부 출력 장치로 입력될 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 단말기(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 단말기(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 단말기(100)의 구성 요소들을 제어할 수 있다.
프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다. STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, 인공 지능 서버(미도시)의 러닝 프로세서(미도시)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 단말기(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, 인공 지능 서버(미도시) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 단말기(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, 단말기(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
한편, 도 1에 도시된 단말기(100)는 본 개시의 일 실시 예에 불과하며, 도시된 구성요소들 중 일부는 실제 구현되는 단말기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
일 실시 예에서, 단말기(100)의 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 개시의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리 범위를 제한하지 아니한다.
도 3은 본 개시의 일 실시 예에 따른 오디오 기기(200)를 나타낸 블록도이다.
도 3을 참조하면, 오디오 기기(200)는 통신부(210), 입력부(220), 출력부(250), 메모리(270) 및 프로세서(280) 등을 포함할 수 있다.
통신부(210)는 통신 모뎀(communication modem) 또는 통신 회로(communication circuit)라고도 칭할 수 있다.
통신부(210)는 유무선 통신 기술을 이용하여 단말기(100) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
통신부(210)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
통신부(210)는 라디오 기지국으로부터 FM 라디오 신호 또는 AM 라디오 신호를 수신할 수 있다.
입력부(220)는 입력 인터페이스(input interface)라고 칭할 수 있다.
입력부(220)는 오디오 신호를 수신하기 위한 마이크로폰(222), 사용자로부터 정보를 입력받기 위한 사용자 입력부(223) 등을 포함할 수 있다. 여기서, 마이크로폰(222)을 센서로 취급하여, 마이크로폰(222)으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(220)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.
마이크로폰(222)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 단말기(200)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(222)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
사용자 입력부(223)는 사용자로부터 정보를 입력받기 위한 것으로써, 사용자 입력부(223)를 통해 정보가 입력되면, 프로세서(280)는 입력된 정보에 대응되도록 단말기(200)의 동작을 제어할 수 있다.
사용자 입력부(223)는 기계식 입력 수단 (예컨대, 단말기(200)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력 수단을 포함할 수 있다. 예컨대, 터치식 입력 수단은, 소프트웨어적인 처리를 통해 터치 스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치 스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
출력부(250)는 출력 인터페이스(output interface)라고 칭할 수 있다.
출력부(250)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(250)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 단말기(200)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(251)는 단말기(200)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(251)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 단말기(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(223)로써 기능함과 동시에, 단말기(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(252)는 호신호 수신, 통화 모드 또는 녹음 모드, 음성 인식 모드, 방송 수신 모드 등에서 통신부(210)로부터 수신되거나 메모리(270)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(252)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
음향 출력부(252)는 진동판, 음향 코일 및 음향 코일의 주변에 자기장을 형성시키는 영구 자석을 포함할 수 있다. 음향 코일에 전원이 인가되면 영구 자석에 의해 형성된 자기장 내에서 전자기력이 발생하여 음향 코일이 움직이게 되고, 음향 코일의 움직임에 따라 진동판이 진동하며 소리를 출력할 수 있다.
메모리(270)는 오디오 기기(200)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(270)는 입력부(220)에서 획득한 입력 데이터, 단말기(100)로부터 수신한 오디오 데이터 등을 저장할 수 있다.
프로세서(280)는 오디오 기기(200)의 전반적인 동작을 제어할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 방법을 나타낸 흐름도이다.
도 4를 참조하면, 단말기(100)의 프로세서(180)는 통신부(110)를 통해 복수의 제1 오디오 기기들(200_1)과 연결한다(S401).
단말기(100)와 연결하는 오디오 기기들(200)을 제1 오디오 기기(200_1)라 칭한다는 점에서, 상술한 단계(S401)은 단말기(100)의 프로세서(180)가 통신부(110)를 통해 복수의 오디오 기기들(200)과 연결하는 것과 동일하게 취급할 수 있다.
단말기(100)와 제1 오디오 기기들(200_1)은 서로 페어링(pairing)함으로써 연결될 수 있다. 이를 위하여, 제1 오디오 기기들(200_1)은 페어링 요청 신호(또는 연결 요청 신호)를 송신하고, 단말기(100)는 페어링 요청 신호를 송신하는 기기들을 스캔함으로써 페어링 요청 신호를 송신하는 제1 오디오 기기들(200_1)과 연결을 수립할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 통신부(110) 또는 카메라(121)를 통해 복수의 제1 오디오 기기들(200_1)에 대한 기기 정보를 획득한다(S403).
프로세서(180)는 통신부(110)를 통해 제1 오디오 기기(200_1)로부터 제1 오디오 기기(200_1)에 대한 기기 정보를 수신할 수 있다. 구체적으로, 단말기(100)는 이미 연결된 제1 오디오 기기(200_1)로부터 또는 연결을 수립하기 위하여 연결 요청 신호를 송신하는 제1 오디오 기기(200_1)로부터 기기 정보를 수신할 수 있다.
또는, 프로세서(180)는 카메라(121)를 통해 제1 오디오 기기(200_1)를 포함하는 제1 이미지 데이터를 획득하고, 제1 이미지 데이터에 포함된 제1 오디오 기기(200_1)를 특정하고, 특정한 제1 오디오 기기(200_1)에 대한 기기 정보를 획득할 수 있다. 이를 위해, 프로세서(180)는 사물 인식 모델을 이용하여 제1 이미지 데이터에서 제1 오디오 기기(200_1)를 특정할 수 있고, 인터넷 또는 외부 서버(미도시)를 통해 식별한 제1 오디오 기기(200_1)에 대한 기기 정보를 수신할 수 있다.
기기 정보는 기기명, 기기 모델명, 기기 시리얼 넘버, 오디오 채널 정보, 음향 레벨 정보, 이퀄라이저 정보 등을 포함할 수 있다. 오디오 채널 정보는 오디오 기기(200)에서 출력 가능한 오디오 채널 수 및 오디오 채널의 구성 정보를 의미할 수 있다. 프로세서(180)는 복수의 오디오 기기(200)를 이용하여 다채널 오디오를 출력하기 위하여, 필수적으로 제1 오디오 기기(200_1)에 대한 오디오 채널 정보를 획득할 수 있다.
비록 도 4에서는 제1 오디오 기기들(200_1)과 연결하는 단계(S401)가 수행된 이후에 제1 오디오 기기들(200_1)에 대한 기기 정보를 획득하는 단계(S403)가 수행되는 것으로 도시되어 있으나, 본 개시가 이에 한정되지 않는다. 즉, 실시 예에 따라 단말기(100)와 제1 오디오 기기들(200_1)과 연결하는 단계(S401)와 제1 오디오 기기들(200_1)에 대한 기기 정보를 획득하는 단계(S403)가 동시에 수행될 수도 있으며, 역순으로 수행될 수도 있다.
그리고, 단말기(100)의 프로세서(180)는 기기 정보를 고려하여 복수의 제1 오디오 기기들(200_1) 중에서 적어도 둘 이상의 제2 오디오 기기들(200_2)을 포함하는 다채널 오디오 시스템을 구성한다(S405).
프로세서(180)는 연결된 복수의 제1 오디오 기기들(200_1)에 대한 기기 정보를 고려하여 각 제1 오디오 기기들(200_1)의 오디오 채널을 파악하고, 이에 기초하여 복수의 제1 오디오 기기들(200_1) 중에서 적어도 둘 이상의 제2 오디오 기기들(200_2)을 포함하는 다채널 오디오 시스템을 구성할 수 있다.
프로세서(180)는 다채널 오디오 시스템을 구성하면서 오디오 시스템 정보를 생성할 수 있고, 오디오 시스템 정보는 다채널 오디오 시스템의 오디오 채널 정보, 각 제2 오디오 기기들(200_2)에 대한 오디오 채널 할당 정보, 음량 레벨 정보, 배치 위치 정보 등을 포함할 수 있다.
나아가, 프로세서(180)는 출력부(150)를 통해 구성된 다채널 오디오 시스템에 대한 오디오 시스템 정보를 출력할 수 있다.
프로세서(180)는 오디오 시스템 정보에 기초하여 다채널 오디오 시스템을 구성하는 제2 오디오 기기들(200_2), 각 제2 오디오 기기들(200_2)에 대한 오디오 채널 할당 정보, 각 제2 오디오 기기들(200_2)에 대한 음량 레벨 정보 또는 각 제2 오디오 기기들(200_2)에 대한 배치 위치 정보를 출력할 수 있다.
프로세서(180)는 출력부(150)를 통해 각 제2 오디오 기기들(200_2)에 대한 배치 위치 정보를 출력함으로써 사용자로 하여금 제2 오디오 기기들(200_2)이 구성된 다채널 오디오 시스템에 적합한 위치에 배치하도록 안내할 수 있다.
나아가, 프로세서(180)는 출력부(150)를 통해 사용자에게 다채널 오디오 시스템을 구성할 것인지 여부를 질의할 수 있고, 사용자의 입력에 기초하여 다채널 오디오 시스템을 구성하거나 구성하지 않을 수 있다.
그리고, 단말기(100)의 프로세서(180)는 다채널 오디오 시스템을 통해 오디오 데이터를 출력한다(S407).
프로세서(180)는 다채널 오디오 시스템을 구성하는 제2 오디오 기기들(200_2)를 통해 메모리(170)에 저장된 오디오 데이터 또는 컨텐츠 제공자(300)로부터 수신한 오디오 데이터를 출력할 수 있다.
프로세서(180)는, 도 8에 도시된 것과 같이, 다채널 오디오 시스템의 오디오 채널 정보에 기초하여 오디오 데이터를 업믹싱하고, 다채널 오디오 시스템을 통해 업믹싱된 오디오 데이터를 출력할 수 있다. 또한, 프로세서(180)는, 도 10에 도시된 것과 같이, 오디오 데이터의 오디오 특성을 고려하여 음향 효과를 결정하고, 다채널 오디오 시스템을 통해 음향 효과를 적용한 업믹싱된 오디오 데이터를 출력할 수 있다. 또한, 프로세서(180)는 오디오 데이터를 업믹싱하고 음향 효과를 적용하여 다채널 오디오 시스템을 통해 출력할 수도 있다. 오디오 데이터의 업믹싱과 음향 효과의 적용이 모두 이루어질 경우, 어느 것이 먼저 수행되더라도 상관 없다.
도 4에 도시된 단계들(steps)의 순서는 하나의 예시에 불과하며, 본 개시가 이에 한정되지는 않는다. 즉, 도 4에 도시된 단계들 중 일부 단계의 순서가 서로 바뀌어 수행될 수도 있다. 또한, 도 4에 도시된 단계들 중 일부 단계는 병렬적으로 수행될 수도 있다. 또한, 도 4에 도시된 단계들 중 일부만 수행될 수도 있다.
도 5는 단말기의 카메라를 이용하여 오디오 기기의 기기 정보를 획득하는 예시를 나타낸 도면이다.
도 5를 참조하면, 단말기(510)는 카메라를 통해 오디오 기기(520)를 포함하는 이미지 데이터 (또는 제1 이미지 데이터, 531)를 획득할 수 있고, 획득한 이미지 데이터에 포함된 오디오 기기(520)를 식별함으로써 오디오 기기(520)를 특정할 수 있고, 특정된 오디오 기기(520)에 대한 기기 정보(532)를 획득할 수 있다.
단말기(510)는 직접 이미지 데이터로부터 오디오 기기(520)를 식별 및 특정할 수도 있지만, 별도의 외부 서버(미도시)에 이미지 데이터를 전송하고 해당 외부 서버(미도시)로부터 이미지 데이터에 포함된 오디오 기기(520)의 식별 정보를 획득할 수도 있다.
나아가, 단말기(510)는 디스플레이부를 통해 오디오 기기(520)의 기기 정보(532)를 출력할 수 있다.
도 5에 도시된 예시에서는 단말기(510)가 복수의 디스플레이부가 포함하나, 본 개시가 이에 한정되지 않는다. 즉, 단말기(510)는 하나의 디스플레이부를 포함할 수도 있고, 복수의 디스플레이부를 포함할 수도 있다.
도 6은 도 4에 도시된 다채널 오디오 시스템을 구성하는 단계(S405)의 일 예를 나타낸 흐름도이다.
도 6을 참조하면, 단말기(100)의 프로세서(180)는 카메라(121)를 통해 다채널 오디오 시스템의 청취 공간에 대한 제2 이미지 데이터를 획득한다(S601).
다채널 오디오 시스템의 청취 공간은 다채널 오디오 시스템을 구성하는 복수의 제2 오디오 기기들(200_2)이 배치될 공간이면서 동시에 복수의 오디오 기기들(200_2)을 통해 출력되는 오디오를 청취하는 공간을 의미할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 입력부(120)를 통해 제2 이미지 데이터에 대한 청취 위치 정보를 획득한다(S603).
프로세서(180)는 디스플레이부(151)를 통해 제2 이미지 데이터를 출력할 수 있고, 사용자 입력부(123)를 통해 제2 이미지 데이터에 대한 청취 위치 정보를 획득할 수 있다. 만약, 디스플레이부(151)가 터치 입력이 가능한 터치 스크린인경우, 프로세서(180)는 디스플레이부(151)를 통해 제2 이미지 데이터에 대한 청취 위치 정보를 획득할 수도 있다.
그리고, 단말기(100)의 프로세서(180)는 제1 오디오 기기들(200_1)에 대한 기기 정보와 청취 위치 정보에 기초하여 오디오 시스템 정보를 결정한다(S605).
프로세서(180)는 제1 오디오 기기들(200_1) 각각의 오디오 채널 정보에 기초하여 다채널 오디오 시스템을 구성할 제2 오디오 기기들(200_2)를 결정하고, 각 제2 오디오 기기들(200_2)에 대한 오디오 채널 할당 정보와 음량 레벨 정보를 결정할 수 있다. 또한, 프로세서(180)는 제2 오디오 기기들(200_2)에 대한 오디오 채널 할당 정보와 음량 레벨 정보 그리고 청취 위치 정보에 기초하여 제2 오디오 기기들(200_2)에 대한 배치 위치 정보를 결정할 수 있다.
그리고, 단말기(100)의 프로세서(180)는 디스플레이부(151)를 통해 오디오 시스템 정보를 출력한다(S607).
프로세서(180)는 디스플레이부(151)를 통해 다채널 오디오 시스템을 구성하는 제2 오디오 기기들(200_2)에 대한 목록, 제2 오디오 기기들(200_2) 각각에 할당된 오디오 채널 정보, 제2 오디오 기기들(200_2) 각각의 배치 위치 등을 표시할 수 있다. 특히, 프로세서(180)는 제2 이미지 데이터상에 제2 오디오 기기들(200_2) 각각의 배치 위치를 표시할 수 있다.
도 7은 단말기에서 오디오 시스템 정보를 출력하는 예시를 나타낸 도면이다.
도 7을 참조하면, 단말기(710)는 카메라를 통해 다채널 오디오 시스템의 청취 공간(720)에 대한 이미지 데이터 (또는 제2 이미지 데이터, 731)를 획득할 수 있고, 입력부(120)를 통해 획득한 이미지 데이터(731)에 대한 청취 위치 정보(732)를 획득하고, 오디오 기기들(740_1 내지 740_5)에 대한 기기 정보와 청취 위치 정보(732)에 기초하여 다채널 오디오 시스템을 구성할 수 있다.
청취 공간(720)에 대한 이미지 데이터(731)는 증강 현실(AR: Augmented Reality)을 제공하기 위하여 촬영하는 이미지 데이터를 의미할 수 있다.
단말기(710)의 디스플레이부는 터치 스크린일 수 있고, 단말기(710)는 디스플레이부에 제2 이미지 데이터(731)를 출력하며, 사용자(미도시)는 디스플레이부에 출력된 제2 이미지 데이터(731)에서 청취 위치를 터치함으로써 청취 위치 정보(732)를 입력할 수 있다.
상술한 것과 같이, 단말기(710)는 연결된 제1 오디오 기기들 중에서 다채널 오디오 시스템을 구성할 제2 오디오 기기들(740_1 내지 740_5)을 결정하고, 각 제2 오디오 기기들(740_1 내지 740_5)에 대한 오디오 채널 할당 정보, 각 제2 오디오 기기들(740_1 내지 740_5)에 대한 볼륨 레벨 정보, 각 제2 오디오 기기들(740_1 내지 740_5)에 대한 배치 위치 정보를 포함하는 오디오 시스템 정보를 결정함으로써 다채널 오디오 시스템을 구성할 수 있다.
단말기(710)는 디스플레이부를 통해 다채널 오디오 시스템을 구성하는 제2 오디오 기기들(740_1 내지 740_5)의 목록(733)을 출력할 수 있다.
단말기(710)는 디스플레이부를 통해 제2 이미지 데이터(731) 및 다채널 오디오 시스템을 구성하는 제2 오디오 기기들(740_1 내지 740_5) 각각의 배치 위치를 출력할 수 있다. 이 경우, 단말기(710)는 제2 오디오 기기들(740_1 내지 740_5)에 대한 제1 이미지 데이터(531)를 제2 이미지 데이터(731) 상에서 결정된 배치 위치 정보에 대응하는 위치에 표시할 수 있다.
도 7에 도시된 예시에서는 단말기(710)가 복수의 디스플레이부가 포함하나, 본 개시가 이에 한정되지 않는다. 즉, 단말기(710)는 하나의 디스플레이부를 포함할 수도 있고, 복수의 디스플레이부를 포함할 수도 있다.
도 8은 도 4에 개시된 다채널 오디오 시스템을 통해 오디오 데이터를 출력하는 단계(S407)의 일 예를 나타낸 흐름도이다.
도 8을 참조하면, 단말기(100)의 프로세서(180)는 오디오 데이터의 채널 수가 다채널 오디오 시스템의 채널 수보다 작은지 판단한다(S801).
프로세서(180)는 오디오 시스템 정보의 오디오 채널 정보를 통해 다채널 오디오 시스템의 채널 수를 확인할 수 있다. 예컨대, 프로세서(180)가 6개의 제2 오디오 기기들(200_2)을 하나의 다채널 오디오 시스템으로 구성한 경우, 오디오 시스템 정보의 오디오 채널 정보는 5.1채널일 수 있다.
단계(S801)의 판단 결과 오디오 데이터의 채널 수가 다채널 오디오 시스템의 채널 수보다 작은 경우, 단말기(100)의 프로세서(180)는 오디오 데이터를 업믹싱(up-mixing)하고(S803), 다채널 오디오 시스템을 통해 업믹싱된 오디오 데이터를 출력한다(S805).
프로세서(180)는 직접 오디오 데이터를 다채널 오디오 시스템의 오디오 채널 수에 대응하여 업믹싱할 수도 있고, 업믹싱 서버(300)를 통해 오디오 데이터를 업믹싱할 수도 있다. 프로세서(180)는 통신부(110)를 통해 오디오 데이터와 다채널 오디오 시스템의 오디오 채널 정보를 업믹싱 서버(300)에 전송할 수 있고, 업믹싱 서버(300)는 수신한 오디오 데이터와 다채널 오디오 시스템의 오디오 채널 정보에 기초하여 오디오 데이터를 업믹싱할 수 있고, 프로세서(180)는 통신부(110)를 통해 업믹싱 서버(300)로부터 업믹싱된 오디오 데이터를 수신할 수 있다.
단계(S801)의 판단 결과 오디오 데이터의 채널 수가 다채널 오디오 시스템의 채널 수보다 작지 않은 경우, 단말기(100)의 프로세서(180)는 다채널 오디오 시스템을 통해 업믹싱하지 않은 오디오 데이터를 출력한다(S807).
도 8에서는 오디오 데이터의 채널 수가 다채널 오디오 시스템의 채널 수보다 적은 경우에 단말기(100)가 오디오 데이터를 업믹싱하는 예시를 도시하였으나, 본 개시가 이에 한정되지 않는다. 다른 일 실시 예에서는, 오디오 데이터의 채널 수가 다채널 오디오 시스템의 채널 수보다 적은 경우에도 단말기(100)가 오디오 데이터를 업믹싱하지 않고 다채널 오디오 시스템을 통해 오디오 데이터를 출력할 수 있다.
도 9는 오디오 데이터를 업믹싱하는 예시를 나타낸 도면이다.
도 9를 참조하면, 단말기(910)는 다채널 오디오 시스템을 구성한 이후에 다채널 오디오 시스템을 구성하는 오디오 기기들(930_1 내지 930_5)의 수와 다채널 오디오 시스템에 대응하는 업믹싱 정보를 출력(921)할 수 있다.
또한, 단말기(910)는 다채널 오디오 시스템을 구성할 때나 다채널 오디오 시스템을 통해 오디오 데이터를 출력할 때, 오디오 데이터를 다채널 오디오 시스템에 대응하여 업믹싱할 것인지 여부를 묻는 알림을 출력(922)할 수 있다.
도 10은 도 4에 개시된 다채널 오디오 시스템을 통해 오디오 데이터를 출력하는 단계(S407)의 일 예를 나타낸 흐름도이다.
도 10을 참조하면, 단말기(100)의 프로세서(180)는 오디오 데이터를 출력할 때에 음향 효과를 적용할 것인지 판단한다(S1001).
프로세서(180)는 입력부(120)을 통한 사용자의 입력 또는 미리 정해진 설정 값에 기초하여 오디오 데이터의 출력시 음향 효과를 적용할 것인지 판단할 수 있다. 음향 효과는 이퀄라이저 또는 입체 음향 중에서 적어도 하나 이상을 포함할 수 있다.
단계(S1001)의 판단 결과 음향 효과를 적용하는 경우, 단말기(100)의 프로세서(180)는 오디오 데이터의 오디오 특성에 기초하여 음향 효과를 결정하고(S1003), 다채널 오디오 시스템을 통해 음향 효과를 적용한 오디오 데이터를 출력한다(S1005).
프로세서(180)는 오디오 데이터에 포함된 음파의 주파수별 분포, 음성, 배경음 등을 고려하여 오디오 데이터의 오디오 특성을 분석하고, 분석된 오디오 데이터의 오디오 특성에 기초하여 음향 효과를 결정할 수 있다.
프로세서(180)는 오디오 데이터의 오디오 특성에 기초하여 오디오 데이터의 컨텐츠를 결정하고, 결정한 컨텐츠에 대응하여 미리 설정된 음향 효과를 선택함으로써 오디오 데이터에 적용할 음향 효과를 결정할 수 있다.
프로세서(180)는 오디오 데이터의 컨텐츠에 기초하여 음향 효과에 대한 모드 플래그(mode flag)를 결정하고, 결정된 모드 플래그에 따라 음향 효과를 적용할 수 있다. 하기 [표 1]은 음향 효과에 대한 모드 플래그의 예시를 나타낸다.
모드 플래그 음향 효과 컨텐츠
0 Center Boosting 뉴스, 스포츠
1 Widening 음악
2 Widening Surround 영화
3 Default 예능
상기 [표 1]을 참조하면, 목소리 성분이 대부분인 뉴스나 스포츠에 대응하는 오디오 데이터는 "Center Boosting" 입체 음향 효과를 적용하고, 2채널이고 배경음이 많은 음악에 대응하는 오디오 데이터는 "Widening" 입체 음향 효과를 적용하고, 영화에 대응하는 오디오 데이터는 "Widening Surround" 입체 음향 효과를 적용하며, 장면 변화가 빈번하여 입체 음향 효과를 주기 힘든 예능에 대응하는 오디오 데이터는 입체 음향 효과를 주지 않을 수 있다.프로세서(180)는 인공 신경망으로 구성된 오디오 분석 모델을 이용하여 오디오 데이터의 오디오 특성을 분석할 수 있다. 예컨대, 오디오 분석 모델은 오디오 데이터가 입력되면 오디오 데이터에 포함된 컨텐츠 또는 장르를 판단하여 출력하는 모델일 수도 있고, 또는 오디오 데이터가 입력되면 오디오 데이터에 적용할 음향 효과 또는 모드 플래그를 판단하여 출력하는 모델일 수도 있다.
프로세서(180)는 직접 오디오 데이터의 오디오 데이터를 분석하여 음향 효과를 결정할 수도 있고, 외부 서버(예컨대, 업믹싱 서버(300) 등)를 통해 오디오 데이터의 오디오 데이터를 분석하여 음향 효과를 결정할 수도 있다. 프로세서(180)는 통신부(110)를 통해 오디오 데이터를 외부 서버에 전송할 수 있고, 외부 서버는 수신한 오디오 데이터의 오디오 특성을 분석하여 음향 효과를 결정할 수 있고, 프로세서(180)는 통신부(110)를 통해 외부 서버로부터 결정된 음향 효과 정보를 수신할 수 있다.
프로세서(180)는 제2 오디오 기기(200_2)에 오디오 데이터와 함께 결정된 음향 효과에 대한 정보(예컨대, 모드 플래그)를 전송함으로써, 오디오 데이터에 음향 효과를 적용하여 출력할 수 있다. 또는, 프로세서(180)는 오디오 데이터에 대하여 음향 효과를 적용한 이후에 제2 오디오 기기(200_2)에 음향 효과가 적용된 오디오 데이터를 전송함으로써, 오디오 데이터에 음향 효과를 적용하여 출력할 수 있다.
단계(S1001)의 판단 결과 음향 효과를 적용하지 않는 경우, 단말기(100)의 프로세서(180)는 다채널 오디오 시스템을 통해 음향 효과를 적용하지 않은 오디오 데이터를 출력한다(S1007).
도 11 및 12는 본 개시의 실시 예들에 따른 다채널 오디오 출력 시스템(1100, 1200)을 나타낸 도면이다.
도 11 및 12를 참조하면, 본 개시의 실시 예들에 따른 다채널 오디오 출력 시스템(1100, 1200)은 단말기(1110), 복수의 오디오 기기들(1120_1 내지 1120_4), 디스플레이 장치(1130, 1230) 및 마이크로폰(1140) 등을 포함할 수 있다. 도 11에서는 디스플레이 장치(1130)가 디스플레이 패널을 포함하는 TV나 모니터와 같은 장치이며, 도 12에서는 디스플레이 장치(1230)가 광원을 통해 이미지에 대응하는 빛을 벽이나 스크린(1235)에 투사하는 프로젝터일 수 있다.
단말기(1110)는 복수의 오디오 기기들(1120_1 내지 1120_4)과 연결하고, 연결된 복수의 오디오 기기들(1120_1 내지 1120_4)로 다채널 오디오 시스템을 구성하며, 다채널 오디오 시스템을 구성하는 복수의 오디오 기기들(1120_1 내지 1120_4)를 통해 오디오 데이터를 출력할 수 있다. 그리고, 단말기(1110)는 디스플레이부를 통해 다채널 오디오 시스템에 대한 정보, 다채널 오디오 시스템에 대응하는 업믹싱 가능 여부 및 업믹싱 수행 여부를 묻는 알림을 출력(1111)할 수 있다.
단말기(1110)는 디스플레이 장치(1130, 1230)과 연결하고, 연결된 디스플레이 장치(1130)를 통해 이미지 데이터를 출력할 수 있다. 또한, 단말기(1110)는 마이크로폰(1140)과 연결하고, 연결된 마이크로폰(1140)을 통해 오디오 데이터를 입력받을 수 있다.
단말기(1110)는 복수의 오디오 기기들(1120_1 내지 1120_4)로 다채널 오디오 시스템을 구성하고, 연결된 디스플레이 장치(1130, 1230)에 다채널 오디오 시스템의 오디오 시스템 정보를 전달할 수 있다. 또한, 단말기(1110)는 복수의 오디오 기기들(1120_1 내지 1120_4) 각각에 할당된 오디오 채널을 고려하여 각 오디오 기기들(1120_1 내지 1120_4)의 배치 위치 정보를 결정하고, 디스플레이부를 통해 결정된 배치 위치 정보를 출력할 수 있다. 이에 따라, 디스플레이 장치(1130, 1230)는 단말기(1110)와의 연결이 끊긴 이후라도 다채널 오디오 시스템을 구성하는 복수의 오디오 기기들(1120_1 내지 1120_4)를 통해 다채널 오디오를 출력할 수 있다.
일 실시 예에서, 다채널 오디오 출력 시스템(1100, 1200)은 홈 노래방 서비스를 제공할 수 있다. 이를 위해, 단말기(1110)는 노래방(가라오케) 어플리케이션을 실행하고, 디스플레이 장치(1130, 1230)를 통해 노래방 어플리케이션 화면을 표시하며, 복수의 오디오 기기들(1120_1 내지 1120_4)를 통해 노래방 어플리케이션의 소리를 출력하며, 마이크로폰(1140)을 통해 사용자의 음성을 수신할 수 있다.
일 실시 예에서, 다채널 오디오 출력 시스템(1100, 1200)은 홈 씨네마 서비스를 제공할 수 있다. 이를 위해, 단말기(1110)는 디스플레이 장치(1130, 1230)를 통해 비디오 컨텐츠의 이미지를 표시하며, 복수의 오디오 기기들(1120_1 내지 1120_4)를 통해 비디오 컨텐츠의 오디오를 출력할 수 있다.
비록 도 11과 12에는 도시되지 않았으나, 단말기(1110)는 별도의 컨텐츠 제공자(400)로부터 오디오 데이터를 포함하는 컨텐츠를 수신할 수 있다. 또한, 단말기(1110)는 별도의 업믹싱 서버(300)를 통해 오디오 데이터를 업믹싱할 수 있다.
본 개시의 일 실시 예에 따르면, 전술한 방법은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

Claims (14)

  1. 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기에 있어서,
    카메라;
    복수의 제1 오디오 기기들과 연결하는 통신부; 및
    상기 통신부 또는 상기 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하고, 상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하고, 상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 프로세서를 포함하는, 단말기.
  2. 청구항 1에 있어서,
    상기 기기 정보는
    상기 복수의 제1 오디오 기기들 각각에 대한 오디오 채널 정보 및 음량 레벨 정보를 포함하는, 단말기.
  3. 청구항 2에 있어서,
    상기 프로세서는
    상기 카메라를 통해 상기 제1 오디오 기기를 포함하는 제1 이미지 데이터를 획득하고, 상기 제1 이미지 데이터에 포함된 상기 제1 오디오 기기를 특정하고, 상기 특정된 제1 오디오 기기에 대응하는 기기 정보를 획득하는, 단말기.
  4. 청구항 2에 있어서,
    상기 오디오 시스템 정보는
    상기 다채널 오디오 시스템의 오디오 채널 정보, 상기 제2 오디오 기기들에 대한 오디오 채널 할당 정보, 음량 레벨 정보 및 배치 위치 정보를 포함하는, 단말기.
  5. 청구항 4에 있어서,
    상기 프로세서는
    상기 카메라를 통해 상기 다채널 오디오 시스템의 청취 공간에 대한 제2 이미지 데이터를 획득하고, 상기 제2 이미지 데이터에 기초하여 상기 배치 위치 정보를 결정하는, 단말기.
  6. 청구항 5에 있어서,
    입력부를 더 포함하고,
    상기 프로세서는
    상기 입력부를 통해 사용자로부터 상기 제2 이미지 데이터에서의 청취 위치 정보를 획득하고, 상기 청취 위치 정보에 기초하여 상기 배치 위치 정보를 결정하는, 단말기.
  7. 청구항 6에 있어서,
    디스플레이부를 더 포함하고,
    상기 프로세서는
    상기 디스플레이부를 통해 상기 제2 오디오 기기들에 대한 상기 배치 위치 정보를 출력하는, 단말기.
  8. 청구항 4에 있어서,
    상기 프로세서는
    상기 오디오 데이터의 채널 수가 상기 오디오 채널 정보의 채널 수보다 적은 경우에 상기 오디오 데이터를 업믹싱하고, 상기 제2 오디오 기기들을 통해 상기 업믹싱된 오디오 데이터를 출력하는, 단말기.
  9. 청구항 8에 있어서,
    상기 통신부는
    업믹싱 서버로부터 상기 오디오 데이터에 대응하는 상기 업믹싱된 오디오 데이터를 수신하는, 단말기.
  10. 청구항 2에 있어서,
    상기 프로세서는
    상기 오디오 데이터의 오디오 특성에 기초하여 음향 효과를 결정하고, 상기 음향 효과를 반영하여 상기 제2 오디오 기기들을 통해 상기 오디오 데이터를 출력하는, 단말기.
  11. 청구항 10에 있어서,
    상기 음향 효과는
    이퀄라이저 또는 입체 음향 중에서 적어도 하나 이상을 포함하는, 단말기.
  12. 청구항 10에 있어서,
    상기 프로세서는
    인공 신경망으로 구성된 오디오 분석 모델을 이용하여 상기 오디오 데이터에 상응하는 상기 오디오 특성을 분석하는, 단말기.
  13. 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 방법에 있어서,
    통신부를 통해 복수의 제1 오디오 기기들과 연결하는 단계;
    상기 통신부 또는 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하는 단계;
    상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하는 단계; 및
    상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 단계를 포함하는, 방법.
  14. 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 방법을 기록한 기록 매체에 있어서, 상기 방법은
    통신부를 통해 복수의 제1 오디오 기기들과 연결하는 단계;
    상기 통신부 또는 카메라를 통해 상기 복수의 제1 오디오 기기들에 대한 기기 정보를 획득하는 단계;
    상기 기기 정보를 고려하여 상기 복수의 제1 오디오 기기들 중에서 적어도 둘 이상의 제2 오디오 기기들을 포함하는 다채널 오디오 시스템을 구성하는 단계; 및
    상기 다채널 오디오 시스템에 대응하는 오디오 시스템 정보에 기초하여 상기 제2 오디오 기기들을 통해 오디오 데이터를 출력하는 단계를 포함하는, 기록 매체.
PCT/KR2020/011206 2020-08-21 2020-08-21 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법 Ceased WO2022039310A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020227001471A KR102789967B1 (ko) 2020-08-21 2020-08-21 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
PCT/KR2020/011206 WO2022039310A1 (ko) 2020-08-21 2020-08-21 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
CN202080082493.1A CN114747196B (zh) 2020-08-21 2020-08-21 使用多个音频装置来输出多声道音频的终端和方法
EP20950391.1A EP4203446A4 (en) 2020-08-21 2020-08-21 Terminal and method for outputting multi-channel audio by using plurality of audio devices
US17/641,747 US12081964B2 (en) 2020-08-21 2020-08-21 Terminal and method for outputting multi-channel audio by using plurality of audio devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/011206 WO2022039310A1 (ko) 2020-08-21 2020-08-21 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022039310A1 true WO2022039310A1 (ko) 2022-02-24

Family

ID=80323017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011206 Ceased WO2022039310A1 (ko) 2020-08-21 2020-08-21 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법

Country Status (5)

Country Link
US (1) US12081964B2 (ko)
EP (1) EP4203446A4 (ko)
KR (1) KR102789967B1 (ko)
CN (1) CN114747196B (ko)
WO (1) WO2022039310A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240127247A (ko) * 2023-02-15 2024-08-22 순천향대학교 산학협력단 인공신경망 기반의 음향 변환 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233811B (zh) * 2023-01-19 2025-12-23 南京中感微电子有限公司 多声道蓝牙音频数据传输方法及相关设备
US20250328306A1 (en) * 2024-04-17 2025-10-23 Dell Products L.P. Smart Audio System For Use With An Information Handling System Audio System

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013236354A (ja) * 2012-05-11 2013-11-21 Funai Electric Co Ltd 音響システムおよびスピーカ装置
KR20150106649A (ko) * 2014-03-12 2015-09-22 삼성전자주식회사 위치정보를 활용한 멀티 스피커의 운용 방법 및 장치
US20160004499A1 (en) * 2014-07-03 2016-01-07 Qualcomm Incorporated Single-channel or multi-channel audio control interface
KR20190119012A (ko) * 2010-08-17 2019-10-21 한국전자통신연구원 멀티 채널 오디오 호환 시스템 및 방법
KR20200040531A (ko) * 2018-10-10 2020-04-20 엔에이치엔 주식회사 근거리 무선 통신을 통해 복수의 스피커들을 제어하기 위한 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4368210B2 (ja) * 2004-01-28 2009-11-18 ソニー株式会社 送受信システム、送信装置およびスピーカ搭載機器
JP5067595B2 (ja) * 2005-10-17 2012-11-07 ソニー株式会社 画像表示装置および方法、並びにプログラム
JP5245368B2 (ja) * 2007-11-14 2013-07-24 ヤマハ株式会社 仮想音源定位装置
US9015612B2 (en) * 2010-11-09 2015-04-21 Sony Corporation Virtual room form maker
EP2885929A1 (en) * 2012-08-16 2015-06-24 Turtle Beach Corporation Multi-dimensional parametric audio system and method
WO2014036085A1 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation Reflected sound rendering for object-based audio
EP2922313B1 (en) * 2012-11-16 2019-10-09 Yamaha Corporation Audio signal processing device and audio signal processing system
JP2016019086A (ja) * 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
KR20170030384A (ko) 2015-09-09 2017-03-17 삼성전자주식회사 음향 조절 장치 및 방법과, 장르 인식 모델 학습 장치 및 방법
JP6607220B2 (ja) * 2017-03-17 2019-11-20 ヤマハ株式会社 スピーカ位置特定システム、スピーカ位置特定装置、及びスピーカ位置特定方法
US10158960B1 (en) * 2018-03-08 2018-12-18 Roku, Inc. Dynamic multi-speaker optimization
KR102609084B1 (ko) * 2018-08-21 2023-12-06 삼성전자주식회사 전자장치, 그 제어방법 및 기록매체
US10972853B2 (en) * 2018-12-21 2021-04-06 Qualcomm Incorporated Signalling beam pattern with objects
US11026021B2 (en) * 2019-02-19 2021-06-01 Sony Interactive Entertainment Inc. Hybrid speaker and converter
US12382237B2 (en) * 2020-09-21 2025-08-05 Dell Products L.P. Method to adapt audio processing based on user attention sensing and system therefor
KR102872213B1 (ko) * 2020-12-23 2025-10-16 현대자동차주식회사 차량용 음향 제어 장치 및 그 제어 방법
KR20230071634A (ko) * 2021-11-16 2023-05-23 삼성전자주식회사 전자 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119012A (ko) * 2010-08-17 2019-10-21 한국전자통신연구원 멀티 채널 오디오 호환 시스템 및 방법
JP2013236354A (ja) * 2012-05-11 2013-11-21 Funai Electric Co Ltd 音響システムおよびスピーカ装置
KR20150106649A (ko) * 2014-03-12 2015-09-22 삼성전자주식회사 위치정보를 활용한 멀티 스피커의 운용 방법 및 장치
US20160004499A1 (en) * 2014-07-03 2016-01-07 Qualcomm Incorporated Single-channel or multi-channel audio control interface
KR20200040531A (ko) * 2018-10-10 2020-04-20 엔에이치엔 주식회사 근거리 무선 통신을 통해 복수의 스피커들을 제어하기 위한 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4203446A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240127247A (ko) * 2023-02-15 2024-08-22 순천향대학교 산학협력단 인공신경망 기반의 음향 변환 방법 및 장치
KR102805050B1 (ko) * 2023-02-15 2025-05-13 순천향대학교 산학협력단 인공신경망 기반의 음향 변환 방법 및 장치

Also Published As

Publication number Publication date
EP4203446A1 (en) 2023-06-28
EP4203446A4 (en) 2024-05-22
US12081964B2 (en) 2024-09-03
US20220303707A1 (en) 2022-09-22
CN114747196A (zh) 2022-07-12
CN114747196B (zh) 2025-07-29
KR20230054308A (ko) 2023-04-24
KR102789967B1 (ko) 2025-04-04

Similar Documents

Publication Publication Date Title
WO2012091185A1 (en) Display device and method of providing feedback for gestures thereof
WO2013022135A1 (en) Electronic device and method of controlling the same
WO2018056624A1 (en) Electronic device and control method thereof
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2013151374A1 (en) Method and system for transfering data between plurality of devices
WO2014038916A1 (en) System and method of controlling external apparatus connected with device
WO2020145552A1 (en) Image display device and operation method thereof
WO2022039310A1 (ko) 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
WO2017052162A1 (en) Electronic apparatus, audio device, and method that is performable by the electronic apparatus to set network of the audio device
WO2022080612A1 (ko) 휴대용 음향기기
WO2022231135A1 (ko) 오디오 신호를 출력하는 방법 및 이를 수행하는 전자 장치
WO2021101327A1 (en) Display device and operating method thereof
WO2021107558A1 (en) Display apparatus and method of controlling the same
EP4088486A1 (en) Apparatus and method for converting audio output
WO2021085902A1 (ko) 복수의 어플리케이션들의 오디오 데이터를 출력하는 전자 장치 및 그 동작 방법
WO2014157757A1 (ko) 이동식 입력 장치 및 그를 이용한 명령 입력 방법
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2020226390A1 (en) Electronic device and method of controlling thereof
WO2019103471A1 (en) Method of providing vibration and electronic device for supporting same
WO2022014734A1 (ko) 무선 음향 기기를 제어하는 단말기 및 그 방법
WO2018105965A1 (en) Vehicle operating method and vehicle operating apparatus
WO2017026817A1 (ko) 통역음성 정보를 제공하는 방법, 이를 운용하는 맞춤형 통역 서버 및 시스템
EP3625959A1 (en) Electronic device, audio output device, and operating method of electronic device
WO2020080829A1 (en) Electronic device including a plurality of speakers
WO2022085827A1 (ko) 블루투스 페어링을 이용하여 원격 제어 장치의 위치를 탐색하는 이동 단말기 및 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20950391

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020950391

Country of ref document: EP

Effective date: 20230321

WWG Wipo information: grant in national office

Ref document number: 202080082493.1

Country of ref document: CN