WO2022059825A1 - 제어장치 및 이를 포함하는 시스템 - Google Patents

제어장치 및 이를 포함하는 시스템 Download PDF

Info

Publication number
WO2022059825A1
WO2022059825A1 PCT/KR2020/012722 KR2020012722W WO2022059825A1 WO 2022059825 A1 WO2022059825 A1 WO 2022059825A1 KR 2020012722 W KR2020012722 W KR 2020012722W WO 2022059825 A1 WO2022059825 A1 WO 2022059825A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
control device
image display
display device
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/012722
Other languages
English (en)
French (fr)
Inventor
김동성
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to EP20954221.6A priority Critical patent/EP4216214A4/en
Priority to US18/246,104 priority patent/US12356037B2/en
Priority to PCT/KR2020/012722 priority patent/WO2022059825A1/ko
Priority to KR1020237008701A priority patent/KR102909522B1/ko
Publication of WO2022059825A1 publication Critical patent/WO2022059825A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Definitions

  • the present invention relates to a control device and a system including the same.
  • An image display device is a device having a function of displaying an image that a user can watch.
  • LCD Liquid Crystal Display Device
  • PDP Plasma Display Panel
  • ELD Electro luminescent Display
  • VFD Vauum Fluorescent Display
  • Such an image display device may perform wired/wireless communication with various electronic devices to transmit/receive data to/from each other.
  • the image display apparatus may display a screen corresponding to an image signal transmitted from an electronic device connected through wired/wireless communication, and may output a sound corresponding to an audio signal.
  • a user in order to control electronic devices, a user directly manipulates a button provided on the main body of the electronic device or uses a remote control device such as a remote controller to avoid the inconvenience of moving to the main body.
  • a remote control device such as a remote controller
  • the electronic device performing voice recognition not only the voice uttered by the user but also the sound output from the image display device will receive
  • a method of accurately processing only the voice part uttered by the user, except for the sound part output from the image display device among the voice input received by the electronic device is required.
  • the present invention aims to solve the above and other problems.
  • Another object of the present invention is to provide a control device capable of accurately excluding a sound part output from an image display device from among received audio input in consideration of the location of the image display device, and a system including the same.
  • Another object of the present invention is to provide a control device capable of improving the accuracy of voice recognition in consideration of the location of the user uttering the voice, and a system including the same.
  • a control device includes an external device interface unit for communicating with an image display device, a microphone, and a control unit, wherein the control unit is transmitted/received through the external device interface unit Based on the signal, the angle and distance between the control device and the video display device are determined, and when an audio input is received through a microphone, a compensation signal corresponding to the audio signal transmitted to the video display device is generated, and the control device and the image A compensation signal may be corrected based on an angle and a distance between the display devices, and a voice input may be processed based on the corrected compensation signal.
  • the compensation signal corresponding to the audio signal is a signal corresponding to the sound output from the image display device according to the audio signal
  • the control unit based on the corrected compensation signal, A portion corresponding to the sound output from the image display device may be removed from the input, and voice recognition may be performed on the audio input from which the portion is removed.
  • control unit corrects the phase of the compensation signal based on the angle between the control device and the image display device, and based on the distance between the control device and the image display device, the amplitude of the compensation signal can be corrected.
  • the external device interface unit includes at least one array antenna including a plurality of antenna elements, and the control unit communicates with the image display device through the array antenna in a plurality of directions. It is possible to determine a direction used for the , and determine an angle between the control device and the image display device based on the determined direction.
  • the controller receives data on a direction used for communication with the control device from the image display device, and based on the received data on the direction, the control device and the image display device The angle between them can be determined.
  • control unit based on at least one of the intensity of the signal received from the image display device, and the difference between the time when the signal is output from the control device and the time when the signal is received from the image display device Thus, it is possible to determine the distance between the control device and the image display device.
  • the external device interface unit includes a first communication circuit using a first frequency band and a second communication circuit using a second frequency band higher than the first frequency band,
  • the controller may transmit a control signal to the image display device through a first communication circuit and transmit at least one of an image signal and the audio signal to the image display device through a second communication circuit.
  • the first frequency band may include at least one of a 2.4 GHz band and a 5 GHz band
  • the second frequency band may include at least a portion of a frequency band of 25 GHz to 100 GHz. there is.
  • control unit calculates a distance between an object corresponding to the user and the control device based on a signal transmitted and received through the external device interface unit, and responds to the user when voice recognition fails
  • a control signal for lowering the volume of a sound output from the image display apparatus may be transmitted to the image display apparatus based on the distance between the object and the control apparatus.
  • control unit transmits a first signal through the array antenna, and receives a second signal, which is a signal in which the transmitted first signal is reflected by an object, through the array antenna.
  • the distance between the object corresponding to the user and the control device may be calculated based on a result of performing the omnidirectional operation and receiving the second signal in the omnidirectional direction.
  • the image display device outputs a sound through at least one speaker based on an audio signal received from the control device.
  • the control device determines an angle and a distance between the control device and the image display device based on a signal transmitted and received between the video display device and the image display device, and when an audio input is received through a microphone of the control device , generating a compensation signal corresponding to the audio signal transmitted to the image display device, correcting the compensation signal based on the angle and distance between the control device and the image display device, and receiving a voice input based on the corrected compensation signal can be processed
  • the amplitude, phase, etc. of the compensation signal corresponding to the sound output from the image display device is corrected, and the corrected compensation signal
  • the position of the user uttering the voice is confirmed, and the sound output from the image display device according to the position of the user
  • the volume to be lowered it is possible to further improve the accuracy of voice recognition for the voice part spoken by the user.
  • FIG. 1 is a diagram illustrating a system, according to an embodiment of the present invention.
  • FIG. 2 is an example of an internal block diagram of the control device of FIG. 1 .
  • FIG. 3 is an example of an internal block diagram of the image display device of FIG. 1 .
  • FIG. 4 is a flowchart of a method of operating a control device according to an embodiment of the present invention.
  • 5 to 8 are diagrams referred to in the description of the operation of the control device.
  • FIG. 9 is a flowchart of a method of operating a control device according to another embodiment of the present invention.
  • Fig. 10 is a diagram referred to in the description of the operation of the control device.
  • module and “part” for the components used in the following description are given simply in consideration of the ease of writing the present specification, and do not impart a particularly important meaning or role by themselves. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • FIG. 1 is a diagram illustrating a system, according to various embodiments of the present invention.
  • a system 10 may include a control device 100 , an image display device 200 , and/or a remote control device 300 .
  • the control device 100 may be a device for controlling the image display device 200 .
  • the control apparatus 100 may transmit a control signal for controlling the operation of the image display apparatus 200 to the image display apparatus 200 .
  • the control apparatus 100 may establish a wired or wireless network with the image display apparatus 200 to transmit an image signal and/or an audio signal to the image display apparatus 200 .
  • the control device 100 may receive a broadcast signal, process it, and transmit the processed image signal and/or audio signal to the image display device 200 .
  • the control device 100 may receive a broadcast signal wirelessly through an antenna, or may receive a broadcast signal by wire through a cable.
  • the control device 100 may receive a terrestrial broadcast signal, a satellite broadcast signal, a cable broadcast signal, an Internet Protocol Television (IPTV) broadcast signal, and the like.
  • IPTV Internet Protocol Television
  • the image display device 200 may be a device that processes and outputs an image.
  • the image display device 200 is not particularly limited as long as it can output a screen corresponding to an image signal, such as a TV, a notebook computer, and a monitor.
  • the remote control device 300 may be connected to the control device 100 by wire and/or wirelessly to provide various control signals to the control device 100 .
  • the remote control device 300 establishes a wired or wireless network with the control device 100 , and transmits various control signals to the control device 100 through the established network, or from the control device 100 to the control device. It may include an apparatus for receiving signals related to various operations processed in 100 .
  • various input devices such as a mouse, a keyboard, a space remote control, a trackball, and a joystick may be used as the remote control device 300 .
  • the control device 100 is connected to only a single remote control device 300 , or is simultaneously connected to two or more remote control devices 300 , and based on a control signal provided from each remote control device 300 , an image display device The object displayed in 200 may be changed or the state of the screen may be adjusted.
  • the remote control apparatus 300 may be connected to the image display apparatus 100 by wire and/or wirelessly to provide various control signals to the image display apparatus 100 .
  • FIG. 2 is an example of an internal block diagram of the control device of FIG. 1 .
  • the control device 100 includes a broadcast receiving unit 105 , an external device interface unit 130 , a network interface unit 135 , a storage unit 140 , a user input interface unit 150 , and an input unit ( 160 ), a control unit 170 , an audio output unit 185 , and/or a power supply unit 190 .
  • the broadcast receiver 105 may include a tuner 110 and a demodulator 120 .
  • the tuner unit 110 may select a broadcast signal corresponding to a channel selected by the user or all channels stored in advance among broadcast signals received through an antenna (not shown) or a cable (not shown).
  • the tuner unit 110 may convert the selected broadcast signal into an intermediate frequency signal or a baseband video or audio signal.
  • the selected broadcast signal may be converted into a digital IF signal (DIF), and if the selected broadcast signal is an analog broadcast signal, it may be converted into an analog baseband image or audio signal (CVBS/SIF).
  • DIF digital IF signal
  • CVBS/SIF analog baseband image or audio signal
  • the tuner unit 110 may process a digital broadcast signal or an analog broadcast signal.
  • the analog baseband video or audio signal (CVBS/SIF) output from the tuner unit 110 may be directly input to the control unit 170 .
  • the tuner unit 110 may sequentially select broadcast signals of all broadcast channels stored through the channel storage function among the received broadcast signals, and convert them into an intermediate frequency signal or a baseband video or audio signal.
  • the tuner unit 110 may include a plurality of tuners in order to receive broadcast signals of a plurality of channels.
  • a single tuner that simultaneously receives broadcast signals of a plurality of channels is also possible.
  • the demodulator 120 may receive the digital IF signal DIF converted by the tuner 110 and perform a demodulation operation.
  • the demodulator 120 may output a stream signal TS after demodulation and channel decoding are performed.
  • the stream signal may be a signal obtained by multiplexing an image signal, an audio signal, or a data signal.
  • the stream signal output from the demodulator 120 may be input to the controller 170 .
  • the controller 170 may transmit the data to the image display device 200 through the external device interface unit 130 .
  • the external device interface unit 130 may transmit or receive data to or from a connected external device.
  • the external device interface unit 130 may include an A/V input/output unit (not shown).
  • the A/V input/output unit may transmit/receive signals to and from an external device.
  • the A/V input/output unit includes an Ethernet (Ethernet) terminal, a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), a DVI (Digital Visual Interface) terminal, and an HDMI (High It may include a Definition Multimedia Interface) terminal, a Mobile High-definition Link (MHL) terminal, an RGB terminal, a D-SUB terminal, an IEEE 1394 terminal, an SPDIF terminal, a Liquid HD terminal, and the like.
  • a digital signal input through these terminals may be transmitted to the controller 170 .
  • the analog signal input through the CVBS terminal and the S-video terminal may be converted into a digital signal through an analog-to-digital converter (not shown) and transmitted to the controller 170 .
  • the external device interface unit 130 may be connected to an image display device 200 such as a TV or a monitor by wire/wireless, and may perform input/output operations with the image display device 200 .
  • the external device interface unit 130 may include a wireless communication unit (not shown) for short-range wireless communication with other electronic devices. Through such a wireless communication unit, the external device interface unit 130 may exchange data with an adjacent mobile terminal. For example, the external device interface unit 130 may receive device information, executed application information, an application image, and the like, from the mobile terminal in the mirroring mode.
  • Bluetooth Bluetooth
  • RFID Radio Frequency Identification
  • Wi-Fi Wireless Fidelity
  • infrared communication IrDA, infrared Data Association
  • UWB Ultra-Wideband
  • ZigBee ZigBee
  • WiGig WiGig
  • the external device interface unit 130 may include a plurality of communication circuits.
  • the external device interface unit 130 includes a first communication circuit (not shown) using a first frequency band and a second communication circuit (not shown) using a second frequency band higher than the first frequency band. ) may be included.
  • the first communication circuit may use a first frequency band including at least one of a 2.4 GHz band and a 5 GHz band used for Bluetooth, Wi-Fi, and the like.
  • the first communication circuit may perform omni-directional or omni-directional communication for transmitting and receiving signals of the first frequency band.
  • the second communication circuit may use a second frequency band including at least a part of a frequency band of 25 GHz to 100 GHz.
  • the second frequency band may be referred to as an mmWave band.
  • the first communication circuit may transmit a control signal for controlling the operation of the image display apparatus 200 connected to the communication
  • the second communication circuit may display a large-capacity image signal and/or an audio signal through communication connection. may be transmitted to the device 200 .
  • the second communication circuit is Communication may be performed according to a beamforming method for intensively transmitting and receiving signals in one direction.
  • the second communication circuit may include an array antenna including a plurality of antenna elements, a plurality of phase shifters corresponding to the plurality of antenna elements, and the like.
  • the antenna element may include a patch antenna, a dipole antenna, and the like.
  • the second communication circuit may generate a transmit beam and/or a receive beam in a specific direction among the plurality of directions by controlling the phases of signals transmitted and received through the plurality of antenna elements through the plurality of phase converters.
  • the second communication circuit may determine a pattern of the transmit beam and/or the receive beam by changing the number of antenna elements used to generate the transmit beam and/or the receive beam. For example, the second communication circuit may increase the number of antenna elements used to generate the transmit beam and/or receive beam to form a beam of a narrow radiation pattern, and reduce the number of antenna elements to increase the number of antenna elements. It is also possible to form a beam of radiation pattern.
  • the second communication circuit forms a beam having a narrow radiation pattern
  • coverage is narrower than a beam having a wide radiation pattern, but an antenna gain is high, so that communication performance can be improved.
  • the network interface unit 135 may provide an interface for connecting to a wired/wireless network including the Internet network.
  • the network interface unit 155 may receive content or data provided by the Internet, a content provider, or a network operator through a network.
  • the network interface unit 135 may include a communication module (not shown) for connection to a wired/wireless network.
  • the network interface unit 135 may include a communication module for Wireless LAN (WLAN), Wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), etc. there is.
  • WLAN Wireless LAN
  • Wibro Wireless broadband
  • Wimax World Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the network interface unit 135 may transmit or receive data with another user or other electronic device through the connected network or another network linked to the connected network.
  • the storage unit 140 may store a program for each signal processing and control in the control unit 170 , or may store a signal-processed image, audio, or data signal.
  • the storage unit 140 stores application programs designed for the purpose of performing various tasks that can be processed by the control unit 170 , and upon request of the control unit 170 , selectively selects some of the stored application programs can provide
  • the program stored in the storage unit 140 is not particularly limited as long as it can be executed by the control unit 170 .
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal received from an external device through the external device interface unit 130 .
  • the storage unit 140 may store information about a predetermined broadcast channel through a channel storage function such as a channel map.
  • FIG 2 illustrates an embodiment in which the storage unit 140 is provided separately from the control unit 170 , the scope of the present invention is not limited thereto, and the storage unit 140 may be included in the control unit 170 .
  • the storage unit 140 may include a volatile memory (eg, DRAM, SRAM, SDRAM, etc.), a non-volatile memory (eg, a flash memory), a hard disk drive (HDD), or a solid state drive (Solid). -state drive (SSD), etc.) may be included. In various embodiments of the present invention, the storage unit 140 and the memory may be used interchangeably.
  • a volatile memory eg, DRAM, SRAM, SDRAM, etc.
  • a non-volatile memory eg, a flash memory
  • HDD hard disk drive
  • SSD solid state drive
  • the storage unit 140 and the memory may be used interchangeably.
  • the user input interface unit 150 may transmit a signal input by the user to the control unit 170 or may transmit a signal from the control unit 170 to the user.
  • transmit/receive user input signals such as power on/off, channel selection, and screen setting from the remote control device 400, or local keys (not shown) such as power key, channel key, volume key, and setting value transmits a user input signal input from the to the control unit 170, transmits a user input signal input from a sensor unit (not shown) that senses a user's gesture to the control unit 170, or transmits a signal from the control unit 170 It can be transmitted to the sensor unit.
  • the input unit 160 may be provided on one side of the main body of the control device 100 .
  • the input unit 160 may include a touch pad, a physical button, and the like.
  • the input unit 160 may receive various user commands related to the operation of the control device 100 , and may transmit a control signal corresponding to the input command to the control unit 170 .
  • the input unit 160 may transmit a control signal corresponding to the input command to the control unit 170 through the user input interface unit 150 .
  • the input unit 160 may include at least one microphone (not shown), and may receive a user's voice through the microphone.
  • the controller 170 may include at least one processor, and may control the overall operation of the control device 100 by using the processor included therein.
  • the processor may be a general processor such as a central processing unit (CPU).
  • the processor may be a dedicated device such as an ASIC or other hardware-based processor.
  • the controller 170 demultiplexes a stream input through the tuner unit 110 , the demodulator 120 , the external device interface unit 130 , or the network interface unit 135 , or processes the demultiplexed signals to , it is possible to generate and output a signal for video or audio output.
  • the image signal and/or the audio signal processed by the controller 170 may be transmitted to the image display device 200 through the external device interface unit 130 .
  • the audio signal processed by the control unit 170 may be transmitted to the audio output unit 185 .
  • the audio output unit 185 may include at least one speaker (not shown).
  • the audio output unit 185 may receive the audio signal processed by the control unit 170 and output the audio signal.
  • the controller 170 may include a demultiplexer, an image processor, and the like.
  • control unit 170 may control overall operations in the control device 100 .
  • the controller 170 may control the tuner 110 to select a channel selected by the user or a broadcast corresponding to a pre-stored channel (Tuning).
  • control device 100 may further include a photographing unit (not shown).
  • the photographing unit may photograph the user.
  • the photographing unit may be implemented with one camera, but is not limited thereto, and may be implemented with a plurality of cameras. Meanwhile, the photographing unit may be embedded in the upper portion of the control device 100 or disposed separately. Image information captured by the photographing unit may be input to the control unit 170 .
  • the controller 170 may detect the user's gesture based on each or a combination of an image captured by the photographing unit or a signal sensed from the sensor unit.
  • the control unit 170 may recognize the location of the user based on the image captured by the photographing unit. For example, the controller 170 may determine the distance (z-axis coordinate) between the user and the control device 100 .
  • the controller 170 may determine a direction in which a transmit beam and/or a receive beam is generated through the second communication circuit among a plurality of directions. For example, the control unit 170, based on a signal to noise ratio (SNR), received signal strength (RSSI), etc., among a plurality of directions, a transmit beam and/or a receive beam through the second communication circuit direction can be determined.
  • SNR signal to noise ratio
  • RSSI received signal strength
  • the control unit 170 may calculate an angle between the control device 100 and the external electronic device.
  • control unit 170 may determine a direction for generating a transmission beam and/or a reception beam through the second communication circuit among a plurality of directions, and set an angle corresponding to the determined direction with the control device 100 . It can be determined by the angle between external electronic devices.
  • control unit 170 may control a direction for generating a transmission beam and/or a reception beam from an external electronic device through the external device interface unit 130 , that is, a direction used for communication with the control device 100 .
  • Data may be received, and an angle between the control device 100 and the external electronic device may be determined based on the received direction data.
  • the control unit 170 may acquire information about an object disposed around the control device 100 based on a signal transmitted/received through the external device interface unit 130 .
  • the control unit 170 transmits the first signal of the mmWave band through at least one array antenna included in the second communication circuit, and transmits at least a second signal, which is a signal from which the transmitted first signal is reflected by the object and returned.
  • the operation of receiving through one array antenna may be performed in all directions.
  • a plurality of array antennas included in the second communication circuit may be arranged to face omnidirectional, or may be arranged to rotate omnidirectionally based on a rotation axis.
  • the control unit 170 calculates the distance between the objects disposed in the vicinity of the control device 100 and the control device 100 based on a difference between the time when the first signal is transmitted and the time when the second signal is received.
  • the control unit 170 based on the difference between the time when the signal is transmitted to the external electronic device through the external device interface unit 130 and the time when the external electronic device receives the signal from the control device 100, the control device ( 100) and an external electronic device can be calculated.
  • the controller 170 may calculate a distance between the control device 100 and the external electronic device based on a signal received from the external electronic device through the external device interface unit 130 .
  • the control unit 170 may calculate a Received Signal Strength Indication (RSSI) regarding the strength of a signal received from an external electronic device through the external device interface unit 130 , and the calculated reception A distance between the control device 100 and an external electronic device may be calculated based on the signal strength.
  • RSSI Received Signal Strength Indication
  • the controller 170 may determine the types of objects disposed in the vicinity of the control device 100 based on a result of receiving the second signal in the omnidirectional direction. For example, the controller 170 may generate an image (eg, a point cloud image) corresponding to the reception result based on a result of receiving the second signals in the omnidirectional direction, and from the image An object corresponding to the user may be identified among objects disposed around the control device 100 .
  • an image eg, a point cloud image
  • the controller 170 may perform voice recognition for a voice input input through a microphone.
  • the controller 170 may perform voice recognition using natural language processing (NLP) to extract a word included in the voice input, and may identify a command corresponding to the extracted word.
  • NLP natural language processing
  • the natural language processing technology may refer to a technology of processing a human language phenomenon so that the electronic device can recognize the meaning of the language phenomenon by mechanical analysis.
  • the control unit 170 may transmit data on the voice input to an external server (not shown), receive the result of processing the voice input from the external server, and perform voice recognition.
  • the control unit 170 may transmit data on the voice input to an external server, and receive data about a word included in the voice input and a command corresponding to the word from the external server to perform voice recognition.
  • the controller 170 may perform pre-processing, such as noise processing, on a voice input that is a target of voice recognition.
  • the preprocessing process is a processing method of detecting only a speech section from an input signal, such as end-point detection, and a method of separating a speech section and a silence section by extracting statistical features with a relatively simple calculation process from the input signal can be used
  • the preprocessing process may include a noise processing process of removing noise.
  • the power supply unit 190 may supply the corresponding power throughout the control device 100 .
  • power may be supplied to the controller 170 , which may be implemented in the form of a system on chip (SOC), and the audio output unit 185 for audio output.
  • SOC system on chip
  • the power supply unit 190 may include a converter (not shown) that converts AC power into DC power, and a Dc/Dc converter (not shown) that converts the level of DC power.
  • the remote control device 400 may transmit a user input to the user input interface unit 150 .
  • the remote control device 400 Bluetooth (Bluetooth), RF (Radio Frequency) communication, infrared (Infrared Radiation) communication, UWB (Ultra-wideband), ZigBee (ZigBee) method, etc. may be used.
  • the remote control device 400 may receive an image, audio, or data signal output from the user input interface unit 150 , and display it or output the audio signal from the remote control device 400 .
  • the block diagram of the control device 100 shown in FIG. 2 is only a block diagram for an embodiment of the present invention, and each component of the block diagram is integrated according to the specifications of the actually implemented control device 100, may be added or omitted.
  • two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed by each block is for explaining the embodiment of the present invention, and the specific operation or device does not limit the scope of the present invention.
  • 3A is an example of an internal block diagram of the image display device of FIG. 1 .
  • the image display device 200 may include an external device interface unit 210 , a display 220 , an audio output unit 230 , a storage unit 240 , and/or a control unit 250 . there is.
  • the external device interface unit 210 may transmit/receive a signal including data to/from the connected external device.
  • the external device interface unit 210 may be connected to the control device 100 by wire, and may receive a signal from the control device 100 .
  • the external device interface unit 210 may receive an image signal and/or an audio signal from the control device 100 , and may receive a control signal.
  • the external device interface unit 210 may include a plurality of communication circuits.
  • the external device interface unit 210 includes a first communication circuit (not shown) using a first frequency band and a second communication circuit (not shown) using a second frequency band higher than the first frequency band. ) may be included.
  • the first communication circuit may use a first frequency band including at least one of a 2.4 GHz band and a 5 GHz band used for Bluetooth, Wi-Fi, and the like.
  • the second communication circuit may use a second frequency band including at least a part of a frequency band of 25 GHz to 100 GHz.
  • the first communication circuit may receive a control signal from the communication-connected control device 100 , and the second communication circuit may transmit a large-capacity image signal and/or audio signal from the communication-connected control device 100 . can receive
  • the second communication circuit may include an array antenna including a plurality of antenna elements, a plurality of phase shifters corresponding to the plurality of antenna elements, and the like.
  • the second communication circuit may generate a transmit beam and/or a receive beam in a specific direction among the plurality of directions by controlling the phases of signals transmitted and received through the plurality of antenna elements through the plurality of phase converters.
  • the display 220 includes an image signal, a data signal, an OSD signal, a control signal, or an image signal, a data signal, and a control signal received from the control device 100 through the external device interface unit 210 processed by the controller 250 . and the like to generate a driving signal.
  • the display 220 may include a display panel (not shown) including a plurality of pixels and a panel driver (not shown).
  • the plurality of pixels provided in the display panel may include RGB sub-pixels.
  • the plurality of pixels included in the display panel may include RGBW sub-pixels.
  • the display 220 includes an image signal, a data signal, an OSD signal, a control signal processed by the controller 250 , or an image signal, a data signal, and an OSD transmitted from the control device 100 through the external device interface unit 210 .
  • a driving signal for a plurality of pixels may be generated by converting a signal, a control signal, or the like.
  • the display 220 may be a plasma display panel (PDP), a liquid crystal display (LCD), an organic light emitting diode (OLED), a flexible display, and the like, and a three-dimensional display (3D display) may be possible. there is.
  • the 3D display 220 may be divided into a non-glasses type and a glasses type.
  • the panel driver may drive the display panel based on a control signal and data signal transmitted from the control unit 250 or a signal transmitted from the control device 100 through the external device interface unit 210 .
  • the panel driver may include a gate driver and a data driver for supplying a scan signal and an image signal to the display panel through a gate line and a data line, and a timing controller for controlling the gate driver and the data driver in response to the control signal. .
  • the display 220 may be configured as a touch screen and used as an input device in addition to an output device.
  • the audio output unit 230 may include at least one speaker (not shown).
  • the audio output unit 230 may include at least one vibration generator 231 .
  • the vibration generator 231 may include an exciter that vibrates the display panel 310 included in the display 220 .
  • the vibration generator 231 may be mounted on the display panel 310 of the display 220 to vibrate the display panel 310 in response to a voice signal.
  • the vibration generator 231 may be mounted on the rear surface of the display panel 310 to vibrate the display panel 310 so that a voice is output to the front of the display panel 310 where the user is located.
  • a plurality of vibration generators 231 may be mounted on the display panel 310 .
  • the plurality of vibration generators 231 may independently vibrate an area in which each is disposed.
  • the first vibration generator 231a may be attached to a lower region of the display panel 310 to vibrate the lower region of the display panel 310 so that a high-pitched sound and a low-pitched sound are simultaneously generated
  • the second The vibration generator 231b may be attached to the upper region of the display panel 310 to vibrate the upper region of the display panel 310 to generate high-pitched sound.
  • the storage unit 240 may store a program for processing and controlling each signal in the control unit 250 , or may store a signal-processed image, audio, or data signal.
  • the storage unit 240 stores application programs designed for the purpose of performing various tasks that can be processed by the control unit 250 , and upon request of the control unit 250 , selects some of the stored application programs can be provided as
  • the program stored in the storage unit 240 is not particularly limited as long as it can be executed by the control unit 250 .
  • the controller 250 may include at least one processor, and may control the overall operation of the image display apparatus 200 by using the processor included therein.
  • the processor may be a general processor such as a central processing unit (CPU).
  • the processor may be a dedicated device such as an ASIC or other hardware-based processor.
  • the image display apparatus 200 may not include the storage unit 240 and/or the control unit 250 .
  • the image display apparatus 200 may be a device that operates according to a control signal received from the control apparatus 100 , and outputs the image signal received from the control apparatus 100 through the display 200 as it is.
  • it may be a device that provides a function of outputting a voice signal as it is through the audio output unit 230 .
  • FIGS. 5 to 8 are diagrams referenced for description of the operation of the control device.
  • control device 100 may communicate with the image display device 200 through the external device interface unit 130 .
  • the control device 100 may transmit/receive a signal in a first frequency band including at least one of a 2.4 GHz band and a 5 GHz band through a first communication circuit, thereby performing a communication connection with the image display device 200 . .
  • the control device 100 may transmit/receive a signal in a second frequency band including at least a part of a frequency band of 25 GHz to 100 GHz through the second communication circuit, thereby performing a communication connection with the image display device 200 .
  • the control device 100 may perform a communication connection with the image display device 200 in the second frequency band using a beamforming method.
  • the control device 100 sequentially transmits the transmit beam 510 in a plurality of directions using a plurality of antenna elements included in the array antenna, thereby performing transmit beam sweeping 515 at least once.
  • the image display device 200 also sequentially transmits the reception beam 520 in a plurality of directions while the control device 100 performs the transmission beam sweeping 515, thereby performing the reception beam sweeping 525 at least. can be done once.
  • control device 100 and the image display device 200 may form the transmission beam 510 and the reception beam 520 of a narrow radiation pattern, respectively.
  • the control device 100 may determine a direction used for communication with the image display device 200 from among a plurality of directions in which the transmission beam sweeping 515 is performed. For example, the control device 100 selects a direction having the highest signal-to-noise ratio (SNR) among a plurality of directions in which the transmit beam sweeping 515 is performed, based on the communication performance results shown in Table 1 below, A direction used for communication with the display device 200 may be determined. For example, the control device 100 selects a direction in which a signal having the largest received signal strength (RSSI) is received among a plurality of directions in which the transmission beam sweeping 515 is performed, for communication with the image display device 200 . You can decide which direction to use.
  • RSSI received signal strength
  • the image display apparatus 200 when the front surface of the control apparatus 100 and the front surface of the image display apparatus 200 face each other, the image display apparatus 200 generates a reception beam in the front direction (-x-axis direction). Then, the control device 100 generates a transmission beam in the front direction (x-axis direction) and the result of performing the transmission beam sweeping 515 with respect to the front direction (x-axis direction), and the image display device 200 generates a transmission beam in the front direction (-x-axis direction), , is a table of results of the control device 100 performing the reception beam sweeping 515 in the front direction (x-axis direction).
  • the image display device 200 may determine a direction used for communication with the control device 100 from among a plurality of directions in which the reception beam sweeping 525 is performed in the same manner as/similar to the control device 100 .
  • control device 100 performs the transmit beam sweeping 515 and the image display device 200 performs the receive beam sweeping 525 , but the present invention is limited thereto. However, the control device 100 may perform reception beam sweeping to determine a direction used for communication with the image display device 200 .
  • control device 100 may determine a distance and an angle between the control device 100 and the image display device 200 .
  • the control device 100 based on at least one of the difference between the strength of the signal received from the image display device, the time when the signal is output from the control device 100 and the time when the signal is received from the image display device 200, A distance between the control device 100 and the image display device 200 may be determined.
  • the control device 100 may determine, among the plurality of directions, an angle corresponding to a direction in which a transmission beam and/or a reception beam is generated through the second communication circuit as an angle between the control device 100 and an external electronic device. there is. In this case, the control device 100 may determine the angle between the control device 100 and the image display device 200 based on the direction in which the front of the control device 100 faces.
  • the control apparatus 100 may transmit an image signal and/or an audio signal to the image display apparatus 200 in operation S403 .
  • the control device 100 may transmit a control signal for controlling the operation of the image display device 200 through the first communication circuit using the first frequency band, and a second frequency higher than the first frequency band.
  • a large-capacity image signal and/or an audio signal may be transmitted to the image display device 200 through the second communication circuit using the band.
  • control device 100 may check whether a voice input, which is a target of voice recognition, is received through a microphone.
  • control device 100 may generate and correct a compensation signal corresponding to the voice signal transmitted to the image display device 100 .
  • the compensation signal may mean a signal corresponding to the sound output from the image display device 100 according to the audio signal.
  • the control apparatus 100 processes the audio signal transmitted to the image display apparatus 100, and when the image display apparatus 100 outputs a sound according to the audio signal, it is assumed to be received through a microphone.
  • a signal corresponding to the expected sound may be generated as a compensation signal.
  • the compensation signal generated by the control device 100 is, when the control device 100 and the image display device 200 are located according to a preset distance (eg, 1 m) and an angle (eg, 0°), It may be a signal corresponding to a voice input expected to be received through the microphone. Also, the control device 100 may generate a compensation signal based on a set value (eg, volume, mono output, stereo output, etc.) set in relation to the sound output of the image display device 200 .
  • a set value eg, volume, mono output, stereo output, etc.
  • the control device 100 may correct the compensation signal based on the distance and angle between the control device 100 and the image display device 200 .
  • the angle between the control device 100 and the image display device 200 may be 0°.
  • control device 100 may correct the amplitude of the compensation signal to increase as the distance between the control device 100 and the image display device 200 increases, and the control device 100 and the image As the distance between the display devices 200 increases, the amplitude of the compensation signal may be corrected to decrease.
  • the image display device when the distance between the control device 100 and the image display device 200 is d3 and the angle between the control device 100 and the image display device 200 is 0°, the image display device When 200 moves a predetermined distance in the y-axis direction, the distance between the control device 100 and the image display device 200 is d4, and the angle between the control device 100 and the image display device 200 can be changed to ⁇ . there is.
  • control device 100 may determine that the angle between the control device 100 and the image display device 200 is ⁇ based on the direction used for communication with the image display device 200 .
  • image display device 200 may determine that the angle between the control device 100 and the image display device 200 is ⁇ based on the direction used for communication with the control device 100 .
  • the amplitude of the voice input corresponding to the sound output from the image display device 200 and input into the microphone of the control device 100 is decreased, and the phase of the voice input corresponding to the sound is changed in correspondence to the ⁇ angle.
  • the image display device 200 since the image display device 200 outputs the sound toward the front direction (-x-axis direction), the phase of the voice input corresponding to the sound output from the image display device 200 may be changed in correspondence to the ⁇ angle. there is.
  • control device 100 may correct the amplitude of the compensation signal to decrease as the distance between the control device 100 and the image display device 200 increases, and the control device 100 and the image It is possible to correct the phase of the compensation signal to change as much as the angle between the display devices 200 is changed.
  • the image display device 200 moves a predetermined distance in the y-axis direction and then rotates so that the front side of the image display device 200 faces the control device 100 , the image display device ( Since the 200) outputs sound toward the front control device 100, the angle between the control device 100 and the image display device 200 needs to be changed to 0°.
  • control device 100 may adjust an angle between the control device 100 and the image display device 200 based on data received from the image display device 200 .
  • the control device 100 may change the direction used for communication with the control device 100 based on the data on the direction used for communication with the control device 100 received from the image display device 200 . It can be confirmed that the direction is 0°, and the angle between the control device 100 and the image display device 200 can be changed to 0°.
  • the control device 100 may remove noise included in the voice input based on the corrected compensation signal.
  • the noise may mean a portion other than the voice uttered by the user, the target of voice recognition, in the voice input.
  • control device 100 may compare the voice input with the corrected compensation signal and remove a portion corresponding to the corrected compensation signal from among the voice input.
  • the part corresponding to the corrected compensation signal removed from the voice input may mean a part corresponding to the sound output from the image display device 200 and inputted through the microphone of the control device 100 .
  • control device 100 may perform voice recognition on the remaining part from which a part corresponding to the corrected compensation signal is removed during the voice input, and performs an operation corresponding to the result of performing the voice recognition can do.
  • the control device 100 may determine whether to turn off the power of at least one of the control device 100 and the image display device 200 . For example, when a power on/off signal for at least one of the control device 100 and the image display device 200 is received from the remote control device 300, as a result of performing voice recognition, When it is determined that the user has uttered a power on/off command, the control device 100 turns on the power of at least one of the control device 100 and the image display device 200 . It can be decided to turn off (off).
  • the control device 100 checks whether communication performance with respect to the image display device 200 is degraded when the power of the control device 100 and the image display device 200 is not turned off.
  • the control device 100 may set the communication performance for the image display device 200 based on a preset reference, such as a signal-to-noise ratio (SNR), a received signal strength (RSSI), a transmission power of a transmitted signal, and the like. You can check whether the performance is below performance.
  • SNR signal-to-noise ratio
  • RSSI received signal strength
  • control device 100 branches to operation S401 to re-establish communication connection with the image display device 200, and control The distance and angle between the device 100 and the image display device 200 may be determined again.
  • control device 100 If the communication performance between the control device 100 and the video display device 200 is not deteriorated, it branches to operation S403, and the video signal and/or the audio signal can be continuously transmitted to the video display device 200, and the audio input is not performed. You can continuously check whether or not it has been received. Meanwhile, the control apparatus 100 may continue to transmit an image signal and/or an audio signal to the image display apparatus 200 while processing an audio input.
  • FIG. 9 is a flowchart of an operating method of a control device according to another embodiment of the present invention
  • FIG. 10 is a diagram referenced in the description of the operation of the control device. A detailed description of the content overlapping with the content described with reference to FIGS. 4 to 8 will be omitted.
  • control device 100 may communicate with the image display device 200 through the external device interface unit 130 .
  • the control device 100 may determine a distance and an angle between the control device 100 and the image display device 200 in operation S902 .
  • the control apparatus 100 may transmit an image signal and/or an audio signal to the image display apparatus 200 in operation S903 .
  • control device 100 may determine whether a voice input, which is a target of voice recognition, is received through a microphone.
  • control apparatus 100 may generate and correct a compensation signal corresponding to the audio signal transmitted to the image display apparatus 100 .
  • the control device 100 may remove noise included in the voice input based on the corrected compensation signal in operation S906 .
  • control device 100 may determine whether voice recognition can be performed on the remaining part of the voice input from which the part corresponding to the corrected compensation signal is removed.
  • control device 100 performs pre-processing on the remaining part of the voice input from which a part corresponding to the corrected compensation signal has been removed by using a method of extracting statistical features and classifying a voice section and a silence section. can do.
  • the control device 100 may determine that it is impossible to perform voice recognition on the remaining part of the voice input.
  • control device 100 uses a method based on Linear Predictive Coefficients (LPC) and a Mel Frequency Cepstral Coefficients (MFCC) extraction method, and the remaining portion of the voice input from which a portion corresponding to the corrected compensation signal is removed. It is possible to try to extract a feature vector effective for speech recognition from In this case, when a feature vector effective for voice recognition is not extracted from the remaining part of the voice input, the control device 100 may determine that voice recognition cannot be performed on the remaining part of the voice input.
  • LPC Linear Predictive Coefficients
  • MFCC Mel Frequency Cepstral Coefficients
  • control device 100 may determine the location of the user when it is impossible to perform voice recognition on the remaining part of the voice input from which the part corresponding to the corrected compensation signal is removed.
  • the control device 100 transmits the first signal of the mmWave band through at least one array antenna included in the second communication circuit, and receives a second signal, which is a signal in which the transmitted first signal is reflected back by the object.
  • the operation of receiving through at least one array antenna may be performed in an omnidirectional direction.
  • control device 100 may determine the types of objects disposed around the control device 100 based on the result of receiving the second signal in the omnidirectional direction, and You can check the object corresponding to the user among the objects placed in the .
  • control device 100 controls based on a difference between a time point at which the first signal is transmitted toward the object corresponding to the user and a time point at which the second signal is reflected back by the object corresponding to the user.
  • a distance between the device 100 and an object corresponding to the user may be calculated.
  • the control device 100 in operation S909, based on the distance between the control device 100 and an object corresponding to the user, transmits a control signal for controlling the volume of the sound output from the image display device 100 to the image display device ( 100) can be transmitted.
  • the control apparatus 100 may transmit a control signal for controlling the volume of the sound output from the image display apparatus 100 to the image display apparatus 100 through the first communication circuit.
  • the amplitude of the voice input to the microphone of the control device 100 may be smaller.
  • the control device 100 controls the sound output from the image display device 100 compared to the case where the distance is close to d5.
  • the image display apparatus 100 may be controlled to lower the volume.
  • the control device 100 transmits a control signal for controlling the volume of the sound output from the image display device 100 to the image display device 100 so that the user can utter the voice again. Inducing messages can be output. For example, the control device 100 may output a message inducing the user to utter a voice again through the audio output unit 185 .
  • control device 100 performs voice recognition on the remaining part of the voice input when it is possible to perform voice recognition on the remaining part of the voice input from which the part corresponding to the corrected compensation signal is removed. and may perform an operation corresponding to the result of performing voice recognition.
  • the control device 100 may determine whether to turn off the power of at least one of the control device 100 and the image display device 200 in operation S911 .
  • control device 100 checks whether communication performance with respect to the image display device 200 is degraded when the power of the control device 100 and the image display device 200 is not turned off.
  • control device 100 branches to operation S901 to re-establish communication connection with the image display device 200, and control The distance and angle between the device 100 and the image display device 200 may be determined again.
  • control device 100 If the communication performance between the control device 100 and the video display device 200 is not degraded, it branches to operation S903, and the video signal and/or the audio signal can be continuously transmitted to the video display device 200, and the audio input is not performed. You can continuously check whether or not it has been received.
  • the amplitude of the compensation signal corresponding to the sound output from the image display device 200 . , phase, and the like, and more accurately removing a portion corresponding to the sound from the voice input using the corrected compensation signal it is possible to improve the accuracy of voice recognition for the voice part uttered by the user.
  • the position of the user uttering the voice is confirmed, and output from the image display device 200 according to the position of the user is displayed.
  • the volume of the sound By controlling the volume of the sound to be lowered, it is possible to further improve the accuracy of voice recognition for the voice part spoken by the user.
  • the method of operating an image display apparatus and/or control apparatus of the present invention can be implemented as processor-readable codes on a processor-readable recording medium provided in the image display apparatus and/or control apparatus.
  • the processor-readable recording medium includes all types of recording devices in which data readable by the processor is stored. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and also includes those implemented in the form of carrier waves such as transmission over the Internet. .
  • the processor-readable recording medium is distributed in a computer system connected to a network, so that the processor-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Selective Calling Equipment (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은, 제어장치 및 이를 포함하는 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 제어장치는, 영상표시장치와 통신을 수행하는 외부장치 인터페이스부, 마이크 및 제어부를 포함하고, 상기 제어부는, 외부장치 인터페이스부를 통해 송수신되는 신호에 기초하여, 제어장치와 영상표시장치 간의 각도 및 거리를 판단하고, 음성 입력이 마이크를 통해 수신되는 경우, 영상표시장치에 전송되는 음성신호에 대응하는 보상 신호를 생성하고, 제어장치와 영상표시장치 간의 각도 및 거리에 기초하여, 보상 신호를 보정하고, 보정된 보상 신호에 기초하여, 음성 입력을 처리할 수 있다. 그 외에 다양한 실시예들이 가능하다.

Description

제어장치 및 이를 포함하는 시스템
본 발명은, 제어장치 및 이를 포함하는 시스템에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 근래에는 정보화 사회의 발전과 함께, 영상표시장치에 대한 요구도 다양한 형태로 증가함에 따라, LCD(Liquid Crystal Display Device), PDP(Plasma Display Panel), ELD(Electro luminescent Display), VFD(Vacuum Fluorescent Display) 등 다양한 영상표시장치가 연구되고, 사용되고 있다.
이러한 영상표시장치는, 다양한 전자 기기와 유/무선 통신을 수행하여, 데이터를 상호 간에 송수신하는 것도 가능하다. 영상표시장치는, 유/무선으로 통신 연결된 전자 기기로부터 전달되는 영상신호에 대응하는 화면을 표시할 수 있고, 음성신호에 대응하는 음향을 출력할 수 있다.
한편, 일반적으로 사용자는 전자 기기들을 제어하기 위해서, 전자 기기의 본체에 구비된 버튼을 직접 조작하거나, 본체로 이동하는 불편함을 피해 리모콘 등의 원격제어장치를 사용한다. 그러나, 원격제어장치를 사용하는 경우에도, 사용자가 기능별로 조작키를 확인하고 조작해야 하는 불편함이 있고, 실내가 어두울 경우 원격제어장치의 조작키를 식별하기 어려워, 원격제어장치에 발광 소자를 추가하거나, 별도의 조명 장치를 조작해야 하는 문제점이 있다.
또한, 사용자가 전자 기기를 제어하고자 하는 시점에, 원격제어장치의 위치를 파악하지 못하거나, 원격제어장치를 분실한 경우에는, 전자 기기를 원격으로 제어하기 어려운 문제점이 있어, 이러한 문제점을 해결하기 위해, 최근에는 음성인식 기술을 이용하여 전자 기기를 제어하는 방안에 대한 연구가 활발하게 이루어지고 있다.
한편, 영상표시장치에서 음향이 출력되는 동안, 사용자가 전자 기기를 제어하기 위해 음성을 발화하는 경우, 음성인식을 수행하는 전자 기기는 사용자가 발화하는 음성뿐만 아니라 영상표시장치에서 출력되는 음향도 함께 수신하게 된다. 이때, 음성인식의 정확성을 높이기 위해서는, 전자 기기가 수신한 음성 입력 중 영상표시장치에서 출력된 음향 부분을 제외하고, 사용자가 발화한 음성 부분만 정확하게 처리하는 방안이 요구된다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
또 다른 목적은, 영상표시장치의 위치를 고려하여, 수신된 음성 입력 중 영상표시장치에서 출력된 음향 부분을 정확히 제외할 수 있는 제어장치 및 이를 포함하는 시스템을 제공함에 있다.
또 다른 목적은, 음성을 발화하는 사용자의 위치를 고려하여, 음성인식의 정확성을 향상시킬 수 있는 제어장치 및 이를 포함하는 시스템을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 제어장치는, 영상표시장치와 통신을 수행하는 외부장치 인터페이스부, 마이크 및 제어부를 포함하고, 상기 제어부는, 외부장치 인터페이스부를 통해 송수신되는 신호에 기초하여, 제어장치와 영상표시장치 간의 각도 및 거리를 판단하고, 음성 입력이 마이크를 통해 수신되는 경우, 영상표시장치에 전송되는 음성신호에 대응하는 보상 신호를 생성하고, 제어장치와 영상표시장치 간의 각도 및 거리에 기초하여, 보상 신호를 보정하고, 보정된 보상 신호에 기초하여, 음성 입력을 처리할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 음성신호에 대응하는 보상 신호는, 음성신호에 따라 영상표시장치에서 출력되는 음향에 대응하는 신호이고, 상기 제어부는, 보정된 보상 신호에 기초하여, 음성 입력에서 영상표시장치에서 출력되는 상기 음향에 대응하는 일부분을 제거하고, 일부분이 제거된 음성 입력에 대한 음성인식을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 제어장치와 영상표시장치 간의 각도에 기초하여, 보상 신호의 위상을 보정하고, 제어장치와 영상표시장치 간의 거리에 기초하여, 보상 신호의 진폭을 보정할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 외부장치 인터페이스부는, 복수의 안테나 소자를 구비하는 어레이 안테나를 적어도 하나 포함하고, 상기 제어부는, 복수의 방향 중, 어레이 안테나를 통한 영상표시장치와의 통신에 사용되는 방향을 결정하고, 결정된 방향에 기초하여, 제어장치와 영상표시장치 간의 각도를 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 제어장치와의 통신에 사용되는 방향에 대한 데이터를 영상표시장치로부터 수신하고, 수신된 방향에 대한 데이터에 기초하여, 제어장치와 영상표시장치 간의 각도를 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 영상표시장치로부터 수신되는 신호의 세기, 및 제어장치에서 신호가 출력된 시점과 영상표시장치에서 신호를 수신한 시점 간의 차이 중 적어도 하나에 기초하여, 제어장치와 영상표시장치 간의 거리를 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 외부장치 인터페이스부는, 제1 주파수 대역을 사용하는 제1 통신회로 및 제1 주파수 대역보다 높은 제2 주파수 대역을 사용하는 제2 통신회로를 포함하고, 상기 제어부는, 제1 통신회로를 통해 영상표시장치에 제어 신호를 전송하고, 제2 통신회로를 통해 영상표시장치에 영상신호 및 상기 음성신호를 중 적어도 하나를 전송할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제1 주파수 대역은, 2.4GHz 대역 및 5GHz 대역 중 적어도 하나를 포함하고, 상기 제2 주파수 대역은, 25GHz 내지 100GHz의 주파수 대역 중 적어도 일부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 외부장치 인터페이스부를 통해 송수신되는 신호에 기초하여, 사용자에 대응하는 객체와 상기 제어장치 간의 거리를 산출하고, 음성인식에 실패한 경우, 사용자에 대응하는 객체와 제어장치 간의 거리에 기초하여, 영상표시장치에서 출력되는 음향의 음량을 낮추는 제어신호를 영상표시장치에 전송할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 제어부는, 어레이 안테나를 통해 제1 신호를 송신하고, 송신된 제1 신호가 객체에 의해 반사된 신호인 제2 신호를 어레이 안테나를 통해 수신하는 동작을 전방향에 대하여 수행하고, 전방향에 대하여 제2 신호를 수신한 결과에 기초하여, 사용자에 대응하는 객체와 상기 제어장치 간의 거리를 산출할 수 있다.
한편, 본 발명의 일 실시예에 따른 영상표시장치 및 제어장치를 포함하는 시스템에 있어서, 상기 영상표시장치는, 상기 제어장치로부터 수신되는 음성신호에 기초하여, 적어도 하나의 스피커를 통해 음향을 출력하고, 상기 제어장치는, 상기 영상표시장치와 상호 간에 송수신하는 신호에 기초하여, 상기 제어장치와 상기 영상표시장치 간의 각도 및 거리를 판단하고, 상기 제어장치의 마이크를 통해 음성 입력이 수신되는 경우, 상기 영상표시장치에 전송되는 음성신호에 대응하는 보상 신호를 생성하고, 상기 제어장치와 상기 영상표시장치 간의 각도 및 거리에 기초하여 보상 신호를 보정하고, 보정된 보상 신호에 기초하여 음성 입력을 처리할 수 있다.
본 발명에 따른 영상표시장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 적어도 하나의 실시예에 따르면, 제어장치와 영상표시장치 간의 각도 및 거리를 고려하여, 영상표시장치에서 출력되는 음향에 대응하는 보상 신호의 진폭, 위상 등을 보정하고, 보정된 보상 신호를 이용하여 음성 입력 중 음향에 대응하는 부분을 보다 정확히 제거함으로써, 사용자가 발화한 음성 부분에 대한 음성인식의 정확성을 향상시킬 수 있다.
또한, 본 발명의 적어도 하나의 실시예에 따르면, 사용자가 발화한 음성 부분에 대한 음성인식이 어려운 경우, 음성을 발화하는 사용자의 위치를 확인하고, 사용자의 위치에 따라 영상표시장치에서 출력되는 음향의 음량이 낮아지도록 제어함으로써, 사용자가 발화한 음성 부분에 대한 음성인식의 정확성을 더욱 향상시킬 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명의 일 실시예에 따른, 시스템을 도시한 도면이다.
도 2는, 도 1의 제어장치의 내부 블록도의 일 예이다.
도 3은, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 4는, 본 발명의 일 실시예에 따른, 제어장치의 동작방법에 대한 순서도이다.
도 5 내지 8은, 제어장치의 동작에 관한 설명에 참조되는 도면이다.
도 9는, 본 발명의 다른 일 실시예에 따른, 제어장치의 동작방법에 대한 순서도이다.
도 10은, 제어장치의 동작에 관한 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1은, 본 발명의 다양한 실시예에 따른, 시스템을 도시한 도면이다.
도 1을 참조하면, 시스템(10)은, 제어장치(100), 영상표시장치(200) 및/또는 원격제어장치(300)를 포함할 수 있다.
제어장치(100)는, 영상표시장치(200)를 제어하는 장치일 수 있다. 예를 들면, 제어장치(100)는, 영상표시장치(200)의 동작을 제어하는 제어 신호를 영상표시장치(200)에 전송할 수 있다.
제어장치(100)는, 영상표시장치(200)와 유선 또는 무선 네트워크를 수립하여, 영상신호 및/또는 음성신호를 영상표시장치(200)에 전송할 수 있다. 예를 들면, 제어장치(100)는, 방송 신호를 수신하여 이를 신호 처리하고, 신호 처리된 영상신호 및/또는 음성신호를 영상표시장치(200)에 전송할 수 있다.
제어장치(100)는, 안테나를 통해 무선으로 방송 신호를 수신할 수도 있고, 케이블(cable)을 통해 유선으로 방송 신호를 수신할 수도 있다. 예를 들면, 제어장치(100)는, 지상파 방송 신호, 위성 방송 신호, 케이블 방송 신호, IPTV(Internet Protocol Television) 방송 신호 등을 수신할 수 있다.
영상표시장치(200)는, 영상을 처리하여 출력하는 장치일 수 있다. 영상표시장치(200)는, TV, 노트북 컴퓨터(notebook computer), 모니터 등 영상신호에 대응하는 화면을 출력할 수 있는 것이라면 특별히 한정하지 않는다.
원격제어장치(300)는, 제어장치(100)와 유선 및/또는 무선으로 연결되어, 제어장치(100)로 각종 제어신호를 제공할 수 있다. 이때, 원격제어장치(300)는 제어장치(100)와 유선 또는 무선 네트워크를 수립하여, 수립된 네트워크를 통해, 각종 제어신호를 제어장치(100)로 전송하거나, 제어장치(100)로부터 제어장치(100)에서 처리되는 각종 동작과 관련된 신호를 수신하는 장치를 포함할 수 있다.
예컨대, 원격제어장치(300)로는 마우스, 키보드, 공간 리모콘, 트랙볼, 조이스틱 등의 다양한 입력 장치가 이용될 수 있다.
제어장치(100)는 단일의 원격제어장치(300)만 연결되거나, 둘 이상의 원격제어장치(300)와 동시에 연결되어, 각 원격제어장치(300)로부터 제공되는 제어신호를 기초로, 영상표시장치(200)에 표시되는 오브젝트를 변경하거나, 화면의 상태를 조절할 수 있다.
원격제어장치(300)는, 영상표시장치(100)와 유선 및/또는 무선으로 연결되어, 영상표시장치(100)로 각종 제어신호를 제공할 수도 있다.
도 2는, 도 1의 제어장치의 내부 블록도의 일 예이다.
도 2를 참조하면, 제어장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(130), 네트워크 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 입력부(160), 제어부(170), 오디오 출력부(185) 및/또는 전원 공급부(190)를 포함할 수 있다.
방송 수신부(105)는, 튜너부(110) 및 복조부(120)를 포함할 수 있다.
튜너부(110)는, 안테나(미도시) 또는 케이블(미도시)를 통해 수신되는 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 방송 신호를 선택할 수 있다. 튜너부(110)는, 선택된 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수 있다.
예를 들면, 튜너부(110)는, 선택된 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성신호(CVBS/SIF)로 변환할 수 있다. 즉, 튜너부(110)는, 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성신호(CVBS/SIF)는, 제어부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 수신되는 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 방송 신호를 순차적으로 선택하여, 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는, 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상신호, 음성신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는, 역다중화, 영상/음성신호 처리 등을 수행한 후, 외부장치 인터페이스부(130)를 통해 영상표시장치(200)에 전송할 수 있다.
외부장치 인터페이스부(130)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
A/V 입출력부는, 외부 장치와 상호 간에 신호를 송수신할 수 있다. 예를 들면, A/V 입출력부는, 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(170)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(170)로 전달될 수 있다.
외부장치 인터페이스부(130)는, TV, 모니터 등과 같은 영상표시장치(200)와 유/무선으로 접속될 수 있으며, 영상표시장치(200)와 입력/출력 동작을 수행할 수 있다.
외부장치 인터페이스부(130)는, 다른 전자기기와의 근거리 무선 통신을 위한, 무선 통신부(미도시)를 포함할 수 있다. 이러한 무선 통신부를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기와 데이터를 교환할 수 있다. 예를 들면, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
외부장치 인터페이스부(130)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), Wi-Fi(Wireless Fidelity), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), 지그비(ZigBee), 와이기그(WiGig) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
외부장치 인터페이스부(130)는, 복수의 통신회로를 구비할 수 있다. 예를 들면, 외부장치 인터페이스부(130)는, 제1 주파수 대역을 사용하는 제1 통신회로(미도시)와, 제1 주파수 대역보다 높은 제2 주파수 대역을 사용하는 제2 통신회로(미도시)를 포함할 수 있다.
제1 통신회로는, 블루투스, Wi-Fi 등에 사용되는 2.4GHz 대역 및 5GHz 대역 중 적어도 하나를 포함하는 제1 주파수 대역을 사용할 수 있다. 제1 통신회로는, 제1 주파수 대역의 신호를 송수신하는, 무지향성 또는 전방향성의 통신을 수행할 수 있다.
제2 통신회로는, 25GHz 내지 100GHz의 주파수 대역 중 적어도 일부를 포함하는 제2 주파수 대역을 사용할 수 있다. 여기서, 제2 주파수 대역은, mmWave 대역으로 명명될 수도 있다.
예를 들면, 제1 통신회로는, 통신 연결된 영상표시장치(200)의 동작을 제어하는 제어신호를 전송할 수 있고, 제2 통신회로는, 대용량의 영상신호 및/또는 음성신호를 통신 연결된 영상표시장치(200)에 전송할 수 있다.
한편, mmWave 대역(예: 60GHz)의 신호가 2.4GHz 대역 및 5GHz 대역의 신호에 비해 직진성이 강하고, 주파수 특성으로 인해 경로 손실이 큰 점을 고려하여, 제2 통신회로는, 복수의 방향 중 어느 하나의 방향으로 신호를 집중적으로 송수신하는 빔포밍(beamforming) 방식에 따라 통신을 수행할 수 있다.
제2 통신회로는, 복수의 안테나 소자를 구비하는 어레이 안테나, 복수의 안테나 소자에 대응하는 복수의 위상 변환기(phase shifter) 등을 포함할 수 있다. 여기서, 안테나 소자는, 패치 안테나, 다이폴 안테나 등을 포함할 수 있다.
제2 통신회로는, 복수의 위상 변환기를 통해 복수의 안테나 소자를 통해 송수신되는 신호들의 위상을 제어하여, 복수의 방향 중 특정 방향으로 송신 빔 및/또는 수신 빔을 생성할 수 있다.
제2 통신회로는, 송신 빔 및/또는 수신 빔의 생성에 사용되는 안테나 소자의 개수를 변경하여, 송신 빔 및/또는 수신 빔의 패턴을 결정할 수 있다. 예를 들면, 제2 통신회로는, 송신 빔 및/또는 수신 빔의 생성에 사용되는 안테나 소자의 개수를 증가시켜, 좁은 방사 패턴의 빔을 형성할 수도 있고, 안테나 소자의 개수를 감소시켜, 넓은 방사 패턴의 빔을 형성할 수도 있다.
이때, 제2 통신회로가 좁은 방사 패턴의 빔을 형성하는 경우, 넓은 방사 패턴의 빔보다 커버리지(coverage)가 좁으나, 안테나 이득이 높아, 통신 성능이 향상될 수 있다.
네트워크 인터페이스부(135)는, 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 예를 들면, 네트워크 인터페이스부(155)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다.
네트워크 인터페이스부(135)는, 유/무선 네트워크와의 연결을 위한 통신 모듈(미도시)를 포함할 수 있다. 예를 들면, 네트워크 인터페이스부(135)는, WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 위한 통신 모듈을 포함할 수 있다.
네트워크 인터페이스부(135)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다. 예를 들면, 저장부(140)는 제어부(170)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(170)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다.
저장부(140)에 저장되는 프로그램 등은, 제어부(170)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
저장부(140)는, 외부장치 인터페이스부(130)를 통해 외부장치로부터 수신되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여, 소정 방송 채널에 관한 정보를 저장할 수 있다.
도 2의 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않으며, 제어부(170) 내에 저장부(140)가 포함될 수도 있다.
저장부(140)는, 휘발성 메모리(예: DRAM, SRAM, SDRAM 등)나, 비휘발성 메모리(예: 플래시 메모리(Flash memory), 하드 디스크 드라이브(Hard disk drive; HDD), 솔리드 스테이트 드라이브(Solid-state drive; SSD) 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 있어서, 저장부(140)와 메모리는 서로 혼용되어 사용될 수도 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들면, 원격제어장치(400)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센서부로 송신할 수 있다.
입력부(160)는, 제어장치(100)의 본체의 일측에 구비될 수 있다. 예를 들면, 입력부(160)는, 터치 패드, 물리적 버튼 등을 포함할 수 있다.
입력부(160)는, 제어장치(100)의 동작과 관련된 각종 사용자 명령을 수신할 수 있고, 입력된 명령에 대응하는 제어 신호를 제어부(170)에 전달할 수 있다. 입력부(160)는, 입력된 명령에 대응하는 제어 신호를, 사용자입력 인터페이스부(150)를 통해 제어부(170)로 전송할 수 있다.
입력부(160)는, 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크를 통해 사용자의 음성을 수신할 수 있다.
제어부(170)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 제어장치(100)의 동작 전반을 제어할 수 있다. 여기서, 프로세서는 CPU(central processing unit)과 같은 일반적인 프로세서일 수 있다. 물론, 프로세서는 ASIC과 같은 전용 장치(dedicated device)이거나 다른 하드웨어 기반의 프로세서일 수 있다.
제어부(170)는, 튜너부(110), 복조부(120), 외부장치 인터페이스부(130), 또는 네트워크 인터페이스부(135)를 통하여 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(170)에서 처리된 영상신호 및/또는 음성신호는, 외부장치 인터페이스부(130)를 통해 영상표시장치(200)에 전달될 수 있다.
제어부(170)에서 처리된 음성신호는, 오디오 출력부(185)에 전달될 수 있다.
오디오 출력부(185)는, 적어도 하나의 스피커(미도시)를 포함할 수 있다. 오디오 출력부(185)는, 제어부(170)에서 처리된 음성신호를 입력 받아 음성으로 출력할 수 있다.
도 2에는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다.
그 외, 제어부(170)는, 제어장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들면, 제어부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기 저장된 채널에 해당하는 방송을 선택(Tuning)하도록 제어할 수 있다.
한편, 제어장치(100)는, 촬영부(미도시)를 더 포함할 수도 있다. 촬영부는, 사용자를 촬영할 수 있다. 촬영부는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 한편, 촬영부는 제어장치(100)의 상부에 매립되거나 또는 별도로 배치될 수 있다. 촬영부에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상, 또는 센서부로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
제어부(170)는, 촬영부로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들면, 제어부(170)는, 사용자와 제어장치(100) 간의 거리(z축 좌표)를 파악할 수 있다.
제어부(170)는, 복수의 방향 중, 제2 통신회로를 통해 송신 빔 및/또는 수신 빔을 생성하는 방향을 결정할 수 있다. 예를 들면, 제어부(170)는, 신호 대 잡음비(signal to noise ratio; SNR), 수신신호강도(RSSI) 등에 기초하여, 복수의 방향 중, 제2 통신회로를 통해 송신 빔 및/또는 수신 빔을 생성하는 방향을 결정할 수 있다.
제어부(170)는, 제어장치(100)와 외부 전자기기 간의 각도를 산출할 수 있다.
예를 들면, 제어부(170)는, 복수의 방향 중, 제2 통신회로를 통해 송신 빔 및/또는 수신 빔을 생성하는 방향을 결정할 수 있고, 결정된 방향에 대응하는 각도를 제어장치(100)와 외부 전자기기 간의 각도로 판단할 수 있다.
예를 들면, 제어부(170)는, 외부장치 인터페이스부(130)를 통해 외부 전자기기로부터 송신 빔 및/또는 수신 빔을 생성하는 방향, 즉, 제어장치(100)와의 통신에 사용되는 방향에 대한 데이터를 수신할 수 있고, 수신된 방향에 대한 데이터에 기초하여 제어장치(100)와 외부 전자기기 간의 각도를 판단할 수 있다.
제어부(170)는, 외부장치 인터페이스부(130)를 통해 송수신되는 신호에 기초하여, 제어장치(100)의 주변에 배치된 객체에 대한 정보를 획득할 수 있다.
제어부(170)는, 제2 통신회로에 포함된 적어도 하나의 어레이 안테나를 통해 mmWave 대역의 제1 신호를 송신하고, 송신된 제1 신호가 객체에 의해 반사되어 되돌아오는 신호인 제2 신호를 적어도 하나의 어레이 안테나를 통해 수신하는 동작을, 전방향에 대하여 수행할 수 있다. 이를 위해, 제2 통신회로에 포함된 어레이 안테나는, 복수개가 전방향을 향하도록 배치될 수도 있고, 회전축을 기준으로 전방향으로 회전하는 구성에 배치될 수도 있다.
제어부(170)는, 제1 신호를 송신한 시점과 제2 신호를 수신한 시점 간의 차이에 기초하여, 제어장치(100)의 주변에 배치된 객체들과 제어장치(100) 간의 거리를 산출할 수 있다.
제어부(170)는, 외부장치 인터페이스부(130)를 통해 외부 전자기기에 신호를 송신한 시점과, 외부 전자기기가 제어장치(100)로부터 신호를 수신한 시점 간의 차이에 기초하여, 제어장치(100)와 외부 전자기기 간의 거리를 산출할 수 있다.
제어부(170)는, 외부장치 인터페이스부(130)를 통해 외부 전자기기로부터 수신한 신호에 기초하여, 제어장치(100)와 외부 전자기기 간의 거리를 산출할 수도 있다. 예를 들면, 제어부(170)는, 외부장치 인터페이스부(130)를 통해 외부 전자기기로부터 수신한 신호의 세기에 관한 수신신호강도(Received Signal Strength Indication; RSSI)을 산출할 수 있고, 산출된 수신신호강도에 기초하여 제어장치(100)와 외부 전자기기 간의 거리를 산출할 수 있다.
한편, 제어부(170)는, 전방향에 대하여 제2 신호를 수신한 결과에 기초하여, 제어장치(100)의 주변에 배치된 객체들의 유형을 판단할 수 있다. 예를 들면, 제어부(170)는, 전방향에 대하여 제2 신호들을 수신한 결과에 기초하여, 수신 결과에 대응하는 이미지(예: 점구름(point cloud) 이미지)를 생성할 수 있고, 이미지로부터 제어장치(100)의 주변에 배치된 객체들 중 사용자에 대응하는 객체를 확인할 수 있다.
제어부(170)는, 마이크를 통해 입력된 음성 입력에 대한 음성인식을 수행할 수 있다.
제어부(170)는, 자연어 처리 기술(natural language processing; NLP)을 이용한 음성인식을 수행하여, 음성 입력에 포함된 단어를 추출할 수 있고, 추출된 단어에 대응하는 명령을 확인할 수 있다. 여기서, 자연어 처리 기술은, 인간의 언어 현상을 기계적으로 분석하여 전자 장치가 해당 언어 현상의 의미를 인식할 수 있도록 처리하는 기술을 의미할 수 있다.
제어부(170)는, 음성 입력에 대한 데이터를 외부 서버(미도시)에 전송할 수 있고, 외부 서버로부터 음성 입력을 처리한 결과를 수신하여, 음성인식을 수행할 수 있다. 예를 들면, 제어부(170)는, 음성 입력에 대한 데이터를 외부 서버에 전송할 수 있고, 외부 서버로부터 음성 입력에 포함된 단어, 단어에 대응하는 명령 등에 대한 데이터를 수신하여, 음성인식을 수행할 수 있다.
한편, 제어부(170)는, 음성인식의 대상인 음성 입력에 대하여, 노이즈 처리 등의 전처리를 수행할 수도 있다. 여기서, 전처리 과정은, 끝점 검출(End-point detection)과 같이, 입력 신호로부터 음성 구간만을 검출하는 처리 방식, 입력 신호로부터 계산 과정이 비교적 간단한 통계적 특징을 추출하여 음성구간과 묵음구간을 구분하는 방식을 사용할 수 있다. 또한, 전처리 과정은, 노이즈를 제거하는 노이즈 처리 과정을 포함할 수 있다.
전원 공급부(190)는, 제어장치(100) 전반에 걸쳐 해당 전원을 공급할 수 있다. 특히, 시스템 온 칩(System On Chip; SOC)의 형태로 구현될 수 있는 제어부(170), 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)와, 직류 전원의 레벨을 변환하는 Dc/Dc 컨버터(미도시)를 구비할 수 있다.
원격제어장치(400)는, 사용자 입력을 사용자입력 인터페이스부(150)로 전송할 수 있다. 이를 위해, 원격제어장치(400)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(Infrared Radiation) 통신, UWB(Ultra-wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(400)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(400)에서 표시하거나 음성 출력할 수 있다.
한편, 도 2에 도시된 제어장치(100)의 블록도는 본 발명의 일 실시예를 위한 블록도일 뿐, 블록도의 각 구성요소는 실제 구현되는 제어장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3a는, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 3을 참조하면, 영상표시장치(200)는, 외부장치 인터페이스부(210), 디스플레이(220), 오디오 출력부(230), 저장부(240) 및/또는 제어부(250)를 포함할 수 있다.
외부장치 인터페이스부(210)는, 접속된 외부 장치와 데이터가 포함된 신호를 송수신할 수 있다. 예를 들면, 외부장치 인터페이스부(210)는, 제어장치(100)와 유선으로 접속될 수 있고, 제어장치(100)로부터 신호를 수신할 수 있다. 예를 들면, 외부장치 인터페이스부(210)는, 제어장치(100)로부터 영상신호 및/또는 음성신호를 수신할 수 있고, 제어 신호를 수신할 수 있다.
외부장치 인터페이스부(210)는, 복수의 통신회로를 구비할 수 있다. 예를 들면, 외부장치 인터페이스부(210)는, 제1 주파수 대역을 사용하는 제1 통신회로(미도시)와, 제1 주파수 대역보다 높은 제2 주파수 대역을 사용하는 제2 통신회로(미도시)를 포함할 수 있다.
제1 통신회로는, 블루투스, Wi-Fi 등에 사용되는 2.4GHz 대역 및 5GHz 대역 중 적어도 하나를 포함하는 제1 주파수 대역을 사용할 수 있다. 제2 통신회로는, 25GHz 내지 100GHz의 주파수 대역 중 적어도 일부를 포함하는 제2 주파수 대역을 사용할 수 있다. 예를 들면, 제1 통신회로는, 통신 연결된 제어장치(100)로부터 제어신호를 수신할 수 있고, 제2 통신회로는, 대용량의 영상신호 및/또는 음성신호를 통신 연결된 제어장치(100)로부터 수신할 수 있다.
제2 통신회로는, 복수의 안테나 소자를 구비하는 어레이 안테나, 복수의 안테나 소자에 대응하는 복수의 위상 변환기(phase shifter) 등을 포함할 수 있다.
제2 통신회로는, 복수의 위상 변환기를 통해 복수의 안테나 소자를 통해 송수신되는 신호들의 위상을 제어하여, 복수의 방향 중 특정 방향으로 송신 빔 및/또는 수신 빔을 생성할 수 있다.
디스플레이(220)는, 제어부(250)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(210)를 통해 제어장치(100)로부터 수신되는 영상신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성할 수 있다.
디스플레이(220)는, 복수의 픽셀을 구비하는 디스플레이 패널(미도시) 및 패널 구동부(미도시)를 포함할 수 있다.
디스플레이 패널에 구비된 복수의 픽셀은, RGB의 서브 픽셀을 구비할 수 있다. 또는, 디스플레이 패널에 구비된 복수의 픽셀은, RGBW의 서브 픽셀을 구비할 수도 있다.
디스플레이(220)는, 제어부(250)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호, 또는 외부장치 인터페이스부(210)를 통해 제어 장치(100)로부터 전달되는 영상신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여, 복수의 픽셀에 대한 구동 신호를 생성할 수 있다.
디스플레이(220)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이(flexible display)등이 가능하며, 또한, 3차원 디스플레이(3D display)가 가능할 수도 있다. 3차원 디스플레이(220)는, 무안경 방식과 안경 방식으로 구분될 수 있다.
패널 구동부는, 제어부(250)로부터 전달되는 제어 신호 및 데이터 신호나, 외부장치 인터페이스부(210)를 통해 제어 장치(100)로부터 전달되는 신호에 기초하여, 디스플레이 패널을 구동할 수 있다. 패널 구동부는, 게이트 라인 및 데이터 라인을 통해 주사 신호 및 영상신호를 디스플레이 패널에 공급하는 게이트 드라이버 및 데이터 드라이버와, 제어 신호에 대응하여 게이트 드라이버 및 데이터 드라이버를 제어하는 타이밍 제어부 등을 포함할 수 있다.
한편, 디스플레이(220)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(230)는, 적어도 하나의 스피커(미도시)를 포함할 수 있다.
오디오 출력부(230)는, 적어도 하나의 진동 발생기(231)를 포함할 수도 있다. 진동 발생기(231)는, 디스플레이(220)에 포함된 디스플레이 패널(310)을 진동시키는 익사이터(exciter)를 포함할 수 있다.
진동 발생기(231)는, 디스플레이(220)의 디스플레이 패널(310)에 장착되어, 음성신호에 대응하여 디스플레이 패널(310)을 진동시킬 수 있다. 예를 들면, 진동 발생기(231)는, 디스플레이 패널(310)의 후면에 장착되어, 사용자가 위치하는 디스플레이 패널(310)의 전방으로 음성이 출력되도록, 디스플레이 패널(310)을 진동시킬 수 있다.
한편, 디스플레이 패널(310)에는, 복수의 진동 발생기(231)가 장착될 수도 있다.
복수의 진동 발생기(231)는, 각각이 배치된 영역을 독립적으로 진동시킬 수 있다. 예를 들면, 제1 진동 발생기(231a), 디스플레이 패널(310)의 하부 영역에 부착되어, 고음역대 음향과 저음역대 음향이 동시에 생성되도록 디스플레이 패널(310)의 하부 영역을 진동시킬 수 있고, 제2 진동 발생기(231b)는, 디스플레이 패널(310)의 상부 영역에 부착되어, 고음역대 음향이 생성되도록 디스플레이 패널(310)의 상부 영역을 진동시킬 수 있다.
저장부(240)는, 제어부(250) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다. 예를 들면, 저장부(240)는, 제어부(250)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(250)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다.
저장부(240)에 저장되는 프로그램 등은, 제어부(250)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
제어부(250)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 영상표시장치(200)의 동작 전반을 제어할 수 있다. 여기서, 프로세서는 CPU(central processing unit)과 같은 일반적인 프로세서일 수 있다. 물론, 프로세서는 ASIC과 같은 전용 장치(dedicated device)이거나 다른 하드웨어 기반의 프로세서일 수 있다.
한편, 다양한 실시예에 따라, 영상표시장치(200)는, 저장부(240) 및/또는 제어부(250)를 포함하지 않을 수도 있다. 예를 들면, 영상표시장치(200)는, 제어장치(100)로부터 수신되는 제어 신호에 따라 동작하는 기기일 수 있고, 제어장치(100)로부터 수신되는 영상신호를 디스플레이(200)를 통해 그대로 출력하거나, 음성신호를 오디오 출력부(230)를 통해 그대로 출력하는 기능을 제공하는 기기일 수도 있다.
도 4는, 본 발명의 일 실시예에 따른, 제어장치의 동작방법에 대한 순서도이고, 도 5 내지 8은, 제어장치의 동작에 관한 설명에 참조되는 도면이다.
도 4를 참조하면, 제어장치(100)는, S401 동작에서, 외부장치 인터페이스부(130)를 통해, 영상표시장치(200)와 통신 연결을 수행할 수 있다.
제어장치(100)는, 제1 통신회로를 통해, 2.4GHz 대역 및 5GHz 대역 중 적어도 하나를 포함하는 제1 주파수 대역에서 신호를 송수신하여, 영상표시장치(200)와 통신 연결을 수행할 수 있다.
제어장치(100)는, 제2 통신회로를 통해, 25GHz 내지 100GHz의 주파수 대역 중 적어도 일부를 포함하는 제2 주파수 대역에서 신호를 송수신하여, 영상표시장치(200)와 통신 연결을 수행할 수 있다. 이때, 제어장치(100)는, 빔포밍 방식을 이용하여, 영상표시장치(200)와 제2 주파수 대역에서의 통신 연결을 수행할 수 있다.
도 5를 참조하면, 제어장치(100)는, 어레이 안테나에 포함된 복수의 안테나 소자를 이용하여, 복수의 방향으로 송신 빔(510)을 순차적으로 송신함으로써, 송신 빔 스위핑(515)을 적어도 한번 수행할 수 있다. 또한, 영상표시장치(200)도, 제어장치(100)가 송신 빔 스위핑(515)을 수행하는 동안, 복수의 방향으로 수신 빔(520)을 순차적으로 송신함으로써, 수신 빔 스위핑(525)을 적어도 한번 수행할 수 있다.
이때, 제어장치(100)와 영상표시장치(200)는, 좁은 방사 패턴의 송신 빔(510)과 수신 빔(520)을 각각 형성할 수 있다.
제어장치(100)는, 송신 빔 스위핑(515)을 수행한 복수의 방향 중, 영상표시장치(200)와의 통신에 사용되는 방향을 결정할 수 있다. 예를 들면, 제어장치(100)는, 아래 표 1과 같은 통신 수행 결과에 기초하여, 송신 빔 스위핑(515)을 수행한 복수의 방향 중, 신호 대 잡음비(SNR)가 가장 높은 방향을, 영상표시장치(200)와의 통신에 사용되는 방향으로 결정할 수 있다. 예를 들면, 제어장치(100)는, 송신 빔 스위핑(515)을 수행한 복수의 방향 중, 수신신호강도(RSSI)가 가장 큰 신호가 수신된 방향을, 영상표시장치(200)와의 통신에 사용되는 방향으로 결정할 수 있다.
수평 각도 송신 전력 [dBm] SNR [dB]
-45° -34.9 18.5
-30° -34.5 19.3
-15° -31.8 20.6
0° -29.7 21.4
15° -30.4 21.3
30° -31.3 20.1
45° -32.2 20.8
여기서, 표 1은, 제어장치(100)의 전면과 영상표시장치(200)의 전면이 서로 대향하는 경우에 있어서, 영상표시장치(200)가 전면 방향(-x축 방향)으로 수신 빔을 생성하고, 제어장치(100)가 전면 방향(x축 방향)에 대하여 송신 빔 스위핑(515)을 수행한 결과와, 영상표시장치(200)가 전면 방향(-x축 방향)으로 송신 빔을 생성하고, 제어장치(100)가 전면 방향(x축 방향)에 대하여 수신 빔 스위핑(515)을 수행한 결과에 대한 표이다.
또한, 영상표시장치(200)도 제어장치(100)와 동일/유사하게, 수신 빔 스위핑(525)을 수행한 복수의 방향 중, 제어장치(100)와의 통신에 사용되는 방향을 결정할 수 있다.
한편, 본 도면에 대한 설명에서는, 제어장치(100)가 송신 빔 스위핑(515)을 수행하고, 영상표시장치(200)가 수신 빔 스위핑(525)를 수행하는 것으로 설명하였으나, 본 발명이 이에 제한되는 것은 아니며, 제어장치(100)가 수신 빔 스위핑을 수행하여, 영상표시장치(200)와의 통신에 사용되는 방향을 결정할 수도 있다.
다시 도 4를 참조하면, 제어장치(100)는, S402 동작에서, 제어장치(100)와 영상표시장치(200) 간의 거리 및 각도를 판단할 수 있다.
제어장치(100)는, 영상표시장치로부터 수신되는 신호의 세기, 제어장치(100)에서 신호가 출력된 시점과 영상표시장치(200)에서 신호를 수신한 시점 간의 차이 중 적어도 하나에 기초하여, 제어장치(100)와 영상표시장치(200) 간의 거리를 판단할 수 있다.
제어장치(100)는, 복수의 방향 중, 제2 통신회로를 통해 송신 빔 및/또는 수신 빔을 생성하는 방향에 대응하는 각도를, 제어장치(100)와 외부 전자기기 간의 각도로 판단할 수 있다. 이때, 제어장치(100)는, 제어장치(100)의 전면이 바라보는 방향을 기준으로, 제어장치(100)와 영상표시장치(200) 간의 각도를 판단할 수 있다.
제어장치(100)는, S403 동작에서, 영상신호 및/또는 음성신호를 영상표시장치(200)에 전송할 수 있다. 이때, 제어장치(100)는, 제1 주파수 대역을 사용하는 제1 통신회로를 통해, 영상표시장치(200)의 동작을 제어하는 제어신호를 전송할 수 있고, 제1 주파수 대역보다 높은 제2 주파수 대역을 사용하는 제2 통신회로를 통해, 대용량의 영상신호 및/또는 음성신호를 영상표시장치(200)에 전송할 수 있다.
제어장치(100)는, S404 동작에서, 음성인식의 대상인 음성 입력이 마이크를 통해 수신되는지 여부를 확인할 수 있다.
제어장치(100)는, S405 동작에서, 마이크를 통해 음성 입력이 수신되는 경우, 영상표시장치(100)에 전송되는 음성신호에 대응하는 보상 신호를 생성 및 보정할 수 있다.
여기서, 보상 신호는, 음성신호에 따라 영상표시장치(100)에서 출력되는 음향에 대응하는 신호를 의미할 수 있다. 예를 들면, 제어장치(100)는, 영상표시장치(100)에 전송되는 음성신호를 처리하여, 해당 음성신호에 따라 영상표시장치(100)가 음향을 출력하는 경우, 마이크를 통해 수신될 것으로 예상되는 음향에 대응하는 신호를 보상 신호로 생성할 수 있다.
이때, 제어장치(100)가 생성하는 보상 신호는, 제어장치(100)와 영상표시장치(200)가 기 설정된 거리(예: 1m) 및 각도(예: 0°)에 따라 위치한 경우에 있어서, 마이크를 통해 수신될 것으로 예상되는 음성 입력에 대응하는 신호일 수 있다. 또한, 제어장치(100)는, 영상표시장치(200)의 음향 출력과 관련하여 설정된 설정치(예: 음량, 모노 출력, 스테레오 출력 등)에 기초하여, 보상 신호를 생성할 수 있다.
제어장치(100)는, 제어장치(100)와 영상표시장치(200) 간의 거리 및 각도에 기초하여, 보상 신호를 보정할 수 있다.
도 6을 참조하면, 제어장치(100)와 영상표시장치(200)가 서로 마주보도록 위치한 경우, 제어장치(100)와 영상표시장치(200) 간의 각도는 0°일 수 있다.
한편, 제어장치(100)와 영상표시장치(200) 간의 거리가 d1인 상태에서 -x축 방향으로 d2 만큼 멀어지는 경우, 이격거리가 d1인 경우에 비해, 제어장치(100)의 마이크로 입력되는, 영상표시장치(200)에서 출력되는 음향에 대응하는 음성 입력의 진폭이 작아지게 된다.
이러한 점을 고려하여, 제어장치(100)는, 제어장치(100)와 영상표시장치(200) 간의 거리가 가까워진 만큼, 보상 신호의 진폭이 커지도록 보정할 수 있고, 제어장치(100)와 영상표시장치(200) 간의 거리가 멀어진 만큼, 보상 신호의 진폭이 작아지도록 보정할 수 있다.
한편, 도 7을 참조하면, 제어장치(100)와 영상표시장치(200) 간의 거리가 d3이고, 제어장치(100)와 영상표시장치(200) 간의 각도는 0°인 상태에서, 영상표시장치(200)가 y축 방향으로 소정 거리 이동하는 경우, 제어장치(100)와 영상표시장치(200) 간의 거리는 d4, 제어장치(100)와 영상표시장치(200) 간의 각도는 θ로 변경될 수 있다.
이때, 제어장치(100)는, 영상표시장치(200)와의 통신에 사용되는 방향에 기초하여, 제어장치(100)와 영상표시장치(200) 간의 각도가 θ인 것으로 판단할 수 있다. 또한, 영상표시장치(200) 역시, 제어장치(100)와의 통신에 사용되는 방향에 기초하여, 제어장치(100)와 영상표시장치(200) 간의 각도가 θ인 것으로 판단할 수 있다.
한편, 제어장치(100)의 마이크로 입력되는, 영상표시장치(200)에서 출력되는 음향에 대응하는 음성 입력의 진폭이 작아질 뿐만 아니라, 음향에 대응하는 음성 입력의 위상이 θ 각도에 대응하여 변경될 수 있다.
즉, 영상표시장치(200)는 전면 방향(-x축 방향)을 향해 음향을 출력하므로, 영상표시장치(200)에서 출력되는 음향에 대응하는 음성 입력의 위상이 θ 각도에 대응하여 변경될 수 있다.
이러한 점을 고려하여, 제어장치(100)는, 제어장치(100)와 영상표시장치(200) 간의 거리가 멀어진 만큼, 보상 신호의 진폭이 작아지도록 보정할 수 있고, 제어장치(100)와 영상표시장치(200) 간의 각도가 변경된 만큼 보상 신호의 위상이 변경되도록 보정할 수 있다.
한편, 도 8을 참조하면, 제어장치(100)와 영상표시장치(200) 간의 거리가 d3이고, 제어장치(100)와 영상표시장치(200) 간의 각도는 0°인 상태에서, 영상표시장치(200)가 y축 방향으로 소정 거리 이동하는 경우, 제어장치(100)와 영상표시장치(200) 간의 거리는 d4, 제어장치(100)에서 영상표시장치(200)를 바라보는 각도는 θ로 변경될 수 있다.
한편, 도 7에서와 다르게, 영상표시장치(200)가 y축 방향으로 소정 거리 이동한 후, 영상표시장치(200)의 전면이 제어장치(100)를 향하도록 회전한 경우, 영상표시장치(200)가 전면 방향인 제어장치(100)를 향해 음향을 출력하게 되므로, 제어장치(100)와 영상표시장치(200) 간의 각도는 0°로 변경될 필요가 있다.
이를 위해, 제어장치(100)는, 영상표시장치(200)로부터 수신되는 데이터에 기초하여, 제어장치(100)와 영상표시장치(200) 간의 각도를 조정할 수 있다. 예를 들면, 제어장치(100)는, 영상표시장치(200)로부터 수신되는 제어장치(100)와의 통신에 사용되는 방향에 대한 데이터에 기초하여, 제어장치(100)와의 통신에 사용되는 방향이 0° 방향인 것을 확인할 수 있고, 제어장치(100)와 영상표시장치(200) 간의 각도를 0°로 변경할 수 있다.
다시 도 4를 참조하면, 제어장치(100)는, S406 동작에서, 보정된 보상 신호에 기초하여, 음성 입력에 포함된 노이즈를 제거할 수 있다. 여기서, 노이즈는, 음성 입력에서 음성 인식의 대상인 사용자가 발화한 음성을 제외한 나머지 부분을 의미할 수 있다.
예를 들면, 제어장치(100)는, 음성 입력과 보정된 보상 신호를 비교하여, 음성 입력 중 보정된 보상 신호에 대응하는 일부분을 제거할 수 있다. 이때, 음성 입력에서 제거된, 보정된 보상 신호에 대응하는 일부분은, 영상표시장치(200)에서 출력되어 제어장치(100)의 마이크를 통해 입력된 음향에 대응하는 일부분을 의미할 수 있다.
제어장치(100)는, S407 동작에서, 음성 입력 중, 보정된 보상 신호에 대응하는 일부분이 제거된 나머지 부분에 대하여 음성인식을 수행할 수 있고, 음성인식을 수행한 결과에 대응하는 동작을 수행할 수 있다.
제어장치(100)는, S408 동작에서, 제어장치(100) 및 영상표시장치(200) 중 적어도 하나의 전원을 오프(off)하는지 여부를 판단할 수 있다. 예를 들면, 원격제어장치(300)로부터 제어장치(100) 및 영상표시장치(200) 중 적어도 하나에 대한 전원 온/오프(on/off) 신호가 수신된 경우, 음성인식을 수행한 결과, 사용자가 전원 온/오프(on/off)에 관한 명령을 발화한 것으로 판단된 경우 등에 해당하면, 제어장치(100)는, 제어장치(100) 및 영상표시장치(200) 중 적어도 하나의 전원을 오프(off)하는 것으로 결정할 수 있다.
제어장치(100)는, S409 동작에서, 제어장치(100) 및 영상표시장치(200)의 전원을 오프(off)하지 않는 경우, 영상표시장치(200)에 대한 통신 성능이 저하되는지 여부를 확인할 수 있다. 예를 들면, 제어장치(100)는, 신호 대 잡음비(SNR), 수신신호강도(RSSI), 송신되는 신호의 대한 송신 전력 등에 기초하여, 영상표시장치(200)에 대한 통신 성능이 기 설정된 기준 성능 미만인지 여부를 확인할 수 있다.
제어장치(100)와 영상표시장치(200) 간의 통신 성능이 저하된 경우, 제어장치(100)는, S401 동작으로 분기하여, 영상표시장치(200)와 통신 연결을 다시 수행할 수 있고, 제어장치(100)와 영상표시장치(200) 간의 거리 및 각도를 다시 판단할 수 있다.
제어장치(100)와 영상표시장치(200) 간의 통신 성능이 저하되지 않은 경우, S403 동작으로 분기하여, 영상신호 및/또는 음성신호를 영상표시장치(200)에 계속 전송할 수 있고, 음성 입력이 수신되는지 여부를 지속적으로 확인할 수 있다. 한편, 제어장치(100)는, 음성 입력을 처리하는 동안에도, 영상신호 및/또는 음성신호를 영상표시장치(200)에 계속 전송할 수 있다.
도 9는, 본 발명의 다른 일 실시예에 따른, 제어장치의 동작방법에 대한 순서도이고, 도 10은, 제어장치의 동작에 관한 설명에 참조되는 도면이다. 도 4 내지 8에서 설명한 내용과 중복되는 내용에 대해서는 상세한 설명을 생략하도록 한다.
도 9를 참조하면, 제어장치(100)는, S901 동작에서, 외부장치 인터페이스부(130)를 통해, 영상표시장치(200)와 통신 연결을 수행할 수 있다.
제어장치(100)는, S902 동작에서, 제어장치(100)와 영상표시장치(200) 간의 거리 및 각도를 판단할 수 있다.
제어장치(100)는, S903 동작에서, 영상신호 및/또는 음성신호를 영상표시장치(200)에 전송할 수 있다.
제어장치(100)는, S904 동작에서, 음성인식의 대상인 음성 입력이 마이크를 통해 수신되는지 여부를 확인할 수 있다.
제어장치(100)는, S905 동작에서, 마이크를 통해 음성 입력이 수신되는 경우, 영상표시장치(100)에 전송되는 음성신호에 대응하는 보상 신호를 생성 및 보정할 수 있다.
제어장치(100)는, S906 동작에서, 보정된 보상 신호에 기초하여, 음성 입력에 포함된 노이즈를 제거할 수 있다.
제어장치(100)는, S907 동작에서, 보정된 보상 신호에 대응하는 일부분이 제거된 음성 입력의 나머지 부분에 대하여 음성인식의 수행이 가능한지 여부를 판단할 수 있다.
예를 들면, 제어장치(100)는, 통계적 특징을 추출하여 음성구간과 묵음구간을 구분하는 방식을 사용하여, 보정된 보상 신호에 대응하는 일부분이 제거된 음성 입력의 나머지 부분에 대한 전처리를 수행할 수 있다. 이때, 음성 입력의 나머지 부분에 대하여, 음성구간과 묵음구간이 구분되지 않는 경우, 제어장치(100)는 음성 입력의 나머지 부분에 대하여 음성인식의 수행이 불가능한 것으로 판단할 수 있다.
예를 들면, 제어장치(100)는, LPC(Linear Predictive Coefficients)에 기반한 방법과 MFCC(Mel Frequency Cepstral Coefficients) 추출법 등을 사용하여, 보정된 보상 신호에 대응하는 일부분이 제거된 음성 입력의 나머지 부분으로부터 음성인식에 유효한 특징 벡터의 추출을 시도할 수 있다. 이때, 음성 입력의 나머지 부분으로부터 음성인식에 유효한 특징 벡터가 추출되지 않는 경우, 제어장치(100)는 음성 입력의 나머지 부분에 대하여 음성인식의 수행이 불가능한 것으로 판단할 수 있다.
제어장치(100)는, S908 동작에서, 보정된 보상 신호에 대응하는 일부분이 제거된 음성 입력의 나머지 부분에 대하여 음성인식의 수행이 불가능한 경우, 사용자의 위치를 판단할 수 있다.
제어장치(100)는, 제2 통신회로에 포함된 적어도 하나의 어레이 안테나를 통해 mmWave 대역의 제1 신호를 송신하고, 송신된 제1 신호가 객체에 의해 반사되어 되돌아오는 신호인 제2 신호를 적어도 하나의 어레이 안테나를 통해 수신하는 동작을, 전방향에 대하여 수행할 수 있다.
이때, 제어장치(100)는, 전방향에 대하여 제2 신호를 수신한 결과에 기초하여, 제어장치(100)의 주변에 배치된 객체들의 유형을 판단할 수 있고, 제어장치(100)의 주변에 배치된 객체들 중 사용자에 대응하는 객체를 확인할 수 있다.
또한, 제어장치(100)는, 사용자에 대응하는 객체를 향하여 제1 신호를 송신한 시점과, 사용자에 대응하는 객체에 의해 반사되어 되돌아오는 제2 신호를 수신한 시점 간의 차이에 기초하여, 제어장치(100)와 사용자에 대응하는 객체 간의 거리를 산출할 수 있다.
제어장치(100)는, S909 동작에서, 제어장치(100)와 사용자에 대응하는 객체 간의 거리에 기초하여, 영상표시장치(100)에서 출력되는 음향의 음량을 제어하는 제어신호를 영상표시장치(100)에 전송할 수 있다. 이때, 제어장치(100)는, 제1 통신회로를 통해, 영상표시장치(100)에서 출력되는 음향의 음량을 제어하는 제어신호를 영상표시장치(100)에 전송할 수 있다.
도 10을 참조하면, 사용자가 동일한 크기의 목소리로 음성을 발화하는 경우에 있어서, 제어장치(100)와 사용자에 대응하는 객체(1000) 간의 거리가 d6인 경우, 거리가 가까운 d5인 경우에 비해, 제어장치(100)의 마이크로 입력되는 음성 입력의 진폭이 더 작을 수 있다.
이때, 제어장치(100)는, 제어장치(100)와 사용자에 대응하는 객체(1000) 간의 거리가 d6인 경우, 거리가 가까운 d5인 경우에 비해, 영상표시장치(100)에서 출력되는 음향의 음량이 더 낮아지도록 영상표시장치(100)를 제어할 수 있다.
다시 도 9를 참조하면, 제어장치(100)는, 영상표시장치(100)에서 출력되는 음향의 음량을 제어하는 제어신호를 영상표시장치(100)에 전송하는 경우, 사용자가 다시 음성을 발화하도록 유도하는 메시지를 출력할 수 있다. 예를 들면, 제어장치(100)는, 오디오 출력부(185)를 통해 사용자가 다시 음성을 발화하도록 유도하는 메시지를 출력할 수 있다.
한편, 제어장치(100)는, S910 동작에서, 보정된 보상 신호에 대응하는 일부분이 제거된 음성 입력의 나머지 부분에 대하여 음성인식의 수행이 가능한 경우, 음성 입력의 나머지 부분에 대하여 음성인식을 수행할 수 있고, 음성인식을 수행한 결과에 대응하는 동작을 수행할 수 있다.
제어장치(100)는, S911 동작에서, 제어장치(100) 및 영상표시장치(200) 중 적어도 하나의 전원을 오프(off)하는지 여부를 판단할 수 있다.
제어장치(100)는, S409 동작에서, 제어장치(100) 및 영상표시장치(200)의 전원을 오프(off)하지 않는 경우, 영상표시장치(200)에 대한 통신 성능이 저하되는지 여부를 확인할 수 있다.
제어장치(100)와 영상표시장치(200) 간의 통신 성능이 저하된 경우, 제어장치(100)는, S901 동작으로 분기하여, 영상표시장치(200)와 통신 연결을 다시 수행할 수 있고, 제어장치(100)와 영상표시장치(200) 간의 거리 및 각도를 다시 판단할 수 있다.
제어장치(100)와 영상표시장치(200) 간의 통신 성능이 저하되지 않은 경우, S903 동작으로 분기하여, 영상신호 및/또는 음성신호를 영상표시장치(200)에 계속 전송할 수 있고, 음성 입력이 수신되는지 여부를 지속적으로 확인할 수 있다.
상기와 같이, 본 발명의 다양한 실시예에 따르면, 제어장치(100)와 영상표시장치(200) 간의 각도 및 거리를 고려하여, 영상표시장치(200)에서 출력되는 음향에 대응하는 보상 신호의 진폭, 위상 등을 보정하고, 보정된 보상 신호를 이용하여 음성 입력 중 음향에 대응하는 부분을 보다 정확히 제거함으로써, 사용자가 발화한 음성 부분에 대한 음성인식의 정확성을 향상시킬 수 있다.
또한, 본 발명의 다양한 실시예에 따르면, 사용자가 발화한 음성 부분에 대한 음성인식이 어려운 경우, 음성을 발화하는 사용자의 위치를 확인하고, 사용자의 위치에 따라 영상표시장치(200)에서 출력되는 음향의 음량이 낮아지도록 제어함으로써, 사용자가 발화한 음성 부분에 대한 음성인식의 정확성을 더욱 향상시킬 수 있다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명의 영상표시장치 및/또는 제어장치의 동작방법은 영상표시장치 및/또는 제어장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (20)

  1. 제어장치에 있어서,
    영상표시장치와 통신을 수행하는 외부장치 인터페이스부;
    마이크; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 외부장치 인터페이스부를 통해 송수신되는 신호에 기초하여, 상기 제어장치와 상기 영상표시장치 간의 각도 및 거리를 판단하고,
    음성 입력이 상기 마이크를 통해 수신되는 경우, 상기 영상표시장치에 전송되는 음성신호에 대응하는 보상 신호를 생성하고,
    상기 판단된 각도 및 거리에 기초하여, 상기 보상 신호를 보정하고,
    상기 보정된 보상 신호에 기초하여, 상기 음성 입력을 처리하는 것을 특징으로 하는 제어장치.
  2. 제1항에 있어서,
    상기 보상 신호는, 상기 음성신호에 따라 상기 영상표시장치에서 출력되는 음향에 대응하는 신호이고,
    상기 제어부는,
    상기 보정된 보상 신호에 기초하여, 상기 음성 입력에서 상기 영상표시장치에서 출력되는 상기 음향에 대응하는 일부분을 제거하고,
    상기 일부분이 제거된 음성 입력에 대한 음성인식을 수행하는 것을 특징으로 하는 제어장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 판단된 각도에 기초하여, 상기 보상 신호의 위상을 보정하고,
    상기 판단된 거리에 기초하여, 상기 보상 신호의 진폭을 보정하는 것을 특징으로 하는 제어장치.
  4. 제3항에 있어서,
    상기 외부장치 인터페이스부는, 복수의 안테나 소자를 구비하는 어레이 안테나를 적어도 하나 포함하고,
    상기 제어부는,
    복수의 방향 중, 상기 어레이 안테나를 통한 상기 영상표시장치와의 통신에 사용되는 방향을 결정하고,
    상기 결정된 방향에 기초하여, 상기 각도를 판단하는 것을 특징으로 하는 제어장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 영상표시장치로부터 상기 제어장치와의 통신에 사용되는 방향에 대한 데이터를 수신하고,
    상기 수신된 방향에 대한 데이터에 기초하여, 상기 각도를 판단하는 것을 특징으로 하는 제어장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 영상표시장치로부터 수신되는 신호의 세기 및 상기 제어장치에서 신호가 출력된 시점과 상기 영상표시장치에서 신호를 수신한 시점 간의 차이 중 적어도 하나에 기초하여, 상기 거리를 판단하는 것을 특징으로 하는 제어장치.
  7. 제6항에 있어서,
    상기 외부장치 인터페이스부는,
    제1 주파수 대역을 사용하는 제1 통신회로; 및
    상기 제1 주파수 대역보다 높은 제2 주파수 대역을 사용하는 제2 통신회로를 포함하고,
    상기 제어부는,
    상기 제1 통신회로를 통해, 상기 영상표시장치에 제어 신호를 전송하고,
    상기 제2 통신회로를 통해, 상기 영상표시장치에 영상신호 및 상기 음성신호를 중 적어도 하나를 전송하는 것을 특징으로 하는 제어장치.
  8. 제7항에 있어서,
    상기 제1 주파수 대역은, 2.4GHz 대역 및 5GHz 대역 중 적어도 하나를 포함하고,
    상기 제2 주파수 대역은, 25GHz 내지 100GHz의 주파수 대역 중 적어도 일부를 포함하는 것을 특징으로 하는 제어장치.
  9. 제4항에 있어서,
    상기 제어부는,
    상기 외부장치 인터페이스부를 통해 송수신되는 신호에 기초하여, 사용자에 대응하는 객체와 상기 제어장치 간의 거리를 산출하고,
    상기 음성인식에 실패한 경우, 상기 사용자에 대응하는 객체와 상기 제어장치 간의 거리에 기초하여, 상기 영상표시장치에서 출력되는 음향의 음량을 낮추는 제어신호를 상기 영상표시장치에 전송하는 것을 특징으로 하는 제어장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 어레이 안테나를 통해 제1 신호를 송신하고, 상기 제1 신호가 객체에 의해 반사된 신호인 제2 신호를 상기 어레이 안테나를 통해 수신하는 동작을, 전방향에 대하여 수행하고,
    상기 전방향에 대하여 상기 제2 신호를 수신한 결과에 기초하여, 상기 사용자에 대응하는 객체와 상기 제어장치 간의 거리를 산출하는 것을 특징으로 하는 제어장치.
  11. 영상표시장치 및 제어장치를 포함하는 시스템에 있어서,
    상기 영상표시장치는, 상기 제어장치로부터 수신되는 음성신호에 기초하여, 적어도 하나의 스피커를 통해 음향을 출력하고,
    상기 제어장치는,
    상기 영상표시장치와 상호 간에 송수신하는 신호에 기초하여, 상기 제어장치와 상기 영상표시장치 간의 각도 및 거리를 판단하고,
    상기 제어장치의 마이크를 통해 음성 입력이 수신되는 경우, 상기 영상표시장치에 전송되는 상기 음성신호에 대응하는 보상 신호를 생성하고,
    상기 판단된 각도 및 거리에 기초하여, 상기 보상 신호를 보정하고,
    상기 보정된 보상 신호에 기초하여, 상기 음성 입력을 처리하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    상기 보상 신호는, 상기 음성신호에 따라 상기 영상표시장치에서 출력되는 상기 음향에 대응하는 신호이고,
    상기 제어장치는,
    상기 보정된 보상 신호에 기초하여, 상기 음성 입력에서 상기 영상표시장치에서 출력되는 상기 음향에 대응하는 일부분을 제거하고,
    상기 일부분이 제거된 음성 입력에 대한 음성인식을 수행하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서,
    상기 제어장치는,
    상기 판단된 각도에 기초하여, 상기 보상 신호의 위상을 보정하고,
    상기 판단된 거리에 기초하여, 상기 보상 신호의 진폭을 보정하는 것을 특징으로 하는 시스템.
  14. 제13항에 있어서,
    상기 영상표시장치와 상기 제어장치는, 복수의 안테나 소자를 구비하는 적어도 하나의 어레이 안테나를 각각 포함하고,
    상기 제어장치는,
    복수의 방향 중, 상기 어레이 안테나를 통한 상기 영상표시장치와의 통신에 사용되는 제1 방향을 결정하고,
    상기 제1 방향에 기초하여, 상기 각도를 판단하는 것을 특징으로 하는 시스템.
  15. 제14항에 있어서,
    상기 영상표시장치는,
    복수의 방향 중, 상기 어레이 안테나를 통한 상기 제어장치와의 통신에 사용되는 제2 방향을 결정하고,
    상기 제2 방향에 대한 데이터를 상기 제어장치에 전송하고,
    상기 제어장치는, 상기 영상표시장치로부터 수신되는 상기 제2 방향에 대한 데이터에 기초하여, 상기 각도를 판단하는 것을 특징으로 하는 시스템.
  16. 제15항에 있어서,
    상기 제어장치는,
    상기 영상표시장치로부터 수신되는 신호의 세기 및 상기 제어장치에서 신호가 출력된 시점과 상기 영상표시장치에서 신호를 수신한 시점 간의 차이 중 적어도 하나에 기초하여, 상기 거리를 판단하는 것을 특징으로 하는 시스템.
  17. 제16항에 있어서,
    상기 영상표시장치와 상기 제어장치는,
    제1 주파수 대역을 사용하는 제1 통신회로; 및
    상기 제1 주파수 대역보다 높은 제2 주파수 대역을 사용하는 제2 통신회로를 각각 포함하고,
    상기 제어장치는,
    상기 제1 통신회로를 통해, 상기 영상표시장치에 제어신호를 전송하고,
    상기 제2 통신회로를 통해, 상기 영상표시장치에 영상신호 및 상기 음성신호를 중 적어도 하나를 전송하는 것을 특징으로 하는 시스템.
  18. 제17항에 있어서,
    상기 제1 주파수 대역은, 2.4GHz 대역 및 5GHz 대역 중 적어도 하나를 포함하고,
    상기 제2 주파수 대역은, 25GHz 내지 100GHz의 주파수 대역 중 적어도 일부를 포함하는 것을 특징으로 하는 시스템.
  19. 제14항에 있어서,
    상기 제어장치는,
    상기 제어장치에서 송수신되는 신호에 기초하여, 사용자에 대응하는 객체와 상기 제어장치 간의 거리를 산출하고,
    상기 음성인식에 실패한 경우, 상기 사용자에 대응하는 객체와 상기 제어장치 간의 거리에 기초하여, 상기 영상표시장치에서 출력되는 음향의 음량을 낮추는 제어신호를 상기 영상표시장치에 전송하고,
    상기 영상표시장치는,
    상기 제어장치로부터 수신되는 상기 제어신호에 기초하여, 상기 스피커에서 출력되는 상기 음향의 음량이 낮아지도록 조절하는 것을 특징으로 하는 시스템.
  20. 제19항에 있어서,
    상기 제어장치는,
    상기 어레이 안테나를 통해 제1 신호를 송신하고, 상기 제1 신호가 객체에 의해 반사된 신호인 제2 신호를 상기 어레이 안테나를 통해 수신하는 동작을, 전방향에 대하여 수행하고,
    상기 전방향에 대하여 상기 제2 신호를 수신한 결과에 기초하여, 상기 사용자에 대응하는 객체와 상기 제어장치 간의 거리를 산출하는 것을 특징으로 하는 시스템.
PCT/KR2020/012722 2020-09-21 2020-09-21 제어장치 및 이를 포함하는 시스템 Ceased WO2022059825A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20954221.6A EP4216214A4 (en) 2020-09-21 2020-09-21 CONTROL DEVICE AND SYSTEM INCLUDING IT
US18/246,104 US12356037B2 (en) 2020-09-21 2020-09-21 Controller and system comprising same
PCT/KR2020/012722 WO2022059825A1 (ko) 2020-09-21 2020-09-21 제어장치 및 이를 포함하는 시스템
KR1020237008701A KR102909522B1 (ko) 2020-09-21 2020-09-21 제어장치 및 이를 포함하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/012722 WO2022059825A1 (ko) 2020-09-21 2020-09-21 제어장치 및 이를 포함하는 시스템

Publications (1)

Publication Number Publication Date
WO2022059825A1 true WO2022059825A1 (ko) 2022-03-24

Family

ID=80776854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012722 Ceased WO2022059825A1 (ko) 2020-09-21 2020-09-21 제어장치 및 이를 포함하는 시스템

Country Status (4)

Country Link
US (1) US12356037B2 (ko)
EP (1) EP4216214A4 (ko)
KR (1) KR102909522B1 (ko)
WO (1) WO2022059825A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240348855A1 (en) * 2021-07-30 2024-10-17 Lg Electronics Inc. Wireless display device, wireless set-top box, and wireless display system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847723B1 (en) * 1998-11-12 2005-01-25 Alpine Electronics, Inc. Voice input apparatus
JP2010004156A (ja) * 2008-06-18 2010-01-07 Toshiba Corp 表示制御装置及び動作モード制御方法
KR20100053890A (ko) * 2008-11-13 2010-05-24 삼성전자주식회사 잡음 제거 장치 및 잡음 제거 방법
KR20120072243A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 음향/음성 인식을 위한 잡음 제거 장치 및 그 방법
KR20200012636A (ko) * 2018-07-27 2020-02-05 주식회사 이엠텍 능동 소음 제거 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102398390B1 (ko) * 2017-03-22 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN110678922A (zh) * 2017-12-06 2020-01-10 谷歌有限责任公司 闪避和擦除来自附近设备的音频
KR102889818B1 (ko) * 2018-01-03 2025-11-26 유니버샬 일렉트로닉스 인코포레이티드 제어 장치에서 음성 입력을 지시하는 장치, 시스템 및 방법
KR20200043128A (ko) * 2018-10-17 2020-04-27 삼성전자주식회사 전자장치 및 그 제어방법
KR102568765B1 (ko) * 2018-11-19 2023-08-22 삼성전자주식회사 안테나 모듈을 포함하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847723B1 (en) * 1998-11-12 2005-01-25 Alpine Electronics, Inc. Voice input apparatus
JP2010004156A (ja) * 2008-06-18 2010-01-07 Toshiba Corp 表示制御装置及び動作モード制御方法
KR20100053890A (ko) * 2008-11-13 2010-05-24 삼성전자주식회사 잡음 제거 장치 및 잡음 제거 방법
KR20120072243A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 음향/음성 인식을 위한 잡음 제거 장치 및 그 방법
KR20200012636A (ko) * 2018-07-27 2020-02-05 주식회사 이엠텍 능동 소음 제거 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4216214A4 *

Also Published As

Publication number Publication date
EP4216214A4 (en) 2024-05-01
EP4216214A1 (en) 2023-07-26
KR20230053630A (ko) 2023-04-21
US20230370671A1 (en) 2023-11-16
US12356037B2 (en) 2025-07-08
KR102909522B1 (ko) 2026-01-07

Similar Documents

Publication Publication Date Title
WO2012091185A1 (en) Display device and method of providing feedback for gestures thereof
WO2020184842A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2020075978A1 (ko) 통신을 위한 빔 선택 방법 및 그 전자 장치
WO2021029447A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2019045337A1 (en) IMAGE DISPLAY APPARATUS AND METHOD FOR OPERATING SAME
WO2021107558A1 (en) Display apparatus and method of controlling the same
WO2021101327A1 (en) Display device and operating method thereof
WO2020171657A1 (en) Display device and image display method of the same
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2019198951A1 (ko) 전자 장치 및 그 동작 방법
WO2020226390A1 (en) Electronic device and method of controlling thereof
WO2019160260A1 (ko) 전자 장치 및 그 동작 방법
WO2018021813A1 (en) Image display apparatus
WO2022215910A1 (ko) 화면 공유 방법 및 그 전자 장치
WO2022059825A1 (ko) 제어장치 및 이를 포함하는 시스템
EP3625959A1 (en) Electronic device, audio output device, and operating method of electronic device
EP3827430A1 (en) Electronic device and operation method thereof
WO2024063507A1 (ko) 전자 장치 및 전자 장치의 사용자 발화 처리 방법
WO2021095919A1 (ko) 영상 표시 장치 및 그 동작방법
WO2023013798A1 (ko) A/v 전송 장치 및 무선 디스플레이 시스템
WO2021162342A1 (ko) 전자장치 및 그 제어방법
WO2021241773A1 (ko) 방송 수신 장치 및 그 동작방법
WO2021085698A1 (ko) 영상처리장치
WO2021085699A1 (ko) 방송 수신 장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20954221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237008701

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020954221

Country of ref document: EP

Effective date: 20230421

WWG Wipo information: grant in national office

Ref document number: 18246104

Country of ref document: US