WO2024150856A1 - 디스플레이 장치 - Google Patents

디스플레이 장치 Download PDF

Info

Publication number
WO2024150856A1
WO2024150856A1 PCT/KR2023/000597 KR2023000597W WO2024150856A1 WO 2024150856 A1 WO2024150856 A1 WO 2024150856A1 KR 2023000597 W KR2023000597 W KR 2023000597W WO 2024150856 A1 WO2024150856 A1 WO 2024150856A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
audio
display device
controller
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/000597
Other languages
English (en)
French (fr)
Inventor
안오봉
안상진
설성운
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020257022317A priority Critical patent/KR20250121352A/ko
Priority to CN202380095693.4A priority patent/CN121039735A/zh
Priority to PCT/KR2023/000597 priority patent/WO2024150856A1/ko
Publication of WO2024150856A1 publication Critical patent/WO2024150856A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R9/00—Transducers of moving-coil, moving-strip, or moving-wire type
    • H04R9/08—Microphones

Definitions

  • This disclosure relates to a display device for searching music included in content.
  • Electronic devices including display devices can provide various contents. As content varies, the type of music included in the content may also vary.
  • the audio of the content may vary depending on the genre of the content. If the genre of the content is a music-related genre, only music can be included in the audio of the content. On the other hand, if the genre of the content is not a music-related genre, music may be included along with the voice speaking the lines. If the genre of the content is not a music-related genre, the music included in the content may be background music.
  • the content may include original music or cover song music in which a person other than the original singer covers the original song.
  • a music search device can search for music by recording audio.
  • An example of a music search device may be a display device that provides a music search function.
  • the conventional display device has a complicated process for music search, such as a separate step of activating the microphone to record audio. Accordingly, there is a problem that when you start recording audio to search for music, the music you want to search for is finished. Additionally, users have the problem of having to wait while audio is being recorded.
  • the conventional display device has a problem in that it is difficult to provide information on various music, including original songs and cover songs, using a single music search engine.
  • the present disclosure seeks to advance the time at which a display device starts recording audio for music search.
  • the present disclosure is intended to enable music search to be performed using other recorded audio when the display device fails to obtain music search results using some of the recorded audio.
  • the present disclosure seeks to subdivide the process by which a display device performs music search according to music included in content.
  • a display device includes a microphone; A controller that receives a microphone on command from a remote control device to control the microphone to be turned on; and a display that displays music information searched based on audio recorded with a microphone from the time a microphone on command is received.
  • the display device may display music information searched based on audio recorded with a microphone from the time of receiving a content recommendation command that executes a content recommendation menu.
  • a display device When a display device according to an embodiment of the present disclosure receives a startup word that starts the display device, it can display music information searched based on audio recorded with a microphone from the time the startup word is received.
  • the display device may start recording multiple times from the point of receiving a microphone on command, generate a plurality of audio files, and display music information searched based on at least one of the plurality of audio files. .
  • the display device starts recording at preset intervals from the time of receiving the microphone on command, generates a plurality of audio files, and displays music information searched based on at least one of the plurality of audio files. You can.
  • a display device may display music information based on audio files selected based on at least one of the ratio of silent sections and the Signal to Noise Ratio (SNR) level of each of a plurality of audio files.
  • SNR Signal to Noise Ratio
  • a display device may display music information based on an audio file whose ratio of silent sections among a plurality of audio files is less than a preset reference ratio.
  • a display device may display music information based on an audio file whose SNR level is higher than a preset reference level among a plurality of audio files.
  • the display device may obtain the order of audio files to be used for music search based on at least one of the ratio of silent sections and the SNR level of each selected audio file.
  • the display device acquires the audio file with the smallest ratio of silent sections among the selected audio files as the audio file used as the first priority for music search, and selects the audio file with the lowest ratio of silent sections after the first audio file. Large audio files can be obtained as secondary audio files for music search.
  • the display device acquires the audio file with the highest SNR level among the selected audio files as the audio file used as the first priority for music search, and acquires the audio file with the second lowest SNR level after the first audio file. It can be obtained as an audio file that is used second in music searches.
  • the display device may obtain the genre of the content being displayed through the display from an external server and determine whether to remove signals other than music included in the audio based on the genre of the content.
  • the display device may display music information searched based on audio from which signals other than music signals included in the audio have been removed.
  • the display device may perform a music search corresponding to audio recorded with a microphone in at least one of a plurality of music search engines including an original song search engine and a cover song search engine.
  • the display device may perform a music search in a cover song search engine when music search results are not obtained from the song search engine.
  • the display device can shorten the time between receiving a music search command and displaying music search results.
  • the display device performs a music search using a plurality of audio files sequentially, thereby minimizing the possibility of failing to obtain search results.
  • the display device can reduce the amount of computation required for music search or shorten the time until the music search result is displayed depending on the music included in the content.
  • Figure 1 is a block diagram showing the configuration of a display device according to an embodiment of the present invention.
  • Figure 2 is a block diagram of a remote control device according to an embodiment of the present invention.
  • Figure 3 shows an example of the actual configuration of a remote control device according to an embodiment of the present invention.
  • Figure 4 shows an example of utilizing a remote control device according to an embodiment of the present invention.
  • Figure 5 is a block diagram for explaining a mobile terminal related to the present invention.
  • Figure 6 is a diagram for explaining the point in time when an existing display device starts recording audio for music search.
  • FIG. 7 is a flowchart illustrating a method for a display device to search for music according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a case where a display device according to an embodiment of the present disclosure receives a music search command after completing audio recording.
  • FIG. 9 is a diagram illustrating a case where a display device according to an embodiment of the present disclosure receives a music search command before completing audio recording.
  • FIG. 10 is a diagram illustrating a content recommendation menu displayed by a display device according to a content recommendation command according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a menu displayed by a mobile terminal connected to a display device to control the display device according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a mobile terminal connected to a display device displaying a menu for controlling the display device according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating a screen displayed when a display device receives a startup word according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating a screen on which a display device displays a menu including a music search item according to an embodiment of the present disclosure.
  • FIG. 15 is a diagram illustrating a method in which a display device initiates recording multiple times according to an embodiment of the present disclosure.
  • Figure 16 is a flowchart showing a method of searching for music information using a plurality of files recorded by a display device according to an embodiment of the present disclosure.
  • FIG. 17 is a diagram illustrating a method by which a display device according to an embodiment of the present disclosure selects an audio file to be used for music search based on the ratio of silent sections of each of a plurality of audio files.
  • FIG. 18 is a diagram illustrating a method by which a display device according to an embodiment of the present disclosure selects an audio file to be used for music search based on the SNR (Signal to Noise Ratio) level of each of a plurality of audio files.
  • SNR Signal to Noise Ratio
  • the display device is, for example, an intelligent display device that adds a computer support function to the broadcast reception function, and is faithful to the broadcast reception function while adding an Internet function, etc., such as a handwriting input device and a touch screen.
  • an Internet function etc.
  • it can be equipped with a more convenient interface such as a spatial remote control.
  • by supporting wired or wireless Internet functions it is possible to connect to the Internet and a computer and perform functions such as email, web browsing, banking, or gaming.
  • a standardized general-purpose OS can be used for these various functions.
  • the display device described in the present invention for example, various applications can be freely added or deleted on a general-purpose OS kernel, so various user-friendly functions can be performed.
  • the display device may be, for example, a network TV, HBBTV, smart TV, LED TV, OLED TV, etc., and in some cases, may also be applied to a smartphone.
  • Figure 1 shows a block diagram of the configuration of a display device according to an embodiment of the present invention.
  • the display device 100 includes a broadcast receiver 130, an external device interface 135, a memory 140, a user input interface 150, a controller 170, a wireless communication interface 173, and a display. It may include (180), a speaker (185), and a power supply circuit (190).
  • the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface 133.
  • the tuner 131 can select a specific broadcast channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a specific selected broadcast channel.
  • the demodulator 132 can separate the received broadcast signal into a video signal, an audio signal, and a data signal related to the broadcast program, and can restore the separated video signal, audio signal, and data signal to a form that can be output.
  • the external device interface 135 may receive an application or application list within an adjacent external device and transfer it to the controller 170 or memory 140.
  • the external device interface 135 may provide a connection path between the display device 100 and an external device.
  • the external device interface 135 may receive one or more of video and audio output from an external device connected wirelessly or wired to the display device 100 and transmit it to the controller 170.
  • the external device interface 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more High Definition Multimedia Interface (HDMI) terminals, and a component terminal.
  • HDMI High Definition Multimedia Interface
  • An image signal from an external device input through the external device interface 135 may be output through the display 180.
  • a voice signal from an external device input through the external device interface 135 may be output through the speaker 185.
  • An external device that can be connected to the external device interface 135 may be any one of a set-top box, Blu-ray player, DVD player, game console, sound bar, smartphone, PC, USB memory, or home theater, but this is only an example.
  • the network interface 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network.
  • the network interface 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.
  • some of the content data stored in the display device 100 may be transmitted to a selected user or selected electronic device among other users or other electronic devices pre-registered in the display device 100.
  • the network interface 133 can access a certain web page through a connected network or another network linked to the connected network. In other words, you can access a certain web page through a network and transmit or receive data with the corresponding server.
  • the network interface 133 can receive content or data provided by a content provider or network operator. That is, the network interface 133 can receive content and information related thereto, such as movies, advertisements, games, VODs, and broadcast signals, provided from a content provider or network provider through a network.
  • the network interface 133 can receive firmware update information and update files provided by a network operator, and can transmit data to the Internet, a content provider, or a network operator.
  • the network interface 133 can select and receive a desired application from among applications that are open to the public through a network.
  • the memory 140 stores programs for processing and controlling each signal in the controller 170, and can store signal-processed video, voice, or data signals.
  • the memory 140 may perform a function for temporary storage of video, voice, or data signals input from the external device interface 135 or the network interface 133, and may store information about a predetermined image through a channel memory function. You can also store information.
  • the memory 140 may store an application or application list input from the external device interface 135 or the network interface 133.
  • the display device 100 can play content files (video files, still image files, music files, document files, application files, etc.) stored in the memory 140 and provide them to the user.
  • content files video files, still image files, music files, document files, application files, etc.
  • the user input interface 150 may transmit a signal input by the user to the controller 170 or transmit a signal from the controller 170 to the user.
  • the user input interface 150 can be used remotely according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee, Radio Frequency (RF) communication, or infrared (IR) communication.
  • Control signals such as power on/off, channel selection, and screen settings can be received and processed from the control device 200, or control signals from the controller 170 can be processed to be transmitted to the remote control device 200.
  • the user input interface 150 can transmit control signals input from local keys (not shown) such as power key, channel key, volume key, and setting key to the controller 170.
  • local keys such as power key, channel key, volume key, and setting key
  • the video signal processed by the controller 170 may be input to the display 180 and displayed as an image corresponding to the video signal. Additionally, the image signal processed by the controller 170 may be input to an external output device through the external device interface 135.
  • the voice signal processed by the controller 170 may be output as audio to the speaker 185. Additionally, the voice signal processed by the controller 170 may be input to an external output device through the external device interface 135.
  • controller 170 may control overall operations within the display device 100.
  • controller 170 can control the display device 100 by a user command or internal program input through the user input interface 150, and connects to the network to display the application or application list desired by the user on the display device ( 100) You can make it available for download within.
  • the controller 170 allows channel information selected by the user to be output through the display 180 or speaker 185 along with the processed video or audio signal.
  • the controller 170 controls the video signal from an external device, for example, a camera or camcorder, input through the external device interface 135 according to an external device video playback command received through the user input interface 150.
  • the voice signal can be output through the display 180 or speaker 185.
  • the controller 170 can control the display 180 to display an image, for example, a broadcast image input through the tuner 131, an external input image input through the external device interface 135, Alternatively, an image input through the network interface unit or an image stored in the memory 140 may be controlled to be displayed on the display 180.
  • the image displayed on the display 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • controller 170 can control the playback of content stored in the display device 100, received broadcast content, or external input content, which may include broadcast video, external input video, or audio files. , can be in various forms such as still images, connected web screens, and document files.
  • the wireless communication interface 173 can communicate with external devices through wired or wireless communication.
  • the wireless communication interface 173 can perform short range communication with an external device.
  • the wireless communication interface 173 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi.
  • Short-distance communication can be supported using at least one of Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • This wireless communication interface 173 is between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 through wireless area networks. It can support wireless communication between the network and the display device 100 (or external server).
  • Local area wireless networks may be wireless personal area networks.
  • the other display device 100 is a wearable device capable of exchanging data with (or interoperating with) the display device 100 according to the present invention, for example, a smartwatch, smart glasses. It can be a mobile terminal such as (smart glass), HMD (head mounted display), or smart phone.
  • the wireless communication interface 173 may detect (or recognize) a wearable device capable of communication around the display device 100 .
  • the controller 170 sends at least part of the data processed by the display device 100 to the wireless communication interface 173. It can be transmitted to a wearable device through . Accordingly, a user of a wearable device can use data processed by the display device 100 through the wearable device.
  • the display 180 converts the video signal, data signal, and OSD signal processed by the controller 170 or the video signal and data signal received from the external device interface 135 into R, G, and B signals, respectively, and provides a driving signal. can be created.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted depending on the specifications of the display device 100 that is actually implemented.
  • two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining embodiments of the present invention, and the specific operations or devices do not limit the scope of the present invention.
  • the display device 100 does not have a tuner 131 and a demodulator 132 but has a network interface 133 or an external device interface 135. You can also receive and play video through the device.
  • the display device 100 is divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content playback device for playing content input from the image processing device. It can be implemented.
  • an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services
  • a content playback device for playing content input from the image processing device. It can be implemented.
  • the method of operating a display device includes not only the display device 100 as described with reference to FIG. 1, but also an image processing device such as the separated set-top box or the display 180. ) and a content playback device having an audio output unit 185.
  • Figure 2 is a block diagram of a remote control device according to an embodiment of the present invention
  • Figure 3 shows an example of the actual configuration of the remote control device 200 according to an embodiment of the present invention.
  • the remote control device 200 includes a fingerprint reader 210, a wireless communication circuit 220, a user input interface 230, a sensor 240, an output interface 250, and a power supply circuit ( 260), memory 270, controller 280, and microphone 290.
  • the wireless communication circuit 220 transmits and receives signals to and from any one of the display devices according to the embodiments of the present invention described above.
  • the remote control device 200 has an RF circuit 221 capable of transmitting and receiving signals to and from the display device 100 in accordance with RF communication standards, and is capable of transmitting and receiving signals to and from the display device 100 in accordance with IR communication standards.
  • An IR circuit 223 may be provided.
  • the remote control device 200 may be provided with a Bluetooth circuit 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 is provided with an NFC circuit 227 capable of transmitting and receiving signals to the display device 100 according to the NFC (Near Field Communication) communication standard, and displays the display device 100 according to the WLAN (Wireless LAN) communication standard.
  • a WLAN circuit 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication circuit 220.
  • the remote control device 200 can receive a signal transmitted by the display device 100 through the RF circuit 221 and, if necessary, turn on/off the display device 100 through the IR circuit 223. Commands for turning off, changing channels, changing volume, etc. can be sent.
  • the user input interface 230 may be comprised of a keypad, buttons, touch pad, or touch screen.
  • the user can input commands related to the display device 100 into the remote control device 200 by manipulating the user input interface 230. If the user input interface 230 has a hard key button, the user can input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be explained with reference to FIG. 3 .
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button (212), power button (231), home button (232), live button (233), external input button (234), volume control button (235), voice recognition button (236), It may include a channel change button 237, a confirmation button 238, and a back button 239.
  • the fingerprint recognition button 212 may be a button for recognizing the user's fingerprint.
  • the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off the power of the display device 100.
  • the home button 232 may be a button for moving to the home screen of the display device 100.
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display device 100.
  • the volume control button 235 may be a button for adjusting the volume of the sound output by the display device 100.
  • the voice recognition button 236 may be a button for receiving the user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be a button for returning to the previous screen.
  • the user input interface 230 has a touch screen, the user can input commands related to the display device 100 through the remote control device 200 by touching a soft key on the touch screen. Additionally, the user input interface 230 may be equipped with various types of input means that the user can operate, such as scroll keys and jog keys, and this embodiment does not limit the scope of the present invention.
  • the sensor 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.
  • the gyro sensor 241 can sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 measures the moving speed of the remote control device 200. Information about such things can be sensed.
  • the remote control device 200 may further include a distance measurement sensor and can sense the distance from the display 180 of the display device 100.
  • the output interface 250 may output a video or audio signal corresponding to a manipulation of the user input interface 230 or a signal transmitted from the display device 100.
  • the user can recognize whether the output interface 250 is manipulating the user input interface 230 or controlling the display device 100.
  • the output interface 250 includes an LED 251 that turns on when the user input interface 230 is manipulated or a signal is transmitted and received with the display device 100 through the wireless communication unit 225, and a vibrator 253 that generates vibration. ), a speaker 255 that outputs sound, or a display 257 that outputs an image.
  • the power supply circuit 260 supplies power to the remote control device 200, and stops power supply when the remote control device 200 does not move for a predetermined period of time, thereby reducing power waste.
  • the power supply circuit 260 can resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the memory 270 may store various types of programs, application data, etc. necessary for controlling or operating the remote control device 200.
  • the remote control device 200 transmits and receives signals wirelessly through the display device 100 and the RF circuit 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the controller 280 of the remote control device 200 stores and references information about the display device 100 paired with the remote control device 200 and the frequency band capable of wirelessly transmitting and receiving signals in the memory 270. You can.
  • the controller 280 controls all matters related to the control of the remote control device 200.
  • the controller 280 sends a signal corresponding to a predetermined key operation of the user input interface 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor 240 through the wireless communication unit 225. 100).
  • the microphone 290 of the remote control device 200 can acquire voice.
  • a plurality of microphones 290 may be provided.
  • Figure 4 shows an example of utilizing a remote control device according to an embodiment of the present invention.
  • FIG. 4 illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display 180.
  • the user can move or rotate the remote control device 200 up and down, left and right.
  • the pointer 205 displayed on the display 180 of the display device 100 corresponds to the movement of the remote control device 200.
  • This remote control device 200 can be called a spatial remote control because the corresponding pointer 205 is moved and displayed according to movement in 3D space, as shown in the drawing.
  • FIG. 4 illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display 180 of the display device 100 also moves to the left correspondingly.
  • the display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200.
  • the display device 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4 illustrates a case where a user moves the remote control device 200 away from the display 180 while pressing a specific button in the remote control device 200.
  • the selected area in the display 180 corresponding to the pointer 205 can be zoomed in and displayed enlarged.
  • the selected area in the display 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.
  • the selected area may be zoomed out, and when the remote control device 200 approaches the display 180, the selected area may be zoomed in.
  • the moving speed or direction of the pointer 205 may correspond to the moving speed or direction of the remote control device 200.
  • a pointer in this specification refers to an object displayed on the display 180 in response to the operation of the remote control device 200.
  • the pointer 205 can be an object of various shapes other than the arrow shape shown in the drawing.
  • concepts may include dots, cursors, prompts, thick outlines, etc.
  • the pointer 205 can be displayed not only in response to one of the horizontal and vertical axes on the display 180, but also in response to multiple points, such as a line or surface. .
  • Figure 5 is a block diagram for explaining a mobile terminal related to the present invention.
  • the mobile terminal 500 includes a wireless communication unit 510, an input unit 520, a sensing unit 540, an output unit 550, an interface unit 560, a memory 570, a control unit 580, and a power supply unit 590. It may include etc.
  • the components shown in FIG. 5 are not essential for implementing a mobile terminal, so the mobile terminal described herein may have more or fewer components than those listed above.
  • the wireless communication unit 510 is used between the mobile terminal 500 and the wireless communication system, between the mobile terminal 500 and another mobile terminal 500, or between the mobile terminal 500 and an external server. It may include one or more modules that enable wireless communication between the devices. Additionally, the wireless communication unit 510 may include one or more modules that connect the mobile terminal 500 to one or more networks.
  • the wireless communication unit 510 may include at least one of a broadcast reception module 511, a mobile communication module 512, a wireless Internet module 513, a short-range communication module 514, and a location information module 515.
  • the input unit 520 includes a camera 521 or an image input unit for inputting an image signal, a microphone 522 or an audio input unit for inputting an audio signal, and a user input unit 523 for receiving information from a user, for example. , touch keys, push keys (mechanical keys, etc.). Voice data or image data collected by the input unit 520 may be analyzed and processed as a user's control command.
  • the sensing unit 540 may include one or more sensors for sensing at least one of information within the mobile terminal, information about the surrounding environment surrounding the mobile terminal, and user information.
  • the sensing unit 540 includes a proximity sensor (541), an illumination sensor (542), a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor.
  • G-sensor gyroscope sensor
  • motion sensor RGB sensor
  • IR sensor infrared sensor
  • fingerprint scan sensor ultrasonic sensor
  • ultrasonic sensor ultrasonic sensor
  • optical sensor microphone
  • battery gauge environmental sensor (e.g., barometer, hygrometer, thermometer, radiation sensor, heat sensor, gas sensor, etc.), chemical sensor (
  • environmental sensor e.g., barometer, hygrometer, thermometer, radiation sensor, heat sensor, gas sensor, etc.
  • chemical sensor for example, it may include at least one of an electronic nose, a healthcare sensor, a biometric sensor, etc.
  • the mobile terminal disclosed in this specification can utilize information sensed by at least two of these sensors by combining them.
  • the output unit 550 is for generating output related to vision, hearing, or tactile sense, and includes at least one of a display unit 551, an audio output unit 552, a haptic module 553, and an optical output unit 554. can do.
  • the display unit 551 can implement a touch screen by forming a layered structure or being integrated with the touch sensor. This touch screen functions as a user input unit 523 that provides an input interface between the mobile terminal 500 and the user, and can simultaneously provide an output interface between the mobile terminal 500 and the user.
  • the interface unit 560 serves as a passageway for various types of external devices connected to the mobile terminal 500.
  • This interface unit 560 connects devices equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • the mobile terminal 500 may perform appropriate control related to the connected external device.
  • the memory 570 stores data supporting various functions of the mobile terminal 500.
  • the memory 570 may store a number of application programs (application programs or applications) running on the mobile terminal 500, data for operating the mobile terminal 500, and commands. At least some of these applications may be downloaded from an external server via wireless communication. Additionally, at least some of these applications may be present on the mobile terminal 500 from the time of shipment for basic functions of the mobile terminal 500 (e.g., call incoming and outgoing functions, message reception and sending functions). Meanwhile, the application program may be stored in the memory 570, installed on the mobile terminal 500, and driven by the control unit 580 to perform operations (or functions) of the mobile terminal.
  • control unit 580 In addition to operations related to the application program, the control unit 580 typically controls the overall operation of the mobile terminal 500.
  • the control unit 580 can provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components discussed above, or by running an application program stored in the memory 570.
  • control unit 580 may control at least some of the components examined with FIG. 5 in order to run an application program stored in the memory 570. Furthermore, the control unit 580 can operate at least two of the components included in the mobile terminal 500 in combination with each other in order to run the application program.
  • the power supply unit 590 receives external power and internal power under the control of the control unit 580 and supplies power to each component included in the mobile terminal 500.
  • This power supply unit 590 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the above components may cooperate with each other to implement operation, control, or a control method of a mobile terminal according to various embodiments described below. Additionally, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by running at least one application program stored in the memory 570.
  • the display device 100 may be a music search device that provides a music search function.
  • the music search device may be not only the display device 100 but also the mobile terminal 500 described in FIG. 5 .
  • the music search device is a device that displays music search results according to a method described later, and its form may vary, such as a display device 100 or a mobile terminal 500.
  • the music search device is the display device 100.
  • the display device 100 can search for music having a signal similar to the audio signal recorded with the microphone 151. Accordingly, the display device 100 can provide information about music having an audio signal similar to the audio recorded with the microphone 151.
  • the existing display device 100 goes through one or more steps to record audio with the microphone 151 to search for music.
  • the existing display device 100 goes through the step of turning on the microphone 151, then receives a voice command for music search and starts audio recording.
  • the existing display device 100 starts audio recording by receiving a user input for selecting a music search function included in the application after executing an application installed on the display device 100.
  • Figure 6 is a diagram for explaining the point in time when an existing display device starts recording audio for music search.
  • FIG. 6 may be a diagram showing the waveform of audio that can be recorded through the microphone 151.
  • the controller 170 can record audio from the point in time (t2) when the music search command is received.
  • the time point (t2) at which the music search command is received may be the time point (t2) at which the controller 170 starts audio recording.
  • the music search command may be a command for searching music.
  • the controller 170 may enter a state in which it can receive a music search command before receiving the music search command.
  • the controller 170 may receive a music search command through the microphone 151. To this end, the controller 170 may receive a microphone on command and enter a state in which it can receive a music search command.
  • the time point (t1) at which the controller 170 enters a state capable of receiving a music search command may be the time point (t1) at which the user intends to search for music.
  • the music included in the content may be stopped or changed to other music.
  • the controller 170 may record audio for a preset time (d) from the point in time when the music search command is received (t2).
  • the preset time (d) may be set as the minimum recording time for obtaining music search results using recorded audio, but is not limited to this.
  • the time at which audio recording is completed may be a preset time (d) after the time at which the music search command is received (t2).
  • the controller 170 may display music information found based on the recorded audio.
  • the time when the controller 170 displays the searched music information may be after the time when audio recording is completed (t3).
  • the controller 170 records audio from the point in time when the music search command is received (t2)
  • the time between the point in time when the user intends to search for music (t1) and the point in time when the searched music information is displayed is preset. It can be longer than time (d).
  • the existing display device 100 has a problem in that it takes more than a preset time (d) from the time of receiving the music search command (t2) to the time of providing the searched music information.
  • the display device 100 attempts to start recording audio for music search earlier than the time t2 at which the music search command is received.
  • FIG. 7 is a flowchart illustrating a method for a display device to search for music according to an embodiment of the present disclosure.
  • the controller 170 may receive a microphone on command that controls the microphone 151 to be turned on (S11).
  • the controller 170 may receive a microphone on command from the remote control device 200 to turn on the microphone 151.
  • the microphone on command may be a command that turns on the power of the microphone 151 to receive a user's voice command.
  • Voice commands may include music search commands.
  • the controller 170 may receive a music search command through the microphone 151 that is controlled to be on.
  • the music search command may be a command for searching music of content.
  • the music search command may be a command for searching music of content being displayed through the display 180.
  • the step of the controller 170 receiving a microphone on command may be a step of entering a state in which a music search command can be received.
  • the state in which a music search command can be received may vary depending on the embodiment.
  • a state in which a music search command can be received may include a state in which the microphone 151 is turned on to receive a music search command, as well as a state in which a menu supporting a music search command is entered.
  • the controller 170 can record audio from the time it receives the microphone on command (S13).
  • the controller 170 can record audio from the moment it receives the microphone on command.
  • the controller 170 may start audio recording when a microphone on command is received.
  • the controller 170 can record audio even before receiving a music search command.
  • the controller 170 may record audio for a preset period of time from the time audio recording starts.
  • the preset time may be set as the minimum recording time for obtaining music search results using recorded audio, but is not limited thereto.
  • the preset time may be 6 seconds, but is not limited thereto.
  • the controller 170 may start audio recording in various cases when it enters a state in which it can receive a music search command.
  • the controller 170 may receive a music search command (S15).
  • the controller 170 may receive a music search command through the microphone 151.
  • the controller 170 may perform music search based on the recorded audio (S17).
  • the controller 170 may perform music search when receiving a music search command. For example, when the controller 170 receives a music search command, it can perform a music search corresponding to audio in a music search engine.
  • a music search engine may be a search engine that obtains and provides music information most similar to audio from a music database.
  • a music search engine can analyze the frequency of an audio file, then obtain and provide music information with a frequency most similar to the frequency of the audio file from a music database.
  • the music search engine may include an original song search engine and a cover song search engine.
  • the original song search engine may be a search engine for obtaining sound source information most similar to an audio file from an original song database.
  • the original song database may be a database in which audio files containing the original singer's voice and instrument sounds included in the music are stored.
  • the cover song search engine may be a search engine for obtaining cover song information most similar to an audio file from a cover song database.
  • the cover song database may be a database that stores audio files containing the sounds of carpentry and instruments by a person other than the original singer included in the music.
  • the controller 170 may perform a music search corresponding to the audio recorded with the microphone 151 in at least one of a plurality of music search engines including an original song search engine and a cover song search engine.
  • FIG. 8 is a diagram illustrating a case where a display device according to an embodiment of the present disclosure receives a music search command after completing audio recording.
  • FIG. 8 may be a diagram showing the waveform of audio that can be recorded through the microphone 151.
  • the controller 170 may start audio recording at the time t1 when it enters a state in which it can receive a music search command.
  • the time point (t1) at which a music search command can be received may be the time point (t1) at which the user intends to search for music.
  • the controller 170 may record audio for a preset time (d) from the time (t1) when the user intends to search for music.
  • the preset time (d) may be 6 seconds, but is not limited thereto.
  • the time when the controller 170 completes audio recording (t3) may be before the time when the music search command is received (t2).
  • the controller 170 when the controller 170 receives a music search command, it can immediately perform a music search based on the recorded audio.
  • FIG. 9 is a diagram illustrating a case where a display device according to an embodiment of the present disclosure receives a music search command before completing audio recording.
  • FIG. 9 may be a diagram showing the waveform of audio that can be recorded through the microphone 151.
  • the controller 170 may receive a music search command while recording audio.
  • the time when the controller 170 completes audio recording (t3) may be after the time when the music search command is received (t2).
  • the controller 170 may perform a music search based on the recorded audio at the time t3 when audio recording is completed.
  • the controller 170 started audio recording at the time when the user intended to search for music (t1), the time between the time when the music search command is received (t2) and the time when audio recording is completed (t3) is preset. It may be shorter than time (d).
  • the display device 100 may start audio recording at the time t1 when the user intends to search for music.
  • the controller 170 may display music information found based on the recorded audio (S19).
  • the controller 170 may display music information found based on the recorded audio.
  • the searched music information may include the title, singer, album name, album cover, release date, etc. of the searched music.
  • the controller 170 can also display the accuracy of the searched music.
  • the accuracy of the searched music may be a degree of consistency between the searched music and the recorded audio.
  • the display device 100 may start recording audio for music search from the time the user intends to search for music, before receiving a music search command.
  • the display device 100 can minimize the problem of the user being unable to record the music he or she intended to search for because the music is stopped before audio recording begins.
  • the display device 100 has the advantage of shortening the time until music search results are displayed.
  • the case of advancing the start of audio recording to the time when the user wants to search for music is not limited to the case described above.
  • the display device 100 can immediately start audio recording when it is determined that it can receive a music search command in addition to the microphone on command.
  • various embodiments will be described in detail.
  • FIG. 10 is a diagram illustrating a content recommendation menu displayed by a display device according to a content recommendation command according to an embodiment of the present disclosure.
  • the controller 170 may execute the content recommendation menu 410 according to a content recommendation command that executes the content recommendation menu.
  • the content recommendation command may be an input by pressing the voice recognition button 236 of the remote control device 200 for less than a preset time, but is not limited to this.
  • the content recommendation menu 410 may include a menu for recommending other content related to specific content.
  • the content recommendation menu 410 may include a music search item 411 for searching for music of a specific content.
  • the music search item 411 may be displayed as an item containing the text 'What is this music?'
  • the user input for selecting the music search item 411 may be a music search command. That is, the controller 170 can execute a content recommendation menu and enter a state in which it can receive a music search command.
  • the controller 170 may start audio recording using the microphone 151 at the time of receiving the content recommendation command.
  • the time when the controller 170 starts recording audio may be before receiving a music search command.
  • the controller 170 when the controller 170 receives a user input for selecting a music search item 411, it can perform a music search.
  • the controller 170 may display music information searched based on audio recorded from the time the content recommendation command is received.
  • FIG. 11 is a diagram illustrating a menu displayed by a mobile terminal connected to a display device to control the display device according to an embodiment of the present disclosure.
  • FIG. 11 may be a diagram illustrating the main menu 310 of an application displayed on the display unit 551 of the mobile terminal 500.
  • the application displayed on the display unit 551 of the mobile terminal 500 may be an application for controlling various electronic devices registered in the mobile terminal 500.
  • the main menu 310 of the application may include a list of electronic devices registered to the mobile terminal 500.
  • the electronic device registered to the mobile terminal 500 may be an electronic device that has been wirelessly connected to the mobile terminal 500 or is currently connected wirelessly to the mobile terminal 500 and can be controlled using the mobile terminal 500.
  • the electronic device registered to the mobile terminal 500 may include the display device 100. Accordingly, the display device 100 may be included in the list of electronic devices registered to the mobile terminal 500.
  • the mobile terminal 500 not only the display device 100 but also various electronic devices such as a wireless vacuum cleaner, a light wave oven, and a dehumidifier may be registered.
  • the list of electronic devices registered in the mobile terminal 500 includes an item 311 corresponding to a display device, an item 312 corresponding to a wireless vacuum cleaner, an item 313 corresponding to a light wave oven, and an item 314 corresponding to a dehumidifier. ), etc. may include items corresponding to various electronic devices.
  • each item corresponding to an electronic device may include operation information of the electronic device, such as 'on', 'not connected', and 'standby'.
  • the mobile terminal 500 When the mobile terminal 500 receives an input for selecting an item 311 corresponding to the display device among the items included in the main menu 310, it can display a menu for controlling the display device 100.
  • the menu for controlling the display device 100 will be described in detail with reference to FIG. 12 .
  • FIG. 12 is a diagram illustrating a mobile terminal connected to a display device displaying a menu for controlling the display device according to an embodiment of the present disclosure.
  • the menu 320 for controlling the display device 100 may include a remote control item 321, a sharing item 322, an application item 323, etc.
  • the remote control item 321 may be an item for remotely controlling the display device 100.
  • the remote control item 321 may include an icon 3211 for controlling the microphone 522 of the mobile terminal to be turned on.
  • the mobile terminal 500 When the mobile terminal 500 receives a user input for selecting the icon 3211 for controlling the microphone 522 to be turned on, the mobile terminal 500 can control the microphone 522 to be turned on.
  • the mobile terminal 500 may receive a voice command for remotely controlling the display device 100 through the microphone 522.
  • Voice commands may include music search commands.
  • the mobile terminal 500 can enter a state in which it can receive a music search command by receiving a user input for selecting the icon 3211 for controlling the microphone 522 of the mobile terminal to be turned on.
  • the mobile terminal 500 may transmit a signal notifying this to the display device 100.
  • the display device 100 may start audio recording based on a signal received from the mobile terminal 500.
  • the display device 100 can start audio recording when the mobile terminal 500 enters a state in which it can receive a music search command. Accordingly, the time when the display device 100 starts recording audio may be before the mobile terminal 500 receives a voice command.
  • the mobile terminal 500 When the mobile terminal 500 receives a voice command, it can transmit information including the voice command to the display device 100.
  • the display device 100 may acquire that the voice command is a music search command based on information received from the mobile terminal 500.
  • the display device 100 may perform a music search based on the obtained music search command.
  • the display device 100 may display music information searched based on audio recorded from the time it receives a user input for selecting the icon 3211 for controlling the microphone 522 to be turned on.
  • the display device 100 can start audio recording when the remote control device 200 enters a state in which it can receive a music search command.
  • the remote control device 200 may receive a command to turn on the microphone 290.
  • the command to turn on the microphone 290 may be an input of pressing and releasing the voice recognition button 236 for more than a preset time, but is not limited to this.
  • the remote control device 200 may receive a voice command for the display device 100 through the microphone 290.
  • Voice commands may include music search commands.
  • the remote control device 200 can enter a state in which it can receive a music search command for the display device 100.
  • the remote control device 200 when it receives a command to turn on the microphone 290, it can transmit a signal notifying this to the display device 100.
  • the display device 100 may start audio recording based on a signal received from the remote control device 200.
  • the display device 100 can record audio when the remote control device 200 enters a state in which it can receive a music search command. Accordingly, the time when the display device 100 starts recording audio may be before the remote control device 200 receives a voice command.
  • the remote control device 200 When the remote control device 200 receives a voice command, it can transmit information including the voice command to the display device 100.
  • the display device 100 may acquire that the voice command is a music search command based on information received from the remote control device 200.
  • the display device 100 may perform a music search based on the obtained music search command.
  • the display device 100 displays music information searched based on the recorded audio from the time the mobile terminal 500 receives a user input for selecting the icon 3211 for controlling the microphone 522 to be turned on. can do.
  • the display device 100 displays music information searched based on the audio recorded from the time the remote control device 200 receives a user input for selecting the icon 3211 for controlling the microphone 522 to be turned on. It can be displayed.
  • FIG. 13 is a diagram illustrating a screen displayed when a display device receives a startup word according to an embodiment of the present disclosure.
  • the controller 170 may receive an activation word for starting the display device 100 through the microphone 151.
  • An activation word may be a command for starting the display device 100 to obtain a user's voice command.
  • the startup word may be a sentence or word containing the manufacturer name of the display device 100, but the startup word may vary.
  • the controller 170 When the controller 170 receives the startup word, it can activate the microphone 151 to obtain the user's voice command.
  • the controller 170 may display at least some of a message 182 to indicate that it is waiting for a user's voice command or an icon 183 to indicate that it is waiting to obtain a voice command.
  • the message 182 for indicating that the message 182 is waiting to obtain a voice command may be “Please speak now.”, but is not limited thereto.
  • the icon 183 to indicate that the icon 183 is waiting to obtain a voice command may be a stationary icon, or it may be a moving icon, such as rotating. If the icon 183 to indicate that the user is waiting to obtain a voice command is a moving icon, the user can know that the user is waiting to obtain a voice command while the icon 183 is moving.
  • the controller 170 may operate based on the input voice command after receiving the startup word. Accordingly, the controller 170 can operate according to a voice command only when the user clearly intends to give a voice command to the display device 100.
  • Voice commands may include music search commands. That is, the controller 170 can receive the startup word and enter a state in which it can receive a music search command.
  • the controller 170 may start audio recording using the microphone 151 at the time of receiving the startup word.
  • the time when the controller 170 starts recording audio may be before receiving a music search command.
  • the controller 170 can perform a music search when receiving a music search command.
  • the controller 170 may display music information searched based on audio recorded from the time the sound trigger word is received.
  • FIG. 14 is a diagram illustrating a screen on which a display device displays a menu including a music search item according to an embodiment of the present disclosure.
  • a menu including a music search item may include a quick settings menu 420.
  • the quick setting menu 420 may be a menu for easily changing the setting state of the display device 100 while playing content.
  • the controller 170 may display the quick setting menu 420 based on user input. Users can easily access the items included in the quick settings menu 420 while playing content.
  • the user input to display the quick setting menu 420 may be an input of pressing a setting button (not shown) of the remote control button 200, but is not limited thereto.
  • the quick settings menu 420 may include various items to promote user convenience.
  • the quick settings menu 420 includes a picture mode item 421, a pixel brightness item 422, a sound mode item 423, a sound output item 424, a timer item 425, and an eye protection mode item ( 426), music search item 427, screen turn off item 428, etc.
  • the music search item 427 may be an item for searching music of content displayed on the display 180.
  • the controller 170 may display a music search menu 430 based on a user input for selecting a music search item 427.
  • the music search menu 430 may include a search background music item 431 and a search by singing song item 432.
  • the background music search item 431 may be an item for searching music included in content.
  • the user input for selecting the background music search item 431 may be a music search command for searching music included in the content.
  • the controller 170 may enter a state in which it can receive a music search command based on a user input for selecting the music search item 427.
  • the controller 170 may start audio recording when receiving a user input for selecting the music search item 427.
  • the time when the controller 170 starts recording audio may be before receiving a music search command.
  • the controller 170 can perform a music search when receiving a user input for selecting the background music search item 431.
  • the controller 170 may display music information searched based on the audio recorded from the time of receiving the user input for selecting the background music search item 431.
  • the display device 100 may start recording audio before receiving a music search command.
  • the time when the display device 100 according to the embodiments of FIGS. 10 to 14 starts audio recording may be earlier than the time when the existing display device starts audio recording.
  • the display device 100 minimizes the problem of the user being unable to record the music he or she wanted to search for due to a change in the music at the time when music search is intended before starting audio recording. can do.
  • the time it takes for the display device 100 according to the embodiments of FIGS. 10 to 14 to display the searched music information may be shorter than the time it takes for the existing display device to display the searched music information. Therefore, the display device 100 according to an embodiment of the present disclosure has the advantage of minimizing the time required to display searched music information.
  • the display device 100 generates an audio file by recording audio multiple times and searches for music information based on at least one of the plurality of audio files.
  • the display device 100 can generate a plurality of audio files when performing step S13 of FIG. 7.
  • a method for the display device 100 to generate a plurality of audio files according to an embodiment of the present disclosure will be described with reference to FIG. 15.
  • FIG. 15 is a diagram illustrating a method in which a display device initiates recording multiple times according to an embodiment of the present disclosure.
  • the controller 170 may generate a plurality of audio files by starting recording at preset intervals (b) from the time point (a1) at which the user intends to record.
  • the preset interval (b) may be 1 second, but is not limited thereto.
  • the audio file generated by the controller 170 may be a PCM (Pulse Code Modulation) file.
  • a PCM file may be a file created by converting an analog voice signal into a digital pulse signal.
  • the audio files of the present disclosure are not limited to PCM files.
  • the controller 170 may record audio for a preset time (d) from the time (a1) at which the user intends to record, in order to create a first audio file.
  • the point in time (a1) at which the user intends to record may be the point in time (a1) at which a state in which a music search command can be received is entered.
  • the preset time (d) may be 6 seconds, but is not limited thereto.
  • the controller 170 may record audio for a preset time (d) starting 1 second later (a2) from the time the user intends to record.
  • the controller 170 may record audio for a preset time (d) from 2 seconds (a3) from the time the user intends to record.
  • the controller 170 may record audio for a preset time (d) starting 3 seconds (a2) from the time the user intends to record.
  • the number of audio files generated by the controller 170 is not limited to four, and various numbers of audio files can be generated depending on the embodiment.
  • the first audio file and the second audio file have a common waveform between the time when audio recording for generating the second audio file starts (a2) and the time when audio recording for generating the first audio file ends (a1'). It can be included.
  • the second audio file and the third audio file have a common waveform between the time when audio recording for generating the third audio file started (a3) and the time when audio recording for generating the second audio file ended (a2'). It can be included.
  • the third audio file and the fourth audio file have a common waveform between the time when audio recording for generating the fourth audio file started (a4) and the time when audio recording for generating the third audio file ended (a3'). It can be included.
  • the controller 170 can generate a plurality of audio files that have some parts in common.
  • the display device 100 can generate a plurality of audio files including various sections of the same music.
  • Figure 16 is a flowchart showing a method of searching for music information using a plurality of files recorded by a display device according to an embodiment of the present disclosure.
  • FIG. 16 is a flow chart specifying step S19 when audio recording in FIG. 7 starts at multiple times and multiple audio files are created.
  • the controller 170 may select audio to be used for music search among a plurality of audio files (S131).
  • the controller 170 may select an audio file to be used for music search based on at least one of the ratio of silent sections and the signal to noise ratio (SNR) level of each of the plurality of audio files.
  • SNR signal to noise ratio
  • controller 170 selects an audio file to be used for music search will be described based on the ratio of silent sections of each of a plurality of audio files.
  • FIG. 17 is a diagram illustrating a method by which a display device according to an embodiment of the present disclosure selects an audio file to be used for music search based on the ratio of silent sections of each of a plurality of audio files.
  • Figure 17 shows the first audio file 610, the second audio file 620, the third audio file 630, and the fourth audio file 640 among the plurality of audio files 600 generated by the controller 170. This is a diagram showing the audio waveform.
  • the controller 170 may select an audio file whose ratio of silent sections is less than a preset reference ratio among the plurality of audio files 600.
  • the silent section may be a section in which there is no recorded sound among the recorded audio.
  • a silent section may be a section in an audio file in which no waveform is output.
  • An audio file in which the ratio of silent sections is greater than a preset standard ratio may be an audio file on which it is difficult to perform a music search.
  • the ratio of the silent section of the first audio file 610 may be 10%.
  • the ratio of the silent section of the second audio file 620 may be 30%.
  • the ratio of the silent section of the third audio file 630 may be 55%.
  • the ratio of the silent section of the fourth audio file 640 may be 60%.
  • the preset standard ratio may be 50%. Accordingly, the controller 170 may select the first audio file 610 and the second audio file 620, whose ratio of silent sections is 50% or less, which is a preset standard ratio, as audio files to be used for music search.
  • the preset standard ratio is not limited to 50% and may vary depending on the embodiment.
  • FIG. 18 is a diagram illustrating a method by which a display device according to an embodiment of the present disclosure selects an audio file to be used for music search based on the SNR (Signal to Noise Ratio) level of each of a plurality of audio files.
  • SNR Signal to Noise Ratio
  • Figure 18 shows the first audio file 610, the second audio file 620, the third audio file 630, and the fourth audio file 640 among the plurality of audio files 600 generated by the controller 170. This is a diagram showing the audio waveform.
  • the controller 170 may display music information based on an audio file whose SNR level is higher than a preset reference level among the plurality of audio files 600.
  • the SNR level may be the ratio of the signal in which the content included in the audio file is recorded to the signal in which external noise is recorded. The smaller the ratio of the recorded signal to external noise, the higher the SNR level can be.
  • the controller 170 may select an audio file whose SNR level is higher than a preset reference level among the plurality of audio files 600.
  • the preset reference level may be set as the minimum level for obtaining music search results, but is not limited to this.
  • the first audio file 610 has three sections in which the amplitude rapidly increases and then decreases.
  • the second audio file 620 has three sections in which the amplitude rapidly increases and then decreases.
  • the third audio file 630 has two sections in which the amplitude rapidly increases and then decreases.
  • the fourth audio file 640 does not have a section where the amplitude changes rapidly.
  • the fourth audio file 640 has a more stable waveform than the first audio file 610, the second audio file 62, and the third audio file 630.
  • the ratio of signals in which external noise is recorded in the fourth audio file 640 is smaller than that of the first audio file 610, the second audio file 62, and the third audio file 630.
  • the audio file selected by the controller 170 for use in music search may be the fourth audio file 640.
  • the controller 170 may obtain the order of audio files to be used for music search based on at least one of the ratio of silent sections and the SNR level of each selected audio file (S133).
  • the controller 170 acquires the audio file with the smallest ratio of silent sections among the selected audio files as the audio file used as the first priority for music search, and the audio file with the largest ratio of silent sections after the first audio file.
  • the audio file can be obtained as a secondary audio file used in music search.
  • the controller 170 acquires the audio file with the highest SNR level among the selected audio files as the audio file to be used first for music search, and selects the audio file with the second lowest SNR level after the first audio file for music search. It can be obtained as a secondary audio file.
  • controller 170 may obtain the order of audio files to be used for music search based on the ratio of silent sections and all SNR levels.
  • the controller 170 may acquire an audio file with a higher SNR level among audio files with a silent section ratio of less than 30% as the audio file to be used first for music search. Accordingly, audio files with a silent section ratio of 30% or more may not be used first for music search, even if they are audio files with the highest SNR level.
  • the controller 170 sets the ratio of silent sections to obtain the order to be used for search, and selects the audio file with the highest SNR level among audio files with silent sections at a rate lower than the set ratio first for music search. It can be obtained as an audio file to be used.
  • the controller 170 may acquire an audio file with a lower ratio of silent sections among audio files with an SNR level of a predetermined level or higher as the audio file to be used first for music search.
  • the controller 170 sets the SNR level to obtain the order to be used for search, and the audio file with the lowest silent section ratio among audio files with an SNR level higher than the set SNR level is used first for music search. It can be obtained as an audio file.
  • the controller 170 obtains the order of audio files to be used for music search by considering both the ratio of silent sections and the SNR level, thereby increasing the possibility of obtaining music search results.
  • controller 170 obtains the order of audio files to be used for music search based on at least one of the ratio of silent sections and the SNR level of each selected audio file.
  • the controller 170 may obtain the genre of the content (S135).
  • the controller 170 may obtain the genre of content on the display device 100 from an external server (not shown).
  • the controller 170 may obtain the genre of content from an external server (not shown) based on automatic content analysis, EPG mapping, etc.
  • the controller 170 may receive automatic content analysis results from an external server (not shown).
  • the automatic content analysis results may include the content's title, genre, viewing information, and viewing time.
  • the controller 170 may transmit video signals or audio signals of content to an external server (not shown).
  • the controller 170 may receive automatic content analysis results based on audio signal analysis from an external server (not shown).
  • the controller 170 may receive an Electronic Program Guide (EPG) mapping result from an external server (not shown).
  • EPG Electronic Program Guide
  • mapping results may include the title, genre, viewing point, etc. of the content.
  • the controller 170 may transmit content playback information to an external server (not shown).
  • Content playback information may include the channel and playback time of the content being played on the display device 100.
  • the controller 170 may receive an EPG mapping result corresponding to content playback information from an external server (not shown).
  • controller 170 may receive the genre of the content by transmitting the recorded audio to an external server (not shown).
  • the external server may include a machine learning-based server (not shown).
  • the controller 170 may obtain whether the genre of the content is a music-related genre from the display device 100 (S137).
  • the controller 170 may obtain whether the genre of content acquired from an external server (not shown) is a music-related genre.
  • Music-related genres may include concert, classical, jazz, pop, etc.
  • Genres not related to music may include movies, dramas, entertainment, documentaries, etc.
  • the controller 170 may remove signals other than music signals included in the recorded audio file (S138).
  • the content may include music signals and signals other than music.
  • a signal other than a music signal may be a voice signal of dialogue included in the content.
  • the controller 170 can increase the accuracy of music search results by removing signals other than music signals included in the recorded audio file.
  • the display device 100 may store an algorithm for extracting music signals.
  • the algorithm for extracting background music may be an algorithm that analyzes signals from an audio file and extracts music signals and signals other than music signals.
  • the controller 170 may search the original song search engine for an audio file from which signals other than music signals have been removed. Alternatively, if the genre of the content is a music-related genre, the controller 170 may search the audio file in the original song search engine (S139).
  • the controller 170 may not include signals other than music signals in the audio file. Therefore, the step of removing signals other than music signals included in the audio file can be omitted.
  • the amount of calculation of the display device 100 can be reduced. Additionally, the time required to search for music can be shortened.
  • the controller 170 may obtain whether a music search result has been obtained from the original song search engine (S141).
  • the controller 170 may display the searched music information (S147).
  • Music information retrieved from the original song search engine may include the original song's singer, title, album, album cover, album release date, etc. Additionally, when displaying searched music information, the controller 170 may also display the accuracy of the searched music.
  • the step of performing a search using another music search engine can be omitted. Accordingly, the amount of calculation of the display device 100 may be reduced. Additionally, the time required to display music information can be shortened.
  • the controller 170 may perform a search on the cover song search engine (S143).
  • the controller 170 may attempt to search for music on the cover song search engine.
  • the controller 170 may display the searched music information (S147).
  • Music information retrieved from a cover song search engine may include the cover song's singer, title, album, album cover, album release date, etc. Additionally, when displaying searched music information, the controller 170 may also display the accuracy of the searched music.
  • the controller 170 may provide information on the cover song as it searches for music in a cover song search engine. Accordingly, the controller 170 can provide more diverse music information than when performing a music search using only the original song search engine.
  • the controller 170 may perform a music search using the audio file to be used in the next priority (S146).
  • steps S135 to S147 may be repeated using the audio file to be used in the next priority.
  • the controller 170 may repeatedly perform steps S139 to S148 until a music search result is obtained.
  • steps 135 to 137 using the audio file to be used in the next priority may be omitted.
  • the controller 170 may perform a search on the original song search engine using the audio file to be used in the next ranking if the content is a music-related genre. .
  • the controller 170 may remove signals other than music signals included in the audio file to be used next and perform a search on the original song search engine.
  • the entire audio file may be a file created from audio recorded at a time close to the time the user intended the recording.
  • all audio files may be files created from audio recorded while the same content is being played on the display device 100. Accordingly, there may be no need to repeatedly acquire the genre of the content in steps 135 to 137.
  • the display device 100 can display music information found by sequentially using a plurality of audio files and a search engine.
  • the display device 100 may generate a plurality of audio files and perform a music search using at least one of the generated audio files. Accordingly, the problem of failing to obtain search results can be minimized compared to the case of performing a music search by creating a single audio file.
  • the above-described method can be implemented as processor-readable code on a program-recorded medium.
  • media that the processor can read include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.
  • the display device described above is not limited to the configuration and method of the above-described embodiments, and the embodiments may be configured by selectively combining all or part of each embodiment so that various modifications can be made. It may be possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이 장치는 마이크로폰, 마이크로폰을 온으로 제어하는 마이크로폰 온 명령을 원격제어장치로부터 수신하는 컨트롤러 및 마이크로폰 온 명령을 수신한 시점부터 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시하는 디스플레이를 포함할 수 있다.

Description

디스플레이 장치
본 개시는 컨텐트에 포함된 음악을 검색하기 위한 디스플레이 장치에 관한 것이다.
디스플레이 장치를 포함하는 전자 장치는 다양한 컨텐트를 제공할 수 있다. 컨텐트가 다양함에 따라, 컨텐트에 포함되는 음악의 종류 또한 다양할 수 있다.
예를 들면, 컨텐트의 오디오는 컨텐트의 장르에 따라 다양할 수 있다. 컨텐트의 장르가 음악 관련 장르인 경우에는 컨텐트의 오디오에 음악만 포함될 수 있다. 반면, 컨텐트의 장르가 음악 관련 장르가 아닌 경우에는 음악이 대사를 발화하는 목소리와 함께 포함될 수도 있다. 컨텐트의 장르가 음악 관련 장르가 아닌 경우에는 컨텐트에 포함되는 음악은 배경 음악일 수 있다.
또한, 컨텐트는 원곡 음악을 포함하거나, 원곡 가수가 아닌 다른 사람이 원곡을 커버한 커버송 음악 등을 포함할 수 있다.
컨텐트의 음악을 검색하기 위한 수요가 증가하고 있다. 종래 음악 검색 장치는 오디오를 녹음하여 음악을 검색할 수 있다. 음악 검색 장치의 일 예로, 음악 검색 기능을 제공하는 디스플레이 장치가 있을 수 있다.
그런데, 종래의 디스플레이 장치는 오디오를 녹음하기 위해 마이크로폰을 활성화하는 별도의 단계를 거치는 등 음악 검색을 하기 위한 과정이 복잡한 문제가 있다. 이에 따라, 음악을 검색하기 위해 오디오를 녹음하기 시작하면 검색하고자 하는 음악이 끝나 있는 문제가 있다. 또한, 사용자는 오디오가 녹음되는 시간동안 기다려야 하는 문제가 있다.
또한, 종래의 디스플레이 장치는 한 번의 오디오 녹음을 수행하여, 오디오 녹음 과정에서 잡음이 포함되는 경우 음악 인식률이 현저히 저하되는 문제가 있었다.
그리고, 종래의 디스플레이 장치는 하나의 음악 검색 엔진을 이용하여, 원곡 및 커버송을 포함하는 다양한 음악의 정보를 제공하기 어려운 문제가 있다.
본 개시는 디스플레이 장치가 음악 검색을 위한 오디오 녹음을 개시하는 시점을 앞당기고자 한다.
본 개시는 디스플레이 장치가 녹음한 오디오 중 일부를 이용한 음악 검색 결과를 획득하지 못하는 경우에, 다른 녹음한 오디오를 이용하여 음악 검색을 수행할 수 있게 하고자 한다.
본 개시는디스플레이 장치가 컨텐트에 포함된 음악에 따라 음악 검색을 수행하는 과정을 세분화하고자 한다.
본 개시의 실시 예에 따른 디스플레이 장치는 마이크로폰; 마이크로폰을 온으로 제어하는 마이크로폰 온 명령을 원격제어장치로부터 수신하는 컨트롤러; 및 마이크로폰 온 명령을 수신한 시점부터 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시하는 디스플레이를 포함할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 컨텐트 추천 메뉴를 실행시키는 컨텐트 추천 명령을 수신한 시점부터 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 디스플레이 장치를 기동시키는 기동어를 수신하면, 기동어를 수신한 시점부터 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 마이크로폰 온 명령을 수신한 시점부터 복수회 녹음을 개시하여 복수개의 오디오 파일을 생성하고, 복수개의 오디오 파일 중 적어도 하나에 기초하여 검색된 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 마이크로폰 온 명령을 수신한 시점부터 기설정된 간격으로 녹음을 개시하여 복수개의 오디오 파일을 생성하고, 복수개의 오디오 파일 중 적어도 하나에 기초하여 검색된 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 복수개의 오디오 파일 각각의 무음 구간의 비율 및 SNR(Signal to Noise Ratio) 레벨 중 적어도 하나에 기초하여 선별된 오디오 파일에 기초하여 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 복수개의 오디오 파일 중 무음 구간의 비율이 기설정된 기준 비율 미만인 오디오 파일에 기초하여 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 복수개의 오디오 파일 중 SNR 레벨이 기설정된 기준 레벨 이상인 오디오 파일에 기초하여 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 선별된 오디오 파일 각각의 무음 구간의 비율 및 SNR 레벨 중 적어도 하나에 기초하여 음악 검색에 이용될 오디오 파일의 순서를 획득할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 선별된 오디오 파일 중 무음 구간의 비율이 가장 작은 오디오 파일을 음악 검색에 1순위로 이용되는 오디오 파일로 획득하고, 무음 구간의 비율이 제1 오디오 파일 다음으로 큰 오디오 파일을 음악 검색에 2순위로 이용되는 오디오 파일로 획득할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 선별된 오디오 파일 중 SNR 레벨이 가장 큰 오디오 파일을 음악 검색에 1순위로 이용되는 오디오 파일로 획득하고, SNR 레벨이 제1 오디오 파일 다음으로 작은 오디오 파일을 음악 검색에 2순위로 이용되는 오디오 파일로 획득할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 외부 서버로부터 디스플레이를 통해 표시 중인 컨텐트의 장르를 획득하고, 컨텐트의 장르에 기초하여 오디오에 포함된 음악 외의 신호를 제거할지 여부를 획득할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 컨텐트의 장르가 음악 관련 장르가 아닌 경우에는 오디오에 포함된 음악 신호 외의 신호를 제거한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 원곡 검색 엔진 및 커버송 검색 엔진을 포함하는 복수의 음악 검색 엔진 중 적어도 하나에서 마이크로폰으로 녹음한 오디오에 대응하는 음악 검색을 수행할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 곡 검색 엔진으로부터 음악 검색 결과를 획득하지 못한 경우, 커버송 검색 엔진에서 음악 검색을 수행할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 음악 검색 명령을 수신한 시점과 음악 검색 결과가 표시되는 시점 사이의 시간을 단축할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 복수개의 오디오 파일을 순차적으로 이용하여 음악 검색을 수행함에 따라, 검색 결과 획득에 실패할 가능성을 최소화할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 컨텐트에 포함된 음악에 따라 음악 검색에 따른 연산량을 저감하거나, 음악 검색 결과가 표시되는 시점까지의 시간을 단축할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 6은 기존의 디스플레이 장치가 음악 검색을 위한 오디오 녹음을 개시하는 시점을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 디스플레이 장치가 음악을 검색하는 방법을 설명하기 위한 순서도이다.
도 8은 본 개시의 일 실시 예에 따른 디스플레이 장치가 오디오 녹음을 완료한 이후 음악 검색 명령을 수신하는 경우를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치가 오디오 녹음을 완료하기 전 음악 검색 명령을 수신한 경우를 나타낸 도면이다.
도 10은 본 개시의 일 실시 예에 따른 디스플레이 장치가 컨텐트 추천 명령에 따라 표시하는 컨텐트 추천 메뉴를 예시한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 디스플레이 장치와 연결된 이동 단말기가 디스플레이 장치를 제어하기 위해 표시하는 메뉴를 예시한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 디스플레이 장치와 연결된 이동 단말기가 디스플레이 장치를 제어하기 위한 메뉴를 표시한 모습을 예시한 도면이다.
도 13은 본 개시의 일 실시 예에 따른 디스플레이 장치가 기동어를 수신함에 따라 표시하는 화면을 예시한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 디스플레이 장치가 음악 검색 항목을 포함하는 메뉴를 표시하는 화면을 예시한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수회 녹음을 개시하는 방법을 예시한 도면이다.
도 16은 본 개시의 일 실시 예에 따른 디스플레이 장치가 녹음한 복수개의 파일을 이용하여 음악 정보를 검색하는 방법을 나타내는 순서도이다.
도 17은 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수개의 오디오 파일 각각의 무음 구간의 비율에 기초하여 음악 검색에 이용될 오디오 파일을 선별하는 방법을 설명하기 위한 도면이다.
도 18은 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수개의 오디오 파일 각각의 SNR(Signal to Noise Ratio) 레벨에 기초하여 음악 검색에 이용될 오디오 파일을 선별하는 방법을 설명하기 위한 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행 가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스(135), 메모리(140), 사용자입력 인터페이스(150), 컨트롤러(170), 무선 통신 인터페이스(173), 디스플레이(180), 스피커(185), 전원 공급 회로(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조기(132) 및 네트워크 인터페이스(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조기(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 컨트롤러(170) 또는 메모리(140)로 전달할 수 있다.
외부장치 인터페이스(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 컨트롤러(170)로 전달할 수 있다. 외부장치 인터페이스(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이(180)를 통해 출력될 수 있다. 외부장치 인터페이스(135)를 통해 입력된 외부장치의 음성 신호는 스피커(185)를 통해 출력될 수 있다.
외부장치 인터페이스(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
메모리(140)는 컨트롤러(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 메모리(140)는 외부장치 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
메모리(140)는 외부장치 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 메모리(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스(150)는 사용자가 입력한 신호를 컨트롤러(170)로 전달하거나, 컨트롤러(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 컨트롤러(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스(150)는, 전원키, 채널키, 볼륨키, 설정키 등의 로컬키(미도시)에서 입력되는 제어 신호를 컨트롤러(170)에 전달할 수 있다.
컨트롤러(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 컨트롤러(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다.
컨트롤러(170)에서 처리된 음성 신호는 스피커(185)로 오디오 출력될 수 있다. 또한, 컨트롤러(170)에서 처리된 음성 신호는 외부장치 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 컨트롤러(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
컨트롤러(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이(180) 또는 스피커(185)를 통하여 출력될 수 있도록 한다.
또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이(180) 또는 스피커(185)를 통해 출력될 수 있도록 한다.
한편, 컨트롤러(170)는 영상을 표시하도록 디스플레이(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상이 디스플레이(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 컨트롤러(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신 인터페이스(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신 인터페이스(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신 인터페이스(173)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신 인터페이스(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신 인터페이스(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다.
나아가, 컨트롤러(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신 인터페이스(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
디스플레이(180)는 컨트롤러(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조기(132)를 구비하지 않고 네트워크 인터페이스(133) 또는 외부장치 인터페이스(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식기(210), 무선통신회로(220), 사용자 입력 인터페이스(230), 센서(240), 출력 인터페이스(250), 전원공급회로(260), 메모리(270), 컨트롤러(280), 마이크로폰(290)를 포함할 수 있다.
도 2을 참조하면, 무선통신회로(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 회로(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 회로(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 회로(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 회로(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 회로(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선통신회로(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 회로(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 회로(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력 인터페이스(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력 인터페이스(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력 인터페이스(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다.
전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다.
홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다.
라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다.
외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다.
음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다.
음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다.
채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다.
확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력 인터페이스(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력 인터페이스(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이(180)와의 거리를 센싱할 수 있다.
출력 인터페이스(250)는 사용자 입력 인터페이스(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다.
사용자는 출력 인터페이스(250)를 사용자 입력 인터페이스(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력 인터페이스(250)는 사용자 입력 인터페이스(230)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED(251), 진동을 발생하는 진동기(253), 음향을 출력하는 스피커(255), 또는 영상을 출력하는 디스플레이(257)을 구비할 수 있다.
또한, 전원공급회로(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다.
전원공급회로(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
메모리(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다.
원격제어장치(200)가 디스플레이 장치(100)와 RF 회로(221)을 통하여 무선으로 신호를 송수신할 경우, 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 컨트롤러(280)는 원격제어장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 메모리(270)에 저장하고 참조할 수 있다.
컨트롤러(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 컨트롤러(280)는 사용자 입력 인터페이스(230)의 소정 키 조작에 대응하는 신호 또는 센서(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 마이크로폰(290)은 음성을 획득할 수 있다.
마이크로폰(290)는 복수 개로 구비될 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
다음으로, 도 5를 참조하여, 본 발명과 관련된 이동 단말기의 구성을 설명한다.
도 5는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
이동 단말기(500)는 무선 통신부(510), 입력부(520), 센싱부(540), 출력부(550), 인터페이스부(560), 메모리(570), 제어부(580) 및 전원 공급부(590) 등을 포함할 수 있다. 도 5에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(510)는, 이동 단말기(500)와 무선 통신 시스템 사이, 이동 단말기(500)와 다른 이동 단말기(500) 사이, 또는 이동 단말기(500)와 외부 서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(510)는, 이동 단말기(500)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
무선 통신부(510)는 방송 수신 모듈(511), 이동통신 모듈(512), 무선 인터넷 모듈(513), 근거리 통신 모듈(514), 위치정보 모듈(515) 중 적어도 하나를 포함할 수 있다.
입력부(520)는, 영상 신호 입력을 위한 카메라(521) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 522), 또는 오디오 입력부, 사용자로부터 정보를 입력 받기 위한 사용자 입력부(523, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(520)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(540)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱 하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(540)는 근접센서(541, proximity sensor), 조도 센서(542, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱 되는 정보들을 조합하여 활용할 수 있다.
출력부(550)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(551), 음향 출력부(552), 햅틱 모듈(553), 광 출력부(554) 중 적어도 하나를 포함할 수 있다. 디스플레이부(551)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(500)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(523)로써 기능함과 동시에, 이동 단말기(500)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(560)는 이동 단말기(500)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(560)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(500)에서는, 상기 인터페이스부(560)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(570)는 이동 단말기(500)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(570)는 이동 단말기(500)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(500)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(500)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(500)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(570)에 저장되고, 이동 단말기(500) 상에 설치되어, 제어부(580)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(580)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(500)의 전반적인 동작을 제어한다. 제어부(580)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(570)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(580)는 메모리(570)에 저장된 응용 프로그램을 구동하기 위하여, 도 5와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(580)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(500)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(590)는 제어부(580)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(500)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(590)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(570)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
본 명세서에서 디스플레이 장치(100)는 음악 검색 기능을 제공하는 음악 검색 장치일 수 있다. 다만, 음악 검색 장치는 디스플레이 장치(100) 뿐만 아니라, 도 5에서 설명한 이동 단말기(500)일 수 있다. 즉, 음악 검색 장치는 후술하는 방법에 따라 음악을 검색한 결과를 표시하는 기기로, 그 형태는 디스플레이 장치(100)나 이동 단말기(500) 등 다양할 수 있다.
이하, 설명의 편의를 위해, 음악 검색 장치는 디스플레이 장치(100)인 것으로 가정한다.
디스플레이 장치(100)가 음악을 검색하는 방법의 일 예로, 마이크로폰(151)으로 녹음한 오디오를 이용하여 음악 정보를 검색하는 방법이 있다. 즉, 디스플레이 장치(100)는 마이크로폰(151)으로 녹음한 오디오의 신호와 유사한 신호를 갖는 음악을 검색할 수 있다. 이에 따라, 디스플레이 장치(100)는 마이크로폰(151)으로 녹음한 오디오와 유사한 오디오 신호를 갖는 음악의 정보를 제공할 수 있다.
한편, 기존의 디스플레이 장치(100)는 음악을 검색하기 위해 마이크로폰(151)으로 오디오를 녹음하기 위해 일 이상의 단계들을 거치게 된다.
예를 들어, 기존의 디스플레이 장치(100)는 마이크로폰(151)을 켜는 단계를 거친 후 음악 검색을 위한 음성 명령을 수신하여 오디오 녹음을 개시하였다.
또는, 기존의 디스플레이 장치(100)는 디스플레이 장치(100)에 설치된 애플리케이션을 실행하는 단계를 거친 후 애플리케이션에 포함된 음악 검색 기능을 선택하는 사용자 입력을 수신하여 오디오 녹음을 개시하였다.
도 6을 참조하여 기존의 디스플레이 장치(100)가 음악 검색을 위한 오디오 녹음을 개시하는 시점과 관련하여 설명한다.
도 6은 기존의 디스플레이 장치가 음악 검색을 위한 오디오 녹음을 개시하는 시점을 설명하기 위한 도면이다.
도 6은 마이크로폰(151)을 통해 녹음 가능한 오디오의 파형을 나타낸 도면일 수 있다.
컨트롤러(170)는 음악 검색 명령을 수신한 시점(t2) 부터 오디오를 녹음할 수 있다. 음악 검색 명령을 수신한 시점(t2)은 컨트롤러(170)가 오디오 녹음을 개시하는 시점(t2)일 수 있다. 음악 검색 명령은 음악을 검색하기 위한 명령일 수 있다.
컨트롤러(170)는 음악 검색 명령을 수신하기 전 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
예를 들면, 컨트롤러(170)는 마이크로폰(151)을 통해 음악 검색 명령을 수신할 수 있다. 이를 위해, 컨트롤러(170)는 마이크로폰 온 명령을 수신하여 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
컨트롤러(170)가 음악 검색 명령을 수신 가능한 상태에 진입하는 시점(t1)은 사용자가 음악 검색을 의도한 시점(t1)일 수 있다.
그런데, 사용자가 음악 검색을 의도한 시점(t1)과 오디오 녹음을 개시하는 시점(t2) 사이에 컨텐트에 포함되는 음악이 중단되거나, 다른 음악으로 변경될 수 있다.
이에 따라, 컨트롤러(170)가 오디오 녹음을 개시하는 시점(t2)에는 사용자가 검색하고자 했던 음악을 포함하는 오디오를 녹음할 수 없다. 이에 따라, 사용자가 검색하고자 했던 음악을 검색할 수 없는 문제가 있다.
한편, 컨트롤러(170)는 음악 검색 명령을 수신한 시점(t2)부터 기설정된 시간(d) 동안 오디오를 녹음할 수 있다. 기설정된 시간(d)은 녹음된 오디오를 이용하여 음악 검색 결과를 획득할 수 있는 최소한의 녹음 시간으로 설정될 수 있으나, 이에 제한되지 않는다.
오디오 녹음이 완료되는 시점(t3)은 음악 검색 명령을 수신한 시점(t2)부터 기설정된 시간(d) 뒤일 수 있다.
컨트롤러(170)는 오디오 녹음이 완료되면, 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
이에 따라, 컨트롤러(170)가 검색된 음악 정보를 표시하는 시점은 오디오 녹음이 완료된 시점(t3) 이후일 수 있다.
따라서, 컨트롤러(170)가 음악 검색 명령을 수신한 시점(t2)부터 오디오를 녹음하는 경우에는, 사용자가 음악 검색을 의도한 시점(t1)과 검색된 음악 정보가 표시되는 시점 사이의 시간이 기설정된 시간(d)보다 길 수 있다.
이에 따라, 기존의 디스플레이 장치(100)는 음악 검색 명령을 수신한 시점(t2) 부터 검색된 음악 정보를 제공하는 시점까지 기설정된 시간(d) 이상 소요되는 문제가 있다.
이에, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 음악 검색 명령을 수신하는 시점(t2) 보다 앞선 시점에 음악 검색을 위한 오디오 녹음을 개시하고자 한다.
이어, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)가 음악을 검색하는 방법에 관하여 설명한다.
도 7은 본 개시의 일 실시 예에 따른 디스플레이 장치가 음악을 검색하는 방법을 설명하기 위한 순서도이다.
컨트롤러(170)는 마이크로폰(151)을 온으로 제어하는 마이크로폰 온 명령을 수신할 수 있다(S11).
예를 들면, 컨트롤러(170)는 마이크로폰(151)을 온으로 제어하는 마이크로폰 온 명령을 원격제어장치(200)로부터 수신할 수 있다.
마이크로폰 온 명령은 사용자의 음성 명령을 수신하기 위해 마이크로폰(151)의 전원을 온 하는 명령일 수 있다. 음성 명령은 음악 검색 명령을 포함할 수 있다.
컨트롤러(170)는 온으로 제어된 마이크로폰(151)을 통해 음악 검색 명령을 수신할 수 있다.
음악 검색 명령은 컨텐트의 음악을 검색하기 위한 명령일 수 있다. 예를 들면, 음악 검색 명령은 디스플레이(180)를 통해 표시 중인 컨텐트의 음악을 검색하기 위한 명령일 수 있다.
한편, 컨트롤러(170)가 마이크로폰 온 명령을 수신하는 단계는 음악 검색 명령을 수신 가능한 상태에 진입하는 단계일 수 있다.
음악 검색 명령을 수신 가능한 상태는 실시 예에 따라 다양할 수 있다. 예를 들어, 음악 검색 명령을 수신 가능한 상태는, 음악 검색 명령을 수신할 수 있도록 마이크로폰(151)이 온 된 상태 뿐 아니라, 음악 검색 명령을 지원하는 메뉴에 진입한 상태 등을 포함할 수 있다.
컨트롤러(170)는 마이크로폰 온 명령을 수신한 시점부터 오디오를 녹음할 수 있다(S13).
컨트롤러(170)는 마이크로폰 온 명령을 수신한 시점부터 오디오를 녹음할 수 있다. 컨트롤러(170)는 마이크로폰 온 명령을 수신한 시점에 오디오 녹음을 개시할 수 있다.
즉, 컨트롤러(170)는 음악 검색 명령을 수신하기 전부터 오디오를 녹음할 수 있다.
컨트롤러(170)는 오디오 녹음을 개시하는 시점부터 기설정된 시간 동안 오디오를 녹음할 수 있다.
기설정된 시간은 녹음된 오디오를 이용하여 음악 검색 결과를 획득할 수 있는 최소한의 녹음 시간으로 설정될 수 있으나, 이에 제한되지 않는다. 예를 들면, 기설정된 시간은 6초일 수 있으나, 이에 제한되지 않는다.
실시 예에 따라, 컨트롤러(170)는 음악 검색 명령을 수신 가능한 상태에 진입하는 다양한 경우에 오디오 녹음을 개시할 수 있다.
컨트롤러(170)는 음악 검색 명령을 수신할 수 있다(S15).
컨트롤러(170)는 마이크로폰(151)을 통해 음악 검색 명령을 수신할 수 있다.
컨트롤러(170)는 녹음한 오디오에 기초하여 음악 검색을 수행할 수 있다(S17).
컨트롤러(170)는 음악 검색 명령을 수신하면 음악 검색을 수행할 수 있다. 예를 들면, 컨트롤러(170)는 음악 검색 명령을 수신하면 음악 검색 엔진에서 오디오에 대응하는 음악 검색을 수행할 수 있다.
음악 검색 엔진은 음악 데이터 베이스로부터 오디오와 가장 유사한 음악 정보를 획득하여 제공하는 검색 엔진일 수 있다.
예를 들면, 음악 검색 엔진은 오디오 파일의 주파수를 분석한 뒤, 음악 데이터 베이스로부터 오디오 파일의 주파수와 가장 유사한 주파수를 갖는 음악 정보를 획득하여 제공할 수 있다.
음악 검색 엔진은 원곡 검색 엔진 및 커버송 검색 엔진을 포함할 수 있다.
원곡 검색 엔진은 원곡 데이터 베이스로부터 오디오 파일과 가장 유사한 음원 정보를 획득하기 위한 검색 엔진일 수 있다. 원곡 데이터 베이스는 음악에 포함된 원곡 가수의 목소리 및 악기 소리를 포함하는 오디오 파일이 저장된 데이터 베이스일 수 있다.
커버송 검색 엔진은 커버송 데이터 베이스로부터 오디오 파일과 가장 유사한 커버송 정보를 획득하기 위한 검색 엔진일 수 있다. 커버송 데이터 베이스는 음악에 포함된 원곡 가수가 아닌 사람의 목수리 및 악기 소리를 포함하는 오디오 파일이 저장된 데이터 베이스일 수 있다.
컨트롤러(170)는 원곡 검색 엔진 및 커버송 검색 엔진을 포함하는 복수의 음악 검색 엔진 중 적어도 하나에서 마이크로폰(151)으로 녹음한 오디오에 대응하는 음악 검색을 수행할 수 있다.
단계 S13 내지 단계 S17의 컨트롤러(170)가 오디오를 녹음하고, 녹음된 오디오에 기초하여 음악 검색을 수행하는 시점과 관련하여 도 8 내지 도 9를 참조하여 구체적으로 설명한다.
도 8은 본 개시의 일 실시 예에 따른 디스플레이 장치가 오디오 녹음을 완료한 이후 음악 검색 명령을 수신하는 경우를 설명하기 위한 도면이다.
도 8은 마이크로폰(151)을 통해 녹음 가능한 오디오의 파형을 나타낸 도면일 수 있다.
컨트롤러(170)는 음악 검색 명령을 수신 가능한 상태에 진입하는 시점(t1)에 오디오 녹음을 개시할 수 있다. 음악 검색 명령을 수신 가능한 상태에 진입하는 시점(t1)은 사용자가 음악 검색을 의도한 시점(t1)일 수 있다.
컨트롤러(170)는 사용자가 음악 검색을 의도한 시점(t1)부터 기설정된 시간(d) 동안 오디오를 녹음할 수 있다. 기설정된 시간(d)은 6초일 수 있으나, 이에 제한되지 않는다.
컨트롤러(170)가 오디오 녹음을 완료하는 시점(t3)은 음악 검색 명령을 수신하는 시점(t2) 전일 수 있다.
이에 따라, 컨트롤러(170)는 음악 검색 명령을 수신하면 녹음된 오디오에 기초하여 곧바로 음악 검색을 수행할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 디스플레이 장치가 오디오 녹음을 완료하기 전 음악 검색 명령을 수신한 경우를 나낸 도면이다.
도 9는 마이크로폰(151)을 통해 녹음 가능한 오디오의 파형을 나타낸 도면일 수 있다.
컨트롤러(170)는 오디오를 녹음하는 중 음악 검색 명령을 수신할 수 있다. 컨트롤러(170)가 오디오 녹음을 완료하는 시점(t3)은 음악 검색 명령을 수신하는 시점(t2) 후일 수 있다.
컨트롤러(170)는 오디오 녹음이 완료되는 시점(t3)에 녹음된 오디오에 기초하여 음악 검색을 수행할 수 있다.
컨트롤러(170)는 사용자가 음악 검색을 의도한 시점(t1)에 오디오 녹음을 개시하였으로, 음악 검색 명령을 수신하는 시점(t2)과 오디오 녹음이 완료되는 시점(t3) 사이의 시간은 기설정된 시간(d)보다 짧을 수 있다.
도 8 내지 도 9의 실시 예에 따른 디스플레이 장치(100)는 사용자가 음악 검색을 의도한 시점(t1)에 오디오 녹음을 개시할 수 있다.
다시, 도 7을 설명한다.
컨트롤러(170)는 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다(S19).
컨트롤러(170)는 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
검색된 음악 정보는 검색된 음악의 제목, 가수, 앨범 명, 앨범 커버, 발매일 등을 포함할 수 있다.
또한, 컨트롤러(170)는 검색된 음악의 정확도를 함께 표시할 수 있다. 검색된 음악의 정확도는 검색된 음악과 녹음한 오디오의 일치도일 수 있다.
도 7을 정리하면, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 음악 검색 명령을 수신하기 전인 사용자가 음악 검색을 의도한 시점부터 음악 검색을 위한 오디오 녹음을 개시할 수 있다.
이에 따라, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 오디오 녹음이 개시되기 전 음악이 중단되어 사용자가 검색을 의도한 음악을 녹음할 수 없는 문제를 최소화할 수 있다.
또한, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 음악 검색 결과가 표시되기까지의 시간을 단축할 수 있는 이점이 있다.
오디오 녹음의 개시를 사용자가 음악을 검색하고자 하는 시점으로 앞당기는 경우는 앞에서 설명한 경우에 한정되지 안는다.
즉, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 마이크 온 명령 외에도 음악 검색 명령을 수신 가능한 상태로 판단된 경우 바로 오디오 녹음을 개시할 수 있다. 이하, 다양한 실시 예에 대해 구체적으로 설명한다.
관련하여, 도 10 내지 도 14를 참조하여 설명한다.
도 10은 본 개시의 일 실시 예에 따른 디스플레이 장치가 컨텐트 추천 명령에 따라 표시하는 컨텐트 추천 메뉴를 예시한 도면이다.
컨트롤러(170)는 컨텐트 추천 메뉴를 실행시키는 컨텐트 추천 명령에 따라 컨텐트 추천 메뉴(410)를 실행할 수 있다.
컨텐트 추천 명령은 원격제어장치(200)의 음성 인식 버튼(236)을 기설정된 시간 미만으로 누르는 입력일 수 있으나, 이에 제한되지 않는다.
컨텐트 추천 메뉴(410)는 특정 컨텐트와 관련된 다른 컨텐트를 추천하기 위한 메뉴를 포함할 수 있다. 컨텐트 추천 메뉴(410)는 특정 컨텐트의 음악을 검색하기 위한 음악 검색 항목(411)을 포함할 수 있다. 실시 예에 따라, 음악 검색 항목(411)은 '이 음악 뭐야?'라는 텍스트를 포함하는 항목으로 표시될 수 있다.
음악 검색 항목(411)을 선택하는 사용자 입력은 음악 검색 명령일 수 있다. 즉, 컨트롤러(170)는 컨텐트 추천 메뉴를 실행하여 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
컨트롤러(170)는 컨텐트 추천 명령을 수신한 시점에 마이크로폰(151)을 이용하여 오디오 녹음을 개시할 수 있다. 컨트롤러(170)가 오디오 녹음을 개시하는 시점은 음악 검색 명령을 수신하기 전일 수 있다.
다음으로, 컨트롤러(170)는 음악 검색 항목(411)을 선택하는 사용자 입력을 수신하면, 음악 검색을 수행할 수 있다.
이에 따라, 컨트롤러(170)는 컨텐트 추천 명령을 수신한 시점부터 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 디스플레이 장치와 연결된 이동 단말기가 디스플레이 장치를 제어하기 위해 표시하는 메뉴를 예시한 도면이다.
도 11은 이동 단말기(500)의 디스플레이부(551)에 표시되는 애플리케이션의 메인 메뉴(310)를 예시한 도면일 수 있다.
이동 단말기(500)의 디스플레이부(551)에 표시되는 애플리케이션은 이동 단말기(500)에 등록된 다양한 전자 장치를 제어하기 위한 애플리케이션일 수 있다.
애플리케이션의 메인 메뉴(310)는 이동 단말기(500)에 등록된 전자 장치의 리스트를 포함할 수 있다. 이동 단말기(500)에 등록된 전자 장치는 이동 단말기(500)와 무선 연결된 적이 있거나, 현재 이동 단말기(500)와 무선 연결되어 이동 단말기(500)를 이용하여 제어 가능한 전자 장치일 수 있다.
이동 단말기(500)에 등록된 전자 장치는 디스플레이 장치(100)를 포함할 수 있다. 이에 따라, 디스플레이 장치(100)는 이동 단말기(500)에 등록된 전자 장치의 리스트에 포함될 수 있다.
한편, 이동 단말기(500)에는 디스플레이 장치(100) 뿐 만 아니라, 무선 청소기, 광파 오븐, 제습기 등 다양한 전자 장치가 등록될 수 있다.
이동 단말기(500)에 등록된 전자 장치의 리스트는 디스플레이 장치에 대응하는 항목(311), 무선 청소기에 대응하는 항목(312), 광파 오븐에 대응하는 항목(313) 및 제습기에 대응하는 항목(314) 등 다양한 전자 장치에 대응하는 항목을 포함할 수 있다.
또한, 전자 장치에 대응하는 항목 각각은 '켜짐', '연결 안됨', '대기 중' 등 전자 장치의 동작 정보를 포함할 수 있다.
이동 단말기(500)는 메인 메뉴(310)에 포함된 항목 중 디스플레이 장치에 대응하는 항목(311)을 선택하는 입력을 수신하면 디스플레이 장치(100)를 제어하기 위한 메뉴를 표시할 수 있다.
디스플레이 장치(100)를 제어하기 위한 메뉴와 관련하여 도 12를 참조하여 구체적으로 설명한다.
도 12는 본 개시의 일 실시 예에 따른 디스플레이 장치와 연결된 이동 단말기가 디스플레이 장치를 제어하기 위한 메뉴를 표시한 모습을 예시한 도면이다.
디스플레이 장치(100)를 제어하기 위한 메뉴(320)는 원격제어 항목(321), 공유 항목(322), 애플리케이션 항목(323) 등을 포함할 수 있다.
원격제어 항목(321)은 디스플레이 장치(100)를 원격으로 제어하기 위한 항목일 수 있다. 원격제어 항목(321)은 이동 단말기의 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 포함할 수 있다.
이동 단말기(500)는 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 선택하는 사용자 입력을 수신하면 마이크로폰(522)을 온으로 제어할 수 있다.
이동 단말기(500)는 마이크로폰(522)을 통해 디스플레이 장치(100)를 원격으로 제어하기 위한 음성 명령을 입력받을 수 있다. 음성 명령은 음악 검색 명령을 포함할 수 있다.
즉, 이동 단말기(500)는 이동 단말기의 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 선택하는 사용자 입력을 수신하여 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
한편, 이동 단말기(500)는 이동 단말기의 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 선택하는 사용자 입력을 수신하면 디스플레이 장치(100)에 이를 알리는 신호를 전송할 수 있다.
디스플레이 장치(100)는 이동 단말기(500)로부터 수신한 신호에 기초하여 오디오 녹음을 개시할 수 있다.
즉, 디스플레이 장치(100)는 이동 단말기(500)가 음악 검색 명령을 수신 가능한 상태에 진입하면 오디오 녹음을 개시할 수 있다. 이에 따라, 디스플레이 장치(100)가 오디오 녹음을 개시하는 시점은 이동 단말기(500)가 음성 명령을 수신하기 전일 수 있다.
이동 단말기(500)는 음성 명령을 수신하면, 음성 명령을 포함하는 정보를 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)는 이동 단말기(500)로부터 수신한 정보에 기초하여 음성 명령이 음악 검색 명령임을 획득할 수 있다. 디스플레이 장치(100)는 획득된 음악 검색 명령에 기초하여 음악 검색을 수행할 수 있다.
이에 따라, 디스플레이 장치(100)는 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 선택하는 사용자 입력을 수신한 시점부터 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
한편, 디스플레이 장치(100)는 원격제어장치(200)가 음악 검색 명령을 수신 가능한 상태에 진입하면 오디오 녹음을 개시할 수 있다.
예를 들면, 원격제어장치(200)는 마이크로폰(290)을 온 하기 위한 명령을 수신할 수 있다. 마이크로폰(290)을 온 하기 위한 명령은 음성 인식 버튼(236)을 기설정된 시간 이상으로 눌렀다가 떼는 입력일 수 있으나, 이에 제한되지 않는다.
원격제어장치(200)는 마이크로폰(290)을 통해 디스플레이 장치(100)에 대한 음성 명령을 수신할 수 있다. 음성 명령은 음악 검색 명령을 포함할 수 있다.
즉, 원격제어장치(200)는 디스플레이 장치(100)에 대한 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
한편, 원격제어장치(200)는 마이크로폰(290)을 온 하기 위한 명령을 수신하면 디스플레이 장치(100)에 이를 알리는 신호를 전송할 수 있다.
디스플레이 장치(100)는 원격제어장치(200)로부터 수신한 신호에 기초하여 오디오 녹음을 개시할 수 있다.
즉, 디스플레이 장치(100)는 원격제어장치(200)가 음악 검색 명령을 수신 가능한 상태에 진입하면 오디오를 녹음할 수 있다. 이에 따라, 디스플레이 장치(100)가 오디오 녹음을 개시하는 시점은 원격제어장치(200)가 음성 명령을 수신하기 전일 수 있다.
원격제어장치(200)는 음성 명령을 수신하면, 음성 명령을 포함하는 정보를 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)는 원격제어장치(200)로부터 수신한 정보에 기초하여 음성 명령이 음악 검색 명령임을 획득할 수 있다. 디스플레이 장치(100)는 획득된 음악 검색 명령에 기초하여 음악 검색을 수행할 수 있다.
이에 따라, 디스플레이 장치(100)는 이동 단말기(500)가 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 선택하는 사용자 입력을 수신한 시점부터 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
이에 따라, 디스플레이 장치(100)는 원격제어장치(200)가 마이크로폰(522)을 온으로 제어하기 위한 아이콘(3211)을 선택하는 사용자 입력을 수신한 시점부터 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
도 13은 본 개시의 일 실시 예에 따른 디스플레이 장치가 기동어를 수신함에 따라 표시하는 화면을 예시한 도면이다.
컨트롤러(170)는 마이크로폰(151)을 통해 디스플레이 장치(100)를 기동시키는 기동어를 수신할 수 있다. 기동어는 사용자의 음성 명령을 획득하기 위해 디스플레이 장치(100)를 기동시키기 위한 명령어일 수 있다. 기동어는 디스플레이 장치(100)의 제조사 명을 포함하는 문장 또는 단어일 수 있으나, 기동어는 다양할 수 있다.
컨트롤러(170)는 기동어를 수신하면 사용자의 음성 명령을 획득하기 위하여 마이크로폰(151)을 활성화할 수 있다.
컨트롤러(170)는 기동어를 수신하면 사용자의 음성 명령을 대기 중임을 알리기 위한 메시지(182) 또는 음성 명령을 획득하기 위하여 대기 중임을 나타내기 위한 아이콘(183) 중 적어도 일부를 표시할 수 있다.
음성 명령을 획득하기 위하여 대기 중임을 알리기 위한 메시지(182)는 “Please speak now.”일 수 있으나, 이에 제한되지 않는다.
음성 명령을 획득하기 위하여 대기 중임을 나타내기 위한 아이콘(183)은 정지된 아이콘일 수 있으나, 회전하는 등 움직이는 아이콘일 수 있다. 음성 명령을 획득하기 위하여 대기 중임을 나타내기 위한 아이콘(183)이 움직이는 아이콘인 경우, 사용자는 아이콘(183)이 움직이는 동안 음성 명령을 획득하기 위하여 대기 중임을 알 수 있다.
컨트롤러(170)는 기동어를 수신한 뒤 입력된 음성 명령에 기초하여 동작할 수 있다. 이에 따라, 컨트롤러(170)는 사용자가 디스플레이 장치(100)에 음성 명령을 명확히 의도한 경우에만 음성 명령에 따라 동작할 수 있다.
음성 명령은 음악 검색 명령을 포함할 수 있다. 즉, 컨트롤러(170)는 기동어를 수신하여 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
컨트롤러(170)는 기동어를 수신한 시점에 마이크로폰(151)을 이용하여 오디오 녹음을 개시할 수 있다. 컨트롤러(170)가 오디오 녹음을 개시하는 시점은 음악 검색 명령을 수신하기 전일 수 있다.
다음으로, 컨트롤러(170)는 음악 검색 명령을 수신하면 음악 검색을 수행할 수 있다.
이에 따라, 컨트롤러(170)는 음 기동어를 수신한 시점부터 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 디스플레이 장치가 음악 검색 항목을 포함하는 메뉴를 표시하는 화면을 예시한 도면이다.
음악 검색 항목을 포함하는 메뉴는 빠른 설정 메뉴(420)를 포함할 수 있다. 빠른 설정 메뉴(420)는 컨텐트 재생 중 디스플레이 장치(100)의 설정 상태를 간편하게 변경하기 위한 메뉴일 수 있다.
컨트롤러(170)는 사용자 입력에 기초하여 빠른 설정 메뉴(420)를 표시할 수 있다. 사용자는 컨텐트 재생 중 빠른 설정 메뉴(420)에 포함된 항목에 간편하게 접근할 수 있다. 예를 들면, 빠른 설정 메뉴(420)를 표시하기 위한 사용자 입력은 원격제어버튼(200)의 설정 버튼(미도시)을 누르는 입력일 수 있으나, 이에 제한되지 않는다.
빠른 설정 메뉴(420)는 사용자의 편의를 도모하기 위한 다양한 항목을 포함할 수 있다. 예를 들면, 빠른 설정 메뉴(420)는 영상 모드 항목(421), 픽셀 밝기 항목(422), 사운드 모드 항목(423), 사운드 출력 항목(424), 타이머 항목(425), 시력 보호 모드 항목(426), 음악 검색 항목(427), 화면 끄기 항목(428) 등을 포함할 수 있다.
음악 검색 항목(427)은 디스플레이(180)에 표시되는 컨텐트의 음악을 검색하기 위한 항목일 수 있다.
컨트롤러(170)는 음악 검색 항목(427)을 선택하는 사용자 입력에 기초하여 음악 검색 메뉴(430)를 표시할 수 있다.
음악 검색 메뉴(430)는 배경 음악 찾기 항목(431) 및 노래 불러서 찾기 항목(432)을 포함할 수 있다.
배경 음악 찾기 항목(431)은 컨텐트에 포함된 음악을 검색하기 위한 항목일 수 있다. 배경 음악 찾기 항목(431)을 선택하는 사용자 입력은 컨텐트에 포함된 음악을 검색하기 위한 음악 검색 명령일 수 있다.
즉, 컨트롤러(170)는 음악 검색 항목(427)을 선택하는 사용자 입력에 기초하여 음악 검색 명령을 수신 가능한 상태에 진입할 수 있다.
컨트롤러(170)는 음악 검색 항목(427)을 선택하는 사용자 입력을 수신하면 오디오 녹음을 개시할 수 있다. 컨트롤러(170)가 오디오 녹음을 개시하는 시점은 음악 검색 명령을 수신하기 전일 수 있다.
다음으로, 컨트롤러(170)는 배경 음악 찾기 항목(431)을 선택하는 사용자 입력을 수신하면 음악 검색을 수행할 수 있다.
이에 따라, 컨트롤러(170)는 배경 음악 찾기 항목(431)을 선택하는 사용자 입력을 수신한 시점부터 녹음한 오디오에 기초하여 검색된 음악 정보를 표시할 수 있다.
기존의 디스플레이 장치는 음악 검색 명령을 수신하는 시점에 오디오 녹음을 개시하였다.
반면, 도 10 내지 도 14의 실시 예에 따른 디스플레이 장치(100)는 음악 검색 명령을 수신하는 시점 전에 오디오 녹음을 개시할 수 있다.
따라서, 도 10 내지 도 14의 실시 예에 따른 디스플레이 장치(100)가 오디오 녹음을 개시하는 시점은 기존의 디스플레이 장치가 오디오 녹음을 개시하는 시점보다 빠를 수 있다.
이에 따라, 도 10 내지 도 14의 실시 예에 따른 디스플레이 장치(100)는 오디오 녹음을 개시하기 전 음악 검색을 의도한 시점의 음악이 변경되어 사용자가 검색하고자 했던 음악을 녹음할 수 없는 문제를 최소화할 수 있다.
또한, 도 10 내지 도 14의 실시 예에 따른 디스플레이 장치(100)가 검색된 음악 정보를 표시하는 데 소요되는 시간은 기존의 디스플레이 장치가 검색된 음악 정보를 표시하는 데 소요되는 시간 보다 짧을 수 있다. 따라서, 본 개시의 실시 예에 따른 디스플레이 장치(100)는 검색된 음악 정보를 표시하는 데 소요되는 시간을 최소화할 수 있는 이점이 있다.
한편, 기존의 디스플레이 장치는 하나의 녹음된 오디오를 이용하여 음악 검색을 수행하였다. 이에 따라, 녹음된 오디오의 품질에 따라 음악 정보가 검색되지 않는 문제가 있었다.
이에, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 오디오를 복수회 녹음하여 오디오 파일을 생성하고, 복수개의 오디오 파일 중 적어도 하나에 기초하여 음악 정보를 검색하고자 한다.
즉, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 도 7의 단계 S13을 수행할 때 복수개의 오디오 파일을 생성할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)가 복수개의 오디오 파일을 생성하는 방법에 대해 도 15를 참조하여 설명한다.
도 15는 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수회 녹음을 개시하는 방법을 예시한 도면이다.
컨트롤러(170)는 사용자가 녹음을 의도한 시점(a1)부터 기설정된 간격(b)으로 녹음을 개시하여 복수개의 오디오 파일을 생성할 수 있다. 기설정된 간격(b)은 1초일 수 있으나, 이에 제한되지 않는다.
컨트롤러(170)가 생성하는 오디오 파일은 PCM(Pulse Code Modulation) 파일일 수 있다. PCM 파일은 아날로그 음성 신호를 디지털 펄스(Pulse) 신호로 변환하는 방법으로 생성되는 파일일 수 있다. 다만, 본 개시의 오디오 파일은 PCM 파일에 제한되지 않는다.
도 15를 참조하면, 컨트롤러(170)는 제1 오디오 파일을 생성하기 위해, 사용자가 녹음을 의도한 시점(a1) 부터 기설정된 시간(d) 동안 오디오를 녹음할 수 있다.
사용자가 녹음을 의도한 시점(a1)은 음악 검색 명령을 수신 가능한 상태에 진입하는 시점(a1)일 수 있다.
기설정된 시간(d)은 6초일 수 있으나, 이에 제한되지 않는다.
컨트롤러(170)는 제2 오디오 파일을 생성하기 위해, 사용자가 녹음을 의도한 시점으로부터 1초 뒤(a2) 부터 기설정된 시간(d) 동안 오디오를 녹음할 수 있다.
컨트롤러(170)는 제3 오디오 파일을 생성하기 위해, 사용자가 녹음을 의도한 시점으로부터 2초 뒤(a3) 부터 기설정된 시간(d) 동안 오디오를 녹음할 수 있다.
컨트롤러(170)는 제4 오디오 파일을 생성하기 위해, 사용자가 녹음을 의도한 시점으로부터 3초 뒤(a2) 부터 기설정된 시간(d) 동안 오디오를 녹음할 수 있다.
한편, 컨트롤러(170)가 생성하는 오디오 파일의 개수는 4개에 제한되지 않으며, 실시 예에 따라 다양한 개수의 오디오 파일을 생성할 수 있다.
제1 오디오 파일과 제2 오디오 파일은 제2 오디오 파일을 생성하기 위한 오디오 녹음이 개시된 시점(a2)과 제1 오디오 파일을 생성하기 위한 오디오 녹음이 종료된 시점(a1') 사이의 파형을 공통적으로 포함할 수 있다.
제2 오디오 파일과 제3 오디오 파일은 제3 오디오 파일을 생성하기 위한 오디오 녹음이 개시된 시점(a3)과 제2 오디오 파일을 생성하기 위한 오디오 녹음이 종료된 시점(a2') 사이의 파형을 공통적으로 포함할 수 있다.
제3 오디오 파일과 제4 오디오 파일은 제4 오디오 파일을 생성하기 위한 오디오 녹음이 개시된 시점(a4)과 제3 오디오 파일을 생성하기 위한 오디오 녹음이 종료된 시점(a3') 사이의 파형을 공통적으로 포함할 수 있다.
이와 같이, 컨트롤러(170)는 일부가 공통되는 복수개의 오디오 파일을 생성할 수 있다.
즉, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 동일한 음악의 다양한 구간을 포함하는 복수개의 오디오 파일을 생성할 수 있다.
다음으로, 디스플레이 장치(100)가 복수개의 오디오 파일을 생성한 경우, 컨트롤러(170)가 음악을 검색하는 방법에 대해 설명한다.
도 16은 본 개시의 일 실시 예에 따른 디스플레이 장치가 녹음한 복수개의 파일을 이용하여 음악 정보를 검색하는 방법을 나타내는 순서도이다.
도 16은 도 7에서 오디오 녹음이 복수개의 시점에 개시되어 복수개의 오디오 파일이 생성된 경우에 단계 S19를 구체화한 순서도이다.
컨트롤러(170)는 복수개의 오디오 파일 중 음악 검색에 이용될 오디오를 선별할 수 있다(S131).
컨트롤러(170)는 복수개의 오디오 파일 각각의 무음 구간의 비율 및 SNR(Signal to Noise Ratio) 레벨 중 적어도 하나에 기초하여 음악 검색에 이용될 오디오 파일을 선별할 수 있다.
먼저, 도 17을 참조하여 컨트롤러(170)가 복수개의 오디오 파일 각각의 무음 구간의 비율에 기초하여 음악 검색에 이용될 오디오 파일을 선별하는 방법에 관하여 설명한다.
도 17은 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수개의 오디오 파일 각각의 무음 구간의 비율에 기초하여 음악 검색에 이용될 오디오 파일을 선별하는 방법을 설명하기 위한 도면이다.
도 17은 컨트롤러(170)가 생성한 복수개의 오디오 파일(600) 중 제1 오디오 파일(610), 제2 오디오 파일(620), 제3 오디오 파일(630) 및 제4 오디오 파일(640)의 오디오 파형을 도시한 도면이다.
컨트롤러(170)는 복수개의 오디오 파일(600) 중 무음 구간의 비율이 기설정된 기준 비율 미만인 오디오 파일을 선별할 수 있다.
무음 구간은 녹음된 오디오 중 녹음된 소리가 없는 구간일 수 있다. 무음 구간은 오디오 파일에서 아무런 파형이 출력되지 않는 구간일 수 있다.
무음 구간의 비율이 기설정된 기준 비율 이상인 오디오 파일은 음악 검색을 수행하기 어려운 오디오 파일일 수 있다.
도 17을 참조하면, 제1 오디오 파일(610)의 무음 구간의 비율은 10%일 수 있다. 제2 오디오 파일(620)의 무음 구간의 비율은 30%일 수 있다. 제3 오디오 파일(630)의 무음 구간의 비율은 55%일 수 있다. 제4 오디오 파일(640)의 무음 구간의 비율은 60%일 수 있다.
기설정된 기준 비율은 50%일 수 있다. 이에 따라, 컨트롤러(170)는 무음 구간의 비율이 기설정된 기준 비율인 50% 이하인 제1 오디오 파일(610) 및 제2 오디오 파일(620)을 음악 검색에 이용될 오디오 파일로 선별할 수 있다.
기설정된 기준 비율은 50%로 제한되지 않으며, 실시 예에 따라 다양할 수 있다.
다음으로, 도 18을 참조하여 컨트롤러(170)가 복수개의 오디오 파일 각각의 SNR(Signal to Noise Ratio) 레벨에 기초하여 음악 검색에 이용될 오디오 파일을 선별하는 방법에 관하여 설명한다.
도 18은 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수개의 오디오 파일 각각의 SNR(Signal to Noise Ratio) 레벨에 기초하여 음악 검색에 이용될 오디오 파일을 선별하는 방법을 설명하기 위한 도면이다.
도 18은 컨트롤러(170)가 생성한 복수개의 오디오 파일(600) 중 제1 오디오 파일(610), 제2 오디오 파일(620), 제3 오디오 파일(630) 및 제4 오디오 파일(640)의 오디오 파형을 도시한 도면이다.
컨트롤러(170)는 복수개의 오디오 파일(600) 중 SNR 레벨이 기설정된 기준 레벨 이상인 오디오 파일에 기초하여 음악 정보를 표시할 수 있다.
SNR 레벨은 오디오 파일에 포함된 컨텐트가 녹음된 신호 대 외부 소음이 녹음된 신호의 비일 수 있다. 외부 소음이 녹음된 신호의 비율이 작을수록 SNR 레벨이 높을 수 있다.
컨트롤러(170)는 복수개의 오디오 파일(600) 중 SNR 레벨이 기설정된 기준 레벨 이상인 오디오 파일을 선별할 수 있다.
기설정된 기준 레벨은 음악 검색 결과를 획득하기 위한 최소 레벨로 설정될 수 있으나, 이에 제한되지 않는다.
한편, 외부 소음이 녹음된 신호의 비율이 클수록 오디오 파일의 파형은 불안정하게 나타날 수 있다.
도 18을 참조하면, 제1 오디오 파일(610)은 진폭이 급격하게 증가했다가 감소하는 3 개의 구간을 갖는다. 제2 오디오 파일(620)은 진폭이 급격하게 증가했다가 감소하는 3개의 구간을 갖는다. 또한, 제3 오디오 파일(630)은 진폭이 급격하게 증가했다가 감소하는 2개의 구간을 갖는다. 한편, 제4 오디오 파일(640)은 진폭이 급격하게 변화하는 구간을 갖지 않는다.
제4 오디오 파일(640)은 제1 오디오 파일(610), 제2 오디오 파일(62) 및 제3 오디오 파일(630)보다 안정적인 파형을 갖는다.
이에 따라, 제4 오디오 파일(640)은 외부 소음이 녹음된 신호의 비율이 제1 오디오 파일(610), 제2 오디오 파일(62) 및 제3 오디오 파일(630)보다 작은 것을 알 수 있다.
컨트롤러(170)가 음악 검색에 이용하기 위하여 선별한 오디오 파일은 제4 오디오 파일(640)일 수 있다.
다시, 도 16을 설명한다.
컨트롤러(170)는 선별된 오디오 파일 각각의 무음 구간의 비율 및 SNR 레벨 중 적어도 하나에 기초하여 음악 검색에 이용될 오디오 파일의 순서를 획득할 수 있다(S133).
예를 들면, 컨트롤러(170)는 선별된 오디오 파일 중 무음 구간의 비율이 가장 작은 오디오 파일을 음악 검색에 1순위로 이용되는 오디오 파일로 획득하고, 무음 구간의 비율이 제1 오디오 파일 다음으로 큰 오디오 파일을 음악 검색에 2순위로 이용되는 오디오 파일로 획득할 수 있다.
또는, 컨트롤러(170)는 선별된 오디오 파일 중 SNR 레벨이 가장 큰 오디오 파일을 음악 검색에 1순위로 이용되는 오디오 파일로 획득하고, SNR 레벨이 제1 오디오 파일 다음으로 작은 오디오 파일을 음악 검색에 2순위로 이용되는 오디오 파일로 획득할 수 있다.
또한, 컨트롤러(170)는 무음 구간의 비율 및 SNR 레벨 전부에 기초하여 음악 검색에 이용될 오디오 파일의 순서를 획득할 수도 있다.
예를 들면, 컨트롤러(170)는 무음 구간의 비율이 30% 미만인 오디오 파일 중 SNR 레벨이 높은 오디오 파일일수록 음악 검색에 먼저 이용될 오디오 파일로 획득할 수 있다. 이에 따라, 무음 구간의 비율이 30% 이상인 오디오 파일은 SNR 레벨이 가장 높은 오디오 파일이더라도 음악 검색에 가장 먼저 이용되지 않을 수 있다.
즉, 컨트롤러(170)는 검색에 이용될 순서를 획득하기 위한 무음 구간의 비율을 설정하고, 설정된 비율보다 낮은 비율의 무음 구간을 갖는 오디오 파일 중 SNR 레벨이 가장 높은 오디오 파일을 음악 검색에 가장 먼저 이용될 오디오 파일로 획득할 수 있다.
반대로, 컨트롤러(170)는 SNR 레벨이 소정 레벨 이상인 오디오 파일 중 무음 구간의 비율이 낮은 오디오 파일일수록 음악 검색에 먼저 이용될 오디오 파일로 획득할 수 있다.
즉, 컨트롤러(170)는 검색에 이용될 순서를 획득하기 위한 SNR 레벨을 설정하고, 설정된 SNR 레벨 이상의 SNR 레벨을 갖는 오디오 파일 중 무음 구간의 비율이 가장 낮은 오디오 파일을 음악 검색에 가장 먼저 이용될 오디오 파일로 획득할 수 있다.
컨트롤러(170)는 무음 구간의 비율 및 SNR 레벨을 모두 고려하여 음악 검색에 이용될 오디오 파일의 순서를 획득함에 따라, 음악 검색 결과를 획득할 가능성을 높일 수 있다.
이외에도, 컨트롤러(170)가 선별된 오디오 파일 각각의 무음 구간의 비율 및 SNR 레벨 중 적어도 하나에 기초하여 음악 검색에 이용될 오디오 파일의 순서를 획득하는 방법은 다양할 수 있다.
컨트롤러(170)는 컨텐트의 장르를 획득할 수 있다(S135).
컨트롤러(170)는 외부 서버(미도시)로부터 디스플레이 장치(100)에서 컨텐트의 장르를 획득할 수 있다.
컨트롤러(170)는 자동 컨텐트 분석, EPG 매핑 등에 기초하여 외부 서버(미도시)로부터 컨텐트의 장르를 획득할 수 있다.
컨트롤러(170)는 외부 서버(미도시)로부터 자동 컨텐트 분석 결과를 수신할 수 있다. 자동 컨텐트 분석 결과는 컨텐트의 제목, 장르, 시청 정보, 시청 시점을 포함할 수 있다. 예를 들면, 컨트롤러(170)는 컨텐트의 영상 신호 또는 오디오 신호를 외부 서버(미도시)로 전송할 수 있다. 이에 따라, 컨트롤러(170)는 외부 서버(미도시)로부터 오디오 신호 분석에 따른 자동 콘텐트 분석 결과를 수신할 수 있다.
컨트롤러(170)는 외부 서버(미도시)로부터 EPG(Electronic Program Guide) 매핑 결과를 수신할 수 있다. EPG(Electronic Program Guide) 매핑 결과는 컨텐트의 제목, 장르, 시청 시점 등을 포함할 수 있다. 예를 들면, 컨트롤러(170)는 컨텐트의 재생 정보를 외부 서버(미도시)로 전송할 수 있다. 컨텐트의 재생 정보는 디스플레이 장치(100)에서 재생 중인 컨텐트의 채널, 재생 시점을 포함할 수 있다. 이에 따라, 컨트롤러(170)는 외부 서버(미도시)로부터 컨텐트의 재생 정보에 대응하는 EPG 매핑 결과를 수신할 수 있다.
또한, 컨트롤러(170)는 외부 서버(미도시)에 녹음한 오디오를 전송하여 컨텐트의 장르를 수신할 수도 있다.
또한, 외부 서버(미도시)는 머신 러닝(Machine Learning) 기반의 서버(미도시)를 포함할 수 있다.
컨트롤러(170)는 디스플레이 장치(100)에서 컨텐트의 장르가 음악 관련 장르인지 여부를 획득할 수 있다(S137).
컨트롤러(170)는 외부 서버(미도시)로부터 획득한 컨텐트의 장르가 음악 관련 장르인지 여부를 획득할 수 있다.
음악 관련 장르는 콘서트, 클래식, 재즈, 팝 등을 포함할 수 있다.
음악과 관련되지 않은 장르는 영화, 드라마, 예능, 다큐멘터리 등을 포함할 수 있다.
컨트롤러(170)는 컨텐트의 장르가 음악 관련 장르가 아닌 경우에는 녹음된 오디오 파일에 포함된 음악 신호 외의 신호를 제거할 수 있다(S138).
컨텐트의 장르가 음악 관련 장르가 아닌 경우, 컨텐트는 음악 신호 및 음악 외의 신호를 포함할 수 있다.
예를 들면, 음악 신호 외의 신호는 컨텐트에 포함된 대사의 음성 신호일 수 있다. 컨트롤러(170)는 녹음된 오디오 파일에 포함된 음악 신호 외의 신호를 제거하여 음악 검색 결과의 정확도를 높일 수 있다.
이를 위해, 디스플레이 장치(100)는 음악 신호를 추출하기 위한 알고리즘을 저장하고 있을 수 있다.
배경 음악을 추출하기 위한 알고리즘은 오디오 파일의 신호를 분석하여 음악 신호와 음악 신호 외의 신호를 추출하는 알고리즘일 수 있다.
컨트롤러(170)는 컨텐트의 장르가 음악 관련 장르가 아닌 경우에는 음악 신호 외의 신호를 제거된 오디오 파일을 원곡 검색 엔진에 검색할 수 있다. 또는, 컨트롤러(170)는 컨텐트의 장르가 음악 관련 장르인 경우에는 오디오 파일을 원곡 검색 엔진에 검색할 수 있다(S139).
컨트롤러(170)는 컨텐트의 장르가 음악 관련 장르인 경우에는 오디오 파일에 음악 신호 외의 신호가 포함되지 않을 수 있다. 따라서, 오디오 파일에 포함된 음악 신호 외의 신호를 제거하는 단계를 생략할 수 있다.
이에 따라, 디스플레이 장치(100)의 연산량을 저감할 수 있다. 또한, 음악 검색에 소요되는 시간을 단축할 수 있다.
컨트롤러(170)는 원곡 검색 엔진으로부터 음악 검색 결과가 획득되었는지 여부를 획득할 수 있다 (S141).
컨트롤러(170)는 원곡 검색 엔진으로부터 음악 검색 결과가 획득된 경우에는 검색된 음악 정보를 표시할 수 있다(S147).
원곡 검색 엔진에서 검색된 음악 정보는 원곡의 가수, 제목, 앨범, 앨범 커버, 앨범 발매일 등을 포함할 수 있다. 또한, 컨트롤러(170)는 검색된 음악 정보를 표시하는 경우, 검색된 음악의 정확도를 함께 표시할 수 있다.
원곡 검색 엔진으로부터 검색 결과를 획득 가능한 경우에는 커버송 검색 엔진과 같은 다른 음악 검색 엔진을 이용한 검색을 수행하는 단계는 생략될 수 있다. 이에 따라, 디스플레이 장치(100)의 연산량이 저감될 수 있다. 또한, 음악 정보를 표시하는 데 소요되는 시간이 단축될 수 있다.
컨트롤러(170)는 원곡 검색 엔진으로부터 음악 검색 결과를 획득하지 못한 경우에는 커버송 검색 엔진에 검색을 수행할 수 있다(S143).
컨트롤러(170)는 원곡 검색 엔진으로부터 검색 결과가 획득될 수 없는 경우, 커버송 검색 엔진에 음악 검색을 시도할 수 있다.
컨트롤러(170)는 커버송 검색 엔진으로부터 음악 검색 결과가 획득된 경우에는 검색된 음악 정보를 표시할 수 있다(S147).
커버송 검색 엔진에서 검색된 음악 정보는 커버송의 가수, 제목, 앨범, 앨범 커버, 앨범 발매일 등을 포함할 수 있다. 또한, 컨트롤러(170)는 검색된 음악 정보를 표시하는 경우, 검색된 음악의 정확도를 함께 표시할 수 있다.
컨트롤러(170)는 커버송 검색 엔진에서 음악을 검색함에 따라 커버송의 정보를 제공할 수 있다. 이에 따라, 컨트롤러(170)는 원곡 검색 엔진만을 이용하여 음악 검색을 수행하는 경우보다 다양한 음악의 정보를 제공할 수 있다.
컨트롤러(170)는 커버송 검색 엔진으로부터 검색 결과를 획득하지 못한 경우에는 다음 순위로 이용될 오디오 파일을 이용하여 음악 검색을 수행할 수 있다(S146).
컨트롤러(170)는 커버송 검색 엔진으로부터 검색 결과를 획득하지 못한 경우에는 다음 순위로 이용될 오디오 파일을 이용하여 단계 S135 내지 단계 S147를 반복할 수 있다. 컨트롤러(170)는 음악 검색 결과를 획득할 때까지 단계 S139 내지 단계 S148을 반복하여 수행할 수 있다.
다만, 실시 예에 따라, 다음 순위로 이용될 오디오 파일을 이용한 단계 135 내지 단계 137은 생략될 수 있다.
예를 들면, 컨트롤러(170)는 커버송 검색 엔진으로부터 검색 결과를 획득하지 못한 경우, 컨텐트가 음악 관련 장르인 경우에는 다음 순위로 이용될 오디오 파일을 이용하여 원곡 검색 엔진에 검색을 수행할 수 있다.
또는, 컨트롤러(170)는 컨텐트가 음악 관련 장르가 아닌 경우에는 다음 순위로 이용될 오디오 파일에 포함된 음악 신호 외의 신호를 제거하여 원곡 검색 엔진에 검색을 수행할 수 있다.
오디오 파일 전부는 사용자가 녹음을 의도한 시점과 근접한 시점에 녹음된 오디오로부터 생성된 파일일 수 있다.
따라서, 오디오 파일 전부는 디스플레이 장치(100)에 동일한 컨텐트가 재생되는 중에 녹음된 오디오로부터 생성된 파일일 수 있다. 따라서, 단계 135 내지 단계 137컨텐트의 장르를 반복하여 획득할 필요가 없을 수 있다.
도 16을 정리하면, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 복수의 오디오 파일 및 검색 엔진을 순차적으로 이용하여 검색된 음악 정보를 표시할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 복수의 오디오 파일을 생성하여, 생성한 오디오 파일 중 적어도 하나를 이용하여 음악 검색을 수행할 수 있다. 이에 따라, 하나의 오디오 파일을 생성하여 음악 검색을 수행하는 경우보다 검색 결과 획득에 실패하는 문제를 최소화할 수 있다.
또한, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 컨텐트에 포함된 음악에 따라 음악 검색을 위한 연산량을 저감하거나, 음악 검색 결과를 표시하는 데 소요되는 시간을 단축할 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 마이크로폰;
    상기 마이크로폰을 온으로 제어하는 마이크로폰 온 명령을 원격제어장치로부터 수신하는 컨트롤러; 및
    상기 마이크로폰 온 명령을 수신한 시점부터 상기 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시하는 디스플레이를 포함하는
    디스플레이 장치.
  2. 청구항 1에 있어서,
    상기 컨트롤러는
    컨텐트 추천 메뉴를 실행시키는 컨텐트 추천 명령을 수신한 시점부터 상기 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시하는
    디스플레이 장치.
  3. 청구항 1에 있어서,
    상기 컨트롤러는
    상기 디스플레이 장치 를 기동시키는 기동어를 수신하면, 상기 기동어를 수신한 시점부터 상기 마이크로폰으로 녹음한 오디오에 기초하여 검색된 음악 정보를 표시하는
    디스플레이 장치.
  4. 청구항 1에 있어서,
    상기 컨트롤러는
    상기 마이크로폰 온 명령을 수신한 시점부터 복수회 녹음을 개시하여 복수개의 오디오 파일을 생성하고,
    상기 복수개의 오디오 파일 중 적어도 하나에 기초하여 검색된 음악 정보를 표시하는
    디스플레이 장치.
  5. 청구항 1에 있어서,
    상기 컨트롤러는
    상기 마이크로폰 온 명령을 수신한 시점부터 기설정된 간격으로 녹음을 개시하여 복수개의 오디오 파일을 생성하고,
    상기 복수개의 오디오 파일 중 적어도 하나에 기초하여 검색된 음악 정보를 표시하는
    디스플레이 장치.
  6. 청구항 5에 있어서,
    디스플레이 장치.상기 복수개의 오디오 파일 각각의 무음 구간의 비율 및 SNR(Signal to Noise Ratio) 레벨 중 적어도 하나에 기초하여 선별된 오디오 파일에 기초하여 상기 음악 정보를 표시하는
    디스플레이 장치.
  7. 청구항 6에 있어서,
    상기 컨트롤러는
    상기 복수개의 오디오 파일 중 상기 무음 구간의 비율이 기설정된 기준 비율 미만인 오디오 파일에 기초하여 상기 음악 정보를 표시하는
    디스플레이 장치.
  8. 청구항 6에 있어서,
    상기 컨트롤러는
    상기 복수개의 오디오 파일 중 상기 SNR 레벨이 기설정된 기준 레벨 이상인 오디오 파일에 기초하여 상기 음악 정보를 표시하는
    디스플레이 장치.
  9. 청구항 6에 있어서,
    상기 컨트롤러는
    상기 선별된 오디오 파일 각각의 상기 무음 구간의 비율 및 상기 SNR 레벨 중 적어도 하나에 기초하여 음악 검색에 이용될 오디오 파일의 순서를 획득하는
    디스플레이 장치.
  10. 청구항 9에 있어서,
    상기 컨트롤러는
    상기 선별된 오디오 파일 중 상기 무음 구간의 비율이 가장 작은 오디오 파일을 상기 음악 검색에 1순위로 이용되는 오디오 파일로 획득하고, 상기 무음 구간의 비율이 상기 제1 오디오 파일 다음으로 큰 오디오 파일을 상기 음악 검색에 2순위로 이용되는 오디오 파일로 획득하는
    디스플레이 장치.
  11. 청구항 9에 있어서,
    상기 컨트롤러는
    상기 선별된 오디오 파일 중 상기 SNR 레벨이 가장 큰 오디오 파일을 상기 음악 검색에 1순위로 이용되는 오디오 파일로 획득하고, 상기 SNR 레벨이 상기 제1 오디오 파일 다음으로 작은 오디오 파일을 상기 음악 검색에 2순위로 이용되는 오디오 파일로 획득하는
    디스플레이 장치.
  12. 청구항 1에 있어서,
    상기 컨트롤러는
    외부 서버로부터 상기 디스플레이를 통해 표시 중인 컨텐트의 장르를 획득하고, 상기 컨텐트의 장르에 기초하여 상기 오디오에 포함된 음악 외의 신호를 제거할지 여부를 획득하는
    디스플레이 장치.
  13. 청구항 11에 있어서,
    상기 컨트롤러는
    상기 컨텐트의 장르가 음악 관련 장르가 아닌 경우에는 상기 오디오에 포함된 상기 음악 신호 외의 신호를 제거한 오디오에 기초하여 검색된 음악 정보를 표시하는
    디스플레이 장치.
  14. 청구항 6에 있어서,
    상기 컨트롤러는
    원곡 검색 엔진 및 커버송 검색 엔진을 포함하는 복수의 음악 검색 엔진 중 적어도 하나에서 상기 마이크로폰으로 녹음한 오디오에 대응하는 음악 검색을 수행하는
    디스플레이 장치.
  15. 청구항 14에 있어서,
    상기 컨트롤러는
    상기 원곡 검색 엔진으로부터 음악 검색 결과를 획득하지 못한 경우, 상기 커버송 검색 엔진에서 음악 검색을 수행하는
    디스플레이 장치.
PCT/KR2023/000597 2023-01-12 2023-01-12 디스플레이 장치 Ceased WO2024150856A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020257022317A KR20250121352A (ko) 2023-01-12 2023-01-12 디스플레이 장치
CN202380095693.4A CN121039735A (zh) 2023-01-12 2023-01-12 显示装置
PCT/KR2023/000597 WO2024150856A1 (ko) 2023-01-12 2023-01-12 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/000597 WO2024150856A1 (ko) 2023-01-12 2023-01-12 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2024150856A1 true WO2024150856A1 (ko) 2024-07-18

Family

ID=91897039

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/000597 Ceased WO2024150856A1 (ko) 2023-01-12 2023-01-12 디스플레이 장치

Country Status (3)

Country Link
KR (1) KR20250121352A (ko)
CN (1) CN121039735A (ko)
WO (1) WO2024150856A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008110790A2 (en) * 2007-03-13 2008-09-18 Philip Wesby System and method for data acquisition and processing
KR101232463B1 (ko) * 2009-01-29 2013-02-12 퀄컴 인코포레이티드 디바이스의 주변 노이즈 레벨에 기초하여 오디오 코딩을 선택하기 위한 장치, 방법, 및 컴퓨터 판독 가능 매체
US20150087225A1 (en) * 1997-07-29 2015-03-26 Mobilemedia Ideas Llc Information Processing Apparatus and Method, Information Processing System, and Transmission Medium
US20170047094A1 (en) * 2013-12-20 2017-02-16 Nokia Technologies Oy Audio information processing
KR20180018146A (ko) * 2016-08-12 2018-02-21 삼성전자주식회사 음성 인식이 가능한 디스플레이 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150087225A1 (en) * 1997-07-29 2015-03-26 Mobilemedia Ideas Llc Information Processing Apparatus and Method, Information Processing System, and Transmission Medium
WO2008110790A2 (en) * 2007-03-13 2008-09-18 Philip Wesby System and method for data acquisition and processing
KR101232463B1 (ko) * 2009-01-29 2013-02-12 퀄컴 인코포레이티드 디바이스의 주변 노이즈 레벨에 기초하여 오디오 코딩을 선택하기 위한 장치, 방법, 및 컴퓨터 판독 가능 매체
US20170047094A1 (en) * 2013-12-20 2017-02-16 Nokia Technologies Oy Audio information processing
KR20180018146A (ko) * 2016-08-12 2018-02-21 삼성전자주식회사 음성 인식이 가능한 디스플레이 장치 및 방법

Also Published As

Publication number Publication date
CN121039735A (zh) 2025-11-28
KR20250121352A (ko) 2025-08-12

Similar Documents

Publication Publication Date Title
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2013022223A2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2013022218A2 (en) Electronic apparatus and method for providing user interface thereof
WO2013022221A2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2014062032A1 (en) Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
WO2013022222A2 (en) Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
WO2013069936A1 (en) Electronic apparatus and method for controlling thereof
WO2017039223A1 (en) Display apparatus and control method thereof
WO2016099141A2 (ko) 멀티미디어 콘텐츠 제작 및 재생 방법, 이를 수행하는 전자 기기 및 이를 실행하는 프로그램이 저장된 기록 매체
WO2018088667A1 (en) Display device
WO2017111321A1 (ko) 영상표시장치
WO2017010651A1 (ko) 디스플레이 시스템
WO2021117953A1 (ko) 디스플레이 장치
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2016126048A1 (ko) 디스플레이 장치
WO2016182133A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2015093665A1 (ko) 전자기기 및 전자기기의 제어방법
WO2016182124A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2016125966A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2022014738A1 (ko) 디스플레이 장치
WO2022270655A1 (ko) 원격제어장치 및 이를 구비하는 영상표시장치
WO2024150856A1 (ko) 디스플레이 장치
WO2019151570A1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23916341

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1020257022317

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020257022317

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: CN2023800956934

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23916341

Country of ref document: EP

Kind code of ref document: A1