WO2020166742A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020166742A1
WO2020166742A1 PCT/KR2019/001851 KR2019001851W WO2020166742A1 WO 2020166742 A1 WO2020166742 A1 WO 2020166742A1 KR 2019001851 W KR2019001851 W KR 2019001851W WO 2020166742 A1 WO2020166742 A1 WO 2020166742A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
information
product
image
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/001851
Other languages
English (en)
French (fr)
Inventor
이혜승
조은영
권미연
안오봉
설성운
이경륜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to PCT/KR2019/001851 priority Critical patent/WO2020166742A1/ko
Priority to US17/429,537 priority patent/US11924515B2/en
Priority to EP19914816.4A priority patent/EP3926967A4/en
Publication of WO2020166742A1 publication Critical patent/WO2020166742A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • H04N21/4828—End-user interface for programme selection for searching programme descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Definitions

  • the present invention relates to a display device and a method of operating the same, and more particularly, to a display device that provides a search function when viewing content, and a method of operating the same.
  • the digital TV service can provide a variety of services that could not be provided by conventional analog broadcasting services.
  • IPTV Internet Protocol Television
  • smart TV services which are one type of digital TV service
  • IPTV and smart TV services may provide various additional services, such as Internet search, home shopping, and online games, based on this interactive nature.
  • the user may want to search for products, people, places, or music appearing in the video while watching the video, and the user can use the Internet application in the display device or search through the user's PC or smartphone. I can.
  • a user may need a function capable of more accurately and easily searching for a product, person, place, or music in the image while viewing the image.
  • An object of the present invention is to provide a display device that provides a function of searching for products, people, places, or music appearing in an image, and a method of operating the same.
  • a display device includes a display unit that displays an image, a user input interface unit that receives a search command, a control unit that acquires image scene information at a time point when a search command is received, and a search command based on image scene information.
  • a network interface unit configured to receive information on a product included in the video scene at a time point at which is received, and the display unit may display a search result screen including a product icon representing the product.
  • the controller may further receive information on a person included in the video scene and display product icons for each person.
  • the controller may display a person icon representing each person appearing in a video scene based on information on the person, and when receiving a command to select a person icon, display a product icon related to the selected person.
  • the controller may display a related product icon representing a product similar to the selected product.
  • the controller may display a web icon for accessing a website for purchasing the selected product.
  • the controller may display a mobile icon for transmitting a website address for purchasing the selected product to the mobile device upon receiving a command for selecting a product icon, and may transmit the website address to the mobile device upon receiving a command for selecting a mobile icon.
  • the controller may transmit a website address to a mobile located within a set distance from the display device through Bluetooth low energy (BLE).
  • BLE Bluetooth low energy
  • the controller may receive an input of a mobile phone number and transmit a website address to the entered mobile phone number.
  • the controller may display a shopping cart icon for adding the selected product to the shopping cart.
  • the controller may display the products added to the shopping cart for each image.
  • the controller may further receive information on music included in the video scene and may display information on music on a search result screen.
  • the controller may display a music recognition icon on the search result screen and, upon receiving a command for selecting the music recognition icon, may recognize sound through a microphone provided in the remote control device and then display music information.
  • the controller may further receive information on a place included in the video scene and may display information on the place on the search screen.
  • the information on the place may include at least one of map information, address information, a business name, and a site on a place included in the video scene.
  • the search result screen may include an image area including an image and a search information area including a product icon.
  • the video that the user was watching and search information for the video scene at the time when the search command was received can be displayed.
  • the user can display the person, product, music, related video, place, etc. in the video while watching the video. There is an advantage of being able to easily obtain information about.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention.
  • FIG. 3 shows an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of providing product information by a display device according to an embodiment of the present invention.
  • FIG. 7 is an exemplary diagram for describing a search icon according to an embodiment of the present invention.
  • FIGS. 8 to 9 are exemplary diagrams for explaining a method of displaying a search result screen according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram illustrating a method of displaying product information when a product icon is selected according to an embodiment of the present invention.
  • FIG. 11 is an exemplary diagram illustrating a method of providing detailed information of a product in a display device according to an embodiment of the present invention.
  • 12 to 15 are exemplary diagrams illustrating a method of providing detailed information of a product according to an exemplary embodiment of the present invention through a mobile device.
  • 16 is an exemplary view showing a shopping cart addition complete icon according to an embodiment of the present invention.
  • 17 is an exemplary view showing a shopping cart screen according to an embodiment of the present invention.
  • FIG. 18 is an exemplary diagram illustrating a method of displaying product items added to a shopping cart according to an embodiment of the present invention.
  • FIG. 19 is an exemplary diagram illustrating a music recognition icon according to an embodiment of the present invention.
  • 20 is an exemplary diagram illustrating a method of displaying detailed place information according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • the display device 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a control unit 170, and a wireless communication unit 173.
  • a display unit 180, an audio output unit 185, and a power supply unit 190 may be included.
  • the broadcast reception unit 130 may include a tuner 131, a demodulation unit 132, and a network interface unit 133.
  • the tuner 131 may select a specific broadcast channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a selected specific broadcast channel.
  • the demodulator 132 may divide the received broadcast signal into a video signal, an audio signal, and a data signal related to a broadcast program, and restore the separated video signal, audio signal, and data signal into a form capable of outputting.
  • the external device interface unit 135 may receive an application or an application list in an adjacent external device and transmit it to the control unit 170 or the storage unit 140.
  • the external device interface unit 135 may provide a connection path between the display device 100 and the external device.
  • the external device interface unit 135 may receive one or more of an image and audio output from an external device connected to the display device 100 by wire or wirelessly, and transmit it to the control unit 170.
  • the external device interface unit 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more HDMI (High Definition Multimedia Interface) terminals, and a component terminal.
  • An image signal of an external device input through the external device interface unit 135 may be output through the display unit 180.
  • the audio signal of the external device input through the external device interface unit 135 may be output through the audio output unit 185.
  • the external device connectable to the external device interface unit 135 may be any one of a set-top box, a Blu-ray player, a DVD player, a game console, a sound bar, a smartphone, a PC, a USB memory, and a home theater, but this is only an example. .
  • the network interface unit 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network.
  • the network interface unit 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.
  • some content data stored in the display apparatus 100 may be transmitted to another user registered in advance in the display apparatus 100 or a selected user or a selected electronic device among other electronic devices.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through a network, the server and data can be transmitted or received.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as movies, advertisements, games, VODs, broadcast signals, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive update information and an update file of firmware provided by a network operator, and transmit data to the Internet or content provider or network operator.
  • the network interface unit 133 may select and receive a desired application from among applications open to the public through a network.
  • the storage unit 140 may store a program for processing and controlling each signal in the control unit 170 and may store signal-processed video, audio, or data signals.
  • the storage unit 140 may perform a function for temporary storage of a video, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or an application list input from the external device interface unit 135 or the network interface unit 133.
  • the display device 100 may reproduce and provide a content file (movie file, still image file, music file, document file, application file, etc.) stored in the storage unit 140 to a user.
  • a content file moving file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170 or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 according to various communication methods such as Bluetooth, WB (Ultra Wideband), ZigBee method, RF (Radio Frequency) communication method, or infrared (IR) communication method, Control signals such as power on/off, channel selection, and screen setting may be received and processed from the remote control device 200, or a control signal from the control unit 170 may be transmitted to the remote control device 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the control unit 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the corresponding image signal. Also, the image signal processed by the controller 170 may be input to an external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the control unit 170 may be input to an external output device through the external device interface unit 135.
  • controller 170 may control the overall operation of the display apparatus 100.
  • control unit 170 may control the display device 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or application list desired by the user. It can be downloaded within (100).
  • the control unit 170 enables channel information selected by the user to be output through the display unit 180 or the audio output unit 185 together with the processed image or audio signal.
  • control unit 170 in accordance with an external device image playback command received through the user input interface unit 150, from an external device input through the external device interface unit 135, for example, a camera or a camcorder, An image signal or an audio signal may be output through the display unit 180 or the audio output unit 185.
  • control unit 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface unit 135
  • An image, an image input through the network interface unit, or an image stored in the storage unit 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • control unit 170 may control content stored in the display device 100, received broadcast content, and external input content input from the outside to be played.
  • the content includes a broadcast image, an external input image, an audio file, It may be in various forms such as a still image, a connected web screen, and a document file.
  • the wireless communication unit 173 may communicate with an external device through wired or wireless communication.
  • the wireless communication unit 173 may perform short range communication with an external device.
  • the wireless communication unit 173 includes BluetoothTM, Bluetooth Low Energy (BLE), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • the wireless communication unit 173 may be configured between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 and the display device 100 through wireless area networks. Wireless communication between networks in which the display device 100 or an external server is located may be supported.
  • the local area wireless communication networks may be wireless personal area networks (Wireless Personal Area Networks).
  • the other display device 100 is a wearable device capable of exchanging (or interlocking with) data with the display device 100 according to the present invention, for example, a smartwatch, a smart glass. (smart glass), HMD (head mounted display)), it can be a mobile terminal such as a smart phone.
  • the wireless communication unit 173 may detect (or recognize) a wearable device capable of communicating around the display apparatus 100. Further, when the sensed wearable device is an authenticated device to communicate with the display apparatus 100 according to the present invention, the controller 170 transmits at least a portion of the data processed by the display apparatus 100 to the wireless communication unit ( 173) can be transmitted to the wearable device. Accordingly, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the display unit 180 converts an image signal, a data signal, an OSD signal processed by the control unit 170, or an image signal and a data signal received from the external device interface unit 135 into R, G, and B signals, respectively. Can generate signals.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display device 100 that is actually implemented.
  • two or more components may be combined into a single component, or one component may be subdivided into two or more components and configured.
  • functions performed by each block are for explaining an embodiment of the present invention, and specific operations or devices thereof do not limit the scope of the present invention.
  • the display apparatus 100 does not include a tuner 131 and a demodulation unit 132, but a network interface unit 133 or an external device interface unit ( 135) can also be received and played.
  • the display device 100 is divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content reproducing device for reproducing content input from the image processing device. Can be implemented.
  • an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services
  • a content reproducing device for reproducing content input from the image processing device. Can be implemented.
  • the method of operating the display device according to an embodiment of the present invention to be described below is not only the display device 100 as described with reference to FIG. 1, but also an image processing device or display unit such as the separated set-top box. 180) and the audio output unit 185 may be performed by any one of a content playback device.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing an example of an actual configuration of a remote control device 200 according to an embodiment of the present invention.
  • the remote control device 200 includes a fingerprint recognition unit 210, a wireless communication unit 220, a user input unit 230, a sensor unit 240, an output unit 250, and a power supply unit 260. ), a storage unit 270, a control unit 280, and a voice acquisition unit 290.
  • the wireless communication unit 220 transmits and receives signals to and from any one of the display devices according to the exemplary embodiments described above.
  • the remote control device 200 includes an RF module 221 capable of transmitting and receiving signals with the display device 100 according to the RF communication standard, and capable of transmitting and receiving signals with the display device 100 according to the IR communication standard.
  • An IR module 223 may be provided.
  • the remote control device 200 may include a Bluetooth module 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 includes an NFC module 227 capable of transmitting and receiving signals with the display device 100 according to the NFC (Near Field Communication) communication standard, and the display according to the WLAN (Wireless LAN) communication standard.
  • a WLAN module 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication unit 220.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and power on/off the display device 100 through the IR module 223 as necessary. Commands for off, channel change, volume change, etc. can be transmitted.
  • the user input unit 230 may be composed of a keypad, a button, a touch pad, or a touch screen. A user may input a command related to the display device 100 to the remote control device 200 by manipulating the user input unit 230.
  • the user input unit 230 includes a hard key button, the user may input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be described with reference to FIG. 3.
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, A channel change button 237, a confirmation button 238, and a back button 239 may be included.
  • the fingerprint recognition button 212 may be a button for recognizing a user's fingerprint. As an example, the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off power of the display apparatus 100.
  • the home button 232 may be a button for moving to the home screen of the display device 100.
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display device 100.
  • the volume control button 235 may be a button for adjusting the volume of the volume output by the display apparatus 100.
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 2
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display device 100 to the remote control device 200 by touching a soft key on the touch screen.
  • the user input unit 230 may include various types of input means that a user can manipulate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.
  • the gyro sensor 241 may sense information on the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 is the moving speed of the remote control device 200 Information about the back can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, so that the distance to the display unit 180 of the display device 100 may be sensed.
  • the output unit 250 may output an image or audio signal corresponding to an operation of the user input unit 230 or a signal transmitted from the display apparatus 100. Through the output unit 250, the user may recognize whether the user input unit 230 is operated or whether the display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 that lights up when the user input unit 230 is operated or a signal is transmitted and received with the display device 100 through the wireless communication unit 220, and a vibration module that generates vibration ( 253), a sound output module 255 for outputting sound, or a display module 257 for outputting an image may be provided.
  • the power supply unit 260 supplies power to the remote control device 200, and when the remote control device 200 has not moved for a predetermined period of time, the power supply is stopped, thereby reducing power waste.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control device 200. If the remote control device 200 wirelessly transmits and receives signals through the display device 100 and the RF module 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the control unit 280 of the remote control device 200 stores information about a frequency band through which signals can be wirelessly transmitted and received with the display device 100 paired with the remote control device 200 in the storage unit 270 and is referred to. can do.
  • the controller 280 controls all matters related to the control of the remote control device 200.
  • the controller 280 transmits a signal corresponding to the operation of a predetermined key by the user input unit 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 through the wireless communication unit 220. 100).
  • the voice acquisition unit 290 of the remote control device 200 may acquire voice.
  • the voice acquisition unit 290 may include at least one microphone 291, and may acquire a voice through the microphone 291.
  • FIG. 4 will be described.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display unit 180.
  • the user can move or rotate the remote control device 200 up and down, left and right.
  • the pointer 205 displayed on the display unit 180 of the display device 100 corresponds to the movement of the remote control device 200.
  • the remote control device 200 since the corresponding pointer 205 is moved and displayed according to movement in the 3D space, the remote control device 200 may be referred to as a space remote controller.
  • FIG. 4B illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display unit 180 of the display device 100 also moves to the left in response thereto.
  • the display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200.
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4C illustrates a case in which a user moves the remote control device 200 away from the display unit 180 while pressing a specific button in the remote control device 200. Accordingly, the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed in and displayed in an enlarged manner.
  • a selection area in the display unit 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.
  • the selection area may be zoomed out, and when the remote control device 200 approaches the display unit 180, the selection area may be zoomed in.
  • a specific button in the remote control device 200 when a specific button in the remote control device 200 is pressed, recognition of vertical and horizontal movement may be excluded. That is, when the remote control device 200 moves away from or approaches the display unit 180, up, down, left, and right movements are not recognized, but only forward and backward movements may be recognized. In a state in which a specific button in the remote control device 200 is not pressed, only the pointer 205 is moved according to the up, down, left, and right movement of the remote control device 200.
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200.
  • a pointer refers to an object displayed on the display unit 180 in response to an operation of the remote control device 200.
  • the pointer 205 can be used to make objects of various shapes other than the arrow shape shown in the drawing.
  • it may be a concept including a point, a cursor, a prompt, and a thick outline.
  • the pointer 205 may be displayed corresponding to any one of the horizontal axis and the vertical axis on the display unit 180 as well as corresponding to a plurality of points such as a line and a surface. Do.
  • FIG. 5 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • the display unit 180 may display an image (S11).
  • the image may mean content such as a drama, movie, documentary, home shopping, etc. received and broadcast by the display device 100 through radio waves.
  • the video may include various contents such as a broadcast program broadcast in real time, video on demand (VOD), home shopping, and games.
  • VOD video on demand
  • the controller 170 may determine whether to receive a search command (S13).
  • the search command may be a command for executing a search for an image currently being broadcast.
  • the search command may be a command for executing a search for a video scene at a time when a search command is received among the video being broadcast.
  • the search command may be a command for executing a search for a person, product, place, or music appearing in an image currently being broadcast.
  • the controller 170 may recognize a selection command for a search icon 701 (refer to FIG. 7) displayed on the screen as a search command. In this case, when receiving a command for selecting the search icon 701, the control unit 170 may determine that the search command has been received.
  • FIG. 7 is an exemplary diagram for describing a search icon according to an embodiment of the present invention.
  • the display unit 180 may display any one image 700, and the controller 170 may display a search icon 701 on the image 700.
  • the controller 170 may display the search icon 701 when the image 700 being displayed is an image capable of providing a search function.
  • control unit 170 When the control unit 170 receives a selection command for the search icon 701, it may determine that the search command has been received.
  • the controller 170 may set a button for receiving a search command as at least one button provided in the remote control device 200.
  • the control unit 170 may recognize a command for selecting a button set in the remote control device 200 as a search command. Accordingly, when receiving a command for selecting at least one preset button from the remote control device 200, the controller 170 may determine that the search command has been received.
  • the user may select the search icon 701 on the screen or select a setting button of the remote control device 200.
  • control unit 170 is not limited to the above-described embodiment, and may determine whether to receive a search command in various ways.
  • the controller 170 may acquire image scene information at a time point at which the search command is received (S15).
  • control unit 170 may obtain image scene information at a time point at which the search command is received.
  • the controller 170 may acquire the image scene information at the time when the search command is received by obtaining the content name and the content playback time.
  • the controller 170 may acquire image scene information using an Electronic Program Guide (EPG).
  • EPG Electronic Program Guide
  • the control unit 170 when receiving a search command, acquires time information and channel information at the time when the search command is received, and acquires the content name and content playback time corresponding to the acquired time information and channel information from the EPG. can do. For example, when the time information at the time of receiving the search command is 2:30 and the channel information is CH 1, the control unit 170 obtains a content name corresponding to 2:30 of CH 1 from EPG, When the start time of the content corresponding to 2:30 of CH 1 is 2 o'clock, the content playback time may be acquired as 00:30:00.
  • the image may be an image received through the broadcast receiving unit 130 or may be an image received through an image processing device such as a set-top box.
  • the controller 170 may obtain image scene information at a time point at which a search command is received through a content provider.
  • control unit 170 may have received the content name and image playback time information together when the image is received, and acquire the current playback time based on the content start time to play the content. You can get a viewpoint.
  • the controller 170 may acquire image scene information through capture.
  • the controller 170 may capture a current screen and transmit the captured screen image to an external server (not shown).
  • the control unit 170 generates a fingerprint through an algorithm such as pHash (Perceptual hashing) and SIFT (Scale invariant feature transform), and externally converts the generated fingerprint as a capture screen image. It can be transmitted to a server (not shown). As described above, when the controller 170 transmits a fingerprint to an external server in the form of a fingerprint, the screen image may be encrypted.
  • pHash Perceptual hashing
  • SIFT Scale invariant feature transform
  • An external server may receive a screen image from the display device 100.
  • the external server may obtain the screen image by decrypting it according to an encryption algorithm.
  • An external server may acquire image scene information including a content name and content playback time through Automatic Contents Recognition (ACR), and transmit the acquired image scene information to the display apparatus 100.
  • ACR Automatic Contents Recognition
  • ACR is an identification technology for automatically recognizing content, and may mean a technology for acquiring image scene information using a video fingerprint.
  • an external server (not shown) may obtain video scene information by comparing a fingerprint of a captured screen image with a fingerprint stored in a database.
  • the controller 170 when the controller 170 captures a screen image and transmits it to an external server (not shown), the controller 170 may further transmit image scene information acquired through an EPG or a content provider. In this case, the image scene information is more accurately transmitted. It can be obtained, and there is an advantage of minimizing the time required for obtaining image scene information.
  • an external server calculates the search target content and the search target playback time (playback time including 5 minutes before and after the content playback time) based on the video scene information received together with the screen image.
  • Video scene information may be obtained by comparing the search target content and the fingerprint according to the search target playback time with the fingerprint according to the screen image.
  • the external server may delete the received image scene information. In this case, there is an advantage of minimizing the time required to acquire image scene information.
  • the controller 170 may obtain information on at least one of a person, a product, music, a related image, and a place included in the acquired image scene information (S17).
  • the controller 170 transmits the acquired video scene information to an external server (not shown), and receives information on at least one of a person, a product, music, a related video, and a place according to the video scene information from the external server (not shown). Can receive.
  • an external server may store scene metadata for each video scene.
  • the scene metadata may include information on at least one of a person, a product, music, a related image, and a place included in each video scene of the content for each content.
  • the external server may acquire scene metadata corresponding to the image scene information and transmit it to the display apparatus 100.
  • the controller 170 may directly obtain information on at least one of a person, a product, music, a related image, and a place according to the acquired image scene information.
  • the controller 170 may display a search result screen including at least one of the acquired person, product, music, related image, and place (S19).
  • the search result screen is a screen displayed in response to a search command and may include information on at least one of a person, a product, music, a related image, and a place included in the video scene at the time when the search command is received.
  • FIGS. 8 to 9 are exemplary diagrams for explaining a method of displaying a search result screen according to various embodiments of the present disclosure.
  • control unit 170 when receiving a search command, the control unit 170 may immediately display a search result screen 802 as shown in FIG. 8.
  • the controller 170 when receiving a search command, displays a search result icon 902 on the image 700 as shown in FIG. 9, and selects the search result icon 902.
  • a search result screen 802 as shown in FIG. 8 may be displayed. That is, according to the second embodiment of the present invention, even when receiving a search command, the controller 170 may not display the search result screen 802 immediately, but may display the search result icon 902.
  • the search result screen when receiving a search command, is not displayed immediately, but only the search result icon to provide the search result screen is displayed, thereby minimizing the user's video viewing interference, and the search result screen only when the user needs it.
  • the controller 170 does not immediately display the search result screen 802 when receiving a search command, and if an advertisement is displayed during the video, the search result screen 802 is displayed while the advertisement is displayed. Can be displayed. In this case, there is an advantage of minimizing the user's video viewing interference.
  • control unit 170 may remove the search result icon 902 when the image when receiving the search command is ended. Specifically, when receiving a search command while the first image is being displayed, the controller 170 displays the search result icon 902 only when the display unit 180 is displaying the first image, and the first image is finished. After the second image is displayed, the search result icon 902 for the first image may not be displayed.
  • control unit 170 may store the search result for the first image in the storage unit 140, and the control unit 170 may store the search result of the search result list (not shown). Upon receiving the selection command, the search result for the first image may be displayed again.
  • search result screen 802 will be described in detail with reference to FIG. 8.
  • the controller 170 may display a search result screen 802 in response to a search command.
  • the search result screen 802 may include an image area 804 and a search information area 810.
  • the image area 804 may be an area for continuously displaying an image that the user is watching.
  • the controller 170 may display an image 700 when a search command is received on the image area 804.
  • the controller 170 may display the image 700 on the image area 804 without changing the size of the image 700 when receiving the search command. In this case, a part of the image 700 may be cut off and not displayed.
  • the controller 170 displays the image 700 on the image area 804 without changing the size of the image 700 when receiving the search command, and displays the search information area 810 semitransparently. can do.
  • a part of the image 700 may be displayed in a translucent manner.
  • the controller 170 may display the size of the image 700 at the time of receiving the search command on the image area 804 in a state that is smaller than or equal to the size of the image area 804. .
  • the image 700 is not cut, there is an advantage that the user can view the entire image 700 and check the search information area 810.
  • the search information area 810 may include at least one of a search target image 820, person information 830, product information 840, music information 850, and place information 860.
  • the search target image 820 may include a video scene that is a search target. The user may check whether the image scene targeted for the search matches the image scene intended by the user through the search target image 820.
  • the controller 170 may further display a change icon 824 and an end icon 825.
  • the controller 170 may display an update icon 824 and an end icon 825 on the search target image 820.
  • the change icon 824 may be an icon for changing the search target image 820.
  • the image scene to be searched displayed on the search target image 820 may be different from the image scene intended by the user, and in this case, the change icon 824 may provide a function for changing the image scene to be searched. have.
  • the controller 170 may change the image scene displayed on the search target image 820 to another scene, and in this case, the other scene is the image scene displayed on the search target image 820 It may be a video scene within 5 seconds before and after.
  • the end icon 825 may be an icon for ending display of the search result screen 802.
  • the controller 170 may terminate the search result screen 802 and display the image 700.
  • the person information 830 may include at least one person icon 830 representing a person in a video scene that is a search target.
  • the person icon 830 may include a first person icon 832, a second person icon 834, a third person icon 836, and a fourth person icon 838.
  • Each of the first person icon 832, the second person icon 834, the third person icon 836 and the fourth person icon 838 may include a person name, and the person name is an actual actor name or an image It may be the name of the genus.
  • the person information 830 is not limited to a person, and may include an animal icon (not shown) representing an animal such as a dog or a cat.
  • the product information 840 may include at least one product icon 841 representing a product in a video scene that is a search target.
  • the product icon 841 may include product name and price information.
  • the product information 840 may include information on products such as clothes, shoes, bags, watches, necklaces, earrings, etc. included in a video scene targeted for search.
  • the music information 850 may include at least one of an album image, an album name, a song title, and an artist name for sound in a video scene targeted for search.
  • the music information 850 is stored as scene metadata, and in this case, information about sound in a video scene may be displayed immediately according to a search command.
  • the controller 170 may play the corresponding music on the music player in the display device 100 or add the music to the playlist in the music player.
  • the controller 170 may transmit the music to the user's mobile phone upon receiving a command for selecting the music information 850.
  • the music information 850 may include a music recognition icon 851, and sound information may be provided by directly recognizing sound in an image scene through the music recognition icon 851. This will be described in detail with reference to FIG. 19.
  • the controller 170 may further display an additional function icon for displaying the music, related music, and related video.
  • the place information 860 may include information about a place in a video scene that is a search target, and may include at least one of an address, a business name, and a map as information about the place.
  • the place information 860 may include the corresponding restaurant information.
  • the location information 860 will be described in detail with reference to FIG. 20.
  • search information area 810 illustrated in FIG. 8 is merely an example for convenience of description, and the controller 170 may display search information in various ways.
  • the search information area 810 may further include related image information and content information.
  • the related image information is information about an image similar to a video scene to be searched, and at least one of an appearance person, an appearance place, an appearance music, and an appearance product may be information about the same image.
  • the content information may be information on an image including an image scene targeted for search.
  • FIG. 5 will be described.
  • the controller 170 may determine whether a command for selecting one person icon has been received (S21), and when receiving a command for selecting one person icon, may display product information related to the selected person icon (S23).
  • the controller 170 may determine whether a command for selecting a person icon 830 has been received on the search result screen 802 as shown in FIG. 8.
  • the controller 170 may display at least one product icon corresponding to the selected person icon on the product information 840.
  • the control unit 170 displays the product icon worn by the first person on the product information 840, and selects the second person icon 834 Upon receiving the command, the product icon worn by the second person is displayed in the product information 840, and when a selection command for the third person icon 836 is received, the product worn by the third person in the product information 840 When an icon is displayed and a selection command for the fourth person icon 838 is received, a product icon worn by the fourth person may be displayed in the product information 840.
  • control unit 170 When the control unit 170 receives or does not receive a command to select a person icon, it may determine whether a command to select a product icon 841 has been received (S33).
  • the controller 170 When the controller 170 receives a selection command for any one product icon 841, the related product icon 950 (refer to FIG. 10), the detailed information icon 920 (refer to FIG. 10), and the shopping cart icon 930 (refer to FIG. 10) ) And at least one of the share icon 940 (refer to FIG. 10) may be displayed (S33).
  • FIG. 6 is a flowchart illustrating a method of providing product information by a display device according to an embodiment of the present invention.
  • FIG. 6 may be a flow chart connected to A and B of FIG. 5.
  • the controller 170 may determine whether a command to select any one of the related product icon 950, the detailed information icon 920, the shopping cart icon 930, and the sharing icon 940 has been received.
  • a related product icon 950 a detailed information icon 920, a shopping cart icon 930, and a sharing icon 940 will be described.
  • FIG. 10 is a diagram illustrating a method of displaying product information when a product icon is selected according to an embodiment of the present invention.
  • the control unit 170 when receiving a selection command for any one product icon 841, the control unit 170, a selected product icon 910, a related product icon 950 for the selected product, and a detailed information icon At least one of the 920, the shopping cart icon 930, and the share icon 940 may be displayed.
  • the selected product icon 910 may be an icon representing a selected product from among at least one product icon 841 displayed on the product information 840.
  • the related product icon 950 may be an icon related to a product corresponding to the selected product icon 910.
  • the related product icon 950 may include a product similar to a product corresponding to the selected product icon 910, a matching product, and a product of the same brand.
  • the control unit 170 may display a related product icon 950 representing a similar product together with the selected product icon 910, and in this case, a similar product may be selected in case the product according to the selected product icon 910 is sold out. There is an advantage that can be guided to the user.
  • the controller 170 may display the plurality of related product icons 950 in order of price, sales volume, or popularity.
  • each of the plurality of related product icons 950 may include product name and product price information.
  • the detailed information icon 920 may be an icon providing detailed information of a product corresponding to the selected product icon 910.
  • the detailed information icon 920 may include a web icon 921 and a mobile icon 923.
  • the web icon 921 may be an icon that provides detailed information of a product corresponding to the selected product icon 910 through an Internet search function of the display device 100.
  • the mobile icon 923 may be an icon that provides detailed information of a product corresponding to the selected product icon 910 to a smartphone.
  • the shopping cart icon 930 may be an icon for adding a product corresponding to the selected product icon 910 to the shopping cart.
  • the share icon 940 may be an icon for sharing product information corresponding to the selected product icon 910 with other users.
  • the controller 170 may determine whether a command for selecting the web icon 921 among the detailed information icons 920 has been received (S101).
  • control unit 170 may display a website related to the product (S103).
  • FIG. 11 is an exemplary diagram illustrating a method of providing detailed information of a product in a display device according to an embodiment of the present invention.
  • the controller 170 may display the web site 922 upon receiving a command for selecting the web icon 921.
  • the website 922 may be a website through which a product corresponding to the selected product icon 910 can be purchased.
  • the controller 170 may access the URL to an address of a website where a product corresponding to the selected product icon 910 can be purchased and display the website 922.
  • the controller 170 may determine whether a command for selecting the mobile icon 923 among the detailed information icons 920 has been received (S105).
  • the controller 170 may transmit the address of a website related to the product to the mobile (S107).
  • 12 to 15 are exemplary diagrams illustrating a method of providing detailed information of a product according to an exemplary embodiment of the present invention through a mobile device.
  • the controller 170 may display a transmission method selection icon 924 when receiving a command for selecting a mobile icon 923.
  • the transmission method selection icon 924 may include a wireless transmission icon 925 and a number transmission icon 927.
  • the wireless transmission icon 925 may be an icon for providing a website address to a mobile device using Bluetooth Low Energy (BLE).
  • BLE Bluetooth Low Energy
  • the controller 170 may transmit the website address to at least one mobile (see 1 (refer to FIG. 13)) within a set distance.
  • the mobile 1 may be a smartphone, and when the mobile 1 receives a website address from the display device 100, it may display the received website address 2 as shown in FIG. 13(a). .
  • the mobile 1 receives the selection command for the website address 2, as shown in FIG. 13(b), the mobile 1 displays a website 3 where a product corresponding to the selected product icon 910 can be purchased. I can.
  • the mobile 1 may receive a website address from the display device 100 only when the Bluetooth function is turned on.
  • the display device 100 may display a Bluetooth confirmation message 929 as shown in FIG. 14 when there is no mobile 1 in which the Bluetooth function is turned on within a set distance.
  • the Bluetooth confirmation message 929 may include a guide message to confirm whether the BLE function of the mobile is running. In this case, there is an advantage of being able to guide the user to the reason why the website address is not received by mobile and how to solve the problem.
  • the number transmission icon 927 may be an icon for providing a website address to a mobile device through mobile communication technology.
  • the controller 170 may receive a mobile phone number input to the number transmission icon 927 through the number icon 928 displayed on the display unit 180 or a number key provided on the remote control device 200, and the input mobile phone number
  • An external server (not shown) address request signal may be transmitted so as to transmit the website address.
  • the mobile 1 may receive a text message including a website address from an external server (not shown), and in this case, the received website address 2 may be displayed as shown in FIG. 15(a). have.
  • the mobile 1 receives the selection command of the website address 2, as shown in FIG. 15(b), the mobile 1 displays a website 3 where a product corresponding to the selected product icon 910 can be purchased. I can.
  • control unit 170 may directly display the website address for purchasing a product corresponding to the selected product icon 910 on the display unit 180 or transmit it to a mobile device.
  • the controller 170 transmits the website address to the mobile, the user can easily purchase a product through the mobile while watching the video.
  • the controller 170 may determine whether a command for selecting the share icon 940 has been received (S109).
  • the controller 170 may transmit the address of a website related to the product to another user (S111).
  • the controller 170 may transmit the address of a website related to the product to another user through a method of interworking with another application.
  • the controller 170 may determine whether or not a selection command for the shopping cart icon 930 has been received (S113 ).
  • the controller 170 may change the shopping cart icon 930 to a shopping cart addition complete icon 932 (see FIG. 16) (S16).
  • the control unit 170 may determine whether the shopping cart addition complete icon 931 has received a selection command (S117).
  • control unit 170 may display a shopping cart screen 932 (refer to FIG. 17 ), which will be described later, according to whether a command to select a shopping cart confirmation icon (not shown) is received in addition to the shopping cart addition complete icon 931. That is, the display command on the shopping cart screen may include a selection command of the shopping cart addition complete icon 931 or a selection command of a shopping cart confirmation icon (not shown).
  • this is also only exemplary, and thus is not limited thereto.
  • control unit 170 may display a shopping cart screen 932 (refer to FIG. 17) including one image item to be saved (S119).
  • the control unit 170 may determine whether a command for selecting any one image item in the shopping cart screen 932 has been received (S121).
  • the controller 170 does not receive a selection command for the shopping cart icon 930 in step S113, does not receive a selection command for the shopping cart addition complete icon 931 in step S117, or does not receive a selection command for an image item in step S121. Otherwise, it may return to A of FIG. 5.
  • the controller 170 may display a product item added to the shopping cart related to the selected image item (S123).
  • FIG. 16 is an exemplary view showing a shopping cart addition complete icon according to an embodiment of the present invention
  • FIG. 17 is an exemplary view showing a shopping cart screen according to an embodiment of the present invention
  • FIG. 18 is a shopping cart according to an embodiment of the present invention. It is an exemplary diagram showing a method of displaying an added product item.
  • the controller 170 When receiving a selection command of the shopping cart icon 930, the controller 170 adds a product corresponding to the selected product icon 910 to the shopping cart, and when the shopping cart addition is completed, the shopping cart addition complete icon 931 instead of the shopping cart icon 930 Can be displayed.
  • the controller 170 may receive a selection command for the shopping cart addition complete icon 931.
  • the controller 170 may display the shopping cart screen 932 when receiving a selection command for the shopping cart addition complete icon 931.
  • the shopping cart screen 932 may include at least one image item 933, 934, and 935.
  • the controller 170 may display image items 933, 934, and 935 representing an image in which at least one product added to the shopping cart is included among the products included in the image.
  • the control unit 170 may receive a command for selecting any one of the image items 933, 934, and 935, and in this case, the product item 937 representing the product that has been added to the shopping cart in the image according to the selected image item is displayed. I can.
  • the controller 170 displays the product item 937 representing the product that was added to the shopping cart when the first image was played back, and the second Upon receiving a command to select an image item 934 representing an image, a product item 937 representing a product that was added to the shopping cart when the second image was played in the past is displayed, and an instruction to select an image item 935 representing the third image Upon receiving, a product item 937 indicating a product that has been added to the shopping cart when the third video is played may be displayed.
  • the controller 170 may display products added to the shopping cart for each image. That is, the control unit 170 may sort and display products added when the corresponding image is played for each image, and in this case, the user can easily obtain the products added to the shopping cart for each image.
  • the product item 937 may include a detailed information icon 938 and a trash bin icon 939.
  • the detailed information icon 938 may be the same as the detailed information icon 920 of FIG. 10, and detailed descriptions are the same as those described in FIG. 10, and thus will be omitted.
  • the trash can icon 939 may be an icon for deleting the product item 937.
  • FIG. 5 will be described.
  • control unit 170 determines whether or not a selection command for the music recognition icon 851 has been received (S41), and when receiving a selection command for the music recognition icon 851
  • the sound signal may be received (S43), and music information according to the sound signal may be displayed (S45).
  • FIG. 19 is an exemplary diagram illustrating a music recognition icon according to an embodiment of the present invention.
  • the controller 170 may immediately display information on sound as illustrated in FIG. 8.
  • the controller 170 may display a music recognition icon 851 on the music information 850.
  • the information on the sound may not be stored as scene metadata, but is not limited thereto.
  • the controller 170 may transmit a sound recognition control command so that the microphone 291 provided in the remote control device 200 recognizes sound output from an image.
  • the control unit 170 may receive a sound signal from the remote control device 200 and may acquire and display music information such as an album name, an album cover image, a track name, and an artist name corresponding to the received sound signal.
  • the controller 170 may determine whether a command for selecting the place information 860 has been received (S51), and a command for selecting the place information 860 Upon reception, at least one of a map, an address, a business name, and a site related to a place in the video scene may be displayed (S53).
  • 20 is an exemplary diagram illustrating a method of displaying detailed place information according to an embodiment of the present invention.
  • the controller 170 may receive a command for selecting the place information 860, and upon receiving the command for selecting the place information 860, may display detailed place information 861 as illustrated in FIG. 20.
  • the detailed place information 861 may include at least one of map information 863, address information 865, and site 867.
  • the detailed location information 861 may further include a business name, a user review, and the like.
  • the site 867 is a site for a corresponding place, and may include a user review site for the corresponding place.
  • control unit 170 briefly provides the place information 860 through the search result screen 802, and at the same time, when receiving a selection command for the place information 860, it is possible to provide detailed information on the corresponding place. have.
  • the control unit 170 may further display an enlargement bar 1001 when displaying the shopping cart screen 932 or detailed place information 861.
  • the enlargement bar 1001 may be an icon for displaying the search information area 810.
  • the controller 170 may display the search information area 810 instead of the shopping cart screen 932 or detailed place information 861.
  • control unit 170 has the advantage of being able to provide detailed information on a product or place added to the shopping cart to the user without disturbing the user's viewing of the video.
  • the above-described method can be implemented as code that can be read by a processor in a medium on which a program is recorded.
  • Examples of media readable by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the display device described above is not limited to the configuration and method of the above-described embodiments, but the embodiments are configured by selectively combining all or part of each of the embodiments so that various modifications can be made. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 영상에 등장하는 제품, 인물, 장소 또는 음악 등을 검색하는 기능을 제공하는 디스플레이 장치 및 그의 동작 방법을 제공하기 위한 것으로, 디스플레이 장치는 영상을 표시하는 디스플레이부, 검색 명령을 수신하는 사용자 입력 인터페이스부, 검색 명령을 수신한 시점의 영상 장면 정보를 획득하는 제어부 및 영상 장면 정보에 기초하여 검색 명령을 수신한 시점의 영상 장면에 포함된 제품에 대한 정보를 수신하는 네트워크 인터페이스부를 포함하고, 디스플레이부는 제품을 나타내는 제품 아이콘을 포함하는 검색 결과 화면을 표시할 수 있다.

Description

디스플레이 장치 및 그의 동작 방법
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 컨텐츠를 시청시 검색 기능을 제공하는 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
한편, 사용자는 영상을 시청하는 도중에 영상에 등장하는 제품, 인물, 장소 또는 음악 등을 검색하고 싶을 수 있고, 사용자는 디스플레이 장치 내 인터넷 어플리케이션을 이용하거나, 사용자의 PC, 스마트폰 등을 통해 검색할 수 있다.
그러나, 이 경우 사용자가 검색하는 동안 시청 중이던 영상을 제대로 시청하지 못하거나, 영상에 등장한 것과 동일한 것을 찾기 어려운 문제가 있다. 따라서, 사용자는 영상을 시청하는 도중에 영상 속 제품, 인물, 장소 또는 음악 등을 보다 정확하고, 쉽게 검색할 수 있는 기능을 필요로 할 수 있다.
본 발명은 영상에 등장하는 제품, 인물, 장소 또는 음악 등을 검색하는 기능을 제공하는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
본 발명의 실시 예에 따른 디스플레이 장치는 영상을 표시하는 디스플레이부, 검색 명령을 수신하는 사용자 입력 인터페이스부, 검색 명령을 수신한 시점의 영상 장면 정보를 획득하는 제어부 및 영상 장면 정보에 기초하여 검색 명령을 수신한 시점의 영상 장면에 포함된 제품에 대한 정보를 수신하는 네트워크 인터페이스부를 포함하고, 디스플레이부는 제품을 나타내는 제품 아이콘을 포함하는 검색 결과 화면을 표시할 수 있다.
제어부는 영상 장면에 포함된 인물에 대한 정보를 더 수신하고, 제품 아이콘을 인물별로 표시할 수 있다.
제어부는 인물에 대한 정보에 기초하여 영상 장면에 등장하는 인물 각각을 나타내는 인물 아이콘을 표시하고, 인물 아이콘의 선택 명령을 수신하면 선택된 인물과 관련된 제품 아이콘을 표시할 수 있다.
제어부는 제품 아이콘의 선택 명령을 수신하면 선택된 제품과 유사한 제품을 나타내는 관련 제품 아이콘을 표시할 수 있다.
제어부는 제품 아이콘의 선택 명령을 수신하면 선택된 제품을 구매하는 웹사이트로 접속하기 위한 웹 아이콘을 표시할 수 있다.
제어부는 제품 아이콘의 선택 명령을 수신하면 선택된 제품을 구매하는 웹사이트 주소를 모바일로 전송하기 위한 모바일 아이콘을 표시하고, 모바일 아이콘의 선택 명령을 수신하면 웹사이트 주소를 모바일로 전송할 수 있다.
제어부는 BLE(Bluetooth low energy)를 통해 디스플레이 장치로부터 설정 거리 이내에 위치한 모바일로 웹사이트 주소를 전송할 수 있다.
제어부는 휴대폰 번호의 입력을 수신하고, 입력된 휴대폰 번호로 웹사이트 주소를 전송할 수 있다.
제어부는 제품 아이콘의 선택 명령을 수신하면 선택된 제품을 장바구니 추가하기 위한 장바구니 아이콘을 표시할 수 있다.
제어부는 장바구니 화면의 표시 명령을 수신하면 장바구니 추가된 제품을 영상별로 표시할 수 있다.
제어부는 영상 장면에 포함된 음악에 대한 정보를 더 수신하고, 검색 결과 화면 상에 음악에 대한 정보를 표시할 수 있다.
제어부는 검색 결과 화면 상에 음악 인식 아이콘을 표시하고, 음악 인식 아이콘의 선택 명령을 수신하면 원격 제어 장치에 구비된 마이크를 통해 사운드를 인식한 후 음악 정보를 표시할 수 있다.
제어부는 영상 장면에 포함된 장소에 대한 정보를 더 수신하고, 검색 화면 상에 장소에 대한 정보를 표시할 수 있다.
장소에 대한 정보는 영상 장면에 포함된 장소에 대한 지도 정보, 주소 정보, 상호명 및 사이트 중 적어도 하나를 포함할 수 있다.
검색 결과 화면은 영상을 포함하는 영상 영역과, 제품 아이콘을 포함하는 검색 정보 영역을 포함할 수 있다.
본 발명의 실시 예에 따르면, 영상에 등장하는 제품에 대한 정보를 보다 정확하며, 용이하게 사용자에게 제공할 수 있는 이점이 있다.
또한, 영상에 등장하는 인물 별로 제품 아이콘을 표시함으로써 사용자가 관심 있는 인물 선택을 통해 제품에 대한 정보를 보다 용이하게 획득 가능한 이점이 있다.
또한, 영상에 등장하는 제품과 유사한 제품을 표시함으로써, 사용자의 관심 제품과 관련된 제품을 안내 가능하며, 사용자의 관심 제품이 품절되는 경우 등에 대비하여 다른 제품을 안내 가능한 이점이 있다.
또한, 디스플레이 장치 내 인터넷 또는 모바일 등을 이용하여 영상에 등장한 제품을 구매하는 웹사이트로 용이하게 접속 가능한 이점이 있다.
또한, 장바구니 추가한 제품을 영상 별로 표시함으로써, 사용자가 예전에 장바구니 추가했던 제품을 찾을 때 영상에 기초하여 용이하게 찾을 수 있는 이점이 있다.
또한, 영상 장면에 포함된 음악에 대한 정보를 표시하거나, 마이크를 통해 사운드를 인식함으로써, 사용자가 시청 중인 영상에서 흘러나오는 음악에 대한 정보를 사용자에게 안내 가능한 이점이 있다.
또한, 영상 장면에 포함된 장소에 대한 정보를 보다 정확하고, 용이하게 사용자에게 제공 가능한 이점이 있다.
또한, 사용자가 시청 중이던 영상과, 검색 명령을 수신한 시점의 영상 장면에 대한 검색 정보를 함께 표시할 수 있고, 이 경우 사용자는 영상을 시청하면서 영상 속 인물, 제품, 음악, 관련 영상, 장소 등에 대한 정보를 용이하게 획득 가능한 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가 제품 정보를 제공하는 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시 예에 따른 검색 아이콘을 설명하기 위한 예시 도면이다.
도 8 내지 도 9는 본 발명의 다양한 실시 예에 따른 검색 결과 화면을 표시하는 방법을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 실시 예에 따른 제품 아이콘이 선택된 경우 제품 정보의 표시 방법을 나타내는 도면이다.
도 11은 본 발명의 실시 예에 따른 제품의 상세 정보를 디스플레이 장치에서 제공하는 방법을 나타내는 예시 도면이다.
도 12 내지 도 15는 본 발명의 실시 예에 따른 제품의 상세 정보를 모바일로 제공하는 방법을 나타내는 예시 도면이다.
도 16은 본 발명의 실시 예에 따른 장바구니 추가 완료 아이콘을 나타내는 예시 도면이다.
도 17은 본 발명의 실시 예에 따른 장바구니 화면을 나타내는 예시 도면이다.
도 18은 본 발명의 실시 예에 따른 장바구니에 추가된 제품 항목을 표시하는 방법을 나타내는 예시 도면이다.
도 19는 본 발명의 실시 예에 따른 음악 인식 아이콘을 나타내는 예시 도면이다.
도 20은 본 발명의 실시 예에 따른 장소 상세 정보의 표시 방법을 나타내는 예시 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 무선 통신부(173), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스부(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신부(173)는 블루투스(Bluetooth™), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된(authenticated) 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일 실시 예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2를 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(230)가 조작되거나 무선 통신부(220)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 나타내는 순서도이다.
디스플레이부(180)는 영상(video)을 표시할 수 있다(S11).
여기서, 영상은 전파를 통해 디스플레이 장치(100)에 수신되어 방송되는 드라마, 영화, 다큐멘터리, 홈쇼핑 등과 같은 컨텐츠를 의미할 수 있다. 예를 들어, 영상은 실시간으로 방송되는 방송 프로그램, VOD(video on demand), 홈쇼핑, 게임(game) 등과 같은 다양한 컨텐츠를 포함할 수 있다.
제어부(170)는 검색 명령의 수신 여부를 판단할 수 있다(S13).
여기서, 검색 명령은 현재 방송 중인 영상에 대한 검색을 실행시키는 명령일 수 있다.
검색 명령은 방송 중인 영상 중 검색 명령을 수신한 시점에서의 영상 장면에 대한 검색을 실행시키는 명령일 수 있다.
검색 명령은 현재 방송 중인 영상에 등장한 인물, 제품, 장소 또는 뮤직 등에 대한 검색을 실행시키는 명령일 수 있다.
일 실시 예에 따르면, 제어부(170)는 화면에 표시된 검색 아이콘(701, 도 7 참고)의 선택 명령을 검색 명령으로 인식할 수 있다. 이 경우, 제어부(170)는 검색 아이콘(701)의 선택 명령을 수신한 경우, 검색 명령을 수신한 것으로 판단할 수 있다.
다음으로, 도 7을 참조하여 본 발명의 실시 예에 따른 검색 아이콘을 통한 검색 명령의 수신 방법을 설명한다.
도 7은 본 발명의 실시 예에 따른 검색 아이콘을 설명하기 위한 예시 도면이다.
도 7에 도시된 바와 같이, 디스플레이부(180)는 어느 하나의 영상(700)을 표시할 수 있고, 제어부(170)는 영상(700)에 검색 아이콘(701)을 표시할 수 있다.
제어부(170)는 표시 중인 영상(700)이 검색 기능을 제공 가능한 영상인 경우에 검색 아이콘(701)을 표시할 수 있다.
제어부(170)는 검색 아이콘(701)의 선택 명령을 수신하면 검색 명령을 수신한 것으로 판단할 수 있다.
다른 실시 예에 따르면, 제어부(170)는 검색 명령을 수신하기 위한 버튼을 원격제어장치(200)에 구비된 적어도 하나의 버튼으로 설정할 수 있다. 이 경우, 제어부(170)는 원격제어장치(200)에서 설정된 버튼을 선택하는 명령을 검색 명령으로 인식할 수 있다. 따라서, 제어부(170)는 원격제어장치(200)로부터 기 설정된 적어도 하나의 버튼을 선택하는 명령을 수신한 경우, 검색 명령을 수신한 것으로 판단할 수 있다.
사용자는 영상을 시청하던 도중 영상에 대한 검색을 실행하고 싶은 경우 화면의 검색 아이콘(701)을 선택하거나, 원격제어장치(200)의 설정 버튼을 선택할 수 있다.
한편, 제어부(170)는 앞에서 설명한 실시 예에 제한되지 않으며, 다양한 방법으로 검색 명령의 수신 여부를 판단할 수 있다.
제어부(170)는 검색 명령을 수신한 시점의 영상 장면 정보를 획득할 수 있다(S15).
제어부(170)는 검색 명령을 수신한 경우, 검색 명령을 수신한 시점의 영상 장면 정보를 획득할 수 있다.
제어부(170)는 컨텐츠명, 컨텐츠 재생 시점을 획득함으로써 검색 명령을 수신한 시점의 영상 장면 정보를 획득할 수 있다.
제1 실시 예에 따르면, 제어부(170)는 EPG(Electronic Program Guide)를 이용하여 영상 장면 정보를 획득할 수 있다.
구체적으로, 제어부(170)는 검색 명령을 수신한 경우, 검색 명령을 수신한 시점의 시간 정보, 채널 정보를 획득하고, 획득된 시간 정보 및 채널 정보에 대응하는 컨텐츠명과 컨텐츠 재생 시점을 EPG에서 획득할 수 있다. 예를 들어, 제어부(170)는 검색 명령을 수신한 시점의 시간 정보가 2시 30분이고, 채널 정보가 CH 1인 경우, EPG에서 CH 1의 2시 30분에 해당하는 컨텐츠명을 획득하고, CH 1의 2시 30분에 해당하는 컨텐츠의 시작 시점이 2시인 경우 컨텐츠 재생 시점을 00:30:00으로 획득할 수 있다.
이 경우, 영상은 방송 수신부(130)를 통해 수신한 영상이거나, 셋탑 박스 등과 같은 영상 처리 장치를 통해 수신되는 영상일 수 있다.
제2 실시 예에 따르면, 제어부(170)는 컨텐츠 제공자(contents provider)를 통해 검색 명령을 수신한 시점의 영상 장면 정보를 획득할 수 있다.
구체적으로, 제어부(170)는 영상이 컨텐츠 제공자를 통해 수신되는 영상인 경우, 영상 수신시 컨텐츠명과 영상 재생 시간 정보를 함께 수신하였을 수 있고, 컨텐츠 시작 시점을 기준으로 현재 재생 시간을 획득하여 컨텐츠 재생 시점을 획득할 수 있다.
제3 실시 예에 따르면, 제어부(170)는 캡처를 통해 영상 장면 정보를 획득할 수 있다.
구체적으로, 제어부(170)는 검색 명령을 수신한 경우, 현재 화면을 캡처하고, 캡처한 화면 이미지를 외부 서버(미도시)로 전송할 수 있다.
실시 예에 따라, 제어부(170)는 화면 이미지를 pHash(Perceptual hashing), SIFT(Scale invariant feature transform) 등과 같은 알고리즘을 통해 핑거프린트(fingerprint)를 생성하고, 생성된 핑거프린트를 캡처 화면 이미지로 외부 서버(미도시)에 전송할 수 있다. 이와 같이, 제어부(170)가 핑거프린트 형태로 외부 서버에 전송할 경우, 화면 이미지를 암호화할 수 있다.
외부 서버(미도시)는 디스플레이 장치(100)로부터 화면 이미지를 수신할 수 있다. 외부 서버(미도시)는 화면 이미지가 암호화되어 있는 경우 암호화 알고리즘에 따라 복호화함으로써 화면 이미지를 획득할 수 있다.
외부 서버(미도시)는 ACR(Automatic Contents Recognition)을 통해 컨텐츠명, 컨텐츠 재생 시점을 포함하는 영상 장면 정보를 획득하고, 획득한 영상 장면 정보를 디스플레이 장치(100)로 전송할 수 있다.
ACR은 컨텐츠를 자동으로 인식하는 식별 기술로, 비디오 핑거프린트(video fingerprint)를 이용하여 영상 장면 정보를 획득하는 기술을 의미할 수 있다. 예를 들어, 외부 서버(미도시)는 캡처한 화면 이미지의 핑거프린트를 데이터베이스에 저장된 핑거프린트와 비교하여 영상 장면 정보를 획득할 수 있다.
한편, 실시 예에 따라 제어부(170)는 화면 이미지를 캡처하여 외부 서버(미도시)에 전송할 때 EPG 또는 컨텐츠 제공자를 통해 획득한 영상 장면 정보를 더 전송할 수 있고, 이 경우 영상 장면 정보를 보다 정확하게 획득할 수 있으며, 영상 장면 정보 획득에 소요되는 시간을 최소화할 수 있는 이점이 있다.
예를 들어, 외부 서버(미도시)는 화면 이미지와 함께 수신된 영상 장면 정보에 기초하여 검색 대상 컨텐츠와 검색 대상 재생 시간(컨텐츠 재생 시점을 기준으로 전후 5분을 포함하는 재생 시간)을 산출하고, 검색 대상 컨텐츠와 검색 대상 재생 시간에 따른 핑거프린트를 화면 이미지에 따른 핑거프린트와 비교하여 영상 장면 정보를 획득할 수 있다. 외부 서버(미도시)는 획득한 영상 장면 정보가 수신된 영상 장면 정보와 상이할 경우에는, 수신된 영상 장면 정보를 삭제할 수 있다. 이 경우 영상 장면 정보 획득에 소요되는 시간을 최소화할 수 있는 이점이 있다.
제어부(170)는 획득된 영상 장면 정보에 포함된 인물, 제품, 음악, 관련 영상 및 장소 중 적어도 하나에 대한 정보를 획득할 수 있다(S17).
제어부(170)는 획득된 영상 장면 정보를 외부 서버(미도시)에 전송하고, 외부 서버(미도시)로부터 영상 장면 정보에 따른 인물, 제품, 음악, 관련 영상 및 장소 중 적어도 하나에 대한 정보를 수신할 수 있다.
구체적으로, 외부 서버(미도시)는 영상 장면에 각각에 대한 장면 메타데이터(metadata)를 저장하고 있을 수 있다. 장면 메타데이터는 컨텐츠별로 컨텐츠의 영상 장면 각각에 포함된 인물, 제품, 음악, 관련 영상 및 장소 중 적어도 하나에 대한 정보를 포함할 수 있다. 외부 서버(미도시)는 영상 장면 정보를 수신하면, 영상 장면 정보에 대응하는 장면 메타데이터를 획득하여 디스플레이 장치(100)에 전송할 수 있다.
한편, 제어부(170)는 획득된 영상 장면 정보에 따른 인물, 제품, 음악, 관련 영상 및 장소 중 적어도 하나에 대한 정보를 직접 획득할 수도 있다.
제어부(170)는 획득된 인물, 제품, 음악, 관련 영상, 장소 중 적어도 하나를 포함하는 검색 결과 화면을 표시할 수 있다(S19).
검색 결과 화면은 검색 명령에 응답하여 표시되는 화면으로, 검색 명령을 수신한 시점에서의 영상 장면에 포함된 인물, 제품, 음악, 관련 영상, 장소 중 적어도 하나에 대한 정보를 포함할 수 있다.
도 8 내지 도 9는 본 발명의 다양한 실시 예에 따른 검색 결과 화면을 표시하는 방법을 설명하기 위한 예시 도면이다.
본 발명의 제1 실시 예에 따르면, 제어부(170)는 검색 명령을 수신시 도 8에 도시된 바와 같은 검색 결과 화면(802)을 바로 표시할 수 있다.
이 경우, 사용자가 검색 요청한 영상 장면에 대한 검색 결과를 즉시 제공하므로, 검색 결과를 보다 신속하게 제공 가능한 이점이 있다.
본 발명의 제2 실시 예에 따르면, 제어부(170)는 검색 명령을 수신시 도 9에 도시된 바와 같이 영상(700)에 검색 결과 아이콘(902)을 표시하고, 검색 결과 아이콘(902)의 선택 명령을 수신할 경우 도 8에 도시된 바와 같은 검색 결과 화면(802)을 표시할 수 있다. 즉, 본 발명의 제2 실시 예에 따르면, 제어부(170)는 검색 명령을 수신하더라도 검색 결과 화면(802)을 바로 표시하지 않고, 검색 결과 아이콘(902)을 표시할 수 있다.
이 경우, 검색 명령을 수신시 검색 결과 화면을 바로 표시하지 않고, 검색 결과 화면을 제공하기 위한 검색 결과 아이콘만을 표시함으로써, 사용자의 영상 시청 방해를 최소화하며, 사용자가 필요로 할 때에만 검색 결과 화면을 제공 가능한 이점이 있다.
본 발명의 제2 실시 예에 따르면, 제어부(170)는 검색 명령을 수신시 검색 결과 화면(802)을 바로 표시하지 않고, 영상 도중 광고가 표시될 경우 광고가 표시되는 동안에 검색 결과 화면(802) 표시할 수 있다. 이 경우, 사용자의 영상 시청 방해를 최소화할 수 있는 이점이 있다.
실시 예에 따라, 제어부(170)는 검색 명령을 수신할 때의 영상이 종료된 경우에는 검색 결과 아이콘(902)을 제거할 수 있다. 구체적으로, 제어부(170)는 제1 영상을 표시 중일 때 검색 명령을 수신하면 디스플레이부(180)가 제1 영상을 표시 중인 경우에만 검색 결과 아이콘(902)을 표시하고, 제1 영상이 종료된 후 제2 영상을 표시하는 경우에는 제1 영상에 대한 검색 결과 아이콘(902)을 표시하지 않을 수 있다.
한편, 제어부(170)는 표시 중이던 검색 결과 아이콘(902)을 제거할 경우 제1 영상에 대한 검색 결과를 저장부(140)에 저장할 수 있고, 제어부(170)는 검색 결과 리스트(미도시)의 선택 명령을 수신시 제1 영상에 대한 검색 결과를 다시 표시할 수 있다.
다음으로, 도 8을 참고하여, 검색 결과 화면(802)에 대해 자세히 설명한다.
제어부(170)는 검색 명령에 응답하는 검색 결과 화면(802)을 표시할 수 있다.
검색 결과 화면(802)은 영상 영역(804)과, 검색 정보 영역(810)을 포함할 수 있다.
영상 영역(804)은 사용자가 시청 중이던 영상을 계속해서 표시하기 위한 영역일 수 있다. 제어부(170)는 영상 영역(804)에 검색 명령을 수신할 때의 영상(700)을 표시할 수 있다.
제1 실시 예에 따르면, 제어부(170)는 검색 명령을 수신할 때의 영상(700)의 크기를 변경하지 않고, 영상 영역(804)에 표시할 수 있다. 이 경우, 영상(700)의 일부가 잘려 표시되지 않을 수 있다.
제2 실시 예에 따르면, 제어부(170)는 검색 명령을 수신할 때의 영상(700)의 크기를 변경하지 않은 상태로 영상 영역(804)에 표시하며, 검색 정보 영역(810)을 반투명하게 표시할 수 있다. 이 경우, 영상(700)의 일부가 반투명하게 표시될 수 있다.
제3 실시 예에 따르면, 제어부(170)는 검색 명령을 수신할 때의 영상(700)의 크기를 영상 영역(804)의 크기 보다 작거나 같게 줄인 상태로 영상 영역(804)에 표시할 수 있다. 이 경우, 영상(700)이 잘리지 않으므로, 사용자는 영상(700) 전체를 모두 시청하며 검색 정보 영역(810)을 확인 가능한 이점이 있다.
검색 정보 영역(810)은 검색 대상 이미지(820)와, 인물 정보(830)와, 제품 정보(840)와, 음악 정보(850)와, 장소 정보(860) 중 적어도 하나를 포함할 수 있다.
검색 대상 이미지(820)는 검색 대상이 된 영상 장면을 포함할 수 있다. 사용자는 검색 대상 이미지(820)를 통해 검색 대상이 된 영상 장면이 사용자가 의도한 영상 장면과 일치하는지 확인할 수 있다.
실시 예에 따라, 제어부(170)는 변경 아이콘(824)과 종료 아이콘(825)을 더 표시할 수 있다. 제어부(170)는 갱신 아이콘(824)과 종료 아이콘(825)을 검색 대상 이미지(820) 상에 표시할 수 있다.
변경 아이콘(824)은 검색 대상 이미지(820)를 변경하기 위한 아이콘일 수 있다. 검색 대상 이미지(820)에 표시된 검색 대상이 된 영상 장면이 사용자가 의도한 영상 장면과 상이할 수 있고, 이 경우 변경 아이콘(824)이 검색 대상이 되는 영상 장면을 변경하기 위한 기능을 제공할 수 있다.
제어부(170)는 변경 아이콘(824)의 선택 명령을 수신하면, 검색 대상 이미지(820)에 표시된 영상 장면을 다른 장면으로 변경할 수 있고, 이 경우 다른 장면은 검색 대상 이미지(820)에 표시된 영상 장면의 전후 5초 내외 영상 장면일 수 있다.
종료 아이콘(825)은 검색 결과 화면(802)의 표시를 종료하기 위한 아이콘일 수 있다. 제어부(170)는 종료 아이콘(825)의 선택 명령을 수신하면, 검색 결과 화면(802)을 종료하고, 영상(700)을 표시할 수 있다.
인물 정보(830)는 검색 대상이 된 영상 장면 속 인물을 나타내는 적어도 하나의 인물 아이콘(830)을 포함할 수 있다. 도 8의 예시에서, 인물 아이콘(830)은 제1 인물 아이콘(832), 제2 인물 아이콘(834), 제3 인물 아이콘(836) 및 제4 인물 아이콘(838)을 포함할 수 있다.
제1 인물 아이콘(832), 제2 인물 아이콘(834), 제3 인물 아이콘(836) 및 제4 인물 아이콘(838) 각각은 인물 이름을 포함할 수 있고, 인물 이름은 실제 배우 이름이거나, 영상 속 배역 이름일 수 있다.
한편, 인물 정보(830)는 사람에 한정되지 않으며, 강아지, 고양이 등과 같은 동물을 나타내는 동물 아이콘(미도시)을 포함할 수도 있다.
제품 정보(840)는 검색 대상이 된 영상 장면 속 제품을 나타내는 적어도 하나의 제품 아이콘(841)을 포함할 수 있다. 제품 아이콘(841)은 제품명과 가격 정보를 포함할 수 있다.
예를 들어, 제품 정보(840)는 검색 대상이 된 영상 장면에 포함된 옷, 신발, 가방, 시계, 목걸이, 귀걸이 등과 같은 제품에 대한 정보를 포함할 수 있다.
음악 정보(850)는 검색 대상이 된 영상 장면 속 사운드에 대한 앨범 이미지, 앨범명, 노래 제목 및 아티스트명 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 음악 정보(850)는 장면 메타데이터로 저장되어 있으며, 이 경우 검색 명령에 따라 영상 장면 속 사운드에 대한 정보를 바로 표시할 수 있다. 이 경우, 제어부(170)는 음악 정보(850)의 선택 명령을 수신하면 해당 음악을 디스플레이 장치(100) 내 음악 플레이어로 재생하거나, 음악 플레이어 내 플레이 리스트에 추가할 수 있다. 실시 예에 따라, 제어부(170)는 음악 정보(850)의 선택 명령을 수신하면 해당 음악을 사용자의 휴대폰으로 전송할 수도 있다.
다른 실시 예에 따르면, 음악 정보(850)는 음악 인식 아이콘(851)을 포함할 수 있고, 음악 인식 아이콘(851)을 통해 영상 장면 속 사운드를 바로 인식하여 사운드 정보를 제공할 수 있다. 이에 대해서는 도 19를 통해 자세히 설명하기로 한다.
한편, 제어부(170)는 음악 정보(850)를 표시할 경우, 해당 음악과 관련 음악, 관련 영상 등을 표시하기 위한 부가 기능 아이콘을 더 표시할 수 있다.
장소 정보(860)는 검색 대상이 된 영상 장면 속 장소에 대한 정보를 포함할 수 있고, 장소에 대한 정보로 주소, 상호명 및 지도 등 중 적어도 하나를 포함할 수 있다. 검색 명령을 수신시 표시 중이던 영상이 맛집 관련 영상인 경우 장소 정보(860)는 해당 음식점 정보를 포함하 수 있다.
장소 정보(860)에 대해서는 도 20을 통해 자세히 설명하기로 한다.
한편, 도 8에 도시된 검색 정보 영역(810)은 설명의 편의를 위해 예시로 든 것에 불과하며, 제어부(170)는 다양한 방식으로 검색 정보를 표시할 수 있다. 또한, 검색 정보 영역(810)은 관련 영상 정보, 컨텐츠 정보 등을 더 포함할 수 있다.
관련 영상 정보는 검색 대상이 된 영상 장면과 유사한 영상에 대한 정보로, 출연 인물, 출연 장소, 출연 음악 및 출연 제품 중 적어도 하나가 동일한 영상에 대한 정보일 수 있다.
컨텐츠 정보는 검색 대상이 된 영상 장면을 포함하는 영상에 대한 정보일 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 어느 하나의 인물 아이콘의 선택 명령을 수신하였는가 판단하고(S21), 어느 하나의 인물 아이콘의 선택 명령을 수신하면 선택된 인물 아이콘과 관련된 제품 정보를 표시할 수 있다(S23).
제어부(170)는 도 8에 도시된 바와 같은 검색 결과 화면(802)에서 인물 아이콘(830)의 선택 명령을 수신하였는가 판단할 수 있다.
제어부(170)는 인물 정보(830)에서 어느 하나의 인물 아이콘을 선택하는 명령을 수신하면, 선택된 인물 아이콘에 대응하는 적어도 하나의 제품 아이콘을 제품 정보(840)에 표시할 수 있다.
예를 들어, 제어부(170)는 제1 인물 아이콘(832)의 선택 명령을 수신하면 제품 정보(840)에 제1 인물이 착용하고 있는 제품 아이콘을 표시하고, 제2 인물 아이콘(834)의 선택 명령을 수신하면 제품 정보(840)에 제2 인물이 착용하고 있는 제품 아이콘을 표시하고, 제3 인물 아이콘(836)의 선택 명령을 수신하면 제품 정보(840)에 제3 인물이 착용하고 있는 제품 아이콘을 표시하고, 제4 인물 아이콘(838)의 선택 명령을 수신하면 제품 정보(840)에 제4 인물이 착용하고 있는 제품 아이콘을 표시할 수 있다.
이 경우, 영상 장면 속 인물들이 착용하고 있는 옷이나 액세서리 등의 제품 정보를 인물 별로 확인 가능한 이점이 있다.
제어부(170)는 어느 하나의 인물 아이콘의 선택 명령을 수신하거나 수신하지 않으면, 어느 하나의 제품 아이콘(841)의 선택 명령을 수신하였는가 판단할 수 있다(S33).
제어부(170)는 어느 하나의 제품 아이콘(841)의 선택 명령을 수신하면, 관련 제품 아이콘(950, 도 10 참고), 상세 정보 아이콘(920, 도 10 참고), 장바구니 아이콘(930, 도 10 참고) 및 공유 아이콘(940, 도 10 참고) 중 적어도 하나를 표시할 수 있다(S33).
다음으로, 도 6을 참조하여, 제어부(170)가 어느 하나의 제품 아이콘(841)의 선택 명령을 수신한 경우 제품 정보의 제공 방법을 설명한다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치가 제품 정보를 제공하는 방법을 나타내는 순서도이다. 또한, 도 6은 도 5의 A, B와 이어지는 순서도일 수 있다.
제어부(170)는 관련 제품 아이콘(950), 상세 정보 아이콘(920), 장바구니 아이콘(930) 및 공유 아이콘(940) 중 어느 하나의 선택 명령을 수신하였는가 판단할 수 있다.
도 10을 참조하여, 관련 제품 아이콘(950), 상세 정보 아이콘(920), 장바구니 아이콘(930) 및 공유 아이콘(940) 각각을 설명한다.
도 10은 본 발명의 실시 예에 따른 제품 아이콘이 선택된 경우 제품 정보의 표시 방법을 나타내는 도면이다.
도 10에 도시된 바와 같이, 제어부(170)는 어느 하나의 제품 아이콘(841)의 선택 명령을 수신하면, 선택 제품 아이콘(910)과, 선택 제품에 대한 관련 제품 아이콘(950), 상세 정보 아이콘(920), 장바구니 아이콘(930) 및 공유 아이콘(940) 중 적어도 하나를 표시할 수 있다
선택 제품 아이콘(910)은 제품 정보(840)에 표시된 적어도 하나의 제품 아이콘(841) 중 선택된 제품을 나타내는 아이콘일 수 있다.
관련 제품 아이콘(950)은 선택 제품 아이콘(910)에 해당하는 제품과 관련된 아이콘일 수 있다. 관련 제품 아이콘(950)은 선택 제품 아이콘(910)에 해당하는 제품과 유사한 제품, 어울리는 제품, 동일 브랜드의 제품 등을 포함할 수 있다.
제어부(170)가 선택 제품 아이콘(910)과 함께 유사한 제품을 나타내는 관련 제품 아이콘(950)을 표시할 수 있고, 이 경우 선택 제품 아이콘(910)에 따른 제품이 품절된 경우를 대비하여 유사한 제품을 사용자에게 안내 가능한 이점이 있다.
제어부(170)는 관련 제품 아이콘(950)을 복수개 표시할 경우, 복수개의 관련 제품 아이콘(950)을 가격순, 판매량순 또는 인기순 등으로 표시할 수 있다.
또한, 복수개의 관련 제품 아이콘(950) 각각은 제품명과 제품 가격 정보를 포함할 수 있다.
상세 정보 아이콘(920)은 선택 제품 아이콘(910)에 해당하는 제품의 상세 정보를 제공하는 아이콘일 수 있다. 상세 정보 아이콘(920)은 웹 아이콘(921)과, 모바일 아이콘(923)을 포함할 수 있다.
웹 아이콘(921)은 선택 제품 아이콘(910)에 해당하는 제품의 상세 정보를 디스플레이 장치(100)의 인터넷 검색 기능을 통해 제공하는 아이콘일 수 있다.
모바일 아이콘(923)은 선택 제품 아이콘(910)에 해당하는 제품의 상세 정보를 스마트폰으로 제공하는 아이콘일 수 있다.
장바구니 아이콘(930)은 선택 제품 아이콘(910)에 해당하는 제품을 장바구니에 추가하기 위한 아이콘일 수 있다.
공유 아이콘(940)은 선택 제품 아이콘(910)에 해당하는 제품 정보를 다른 사용자와 공유하기 위한 아이콘일 수 있다.
다시, 도 6을 설명한다.
제어부(170)는 상세 정보 아이콘(920) 중 웹 아이콘(921)의 선택 명령을 수신하였는가 판단할 수 있다(S101).
제어부(170)는 웹 아이콘(921)의 선택 명령을 수신하면, 제품과 관련된 웹사이트를 표시할 수 있다(S103).
도 11은 본 발명의 실시 예에 따른 제품의 상세 정보를 디스플레이 장치에서 제공하는 방법을 나타내는 예시 도면이다.
제어부(170)는 웹 아이콘(921)을 선택하는 명령을 수신함에 따라 웹사이트(922)를 표시할 수 있다. 웹사이트(922)는 선택 제품 아이콘(910)에 해당하는 제품을 구매할 수 있는 웹사이트일 수 있다.
제어부(170)는 웹 아이콘(921)의 선택 명령을 수신하면, 선택 제품 아이콘(910)에 해당하는 제품을 구매 가능하는 웹사이트의 주소로 URL 접속하여 웹사이트(922)를 표시할 수 있다.
다시, 도 6을 설명한다.
제어부(170)는 웹 아이콘(921)의 선택 명령을 수신하지 않으면, 상세 정보 아이콘(920) 중 모바일 아이콘(923)의 선택 명령을 수신하였는가 판단할 수 있다(S105).
제어부(170)는 모바일 아이콘(923)의 선택 명령을 수신하면, 제품과 관련된 웹사이트의 주소를 모바일로 전송할 수 있다(S107).
도 12 내지 도 15는 본 발명의 실시 예에 따른 제품의 상세 정보를 모바일로 제공하는 방법을 나타내는 예시 도면이다.
도 12에 도시된 바와 같이, 제어부(170)는 모바일 아이콘(923)을 선택하는 명령을 수신함에 따라 전송 방법 선택 아이콘(924)을 표시할 수 있다.
전송 방법 선택 아이콘(924)은 무선 전송 아이콘(925)과, 번호 전송 아이콘(927)을 포함할 수 있다.
무선 전송 아이콘(925)은 BLE(Bluetooth Low Energy)를 이용하여 웹사이트 주소를 모바일로 제공하기 위한 아이콘일 수 있다.
제어부(170)는 무선 전송 아이콘(925)이 선택되면, 설정 거리 이내에 존재하는 적어도 하나의 모바일(1, 도 13 참고)로 웹사이트 주소를 전송할 수 있다.
모바일(1)은 스마트폰일 수 있고, 모바일(1)은 디스플레이 장치(100)로부터 웹사이트 주소를 수신하면 도 13(a)에 도시된 바와 같이 수신된 웹사이트 주소(2)를 표시할 수 있다. 모바일(1)은 웹사이트 주소(2)의 선택 명령을 수신하면, 도 13(b)에 도시된 바와 같이 선택 제품 아이콘(910)에 해당하는 제품을 구매할 수 있는 웹사이트(3)를 표시할 수 있다.
한편, 모바일(1)은 블루투스 기능이 온일 때만 디스플레이 장치(100)로부터 웹사이트 주소를 수신할 수 있다.
디스플레이 장치(100)는 설정 거리 이내에 블루투스 기능이 온 상태인 모바일(1)이 존재하지 않는 경우, 도 14에 도시된 바와 같은 블루투스 확인 메시지(929)를 표시할 수 있다. 블루투스 확인 메시지(929)는 모바일의 BLE 기능이 실행 중인지 확인하라는 안내 메시지를 포함할 수 있다. 이 경우, 사용자에게 모바일로 웹사이트 주소가 수신되지 않는 이유와, 문제 해결 방법을 안내 가능한 이점이 있다.
번호 전송 아이콘(927)은 이동 통신 기술을 통해 웹사이트 주소를 모바일로 제공하기 위한 아이콘일 수 있다.
제어부(170)는 디스플레이부(180)에 표시된 번호 아이콘(928) 또는 원격제어장치(200)에 구비된 숫자키를 통해 번호 전송 아이콘(927)에 휴대폰 번호를 입력받을 수 있고, 입력된 휴대폰 번호로 웹사이트 주소를 전송하도록 외부 서버(미도시) 주소 요청 신호를 전송할 수 있다.
모바일(1)은 외부 서버(미도시)로부터 웹사이트 주소를 포함하는 문자 메시지를 수신할 수 있고, 이 경우 도 15(a)에 도시된 바와 같이 수신된 웹사이트 주소(2)를 표시할 수 있다. 모바일(1)은 웹사이트 주소(2)의 선택 명령을 수신하면, 도 15(b)에 도시된 바와 같이 선택 제품 아이콘(910)에 해당하는 제품을 구매할 수 있는 웹사이트(3)를 표시할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 제어부(170)는 선택 제품 아이콘(910)에 해당하는 제품을 구매할 수 있는 웹사이트 주소를 디스플레이부(180)에 직접 표시하거나 모바일로 전송할 수 있다. 제어부(170)가 웹사이트 주소를 모바일로 전송할 경우, 사용자는 영상을 시청하면서 모바일을 통해 제품을 용이하게 구매할 수 있는 이점이 있다.
다시, 도 6을 설명한다.
제어부(170)는 공유 아이콘(940)의 선택 명령을 수신하였는가 판단할 수 있다(S109).
제어부(170)는 공유 아이콘(940)의 선택 명령을 수신한 경우, 제품과 관련된 웹사이트의 주소를 다른 사용자에게 전송할 수 있다(S111).
제어부(170)는 공유 아이콘(940)의 선택 명령을 수신하면, 다른 어플리케이션과 연동하는 방법 등을 통해 다른 사용자에게 제품과 관련된 웹사이트의 주소를 전송할 수 있다.
한편, 제어부(170)는 공유 아이콘(940)의 선택 명령을 수신하지 않으면, 장바구니 아이콘(930)의 선택 명령을 수신하였는가 판단할 수 있다(S113).
제어부(170)는 장바구니 아이콘(930)의 선택 명령을 수신하면, 장바구니 아이콘(930)을 장바구니 추가 완료 아이콘(932, 도 16 참고)으로 변경할 수 있다(S16).
이를 통해, 선택 제품 아이콘(910)에 해당하는 제품이 장바구니에 추가 완료되었는지 사용자에게 안내 가능한 이점이 있다.
제어부(170)는 장바구니 추가 완료 아이콘(931)이 선택 명령을 수신하였는가 판단할 수 있다(S117).
한편, 제어부(170)는 장바구니 추가 완료 아이콘(931) 외에 장바구니 확인 아이콘(미도시)의 선택 명령을 수신하였는지에 따라 후술하는 장바구니 화면(932, 도 17 참고)을 표시할 수도 있다. 즉, 장바구니 화면의 표시 명령은 장바구니 추가 완료 아이콘(931)의 선택 명령 또는 장바구니 확인 아이콘(미도시)의 선택 명령을 포함할 수 있다. 그러나, 이 또한 예시적인 것에 불과하므로 이에 제한되지 않는다.
제어부(170)는 장바구니 추가 완료 아이콘(931)의 선택 명령을 수신하면, 적얻 하나의 영상 항목을 포함하는 장바구니 화면(932, 도 17 참고)을 표시할 수 있다(S119).
제어부(170)는 장바구니 화면(932) 속 어느 하나의 영상 항목을 선택하는 명령을 수신하였는가 판단할 수 있다(S121).
제어부(170)는 단계 S113에서 장바구니 아이콘(930)의 선택 명령을 수신하지 않거나, 단계 S117에서 장바구니 추가 완료 아이콘(931)의 선택 명령을 수신하지 않거나, 단계 S121에서 영상 항목의 선택 명령을 수신하지 않으면, 도 5의 A로 복귀할 수 있다.
제어부(170)는 장바구니 화면(932) 속 어느 하나의 영상 항목을 선택하는 명령을 수신하면, 선택된 영상 항목과 관련된 장바구니 추가된 제품 항목을 표시할 수 있다(S123).
다음으로, 도 16 내지 도 18을 참조하여, 본 발명의 실시 예에 따른 장바구니 아이콘과 관련된 동작 방법을 설명한다.
도 16은 본 발명의 실시 예에 따른 장바구니 추가 완료 아이콘을 나타내는 예시 도면이고, 도 17은 본 발명의 실시 예에 따른 장바구니 화면을 나타내는 예시 도면이고, 도 18은 본 발명의 실시 예에 따른 장바구니에 추가된 제품 항목을 표시하는 방법을 나타내는 예시 도면이다.
제어부(170)는 장바구니 아이콘(930)의 선택 명령을 수신하면 선택 제품 아이콘(910)에 해당하는 제품을 장바구니에 추가하고, 장바구니 추가가 완료되면 장바구니 아이콘(930) 대신 장바구니 추가 완료 아이콘(931)을 표시할 수 있다.
제어부(170)는 장바구니 추가 완료 아이콘(931)의 선택 명령을 수신할 수 있다. 제어부(170)는 장바구니 추가 완료 아이콘(931)의 선택 명령을 수신하면, 장바구니 화면(932)을 표시할 수 있다.
도 17에 도시된 바와 같이, 장바구니 화면(932)은 적어도 하나의 영상 항목(933, 934, 935)을 포함할 수 있다. 제어부(170)는 영상에 포함된 제품 중 장바구니 추가된 제품이 적어도 하나 있는 영상을 나타내는 영상 항목(933, 934, 935)을 표시할 수 있다.
제어부(170)는 영상 항목(933, 934, 935) 중 어느 하나를 선택하는 명령을 수신할 수 있고, 이 경우 선택된 영상 항목에 따른 영상에서 장바구니 추가되었던 제품을 나타내는 제품 항목(937)을 표시할 수 있다.
예를 들어, 제어부(170)는 제1 영상을 나타내는 영상 항목(933)의 선택 명령을 수신하면 과거 제1 영상이 재생될 때 장바구니 추가되었던 제품을 나타내는 제품 항목(937)을 표시하고, 제2 영상을 나타내는 영상 항목(934)의 선택 명령을 수신하면 과거 제2 영상이 재생될 때 장바구니 추가되었던 제품을 나타내는 제품 항목(937)을 표시하고, 제3 영상을 나타내는 영상 항목(935)의 선택 명령을 수신하면 과거 제3 영상이 재생될 때 장바구니 추가되었던 제품을 나타내는 제품 항목(937)을 표시할 수 있다.
이와 같이, 제어부(170)는 장바구니 화면을 표시할 때, 장바구니 추가된 제품을 영상 별로 표시할 수 있다. 즉, 제어부(170)는 영상 별로 해당 영상이 재생될 때 추가되었던 제품들을 정렬하여 표시할 수 있고, 이 경우 사용자는 장바구니 추가했던 제품을 영상별로 용이하게 획득 가능한 이점이 있다.
한편, 제품 항목(937)은 상세 정보 아이콘(938)과, 휴지통 아이콘(939)을 포함할 수 있다. 여기서, 상세 정보 아이콘(938)은 도 10의 상세 정보 아이콘(920)과 동일할 수 있고, 자세한 설명은 도 10에 설명한 바와 동일하므로 생략하기로 한다. 휴지통 아이콘(939)는 제품 항목(937)을 삭제하기 위한 아이콘일 수 있다.
다시, 도 5를 설명한다.
제어부(170)는 제품 아이콘(841)의 선택 명령을 수신하지 않은 경우, 음악 인식 아이콘(851)의 선택 명령을 수신하였는가 판단하고(S41), 음악 인식 아이콘(851)의 선택 명령을 수신하면, 사운드 신호를 수신하고(S43), 사운드 신호에 따른 음악 정보를 표시할 수 있다(S45).
다음으로, 도 19를 참조하여, 본 발명의 실시 예에 따른 음악 인식 아이콘에 대해 설명한다.
도 19는 본 발명의 실시 예에 따른 음악 인식 아이콘을 나타내는 예시 도면이다.
제어부(170)는 검색 결과 화면(802)을 표시할 때 도 8에 도시된 바와 같이 사운드에 대한 정보를 바로 표시할 수 있다.
한편, 제어부(170)는 검색 결과 화면(802)을 표시할 때, 음악 정보(850)에 음악 인식 아이콘(851)을 표시할 수 있다. 이 경우, 사운드에 대한 정보가 장면 메타데이터로 저장되어 있지 않은 경우일 수 있으나, 이에 한정되지 않는다.
제어부(170)은 음악 인식 아이콘(851)이 선택 명령을 수신하면, 원격제어장치(200)에 구비된 마이크(291)가 영상에서 출력되는 사운드를 인식하도록 사운드 인식 제어 명령을 전송할 수 있다.
제어부(170) 원격제어장치(200)로부터 사운드 신호를 수신할 수 있고, 수신된 사운드 신호에 대응하는 앨범명, 앨범 커버 이미지, 트랙명, 아티스트명 등과 같은 음악 정보를 획득하여 표시할 수 있다.
한편, 제어부(170)는 음악 인식 아이콘(851)의 선택 명령을 수신하지 않은 경우, 장소 정보(860)의 선택 명령을 수신하였는가 판단할 수 있고(S51), 장소 정보(860)의 선택 명령을 수신하면 영상 장면 속 장소와 관련된 지도, 주소, 상호, 사이트 중 적어도 하나를 표시할 수 있다(S53).
다음으로, 도 20을 참조하여, 본 발명의 실시 예에 따른 장소 정보(860)의 선택 명령을 수신하는 경우 장소 상세 정보를 표시하는 방법을 설명한다.
도 20은 본 발명의 실시 예에 따른 장소 상세 정보의 표시 방법을 나타내는 예시 도면이다.
제어부(170)는 장소 정보(860)의 선택 명령을 수신할 수 있고, 장소 정보(860)의 선택 명령을 수신하면 도 20에 도시된 바와 같은 장소 상세 정보(861)를 표시할 수 있다.
장소 상세 정보(861)는 지도 정보(863), 주소 정보(865) 및 사이트(867) 중 적어도 하나를 포함할 수 있다. 또한, 장소 상세 정보(861)는 상호명, 사용자 리뷰 등을 더 포함할 수 있다. 사이트(867)는 해당 장소에 대한 사이트로, 해당 장소에 대한 사용자 리뷰 사이트 등을 포함할 수 있다.
이와 같이, 제어부(170)는 검색 결과 화면(802)을 통해 장소 정보(860)를 간략하게 제공하는 동시에, 장소 정보(860)의 선택 명령을 수신하면 해당 장소에 대한 상세 정보를 제공 가능한 이점이 있다.
한편, 도 17, 도 18 및 도 20을 참조하면, 제어부(170)는 장바구니 화면(932) 또는 장소 상세 정보(861) 등을 표시할 때 확대 바(1001)를 더 표시할 수 있다. 확대 바(1001)는 검색 정보 영역(810)을 표시하기 위한 아이콘일 수 있다. 제어부(170)는 확대 바(1001)의 선택 명령을 수신하면 장바구니 화면(932) 또는 장소 상세 정보(861) 대신 검색 정보 영역(810)을 표시할 수 있다.
이를 통해, 제어부(170)는 사용자의 영상 시청을 방해하지 않으면서, 장바구니에 추가된 제품, 장소에 대한 상세 정보 등을 사용자에게 제공 가능한 이점이 있다.
본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 영상을 표시하는 디스플레이부;
    검색 명령을 수신하는 사용자 입력 인터페이스부;
    상기 검색 명령을 수신한 시점의 영상 장면 정보를 획득하는 제어부; 및
    상기 영상 장면 정보에 기초하여 상기 검색 명령을 수신한 시점의 영상 장면에 포함된 제품에 대한 정보를 수신하는 네트워크 인터페이스부를 포함하고,
    상기 디스플레이부는
    상기 제품을 나타내는 제품 아이콘을 포함하는 검색 결과 화면을 표시하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 영상 장면에 포함된 인물에 대한 정보를 더 수신하고, 상기 제품 아이콘을 인물별로 표시하는
    디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 인물에 대한 정보에 기초하여 상기 영상 장면에 등장하는 인물 각각을 나타내는 인물 아이콘을 표시하고,
    상기 인물 아이콘의 선택 명령을 수신하면 선택된 인물과 관련된 제품 아이콘을 표시하는
    디스플레이 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 제품 아이콘의 선택 명령을 수신하면 선택된 제품과 유사한 제품을 나타내는 관련 제품 아이콘을 표시하는
    디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 제품 아이콘의 선택 명령을 수신하면 선택된 제품을 구매하는 웹사이트로 접속하기 위한 웹 아이콘을 표시하는
    디스플레이 장치.
  6. 제1항에 있어서,
    상기 제어부는
    상기 제품 아이콘의 선택 명령을 수신하면 선택된 제품을 구매하는 웹사이트 주소를 모바일로 전송하기 위한 모바일 아이콘을 표시하고,
    상기 모바일 아이콘의 선택 명령을 수신하면 상기 웹사이트 주소를 상기 모바일로 전송하는
    디스플레이 장치.
  7. 제6항에 있어서,
    상기 제어부는
    BLE(Bluetooth low energy)를 통해 상기 디스플레이 장치로부터 설정 거리 이내에 위치한 모바일로 상기 웹사이트 주소를 전송하는
    디스플레이 장치.
  8. 제6항에 있어서,
    상기 제어부는
    휴대폰 번호의 입력을 수신하고, 입력된 휴대폰 번호로 상기 웹사이트 주소를 전송하는
    디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 제품 아이콘의 선택 명령을 수신하면 선택된 제품을 장바구니 추가하기 위한 장바구니 아이콘을 표시하는
    디스플레이 장치.
  10. 제9항에 있어서,
    상기 제어부는
    장바구니 화면의 표시 명령을 수신하면 장바구니 추가된 제품을 영상별로 표시하는
    디스플레이 장치.
  11. 제1항에 있어서,
    상기 제어부는
    상기 영상 장면에 포함된 음악에 대한 정보를 더 수신하고,
    상기 검색 결과 화면 상에 상기 음악에 대한 정보를 표시하는
    디스플레이 장치.
  12. 제1항에 있어서,
    상기 제어부는
    상기 검색 결과 화면 상에 음악 인식 아이콘을 표시하고, 상기 음악 인식 아이콘의 선택 명령을 수신하면 원격 제어 장치에 구비된 마이크를 통해 사운드를 인식한 후 음악 정보를 표시하는
    디스플레이 장치.
  13. 제1항에 있어서,
    상기 제어부는
    상기 영상 장면에 포함된 장소에 대한 정보를 더 수신하고,
    상기 검색 화면 상에 상기 장소에 대한 정보를 표시하는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 장소에 대한 정보는
    상기 영상 장면에 포함된 장소에 대한 지도 정보, 주소 정보, 상호명 및 사이트 중 적어도 하나를 포함하는
    디스플레이 장치.
  15. 제11항에 있어서,
    상기 검색 결과 화면은
    상기 영상을 포함하는 영상 영역과, 상기 제품 아이콘을 포함하는 검색 정보 영역을 포함하는
    디스플레이 장치.
PCT/KR2019/001851 2019-02-14 2019-02-14 디스플레이 장치 및 그의 동작 방법 Ceased WO2020166742A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/001851 WO2020166742A1 (ko) 2019-02-14 2019-02-14 디스플레이 장치 및 그의 동작 방법
US17/429,537 US11924515B2 (en) 2019-02-14 2019-02-14 Display device and operation method therefor
EP19914816.4A EP3926967A4 (en) 2019-02-14 2019-02-14 DISPLAY DEVICE AND RELATED METHOD OF OPERATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/001851 WO2020166742A1 (ko) 2019-02-14 2019-02-14 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020166742A1 true WO2020166742A1 (ko) 2020-08-20

Family

ID=72045301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001851 Ceased WO2020166742A1 (ko) 2019-02-14 2019-02-14 디스플레이 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11924515B2 (ko)
EP (1) EP3926967A4 (ko)
WO (1) WO2020166742A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536136B (zh) * 2021-08-09 2023-04-18 北京字跳网络技术有限公司 一种实现搜索的方法、装置及设备
CN114546565A (zh) * 2022-02-24 2022-05-27 北京字跳网络技术有限公司 信息展示方法、装置、电子设备、存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110167456A1 (en) * 2010-01-07 2011-07-07 Kokenos Danae M Offering Items Identified in a Media Stream
JP2013529325A (ja) * 2010-04-01 2013-07-18 株式会社ソニー・コンピュータエンタテインメント コンテンツを決定し検索するためのメディアフィンガープリント
US20140032361A1 (en) * 2011-06-28 2014-01-30 Gregory David Gudorf Methods and apparatus for identifying products and services in media content
KR20140059417A (ko) * 2012-11-08 2014-05-16 주식회사 엘지유플러스 방송 프로그램에 포함된 오브젝트의 정보 제공 단말 장치 및 단말 장치의 동작 방법
KR20160069194A (ko) * 2014-12-08 2016-06-16 주식회사 프리윌컴퍼니 실시간 영상시청 및 노출상품 구매가 가능한 서비스 저장 장치 및 구매시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052133A1 (en) * 2000-04-12 2001-12-13 Lg Electronics Inc. Apparatus and method for providing and obtaining product information through a broadcast signal
US7194754B2 (en) * 2000-07-25 2007-03-20 Digeo, Inc. Method and system to defer transactions conducted via interactive television
KR100429806B1 (ko) * 2002-01-07 2004-05-03 삼성전자주식회사 디지털 ｔｖ 프로그램에 연관된 부가 정보를 표시하는방법 및그 장치
JP2006031441A (ja) * 2004-07-16 2006-02-02 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US20090317050A1 (en) * 2006-07-14 2009-12-24 Dong Soo Son System for providing the interactive moving picture contents and the method thereof
US20080089551A1 (en) * 2006-10-16 2008-04-17 Ashley Heather Interactive TV data track synchronization system and method
US8744118B2 (en) * 2007-08-03 2014-06-03 At&T Intellectual Property I, L.P. Methods, systems, and products for indexing scenes in digital media
US20090210790A1 (en) * 2008-02-15 2009-08-20 Qgia, Llc Interactive video
US9021554B2 (en) * 2010-06-10 2015-04-28 At&T Mobility Ii Llc Unlimited access to media and applications over wireless infrastructure
US8577399B2 (en) * 2010-06-15 2013-11-05 Cox Communications, Inc. Systems and methods for facilitating a commerce transaction over a distribution network
KR20120028548A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 티비와 이동통신 단말기 사이의 정보 전송을 위한 장치 및 방법
US20120296739A1 (en) * 2011-05-20 2012-11-22 Sukhinder Singh Cassidy System For Selling Products Based On Product Collections Represented In Video
US20130191745A1 (en) * 2012-01-10 2013-07-25 Zane Vella Interface for displaying supplemental dynamic timeline content
US9762967B2 (en) * 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US10015561B2 (en) * 2012-02-06 2018-07-03 Oohly, Llc System and method for real-time marketing using conventional scene / timing metadata-embedded video
CN104160713B (zh) * 2012-03-05 2018-06-05 Lg电子株式会社 视频显示设备及其操作方法
US20140255003A1 (en) * 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film
US9319745B2 (en) * 2013-10-16 2016-04-19 VidRetal, Inc. Media player system for product placements
KR20150069355A (ko) * 2013-12-13 2015-06-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10764645B2 (en) * 2014-01-22 2020-09-01 Sunshine Partners LLC Viewer-interactive enhanced video advertisements
US20150319506A1 (en) * 2014-04-30 2015-11-05 Netflix, Inc. Displaying data associated with a program based on automatic recognition
US9247314B1 (en) * 2014-09-29 2016-01-26 Verizon Patent And Licensing Inc. Cross-platform electronic shopping cart
WO2018094201A1 (en) * 2016-11-17 2018-05-24 Painted Dog, Inc. Machine-based object recognition of video content
US10628501B2 (en) * 2017-06-07 2020-04-21 Centurylink Intellectual Property Llc Scene aware searching
US10977715B2 (en) * 2018-01-30 2021-04-13 Walmart Apollo, Llc Shopping cart with feedback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110167456A1 (en) * 2010-01-07 2011-07-07 Kokenos Danae M Offering Items Identified in a Media Stream
JP2013529325A (ja) * 2010-04-01 2013-07-18 株式会社ソニー・コンピュータエンタテインメント コンテンツを決定し検索するためのメディアフィンガープリント
US20140032361A1 (en) * 2011-06-28 2014-01-30 Gregory David Gudorf Methods and apparatus for identifying products and services in media content
KR20140059417A (ko) * 2012-11-08 2014-05-16 주식회사 엘지유플러스 방송 프로그램에 포함된 오브젝트의 정보 제공 단말 장치 및 단말 장치의 동작 방법
KR20160069194A (ko) * 2014-12-08 2016-06-16 주식회사 프리윌컴퍼니 실시간 영상시청 및 노출상품 구매가 가능한 서비스 저장 장치 및 구매시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3926967A4 *

Also Published As

Publication number Publication date
EP3926967A1 (en) 2021-12-22
EP3926967A4 (en) 2022-09-14
US20220141537A1 (en) 2022-05-05
US11924515B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
WO2016204520A1 (en) Display device and operating method thereof
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2019009453A1 (ko) 디스플레이 장치
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2021010511A1 (ko) 디스플레이 장치
WO2021010518A1 (ko) 디스플레이 장치
WO2021033785A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2020166742A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2021045278A1 (ko) 디스플레이 장치
WO2020262732A1 (ko) 디스플레이 장치
WO2020171245A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023200026A1 (ko) 디스플레이 장치
WO2019164020A1 (ko) 디스플레이 장치
WO2023182542A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2017126774A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020222322A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치
WO2021015307A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2021045243A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2021060570A1 (ko) 가전 기기 및 서버
WO2020235724A1 (ko) 디스플레이 장치
WO2025037655A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2025254240A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019914816

Country of ref document: EP

Effective date: 20210914