WO2015102158A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2015102158A1
WO2015102158A1 PCT/KR2014/002586 KR2014002586W WO2015102158A1 WO 2015102158 A1 WO2015102158 A1 WO 2015102158A1 KR 2014002586 W KR2014002586 W KR 2014002586W WO 2015102158 A1 WO2015102158 A1 WO 2015102158A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
information
broadcast program
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/002586
Other languages
English (en)
French (fr)
Inventor
이재경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to US15/102,460 priority Critical patent/US9883210B2/en
Publication of WO2015102158A1 publication Critical patent/WO2015102158A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43078—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen for seamlessly watching content streams when changing device, e.g. when watching the same programme sequentially on a TV and then on a tablet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth®, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Definitions

  • the present invention relates to a display apparatus and an operation method thereof, and more particularly, to a display apparatus and an operation method thereof for providing information based on a viewing state of a user.
  • Digital TV service can provide a variety of services that could not be provided in the conventional analog broadcasting service.
  • the IPTV (Internet Protocol Television) service which is a type of digital TV service, provides an interactive feature that allows a user to actively select a type of viewing program and a viewing time.
  • the IPTV service may provide various additional services such as internet search, home shopping, online game, etc. based on this bidirectionality.
  • An object of the present invention is to provide a display device and a method of operating the same, which can provide various information to the user even when the user cannot visually view the display device.
  • a method of operating a display apparatus may include playing back a broadcast program, checking a viewing state of a user during playback of the broadcast program, and viewing the viewing state of the user. If it is confirmed that the non-visual viewing state, and providing the information of the display device.
  • a display apparatus includes a tuner for receiving a broadcast signal, a display unit for displaying an image of a broadcast program included in the broadcast signal, an audio output unit for outputting audio, and a user's viewing during reproduction of the broadcast program. If the state is confirmed as a visual viewing state that does not look at the display unit of the display device, the control unit for providing information of the display device.
  • various information may be provided to the user even when the user is in a state where the user cannot visually view the display device.
  • FIG. 1 is a diagram illustrating a display system according to an exemplary embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • FIG. 3 is a block diagram of a remote control apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of operating a display apparatus according to an exemplary embodiment.
  • 5 to 7 are diagrams for describing a method of checking a viewing state of a user according to an exemplary embodiment.
  • FIG. 8 illustrates an operation of a display apparatus according to a viewing state of a user according to an exemplary embodiment.
  • FIG. 9 is a view illustrating an operation of a display apparatus according to a viewing state of a user according to another embodiment of the present invention.
  • 10 to 11 illustrate examples of descriptors for describing a broadcast program included in a broadcast signal according to an embodiment of the present invention.
  • FIG. 12 illustrates an example of outputting event information of a display apparatus as voice according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a display system according to an exemplary embodiment.
  • the display system includes a display apparatus 100, a remote control apparatus 200, and a mobile terminal 300.
  • the display device 100 is, for example, an intelligent device in which a computer support function is added to a broadcast reception function.
  • the display device 100 is faithful to the broadcast reception function and has an additional Internet function. It can be equipped with a convenient interface.
  • it is connected to the Internet and a computer with the support of a wired or wireless Internet function, and can perform functions such as e-mail, web browsing, banking, or gaming. Standardized general-purpose operating systems can be used for these various functions.
  • the display apparatus 100 described in the present invention can be freely added or deleted, for example, on a general-purpose OS kernel, so that various user-friendly functions can be performed. More specifically, the display apparatus 100 may be, for example, a network TV, an HBBTV, a smart TV, an LED TV, an OLED TV, or the like, and may be applicable to a smartphone in some cases.
  • the remote control apparatus 200 may control the operation of the display apparatus 100 by transmitting a control command for controlling the operation of the display apparatus 100. This will be described later in detail.
  • the mobile terminal 300 may transmit / receive information with the display apparatus 100 through short-range wireless communication.
  • FIG. 2 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment of the present invention.
  • the display apparatus 100 includes a broadcast receiver 130, an external device interface 135, a storage 140, a user input interface 150, a controller 170, and a display 180.
  • the audio output unit 185 may include a power supply unit 190.
  • the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface unit 133.
  • the external device interface unit 135 may receive an application or a list of applications in a neighboring external device and transmit the received application to the controller 170 or the storage 140.
  • the network interface unit 133 may provide an interface for connecting the display apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 133 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • some content data stored in the display apparatus 100 may be transmitted to a user selected from another user or another electronic device registered in the display apparatus 100 or a selected electronic apparatus.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through the network, it is possible to send or receive data with the server.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive the update information and the update file of the firmware provided by the network operator, and may transmit data to the Internet or the content provider or the network operator.
  • the network interface unit 133 may select and receive a desired application from among applications that are open to the public through the network.
  • the storage 140 may store a program for processing and controlling each signal in the controller 170, and may store a signal, an image, an audio, or a data signal.
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or a list of applications input from the external device interface unit 135 or the network interface unit 133.
  • the display apparatus 100 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140 to the user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170, or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee, RF (Radio Frequency) communication, or Infrared (IR) communication.
  • the remote controller 200 may receive and process a control signal such as power on / off, channel selection, screen setting, or the like, or transmit a control signal from the controller 170 to the remote controller 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • controller 170 may control overall operations of the display apparatus 100.
  • controller 170 may control the display apparatus 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or a list of applications desired by the user. Can be downloaded to (100).
  • the controller 170 may output the channel information selected by the user together with the processed video or audio signal through the display unit 180 or the audio output unit 185.
  • the controller 170 may output an external device input through the external device interface unit 135, for example, from a camera or a camcorder, according to an external device image playback command received through the user input interface unit 150.
  • the video signal or the audio signal may be output through the display unit 180 or the audio output unit 185.
  • the controller 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface 135.
  • An image, an image input through a network interface unit, or an image stored in the storage 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the controller 170 may control the content stored in the display apparatus 100, the received broadcast content, or the external input content input from the outside to be reproduced.
  • the content may include a broadcast image, an external input image, and an audio file. , Still images, connected web screens, and document files.
  • the display unit 180 converts the image signal, the data signal, the OSD signal processed by the controller 170, or the image signal, data signal, etc. received from the external device interface unit 135 into R, G, B signals, respectively. You can generate a signal.
  • the display device 100 shown in FIG. 2 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display apparatus 100 that is actually implemented.
  • two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • the display apparatus 100 does not include the tuner 131 and the demodulator 132, as shown in FIG. 2, and the network interface unit 133 or the external device interface unit ( 135 may be received and played back.
  • the display apparatus 100 may be divided into an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services, and a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services
  • a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • the operation method of the display apparatus according to the embodiment of the present invention described below is not only the display apparatus 100 as described with reference to FIG. 2, but also an image processing apparatus or a display unit such as the separated set-top box, 180 may be performed by any one of the content reproduction device including the audio output unit 185.
  • Figure 3 is a block diagram of a remote control device according to an embodiment of the present invention
  • Figure 4 shows an actual configuration of the remote control device 200 according to an embodiment of the present invention.
  • the remote control apparatus 200 includes a wireless communication unit 225, a user input unit 235, a sensor unit 240, an output unit 250, a power supply unit 260, and a storage unit 270. It may include a control unit 280.
  • the wireless communication unit 225 transmits and receives a signal with any one of the display apparatuses according to the embodiments of the present invention described above.
  • the remote control apparatus 200 includes an RF module 221 capable of transmitting and receiving a signal with the display apparatus 100 according to the RF communication standard, and capable of transmitting and receiving a signal with the display apparatus 100 according to the IR communication standard.
  • RF module 223 may be provided.
  • the remote control apparatus 200 transmits a signal containing information on the movement of the remote control apparatus 200 to the display apparatus 100 through the RF module 221.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and if necessary, the power supply to the display device 100 via the IR module 223 / Commands regarding off, channel change, volume change, etc. can be sent.
  • the user input unit 235 may be configured as a keypad, a button, a touch pad, or a touch screen. A user may input a command related to the display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 235. When the user input unit 235 includes a hard key button, a user may input a command related to the display apparatus 100 to the remote control apparatus 200 by pushing a hard key button.
  • the user input unit 235 When the user input unit 235 includes a touch screen, a user may input a command related to the display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 235 may include various kinds of input means that the user can operate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote controller 200.
  • the gyro sensor 241 may sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 may move the speed of the remote control device 200. Information about the data can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, it can sense the distance to the display unit 180 of the display device 100.
  • the output unit 250 may output a video or audio signal corresponding to an operation of the user input unit 235 or a signal transmitted from the display apparatus 100.
  • the user may recognize whether the user input unit 235 is manipulated or whether the display apparatus 100 is controlled through the output unit 250.
  • the output unit 250 is an LED module 251 that is turned on when the user input unit 235 is manipulated or a signal is transmitted to or received from the display apparatus 100 through the wireless communication unit 225, and a vibration module generating vibration. 253, a sound output module 255 for outputting sound, or a display module 257 for outputting an image.
  • the power supply unit 260 supplies power to the remote control device 200, and can reduce power waste by stopping the power supply when the remote control device 200 does not move for a predetermined time.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control apparatus 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control apparatus 200. If the remote control apparatus 200 transmits and receives a signal wirelessly through the display apparatus 100 and the RF module 221, the remote control apparatus 200 and the display apparatus 100 transmit and receive signals through a predetermined frequency band. .
  • the controller 280 of the remote controller 200 stores and stores information on a frequency band for transmitting and receiving a signal wirelessly with the display apparatus 100 paired with the remote controller 200 in the storage unit 270. can do.
  • the controller 280 controls various matters related to the control of the remote controller 200.
  • the controller 280 may display a signal corresponding to a predetermined key manipulation of the user input unit 235 or a signal corresponding to a movement of the remote controller 200 sensed by the sensor unit 240 through the wireless communication unit 225. 100).
  • FIG. 4 is a flowchart illustrating a method of operating a display apparatus according to an exemplary embodiment.
  • the controller 170 of the display apparatus 100 plays a broadcast program (S101).
  • the controller 170 may play an image of a broadcast program received through the tuner 131.
  • the controller 170 may output an image of the broadcast program and a voice of the broadcast program to reproduce the broadcast program, and the user may watch the broadcast program through the output of the broadcast program's video and the voice of the broadcast program. .
  • the controller 170 checks whether the user is in a visual viewing state in which the user is visually watching the broadcast program through the display unit 180 of the display apparatus 100 (S103).
  • the viewing state of the user may include a visual viewing state, an microscopic viewing state, and an audiovisual viewing state.
  • the visual viewing state may mean that the user is visually watching the broadcast program through the display unit 180, and the user does not watch the broadcast program through the display unit 180, but only through the voice of the broadcast program.
  • it may be confirmed that the viewer is in a visual viewing state.
  • the visual viewing state may refer to a state in which a user does not watch a broadcast program through the display unit 180 and hears only a voice of the broadcast program.
  • the audiovisual viewing state includes a visual viewing state and a microscopic viewing state, and may mean a state in which a user is simultaneously listening to a broadcast program while watching an image of the broadcast program.
  • the visual viewing state is a state in which the user does not look at the display unit 180 where a broadcast program is being played and is performing other actions. For example, the user closes his eyes or is somewhere other than the display unit 180. It may be a state that is staring at, or moved to another place where the display device 100 is not.
  • the controller 170 may determine whether the user's viewing state is in the visual viewing state or the visual viewing state by using at least one of face recognition technology and eye tracking.
  • the face recognition technique may include any one of a knowledge based method, a feature-based method, a template-matching method, and an appearance-based method.
  • the controller 170 may extract the face region of the user by using one of the above methods, and determine whether the user's viewing state is in the visual viewing state through the extracted face region of the user.
  • the knowledge-based method is a method of detecting a face region on the premise of a certain distance and positional relationship such as eyes, nose, and mouth of a face.
  • the feature-based method is a method of detecting a face region using information on the size, shape, correlation of face elements, color and texture information of a face, or a mixture of these elements.
  • the template matching method is a method of detecting a face region by comparing a input image with a standard template for all faces.
  • the appearance-based method is a method of detecting a face region using a model trained by a training image set.
  • the appearance-based method may include a skin color detection method, and the skin color detection method is a method of simply extracting a candidate area of a face and a hand from a user's image. Therefore, the candidate region can be detected quickly and easily.
  • the skin color method acquires an RGB image of a user, converts the image into a YUV image, detects a skin color using U and V components, and extracts a face region and a hand region of the user from the detected skin color. Way.
  • Eye tracking is a technique of tracking a user's eyes for a certain time, and refers to a technique of observing a user's eyes and performing a corresponding operation.
  • the display apparatus 100 may further include a camera for eye tracking.
  • the controller 170 may determine whether the user's viewing state is a visual viewing state by checking a movement of the user's mobile terminal 300. For example, when the user moves to a place other than where the display apparatus 100 is located and the viewing state of the user is not the visual viewing state, the controller 170 notifies the mobile terminal 300 of not being a visual viewing state. The viewing status information may be received.
  • the controller 170 may include a wireless communication unit (not shown) for performing short-range wireless communication with the mobile terminal 300 of the user.
  • the mobile terminal 300 may also include a wireless communication unit of the display apparatus 100. Information can be transmitted and received via short-range wireless communication.
  • the mobile terminal 300 may include one or more sensors to check the viewing state of the user.
  • the sensor may include at least one of a geomagnetic field sensor, an acceleration sensor, and a hall sensor.
  • the geomagnetic sensor can check the user's movement status by detecting the strength of the magnetic field on three axes.
  • the geomagnetic sensor may detect the movement state of the mobile terminal 300 and transmit the detected movement state of the mobile terminal 300 to the display apparatus 100.
  • the display apparatus 100 changes the viewing state of the user to the visual viewing state. You can judge.
  • the acceleration sensor may detect a moving state of the mobile terminal 300 in three axes, may detect a moving state of the mobile terminal 300, and the hall sensor may move by using a principle in which a voltage changes according to the strength of a magnetic field.
  • the opening and closing state of the cover of the terminal 300 may be detected.
  • the acceleration sensor may detect a movement state of the mobile terminal 300 and transmit the detected movement state of the mobile terminal 300 to the display apparatus 100, and the hall sensor may detect an opening / closing state of the cover of the mobile terminal 300. It may transmit to the display apparatus 100.
  • the display apparatus 100 moves away from the position of the display apparatus 100 by a predetermined distance or more by using the received movement state of the mobile terminal 300 and the opening / closing state of the cover. When the cover is opened, the viewing state of the user may be determined as the visual viewing state.
  • the mobile terminal 300 may be any one of a smart phone, a smart pad, a headset, and an earphone, and may communicate with the display apparatus 100 through short-range wireless communication.
  • the short range wireless communication may be any one of Wi-Fi, Bluetooth and Zigbee.
  • 5 to 7 are diagrams for describing a method of checking a viewing state of a user according to an exemplary embodiment.
  • FIG. 5 illustrates an example in which the controller 170 of the display apparatus 100 determines a viewing state of a user as a visual viewing state.
  • the display apparatus 100 may confirm that the user A is visually watching a broadcast program of the display apparatus 100 using the face recognition and eye tracking technique described above.
  • the viewing state of may be determined as a visual viewing state.
  • the display apparatus 100 uses the face recognition and eye tracking technique described above to indicate that the user A is watching the broadcast program of the display apparatus 100 in an auditory manner.
  • the viewing state of the user may be determined as the visual viewing state. That is, the user A does not watch an image of a broadcast program reproduced by the display apparatus 100, but listens to only the voice of the broadcast program, and views the mobile terminal 300.
  • the display apparatus 100 may determine the viewing state of the user as the visual viewing state.
  • FIG. 7 illustrates an example in which the display apparatus 100 determines the viewing state of the user as the visual viewing state when the user A is in a position where he or she cannot visually watch the broadcast program played on the display apparatus 100. to be.
  • the display apparatus 100 recognizes the face described above. And receiving the moving state of the mobile terminal 300 from the eye tracking technique or the mobile terminal 300 to determine the viewing state of the user as the visual viewing state.
  • step S101 If it is determined that the user's viewing state is a visual viewing state, the controller 170 returns to step S101 to maintain playback of the broadcast program.
  • the controller 170 checks whether the voice of the broadcast program is being transmitted to the mobile terminal 300 linked with the display apparatus 100 (S105). When it is determined that the voice of the broadcast program is being transmitted to the mobile terminal 300 interworking with the display apparatus 100, the controller 170 transmits information of the display apparatus 100 to the mobile terminal 300 ( S107).
  • the controller 170 may transmit information of the display apparatus 100 to the mobile terminal 300 when the voice of the broadcast program being reproduced on the display 180 is transmitted to the mobile terminal 300 of the user.
  • the controller 170 When the voice of the broadcast program being reproduced on the display unit 180 is transmitted to the mobile terminal 300 of the user, the controller 170 outputs the voice of the broadcast program and transmits the information of the display apparatus 100 to the mobile terminal ( 300).
  • the information of the display apparatus 100 may include viewing information of a program currently being broadcast, subtitles, and event information generated by the display apparatus 100. Subtitle information and event information generated in the display apparatus 100 will be described later.
  • the viewing information of the broadcast program includes the remaining time of the currently playing broadcast program, the ending time of the currently playing broadcast program, the name of the currently playing broadcast program, the viewing grade of the currently playing broadcast program, and the currently playing broadcast program. May include one or more of the following:
  • the controller 170 may additionally transmit viewing information of the broadcast program while transmitting the voice of the broadcast program to the mobile terminal 300. That is, when the user's viewing state is not the visual viewing state but the visual viewing state, the user hears the voice of the broadcast program currently being played on the display apparatus 100 through the mobile terminal 300, and receives the viewing information of the broadcast program. I can hear it by voice. As a result, the user may check viewing information about the broadcast program by voice without viewing the currently playing broadcast program, thereby improving understanding of the broadcast program.
  • the controller 170 displays the display unit 180.
  • the power supply may be turned off and the video of the broadcast program being played may be transmitted to the mobile terminal 300.
  • the user may visually watch the voice of the broadcast program through the display apparatus 100 while visually watching the image of the broadcast program through the mobile terminal 300. That is, the user can hear the voice of the broadcast program through the display device 100 while watching the broadcast program through the mobile terminal 300. This will be described with reference to FIG. 8.
  • FIG. 8 illustrates an operation of a display apparatus according to a viewing state of a user according to an exemplary embodiment.
  • the display apparatus 100 when the viewing state of the user is a visual viewing state (when the user is determined not to see the display unit), the display apparatus 100 turns off the display unit 180 to turn off the broadcast program.
  • the audio of the broadcast program can be output without displaying an image.
  • the display apparatus 100 may simultaneously transmit an image of a broadcast program to the mobile terminal 300. In this case, the user can hear the voice of the broadcast program, and can view the image of the broadcast program through the mobile terminal 300, so that the user can easily watch the broadcast program.
  • the controller 170 outputs information of the display apparatus as voice (S109).
  • the controller 170 outputs the information of the display apparatus 100 through the audio output unit 185 when the voice of the broadcast program being played by the display unit 180 is not transmitted to the user's mobile terminal 300. can do.
  • the controller 170 may output information of the display apparatus 100 through the audio output unit 185 while outputting a voice of a broadcast program currently being played.
  • the controller 170 When the audio of the broadcast program is not transmitted to the mobile terminal 300 linked with the display apparatus 100 and the user's viewing state is the visual viewing state, the controller 170 does not play the video of the broadcasting program.
  • the information of the display apparatus 100 may be output through the audio output unit 185. That is, when the voice of the broadcast program is being transmitted to the mobile terminal 300 interworking with the display apparatus 100, and the user's viewing state is a visual viewing state, the display unit 180 is turned off to display the display apparatus ( Only information of 100) can be output by voice. This will be described with reference to FIG. 9.
  • FIG. 9 is a view illustrating an operation of a display apparatus according to a viewing state of a user according to another embodiment of the present invention.
  • the display apparatus 100 turns off the display unit 180 to turn off the broadcast program. Only the information of the display apparatus 100 may be output without displaying an image.
  • the visual viewing state may also include a situation in which the user is not looking at the mobile terminal 300.
  • the user may listen to the information of the display apparatus 100 by voice, and thus may easily utilize the information, and the display apparatus 100 may be prevented from wasting power by turning off the power of the display unit 180. Can be.
  • the display apparatus 100 may adjust the volume of the output voice according to the distance between the user and the display apparatus 100. For example, when the viewing state of the user is the visual viewing state, if it is determined that the distance between the user and the display apparatus 100 is far, the display apparatus 100 may increase the volume of the output voice, When the distance between the display apparatuses 100 is determined to be close, the volume of the output voice may be reduced.
  • the display apparatus 100 may further include a distance sensor (not shown) to measure a distance between the user and the display apparatus 100. The display apparatus 100 may measure the distance between the user and the display apparatus 100 using any one of a triangulation method and a time of flight (TOF) method through a distance sensor.
  • TOF time of flight
  • the information of the display apparatus 100 may include viewing information of a currently broadcast program, subtitle information, and event information generated by the display apparatus 100.
  • the viewing information of a broadcast program is one of the remaining time of the currently playing broadcast program, the ending time of the currently playing broadcast program, the name of the currently playing broadcast program, the viewing grade of the currently playing broadcast program, and the commentary of the currently playing broadcast program. It may contain the above.
  • the display apparatus 100 may check this and output a commentary of the broadcasting program in the viewing information of the broadcasting program as a voice.
  • the tuner 131 of the display apparatus 100 may receive a broadcast signal including a description of a broadcast program. This will be described with reference to FIGS. 10 to 11.
  • 10 to 11 illustrate examples of descriptors for describing a broadcast program included in a broadcast signal according to an embodiment of the present invention.
  • FIG. 10 is a language descriptor of the MPEG system IS13818 standard
  • FIG. 9 shows a component descriptor of the DVB-SI standard.
  • Each descriptor may be included in a broadcast signal and transmitted through the tuner 131.
  • the display apparatus 100 may output a description of the broadcast program as a voice based on a descriptor included in the received broadcast signal. This allows the visually impaired user to easily understand the contents of the broadcast program even if the user cannot visually watch the broadcast program.
  • the caption information may be a caption associated with a broadcast program currently being played. That is, when the broadcast program is a foreign broadcast program, it may be a subtitle translated into Korean, and the display apparatus 100 may convert the subtitle of the corresponding broadcast program into audio when the user's viewing state is a visual viewing state. Can be.
  • the subtitle information may be a subtitle not related to the broadcast program currently being played. That is, it may be a subtitle for an advertisement not related to the currently playing broadcast program, a subtitle for breaking news, and the like. Even in this case, when the user's viewing state is the visual viewing state, the display apparatus 100 may convert subtitles not related to the corresponding broadcast program into voice and output them.
  • the display apparatus 100 may output subtitles by converting them into speech using a text-to-speech technique.
  • the event information generated by the display apparatus 100 may include reservation recording start notification information and channel change notification information according to reservation viewing.
  • the display apparatus 100 may convert event information into voice and output the voice.
  • FIG. 12 illustrates an example of outputting event information of a display apparatus as voice according to an embodiment of the present invention.
  • the display apparatus 100 may play a video of the current broadcasting program, and there is one minute of reserved viewing time of the broadcasting program 1. Do you want to switch to the corresponding channel?>, While displaying a notification, the notification can be converted to voice and output.
  • the above-described method may be implemented as code that can be read by a processor in a medium in which a program is recorded.
  • processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the display device described above may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be configured by selectively combining all or some of the embodiments so that various modifications may be made. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 방송 프로그램을 재생하는 단계와 상기 방송 프로그램의 재생 중 사용자의 시청 상태를 확인하는 단계 및 확인된 사용자의 시청 상태가 상기 디스플레이 장치의 디스플레이부를 보고 있지 않는 미시각적 시청 상태로 확인된 경우, 상기 디스플레이 장치의 정보를 제공하는 단계를 포함한다.

Description

디스플레이 장치 및 그의 동작 방법
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 사용자의 시청 상태에 기초하여 정보를 제공하기 위한 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television) 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV 서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
그러나, 종래에는 사용자가 TV를 시각적으로 시청할 수 없는 상태에 있는 경우, 재생 중인 방송 프로그램에 대한 정보나, 자막 정보 및 디스플레이 장치에서 발생된 이벤트 정보를 제공하는데 한계가 있었다.
본 발명은 사용자가 디스플레이 장치를 시각적으로 시청할 수 없는 상태에 있는 경우에도 사용자에게 다양한 정보를 제공할 수 있는 디스플레이 장치 및 그 동작 방법의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 방송 프로그램을 재생하는 단계와 상기 방송 프로그램의 재생 중 사용자의 시청 상태를 확인하는 단계 및 확인된 사용자의 시청 상태가 상기 디스플레이 장치의 디스플레이부를 보고 있지 않는 미시각적 시청 상태로 확인된 경우, 상기 디스플레이 장치의 정보를 제공하는 단계를 포함한다.
본 발명의 실시 예에 따른 디스플레이 장치는 방송 신호를 수신하는 튜너와 상기 방송 신호에 포함된 방송 프로그램의 영상을 표시하는 디스플레이부와 음성을 출력하는 오디오 출력부 및 상기 방송 프로그램의 재생 중 사용자의 시청 상태가 상기 디스플레이 장치의 디스플레이부를 보고 있지 않는 미시각적 시청 상태로 확인된 경우, 상기 디스플레이 장치의 정보를 제공하는 제어부를 포함한다.
본 발명의 다양한 실시 예에 따르면, 사용자가 디스플레이 장치를 시각적으로 시청할 수 없는 상태에 있는 경우에도 사용자에게 다양한 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 2은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 4은 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따라 사용자의 시청 상태를 확인하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따라 사용자의 시청 상태에 따른 디스플레이 장치의 동작을 보여준다.
도 9는 본 발명의 또 다른 실시 예에 따라 사용자의 시청 상태에 따른 디스플레이 장치의 동작을 보여준다.
도 10 내지 도 11은 본 발명의 일 실시 예에 따라 방송 신호에 포함된 방송 프로그램의 해설을 나타내는 디스크립터의 예를 보여준다.
도 12는 본 발명의 일 실시 예에 따라 디스플레이 장치의 이벤트 정보를 음성으로 출력하는 실시 예를 보여준다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
본 발명의 실시 예에 따른 디스플레이 시스템은 디스플레이 장치(100), 원격 제어 장치(200) 및 이동 단말기(300)를 포함한다.
디스플레이 장치(100)는 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행 가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치(100)는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 디스플레이 장치(100)는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트 폰에도 적용 가능하다.
원격 제어 장치(200)는 디스플레이 장치(100)의 동작을 제어하기 위한 제어 명령을 전송하여 디스플레이 장치(100)의 동작을 제어할 수 있다. 이에 대한 설명은 자세히 후술한다.
이동 단말기(300)는 디스플레이 장치(100)와 근거리 무선 통신을 통해 정보를 송수신할 수 있다.
도 2은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다. 한편, 방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 2에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 2에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 2을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 3 내지 도 4을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 4은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 3를 참조하면, 원격제어장치(200)는 무선통신부(225), 사용자 입력부(235), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280)를 포함할 수 있다.
도 3을 참조하면, 무선통신부(225)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(221)을 통하여 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(235)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(235)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(235)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다
사용자 입력부(235)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(235)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
다음으로, 도 4를 참조하여, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 동작 방법을 설명한다.
도 4은 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.
디스플레이 장치(100)의 제어부(170)는 방송 프로그램을 재생한다(S101). 일 실시 예에서 제어부(170)는 튜너(131)를 통해 수신된 방송 프로그램의 영상을 재생할 수 있다. 제어부(170)는 방송 프로그램을 재생하기 위해 방송 프로그램의 영상 및 해당 방송 프로그램에 대한 음성을 출력할 수 있고, 사용자는 출력된 방송 프로그램의 영상 및 방송 프로그램의 음성을 통해 해당 방송 프로그램을 시청할 수 있다.
제어부(170)는 사용자가 디스플레이 장치(100)의 디스플레이부(180)를 통해방송 프로그램을 시각적으로 보고 있는 상태인 시각적 시청 상태에 있는지를 확인한다(S103).
일 실시 예에서 사용자의 시청 상태는 시각적 시청 상태, 미시각적 시청 상태 및 시청각적 시청 상태를 포함할 수 있다.
시각적 시청 상태는 사용자가 디스플레이부(180)를 통해 방송 프로그램을 시각적으로 시청하고 있는 상태임을 의미할 수 있고, 사용자가 디스플레이부(180)를 통해 방송 프로그램을 보고 있지 않고, 방송 프로그램의 음성을 통해서만 방송 프로그램을 시청하는 경우, 미시각적 시청 상태에 있는 것으로 확인할 수 있다.
미시각적 시청 상태는 사용자가 디스플레이부(180)를 통해 방송 프로그램을 보고 있지 않고, 방송 프로그램의 음성만을 듣고 있는 상태를 의미할 수 있다.
시청각적 시청 상태는 시각적 시청 상태 및 미시각적 시청 상태를 포함하는 것으로, 사용자가 방송 프로그램의 영상을 보면서 동시에 방송 프로그램의 음성을 듣고 있는 상태를 의미할 수 있다.
미시각적 시청 상태는 사용자가 방송 프로그램이 재생되고 있는 디스플레이부(180)를 보지 않고, 다른 행위를 하고 있는 상태로, 예를 들어, 사용자가 눈을 감고 있거나, 디스플레이부(180)가 아닌 다른 곳을 응시하고 있거나, 디스플레이 장치(100)가 있지 않는 다른 곳으로 이동한 상태 등 일 수 있다.
제어부(170)는 얼굴 인식 기술, 아이 트랙킹(eye tracking) 중 적어도 하나를 이용하여 사용자의 시청 상태가 시각적 시청 상태에 있는지 미시각적 시청 상태에 있는지를 확인할 수 있다.
얼굴 인식 기법은 지식 기반 방법(Knowledge based method), 특징 기반 방법(Feature-based method), 템플릿 매칭 방법 (Template-matching method), 외형 기반 방법(Appearance-based method) 중 어느 하나의 방법을 포함할 수 있고, 제어부(170)는 위 방법 중 하나를 이용하여 사용자의 얼굴 영역을 추출할 수 있고, 추출된 사용자의 얼굴 영역을 통해 사용자의 시청 상태가 시각적 시청 상태에 있는지를 확인할 수 있다.
지식 기반 방법은 얼굴의 눈, 코, 입 등의 일정한 거리와 위치 관계를 전제로 얼굴 영역을 검출하는 방법이다.
특징 기반 방법은 얼굴 요소들의 크기, 모양, 상호 연관성, 얼굴의 색상과 질감 정보, 또는 이러한 요소들의 혼합된 형태의 정보를 이용해 얼굴 영역을 검출하는 방법이다.
템플릿 매칭 방법은 모든 얼굴에 대한 표준 템플릿을 만든 후, 입력 영상과 비교해 얼굴 영역을 검출하는 방법이다.
외형 기반 방법은 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴 영역을 검출하는 방법이다. 외형 기반 방법은 스킨 컬러 검출 방법을 포함할 수 있고, 스킨 컬러 검출 방법은 사용자의 영상에서 얼굴과 손의 후보 영역을 간단하게 추출할 수 있는 방법으로, 조명과 카메라의 영상을 많이 받아 정확하지는 않지만, 쉽고 빠르게 해당 후보 영역을 검출할 수 있는 방법이다. 구체적으로, 스킨 컬러 방법은 사용자의 RGB 영상을 획득하여, YUV 영상으로 변환한 다음, U 성분과 V 성분을 이용하여 피부색을 검출하고, 검출된 피부색을 통해 사용자의 얼굴 영역 및 손 영역을 추출하는 방법이다.
아이 트래킹은 사용자의 눈을 일정 시간 동안 추적하는 기술로, 사용자의 눈동자의 움직임을 관찰하여 그에 대응하는 동작이 수행되는 기술을 의미한다.
디스플레이 장치(100)는 아이 트래킹을 위해 카메라를 더 구비할 수 있다.
또한, 제어부(170)는 사용자의 이동 단말기(300)에 대한 움직임을 확인하여 사용자의 시청 상태가 시각적 시청 상태인지를 확인할 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)가 위치한 곳 이외의 장소로 이동하여 사용자의 시청 상태가 시각적 시청 상태가 아닌 경우, 제어부(170)는 이동 단말기(300)로부터 시각적 시청 상태가 아님을 알리는 시청 상태 정보를 수신할 수 있다.
이를 위해, 제어부(170)는 사용자의 이동 단말기(300)와 근거리 무선 통신을 수행하기 위한 무선 통신부(미도시)를 포함할 수 있고, 이동 단말기(300) 또한, 디스플레이 장치(100)의 무선 통신부와 근거리 무선 통신을 통해 정보를 송수신할 수 있다.
또한, 이동 단말기(300)는 사용자의 시청 상태를 확인하기 위해 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서는 지자계 센서, 가속도 센서, 홀 센서 중 적어도 하나 이상을 포함할 수 있다.
지자계 센서는 자기장의 세기를 3축으로 감지하여 사용자의 이동 상태를 확인할 수 있다. 지자계 센서는 이동 단말기(300)의 이동 상태를 감지하여 감지된 이동 단말기(300)의 이동 상태를 디스플레이 장치(100)에 전송할 수 있다. 디스플레이 장치(100)는 수신한 이동 단말기(300)의 이동 상태를 이용하여 이동 단말기(300)가 디스플레이 장치(100)의 위치로부터 일정 거리 이상만큼 벗어난 경우, 사용자의 시청 상태를 미시각적 시청 상태로 판단할 수 있다.
가속도 센서는 이동 단말기(300)의 이동 상태를 3축으로 감지할 수 있고, 이동 단말기(300)의 이동 상태를 감지할 수 있고, 홀 센서는 자기장의 세기에 따라 전압이 변하는 원리를 이용하여 이동 단말기(300)의 커버의 개폐 상태를 감지할 수 있다.
가속도 센서는 이동 단말기(300)의 이동 상태를 감지하여 감지된 이동 단말기(300)의 이동 상태를 디스플레이 장치(100)에 전송할 수 있고, 홀 센서는 이동 단말기(300) 커버의 개폐 상태를 감지하여 디스플레이 장치(100)에 전송할 수 있다. 디스플레이 장치(100)는 수신한 이동 단말기(300)의 이동 상태 및 커버의 개폐 상태를 이용하여 이동 단말기(300)가 디스플레이 장치(100)의 위치로부터 일정 거리 이상만큼 벗어나며, 이동 단말기(300)의 커버가 열린 경우, 사용자의 시청 상태를 미시각적 시청 상태로 판단할 수 있다.
이동 단말기(300)는 스마트폰, 스마트 패드, 헤드셋, 이어폰 중 어느 하나일 수 있고, 디스플레이 장치(100)와 근거리 무선 통신을 통해 통신할 수 있다.
근거리 무선 통신은 와이파이(wifi), 블루투스(Bluetooth), 지그비 중 어느 하나의 방식이 사용될 수 있다.
사용자의 시청 상태를 확인하는 과정의 설명을 도 5 내지 도 7을 참조하여 설명한다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따라 사용자의 시청 상태를 확인하는 방법을 설명하기 위한 도면이다.
먼저, 도 5는 디스플레이 장치(100)의 제어부(170)가 사용자의 시청 상태를 시각적 시청 상태로 판단하는 예이다.
도 5에 도시된 바와 같이, 디스플레이 장치(100)는 위에서 설명한 얼굴 인식 및 아이 트랙킹 기법을 이용하여 사용자(A)가 디스플레이 장치(100)의 방송 프로그램을 시각적으로 시청하고 있음을 확인할 수 있고, 사용자의 시청 상태를 시각적 시청 상태로 판단할 수 있다.
다음으로, 도 6을 참조하면, 디스플레이 장치(100)는 위에서 설명한 얼굴 인식 및 아이 트랙킹 기법을 이용하여 사용자(A)가 디스플레이 장치(100)의 방송 프로그램을 시각적이 아닌 청각적으로 시청하고 있음을 확인할 수 있고, 사용자의 시청 상태를 미시각적 시청 상태로 판단할 수 있다. 즉, 사용자(A)는 디스플레이 장치(100)가 재생하는 방송 프로그램의 영상을 보고 있지 않고, 방송 프로그램의 음성만을 듣고 있으며, 이동 단말기(300)를 보고 있다. 이 경우, 디스플레이 장치(100)는 사용자의 시청 상태를 미시각적 시청 상태로 판단할 수 있다.
다음으로 도 7은 사용자(A)가 디스플레이 장치(100)에서 재생되는 방송 프로그램을 시각적으로 시청할 수 없는 위치에 있는 경우, 디스플레이 장치(100)가 사용자의 시청 상태를 미시각적 시청 상태로 판단하는 예이다.
도 7을 참조하면, 사용자(A)가 안방(B)에서 디스플레이 장치(100)에서 재생 중 인 방송 프로그램을 시청하다가 작은 방(C)으로 이동한 경우, 디스플레이 장치(100)는 위에서 설명한 얼굴 인식 및 아이 트랙킹 기법 또는 이동 단말기(300)로부터 이동 단말기(300)의 이동 상태를 수신하여 사용자의 시청 상태를 미시각적 시청 상태로 판단할 수 있다.
다시 도 4을 설명한다.
제어부(170)는 사용자의 시청 상태가 시각적 시청 상태인 것으로 확인된 경우, 단계 S101로 돌아가 방송 프로그램의 재생을 유지한다.
반면, 사용자의 시청 상태가 시각적 시청 상태가 아닌 것으로 확인된 경우, 제어부(170)는 디스플레이 장치(100)와 연동된 이동 단말기(300)에 방송 프로그램의 음성을 전송하고 있는지를 확인하고(S105), 디스플레이 장치(100)와 연동된 이동 단말기(300)에 방송 프로그램의 음성을 전송하고 있는 것으로 확인된 경우, 제어부(170)는 디스플레이 장치(100)의 정보를 이동 단말기(300)에 전송한다(S107).
제어부(170)는 디스플레이부(180)에서 재생되고 있는 방송 프로그램의 음성을 사용자의 이동 단말기(300)에 전송하고 있는 경우, 디스플레이 장치(100)의 정보를 이동 단말기(300)에 전송할 수 있다.
제어부(170)는 디스플레이부(180)에서 재생되고 있는 방송 프로그램의 음성을 사용자의 이동 단말기(300)에 전송하고 있는 경우, 방송 프로그램의 음성을 출력하면서 디스플레이 장치(100)의 정보를 이동 단말기(300)에 전송할 수 있다.
디스플레이 장치(100)의 정보는 현재 방송 중인 프로그램의 시청 정보, 자막 및 디스플레이 장치(100)에서 발생한 이벤트 정보를 포함할 수 있다. 자막 정보 및 디스플레이 장치(100)에서 발생한 이벤트 정보는 후술한다.
일 실시 예에서 방송 프로그램의 시청 정보는 현재 재생 중인 방송 프로그램의 남은 시간, 현재 재생 중인 방송 프로그램의 종료 시간, 현재 재생 중인 방송 프로그램의 명칭, 현재 재생 중인 방송 프로그램의 시청 등급, 현재 재생 중인 방송 프로그램의 해설 중 하나 이상을 포함할 수 있다.
일 실시 예에서 제어부(170)는 방송 프로그램의 음성을 이동 단말기(300)에 전송하면서 추가적으로 방송 프로그램의 시청 정보를 전송할 수 있다. 즉, 사용자의 시청 상태가 시각적 시청 상태가 아닌 미시각적 시청 상태 있는 경우, 사용자는 이동 단말기(300)를 통해 디스플레이 장치(100)에서 현재 재생 중인 방송 프로그램의 음성을 들으면서, 방송 프로그램의 시청 정보를 음성으로 들을 수 있다. 이를 통해 사용자는 현재 재생 중인 방송 프로그램을 보고 있지 않으면서도 방송 프로그램에 대한 시청 정보를 음성으로 확인할 수 있어 방송 프로그램에 대한 이해도가 향상될 수 있다.
또 다른 실시 예에서 디스플레이 장치(100)와 연동된 이동 단말기(300)에 방송 프로그램의 음성을 전송하고 있고, 사용자의 시청 상태가 미시각적 시청 상태인 경우, 제어부(170)는 디스플레이부(180)의 전원을 오프시키고, 재생 중인 방송 프로그램의 영상을 이동 단말기(300)에 전송할 수 있다. 사용자는 방송 프로그램의 영상을 이동 단말기(300)를 통해 시각적으로 시청하면서 방송 프로그램의 음성을 디스플레이 장치(100)를 통해 청각적으로 시청할 수 있다. 즉, 사용자는 이동 단말기(300)를 통해 방송 프로그램을 보면서 디스플레이 장치(100)를 통해 방송 프로그램의 음성을 들을 수 있게 된다. 이에 대해서는 도 8을 참조하여 설명한다.
도 8은 본 발명의 일 실시 예에 따라 사용자의 시청 상태에 따른 디스플레이 장치의 동작을 보여준다.
도 8을 참조하면, 디스플레이 장치(100)는 사용자의 시청 상태가 미시각적 시청 상태인 경우(사용자가 디스플레이부를 보고 있지 않는 것으로 확인된 경우), 디스플레이부(180)의 전원을 오프시켜 방송 프로그램의 영상을 표시하지 않고, 방송 프로그램의 음성을 출력할 수 있다. 또한, 동시에 디스플레이 장치(100)는 방송 프로그램의 영상을 이동 단말기(300)에 전송할 수 있다. 이 경우, 사용자는 방송 프로그램의 음성을 들을 수 있고, 이동 단말기(300)를 통해 방송 프로그램의 영상을 볼 수 있어, 손쉽게 방송 프로그램을 시청할 수 있다.
다시 도 4를 설명한다.
한편, 디스플레이 장치(100)와 연동된 이동 단말기(300)에 방송 프로그램의 음성을 전송하고 있지 않는 경우, 제어부(170)는 디스플레이 장치의 정보를 음성으로 출력한다(S109).
제어부(170)는 디스플레이부(180)에서 재생되고 있는 방송 프로그램의 음성을 사용자의 이동 단말기(300)에 전송하고 있지 않은 경우, 디스플레이 장치(100)의 정보를 오디오 출력부(185)를 통해 출력할 수 있다.
제어부(170)는 현재 재생 중인 방송 프로그램의 음성을 출력하면서 디스플레이 장치(100)의 정보를 오디오 출력부(185)를 통해 출력할 수 있다.
디스플레이 장치(100)와 연동된 이동 단말기(300)에 방송 프로그램의 음성을 전송하고 있지 않고, 사용자의 시청 상태가 미시각적 시청 상태인 경우, 제어부(170)는 방송 프로그램의 영상을 재생하지 않으면서, 디스플레이 장치(100)의 정보를 오디오 출력부(185)를 통해 출력할 수 있다. 즉, 디스플레이 장치(100)와 연동된 이동 단말기(300)에 방송 프로그램의 음성을 전송하고 있고, 사용자의 시청 상태가 미시각적 시청 상태인 경우, 디스플레이부(180)의 전원을 오프시켜 디스플레이 장치(100)의 정보만을 음성으로 출력할 수 있다. 이에 대해서는 도 9를 참조하여 설명한다.
도 9는 본 발명의 또 다른 실시 예에 따라 사용자의 시청 상태에 따른 디스플레이 장치의 동작을 보여준다.
도 9를 참조하면, 디스플레이 장치(100)는 사용자의 시청 상태가 미시각적 시청 상태인 경우(사용자가 디스플레이부를 보고 있지 않는 것으로 확인된 경우), 디스플레이부(180)의 전원을 오프시켜 방송 프로그램의 영상을 표시하지 않고, 디스플레이 장치(100)의 정보만을 출력할 수 있다. 이 경우, 미시각적 시청 상태는 사용자는 이동 단말기(300)를 보고 있지 않은 상황도 포함될 수 있다.
이 경우, 사용자는 디스플레이 장치(100)의 정보를 음성으로 들을 수 있어 손쉽게 정보의 활용이 가능하고, 디스플레이 장치(100)는 디스플레이부(180)의 전원을 오프시켜 전력이 낭비되는 상황이 방지될 수 있다.
또한, 사용자의 시청 상태가 미시각적 시청 상태인 경우, 디스플레이 장치(100)는 사용자와 디스플레이 장치(100)간의 떨어진 거리에 따라 출력하는 음성의 크기를 조절할 수 있다. 예를 들어, 사용자의 시청 상태가 미시각적 시청 상태인 경우, 사용자와 디스플레이 장치(100) 간의 거리가 멀어지는 것으로 판단되면, 디스플레이 장치(100)는 출력하는 음성의 크기를 크게 할 수 있고, 사용자와 디스플레이 장치(100) 간의 거리가 가까워지는 것으로 판단되면, 출력하는 음성의 크기를 작게 할 수 있다. 사용자와 디스플레이 장치(100)간의 떨어진 거리를 측정하기 위해 디스플레이 장치(100)는 거리 센서(미도시)를 더 포함할 수 있다. 디스플레이 장치(100)는 거리 센서를 통해 삼각측량 방식 또는 TOF(Time Of Flight) 방식 중 어느 하나의 방식을 이용하여 사용자와 디스플레이 장치(100) 간의 거리를 측정할 수 있다.
다시 도 4를 설명한다.
디스플레이 장치(100)의 정보는 현재 방송 중인 프로그램의 시청 정보, 자막 정보 및 디스플레이 장치(100)에서 발생한 이벤트 정보를 포함할 수 있다.
방송 프로그램의 시청 정보는 현재 재생 중인 방송 프로그램의 남은 시간, 현재 재생 중인 방송 프로그램의 종료 시간, 현재 재생 중인 방송 프로그램의 명칭, 현재 재생 중인 방송 프로그램의 시청 등급, 현재 재생 중인 방송 프로그램의 해설 중 하나 이상을 포함할 수 있다.
특히, 사용자가 시각 장애인과 같이, 근본적으로 시청 상태가 미시각적 시청 상태인 경우, 디스플레이 장치(100)는 이를 확인하여 방송 프로그램의 시청 정보 중 방송 프로그램의 해설을 음성으로 출력할 수 있다. 이를 위해 디스플레이 장치(100)의 튜너(131)는 방송 프로그램의 해설을 포함하는 방송 신호를 수신할 수 있다. 이에 대해서는 도 10 내지 도 11을 참조하여 설명한다.
도 10 내지 도 11은 본 발명의 일 실시 예에 따라 방송 신호에 포함된 방송 프로그램의 해설을 나타내는 디스크립터의 예를 보여준다.
도 10은 MPEG system IS13818 표준의 language 디스크립터이고, 도 9는 DVB-SI 표준의 컴포넌트 디스크립터를 나타낸다.
각 디스크립터는 방송 신호에 포함되어 튜너(131)를 통해 전송될 수 있다.
도 10을 참조하면, 속성 값이 0x03인 경우, 시각 장애인을 위한 방송 프로그램의 해설이 포함되어 있음을 나타내며, 도 11을 참조하면, 속성 값이 0x02, 0x40인 경우, 시각 장애인을 위한 방송 프로그램의 음성 설명이 포함되어 있음을 나타낸다.
디스플레이 장치(100)는 사용자의 시청 상태가 미시각적 시청 상태에 있는 경우, 수신한 방송 신호에 포함된 디스크립터에 기초하여 방송 프로그램의 해설을 음성으로 출력할 수 있다. 이를 통해 시각 장애인 사용자는 방송 프로그램을 시각적으로 시청할 수 없더라도 방송 프로그램의 내용을 쉽게 이해할 수 있는 장점이 있다.
다시 도 4를 설명한다.
자막 정보는 현재 재생 중인 방송 프로그램과 관련한 자막일 수 있다. 즉, 방송 프로그램이 외국 방송 프로그램인 경우, 한글로 번역된 자막일 수 있고, 디스플레이 장치(100)는 사용자의 시청 상태가 미시각적 시청 상태인 경우, 해당 방송 프로그램의 자막을 음성으로 변환하여 출력할 수 있다.
자막 정보는 현재 재생 중인 방송 프로그램과 관련 없는 자막일 수 있다. 즉, 현재 재생 중인 방송 프로그램과 관련 없는 광고를 위한 자막, 뉴스 속보를 위한 자막 등일 수 있다. 이 경우에도, 디스플레이 장치(100)는 사용자의 시청 상태가 미시각적 시청 상태인 경우, 해당 방송 프로그램과 관련 없는 자막을 음성으로 변환하여 출력할 수 있다.
디스플레이 장치(100)는 텍스트 음성 변환(Text-to-Speech) 기술을 이용하여 자막을 음성으로 변환하여 출력할 수 있다.
디스플레이 장치(100)에서 발생한 이벤트 정보는 예약 녹화 시작 알림 정보, 예약 시청에 따른 채널 전환 알림 정보를 포함할 수 있다. 디스플레이 장치(100)는 사용자의 시청 상태가 시청 불가능 상태인 경우, 이벤트 정보를 음성으로 변환하여 출력할 수 있다.
이에 대해서는 도 12를 참조하여 설명한다.
도 12는 본 발명의 일 실시 예에 따라 디스플레이 장치의 이벤트 정보를 음성으로 출력하는 실시 예를 보여준다.
디스플레이 장치(100)는 사용자의 시청 상태가 미시각적 시청 상태인 경우, 현재 방송 프로그램의 영상을 재생하면서 < 방송 프로그램 1의 예약 시청 시간이 1분 남았습니다. 해당 채널로 전환할까요?> 라는 알림을 표시하면서, 상기 알림을 음성으로 변환하여 출력할 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 디스플레이 장치의 동작 방법에 있어서,
    방송 프로그램을 재생하는 단계;
    상기 방송 프로그램의 재생 중 사용자의 시청 상태를 확인하는 단계; 및
    확인된 사용자의 시청 상태가 상기 디스플레이 장치의 디스플레이부를 보고 있지 않는 미시각적 시청 상태로 확인된 경우, 상기 디스플레이 장치의 정보를 제공하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 디스플레이 장치의 정보를 제공하는 단계는
    상기 디스플레이 장치의 정보를 상기 디스플레이 장치의 오디오 출력부를 통해 음성으로 출력하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 디스플레이 장치의 정보를 제공하는 단계는
    상기 방송 프로그램의 음성을 출력하면서 동시에 상기 디스플레이 장치의 정보를 상기 디스플레이 장치의 오디오 출력부를 통해 음성으로 출력하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  4. 제2항에 있어서,
    상기 디스플레이 장치의 정보를 제공하는 단계는
    상기 디스플레이부의 전원을 오프시키는 단계를 더 포함하는
    디스플레이 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 디스플레이 장치의 정보를 제공하는 단계는
    상기 디스플레이 장치와 연동된 이동 단말기에 상기 방송 프로그램의 음성을 전송하고 있는 경우, 상기 디스플레이 장치의 정보를 상기 이동 단말기에 전송하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 디스플레이 장치의 정보를 제공하는 단계는
    상기 디스플레이부의 전원을 오프시키는 단계를 더 포함하는
    디스플레이 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 사용자의 시청 상태를 확인하는 단계는
    얼굴 인식, 아이 트래킹 중 어느 하나를 이용하여 상기 사용자의 시청 상태를 확인하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 디스플레이 장치의 정보는
    상기 방송 프로그램의 시청 정보, 자막 정보 및 상기 디스플레이 장치에서 발생될 이벤트 정보 중 어느 하나를 포함하는
    디스플레이 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 방송 프로그램의 시청 정보는
    상기 방송 프로그램의 내용 설명을 위한 해설을 포함하고,
    상기 디스플레이 장치의 정보를 제공하는 단계는
    상기 해설을 시각 장애인용 오디오 트랙으로 출력하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  10. 디스플레이 장치에 있어서,
    방송 신호를 수신하는 튜너;
    상기 방송 신호에 포함된 방송 프로그램의 영상을 표시하는 디스플레이부;
    음성을 출력하는 오디오 출력부; 및
    상기 방송 프로그램의 재생 중 사용자의 시청 상태가 상기 디스플레이 장치의 디스플레이부를 보고 있지 않는 미시각적 시청 상태로 확인된 경우, 상기 디스플레이 장치의 정보를 제공하는 제어부를 포함하는
    디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는
    상기 디스플레이 장치의 정보를 상기 오디오 출력부를 통해 음성으로 출력하도록 제어하는
    디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는
    상기 방송 프로그램의 음성을 출력하면서 동시에 상기 디스플레이 장치의 정보를 음성으로 출력하도록 제어하는
    디스플레이 장치.
  13. 제11항에 있어서,
    상기 제어부는
    상기 디스플레이 장치의 정보를 상기 오디오 출력부를 통해 음성으로 출력하면서 상기 디스플레이부의 전원을 오프시키는
    디스플레이 장치.
  14. 제10항에 있어서,
    상기 제어부는
    상기 디스플레이 장치와 연동된 이동 단말기에 상기 방송 프로그램의 음성을 전송하고 있는 경우, 상기 디스플레이 장치의 정보를 상기 이동 단말기에 전송하는
    디스플레이 장치.
  15. 제10항에 있어서,
    상기 디스플레이 장치의 정보는
    상기 방송 프로그램의 시청 정보, 자막 정보 및 상기 디스플레이 장치에서 발생될 이벤트 정보 중 어느 하나를 포함하는
    디스플레이 장치.
PCT/KR2014/002586 2014-01-02 2014-03-27 디스플레이 장치 및 그의 동작 방법 Ceased WO2015102158A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/102,460 US9883210B2 (en) 2014-01-02 2014-03-27 Display device and method for operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0000369 2014-01-02
KR1020140000369A KR102208077B1 (ko) 2014-01-02 2014-01-02 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2015102158A1 true WO2015102158A1 (ko) 2015-07-09

Family

ID=53493495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002586 Ceased WO2015102158A1 (ko) 2014-01-02 2014-03-27 디스플레이 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US9883210B2 (ko)
KR (1) KR102208077B1 (ko)
WO (1) WO2015102158A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842369B2 (en) 2019-07-10 2023-12-12 Theatricality Llc Mobile advertising system
KR102173139B1 (ko) * 2020-06-11 2020-11-02 송중식 이미지 분석 기반 시력 보호 서비스 제공 시스템 및 방법
US20240185300A1 (en) * 2022-12-06 2024-06-06 Theatricality Llc Predictive advertising systems and methods with integrated safety and privacy features

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012162060A2 (en) * 2011-05-25 2012-11-29 Sony Computer Entertainment Inc. Eye gaze to alter device behavior
KR20130107093A (ko) * 2012-03-21 2013-10-01 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20130107555A (ko) * 2012-03-22 2013-10-02 한국전자통신연구원 홈 네트워크 시스템에서 사용자를 추적하여 컨텐츠를 제공하는 장치 및 방법
JP5302876B2 (ja) * 2009-12-25 2013-10-02 シャープ株式会社 映像表示装置、検知状態提示方法、プログラムおよび記録媒体
KR20130127777A (ko) * 2012-05-15 2013-11-25 엘지이노텍 주식회사 디스플레이장치 및 이의 절전 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719616B2 (en) * 2004-09-17 2010-05-18 That Corporation Direct digital encoding and radio frequency modulation for broadcast television application
JP2011176527A (ja) * 2010-02-24 2011-09-08 Toshiba Corp テレビジョン装置
US9832441B2 (en) * 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302876B2 (ja) * 2009-12-25 2013-10-02 シャープ株式会社 映像表示装置、検知状態提示方法、プログラムおよび記録媒体
WO2012162060A2 (en) * 2011-05-25 2012-11-29 Sony Computer Entertainment Inc. Eye gaze to alter device behavior
KR20130107093A (ko) * 2012-03-21 2013-10-01 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20130107555A (ko) * 2012-03-22 2013-10-02 한국전자통신연구원 홈 네트워크 시스템에서 사용자를 추적하여 컨텐츠를 제공하는 장치 및 방법
KR20130127777A (ko) * 2012-05-15 2013-11-25 엘지이노텍 주식회사 디스플레이장치 및 이의 절전 방법

Also Published As

Publication number Publication date
US20160316232A1 (en) 2016-10-27
KR102208077B1 (ko) 2021-01-28
US9883210B2 (en) 2018-01-30
KR20150080854A (ko) 2015-07-10

Similar Documents

Publication Publication Date Title
WO2017142133A1 (en) Display device and operating method thereof
WO2017142151A1 (en) Display device and operating method thereof
WO2017034130A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2016035933A1 (ko) 디스플레이 장치 및 그의 동작 방법
EP3449635A1 (en) Display device and method of operating the same
WO2013172636A1 (en) Display apparatus, server, and controlling method thereof
WO2019098775A1 (ko) 디스플레이장치 및 그 제어방법
WO2023085740A1 (ko) 모바일 장치 및 그 제어 방법
WO2017188568A1 (en) Display device for providing scrap function and method of operating the same
WO2015046724A1 (en) Image display apparatus, server for synchronizing contents, and method for operating the server
WO2015102158A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021251519A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2022177073A1 (en) Display device for managing external device connected thereto through bluetooth communication and method for managing bluetooth-connected external device
WO2022255513A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2019172472A1 (ko) 디스플레이 장치
WO2022139028A1 (ko) 디스플레이 장치 및 시스템
WO2021054495A1 (ko) 디스플레이 장치 및 인공 지능 서버
WO2020222389A1 (ko) 디스플레이 장치
WO2022260259A1 (ko) 디스플레이 장치 및 그를 이용한 콘텐츠 추천 방법
WO2023074918A1 (ko) 디스플레이 장치
WO2023013793A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2022080866A1 (ko) 전자 장치 및 그 동작 방법
WO2021029453A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020106056A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2021167141A1 (ko) 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14876588

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15102460

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14876588

Country of ref document: EP

Kind code of ref document: A1