WO2015190877A1 - Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치 - Google Patents

Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2015190877A1
WO2015190877A1 PCT/KR2015/005955 KR2015005955W WO2015190877A1 WO 2015190877 A1 WO2015190877 A1 WO 2015190877A1 KR 2015005955 W KR2015005955 W KR 2015005955W WO 2015190877 A1 WO2015190877 A1 WO 2015190877A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture information
sink device
information
hdmi
hec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/005955
Other languages
English (en)
French (fr)
Inventor
김도균
양현식
이현재
박장웅
임진권
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020167034182A priority Critical patent/KR20170016845A/ko
Priority to US15/318,336 priority patent/US10474241B2/en
Publication of WO2015190877A1 publication Critical patent/WO2015190877A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4367—Establishing a secure communication between the client and a peripheral device or smart card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Definitions

  • the present invention relates to an apparatus and method for transmitting and receiving data using a high definition multimedia interface (HDMI), and more particularly, to a method and apparatus for transmitting and receiving operation information acquired through a capture device between a sink device and a source device through HDMI. It is about.
  • HDMI high definition multimedia interface
  • HDMI is an interface / standard developed for AV electronics using DVI (Digital Visual Interface), a standard for personal computers and displays.
  • HDMI is a source that is transmitted from the player to the display device without compressing video / audio. There is little latency between the device and the sink device, and there is no need for a separate decoder chip or software, resulting in high format compatibility.
  • video, audio, and control signals are all transmitted in one cable, simplifying the wiring of complex AV devices, and supporting high-bandwidth digital content protection (HDCP) for password protection. It can even provide protection.
  • HDMI is an interface / standard developed for AV electronics using DVI (Digital Visual Interface), a standard for personal computers and displays.
  • HDMI is a source that is transmitted from the player to the display device without compressing video / audio. There is little latency between the device and the sink device, and there is no need for a separate decoder chip or software, resulting in high format compatibility.
  • video, audio, and control signals are all transmitted in one cable, simplifying the wiring
  • An object of the present invention is to provide a method for transmitting and receiving data between a sink device and a source device through HDMI.
  • an object of the present invention is to provide a method for transmitting and receiving image data or image data of a sink device or source-period to which a capture device (for example, a camera) is applied.
  • a capture device for example, a camera
  • an object of the present invention is to provide a method for transferring operation data and information to a source device through a sink device equipped with a capture device.
  • the present invention also provides a method for transferring operation data and information from the capture device provided in the source device to the sink device when the source device supports the capture device for the sink device that the capture device is not supported. have.
  • the present invention provides a method and apparatus for transmitting and receiving data using a high definition media interface (HDMI) to solve the above problems.
  • HDMI high definition media interface
  • the method for transmitting and receiving data if the sink device is connected, requesting the EDID (Extended Display Identification Data) read (Read) to the sink device; Receiving an EDID including capability information of the sink device from the sink device, wherein the capability information indicates whether the sink device can process the gesture information; Requesting gesture information representing a preset gesture that can be recognized or extracted by the sink device based on the EDID; And receiving the gesture information from the sink device.
  • EDID Extended Display Identification Data
  • Read Extended Display Identification Data
  • the gesture information is received through raw data including the gesture information or received as metadata extracted from the raw data, and the raw data is the sink.
  • the metadata corresponds to video data or image data obtained from a device, and the metadata represents the gesture information.
  • the gesture information is received through at least one of the HDMI Consumer Electronic Control (CEC) channel or the HDMI Ethernet Channel (HEC).
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • the gesture information when the gesture information is received as the metadata, the gesture information is received through an HDMI Consumer Electronic Control (CEC) channel or an HDMI Ethernet Channel (HEC), and the gesture information is received as the raw data.
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • the present invention also includes receiving an inquiry message for requesting status information indicating whether the HEC is available from the sink device; And transmitting a first reporting message including the status information to the sink device, wherein the status information indicates one of activation or inactivation of the HEC.
  • the present invention may further include receiving a write request of capability information of the source device included in a status and control data channel structure (SCDCS) from the source device, wherein the capability information is determined by the sink device by the gesture device. Indicates whether the information can be processed; Reading the written capability information; Requesting gesture information representing a preset gesture that can be recognized or extracted from the source device based on the read result; And receiving the gesture information from the source device.
  • SCDCS status and control data channel structure
  • the gesture information is received through raw data including the gesture information or received as metadata extracted from the raw data, and the raw data is the sink.
  • the metadata corresponds to video data or image data obtained from a device, and the metadata represents the gesture information.
  • the gesture information is received through at least one of the HDMI Consumer Electronic Control (CEC) channel or the HDMI Ethernet Channel (HEC).
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • the gesture information when the gesture information is received as the metadata, the gesture information is received through an HDMI Consumer Electronic Control (CEC) channel or an HDMI Ethernet Channel (HEC), and the gesture information is received as the raw data.
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • the present invention also includes receiving an inquiry message for requesting status information indicating whether the HEC is available from the sink device; And transmitting a first reporting message including the status information to the sink device, wherein the status information indicates one of activation or inactive of the HEC.
  • the status information indicates the deactivation of the HEC
  • receiving a set message for activating the HEC from the sink device And activating the HEC and transmitting a second reporting message including state information indicating an activation state of the HEC to the sink device.
  • HDMI transmitter for transmitting and receiving data through HDMI; And a control unit for controlling the HDMI transmitter, wherein the source device requests an EDID (Extended Display Identification Data) read from the sink device when the sink device is connected to the sink device.
  • EDID Extended Display Identification Data
  • the capability information provides a source device indicating whether the sink device can process the gesture information.
  • the gesture information is received through raw data including the gesture information or received as metadata extracted from the raw data, and the raw data is the sink.
  • the metadata corresponds to video data or image data obtained from a device, and the metadata represents the gesture information.
  • the gesture information is received through at least one of the HDMI Consumer Electronic Control (CEC) channel or the HDMI Ethernet Channel (HEC).
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • the gesture information when the gesture information is received as the metadata, the gesture information is received through an HDMI Consumer Electronic Control (CEC) channel or an HDMI Ethernet Channel (HEC), and the gesture information is received as the raw data.
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • HDMI transmitter for transmitting and receiving data through HDMI; And a control unit for controlling the HDMI transmitter, wherein the sink device receives a write request of capability information of the source device included in a status and control data channel structure (SCDCS) from the source device, Reads the written capability information, requests gesture information indicating a preset gesture that can be recognized or extracted from the source device based on the read result, and obtains the gesture information from the source device. And receiving the capability information, wherein the capability information indicates whether the sink device can process the gesture information.
  • SCDCS status and control data channel structure
  • the gesture information is received through raw data including the gesture information or received as metadata extracted from the raw data, and the raw data is the sink.
  • the metadata corresponds to video data or image data obtained from a device, and the metadata represents the gesture information.
  • the gesture information is received through at least one of the HDMI Consumer Electronic Control (CEC) channel or the HDMI Ethernet Channel (HEC).
  • CEC Consumer Electronic Control
  • HEC HDMI Ethernet Channel
  • the gesture information when the gesture information is received as the metadata, the gesture information is received through an HDMI CEC (Consumer Electronic Control) channel or HEC (HDMI Ethernet Channel),
  • the gesture information is received as the raw data
  • the gesture information is received through the HEC.
  • bidirectional communication capable of transmitting and receiving operation information between the source device and the sink device may be possible.
  • motion data and / or motion information may be transmitted to a source device through a sink device having a capture device.
  • a sink device that is not supported by the capture device may receive motion data and / or motion information through a source device that supports the capture device.
  • FIG. 1 illustrates an HDMI system and data transmission / reception channels included in an HDMI system according to an embodiment of the present invention.
  • FIG. 2 illustrates a source device and a sink device in an HDMI system according to an embodiment of the present invention.
  • FIG 3 illustrates an EDID structure according to an embodiment of the present invention.
  • 4 and 5 illustrate an embodiment of an EDID extension block.
  • FIG. 6 illustrates an HDMI Forum (HF) -Vendor-Specific Data Block (VSDB) according to an embodiment of the present invention.
  • HF HDMI Forum
  • VSDB Video Data Block
  • SCDC 7 illustrates a Status and Control Data Channel (SCDC) structure according to an embodiment of the present invention.
  • FIG 8 illustrates an HDMI system using CEC according to an embodiment of the present invention.
  • FIG. 11 illustrates a data transmission / reception method through HDMI according to an embodiment of the present invention.
  • FIG. 12 illustrates a data transmission / reception method through HDMI Ethernet Audio Channel (HEAC) of HDMI according to an embodiment of the present invention.
  • HEAC HDMI Ethernet Audio Channel
  • FIG. 13 illustrates a state transition and a Capability Discovery and Control (CDC) message of an HEC channel according to an embodiment of the present invention.
  • CDC Capability Discovery and Control
  • FIG. 14 illustrates a MAC frame format according to an embodiment of the present invention.
  • FIG. 16 illustrates a method of transmitting and receiving A / V data according to an embodiment of the present invention.
  • FIG. 17 illustrates a method of transmitting gesture information through a consumer electronic control (CEC) when a sink device supports a camera according to an embodiment of the present invention.
  • CEC consumer electronic control
  • FIG. 18 illustrates a method of transmitting gesture information through a consumer electronic control (CEC) when a source device supports a camera according to an embodiment of the present invention.
  • CEC consumer electronic control
  • FIG. 19 illustrates a method for transmitting gesture information through a HEC (HDMI Ethernet Channel) when a sink device supports a camera according to an embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • FIG. 20 illustrates a method of transmitting gesture information through a HEC (HDMI Ethernet Channel) when a source device supports a camera according to an embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • FIG. 21 illustrates a method for confirming whether a sink device can process gesture information through an EDID in a source device according to an embodiment of the present invention.
  • FIG. 22 shows an HF-VSDB according to another embodiment of the present invention.
  • FIG. 23 illustrates a method of confirming whether gesture information of a source device can be processed through an SCDCS in a sink device according to an embodiment of the present invention.
  • CEC Consumer Electronic Control
  • CEC Consumer Electronic Control
  • FIG. 26 illustrates a method of transmitting and receiving gesture information of a sink device through a HEC (HDMI Ethernet Channel) according to another embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • FIG. 27 illustrates a method of transmitting and receiving gesture information of a source device through an HEC (HDMI Ethernet Channel) according to another embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • 29 and 30 illustrate a structure of a CEC command (Consumer Electronic Control Command) according to an embodiment of the present invention.
  • 31 and 32 illustrate a data structure when transmitting gesture information through a HEC (HDMI Ethernet Channel) according to an embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • FIG. 1 illustrates an HDMI system and data transmission / reception channels included in an HDMI system according to an embodiment of the present invention.
  • HDMI system Devices that transmit and receive video / audio / control data using HDMI may be referred to as an HDMI system, and the HDMI system may include a source device 1010, a sink device 1020, and an HDMI cable.
  • a device for transmitting video / audio data through HDMI corresponds to the source device 1010
  • a device for receiving video / audio data through HDMI corresponds to a sink device 1020, and connects two devices.
  • HDMI cable is provided to support data transmission and reception.
  • the HDMI cables and connectors may perform pairing of four channels providing a transition minimized differential signaling (TMDS) data channel and a TMDS clock channel.
  • TMDS data channels can be used to carry video data, audio data and auxiliary data.
  • the HDMI system provides VESA (Video Electronics Standards Association) Display Data Channel (DDC).
  • DDC Video Electronics Standards Association
  • the DDC is used for exchanging configuration and status information between one source device and one sink device.
  • the CEC protocol can provide high-level control between various audio visual products in the user's environment, and can be used optionally.
  • the optional HDMI Ethernet and Audio Return Channel may provide Ethernet compatible data networking between Audio Return Channel (ARC) and connected devices in the opposite direction from the TMDS.
  • Video data, audio data and additional data can be transmitted / received through three TMDS data channels.
  • the TMDS clock typically runs the video pixel rate and is transmitted over the TMDS clock channel.
  • the TMDS clock can be used as a frequency reference for data recovery on three TMDS data channels in the HDMI receiver.
  • 8 bits of data per TMDS data channel are converted into 10 bits of DC balanced, transition-minimized sequence and serially transmitted at 10 bits per TMDS clock period. Can be.
  • HDMI In order to transmit audio data and additional data over the TMDS channel, HDMI uses a packet structure. In order to achieve high reliability for audio data and control data, the data may be transmitted as 10-bit words generated using BCH error correction code and error reduction coding.
  • the source device can find out the configuration information and possible functions of the sink device by reading Enhanced Extended Display Identification Data (E-EDID) of the Display Data Channel (DDC) sink device.
  • E-EDID Enhanced Extended Display Identification Data
  • DDC Display Data Channel
  • the E-EDID may also be referred to as EDID information below.
  • the utility line can be used for optional extensions such as HEAC.
  • FIG. 2 illustrates a source device and a sink device in an HDMI system according to an embodiment of the present invention.
  • a device for transmitting video / audio data through HDMI corresponds to the source device 2100, and a device for receiving video / audio data through HDMI corresponds to a sink device 2200.
  • the source device 2100 may include a display unit 2110, a user input interface unit 2120, a video encoding unit 2130, a video encoder 2130, a control unit 2140, an HDMI transmitter 2150, and a memory unit 2160. , At least one of the storage unit 2170, the multimedia unit 2180, or the power supply unit 2190.
  • the sink device 2200 includes an EDID EEPROM 2210, a video decoding unit 2220, a display unit 2230, a user input interface unit 2240, an HDMI receiver 2250, a control unit 2260, a power supply unit 2270. ), A memory unit 2280, or a multimedia unit 2290. In the following descriptions of units performing the same operation will not be duplicated.
  • the source device 2100 represents a physical device for transmitting or streaming content stored in the storage unit to the sink device 2200.
  • the source device 2100 may send a request message to the sink device or receive and process a request message received from the sink device.
  • the source device 2100 may provide a UI that processes and transmits a response message transmitted by the sink device 2200 to the user in response to the transmitted request message, and the source device 2100 may display the display unit 2110. If included, this UI can be provided as a display.
  • the sink device 2200 may receive content from the source device 2100, transmit a request message to the source device 2100, or process a message received from the source device 2100 to transmit a response message.
  • the sink device 2200 may also provide a UI that processes and delivers a response message received from the source device 2100 to the user.
  • the UI may be provided. Can be provided as a display.
  • the source device 2100 and the sink device 2200 may include user input interface units 2120 and 2240 for receiving a user action or input.
  • the user input interfaces 2120 and 2240 may include a remote controller, It may correspond to a voice receiving / recognizing device, a touch input sensing / receiving device, and the like.
  • the memory units 2160 and 2280 represent a volatile physical device in which various kinds of data are temporarily stored.
  • the storage unit 2170 represents a nonvolatile physical device capable of storing various kinds of data.
  • EDID EEPROM 2210 represents an EEPROM that stores EDID information.
  • the above-described memory unit, storage unit, and EDID EEPROM all serve to store data, which may be collectively referred to as a memory unit.
  • the display units 2110 and 2230 represent units for displaying data received through the HDMI or data stored in the content storage, the UI, and the like on the screen under the control of the control unit.
  • the multimedia units 2180 and 2290 perform various kinds of multimedia playback.
  • the multimedia units 21180 and 2290 may be implemented separately from the control units 2140 and 2260, or may be implemented as one physical configuration with the control unit.
  • the power supply units 2190 and 2270 supply power required for the operation of the source device and the sink device and sub units included therein.
  • the HDMI transmitter 2150 is a unit provided in the source device 2100 for transmitting and receiving data through HDMI, and performs data transmission and reception including not only audio / video data but also messages such as commands, requests, actions, and responses between devices. .
  • the video encoding unit 2130 compresses video data to be transmitted through the HDMI transmitter 2150.
  • the HDMI receiver 2250 is a unit provided in the sink device 2200 to transmit and receive data through HDMI.
  • the HDMI receiver 2250 transmits and receives data including messages such as commands, requests, actions, and responses, as well as audio / video data. .
  • the video decoding unit 2130 decompresses the compressed image data received through the HDMI receiver 2250.
  • channels, data structures, and functions provided by HDMI will be described in more detail.
  • the HDMI system provides a Display Data Channel (DDC) which is a protocol standard for transmitting digital information between a monitor and a computer graphics adapter defined by the Video Electronics Standard Association (VESA).
  • DDC Display Data Channel
  • VESA Video Electronics Standard Association
  • the DDC allows HDMI devices to send display mode information supported by the monitor to the graphics adapter, which can then send video to the monitor accordingly.
  • the VGA standard used four pins (Pin 11, 12, 4, 15) of the analog VGA connector to recognize the monitor type, of which only Pin 11, 12, 4 was used and seven types were used. The monitor type could be recognized. Version contents of the DDC are as follows.
  • EDID Extended Display Identification Data
  • -Pin 12 is used as the data line and 128-byte EDID blocks are continuously sent from the monitor to the computer.
  • pin 12 is the data line on the I2C bus and pin 15 is the clock line on the I2C bus.
  • Pin 9 is used to apply 5V DC power (up to 50mA) from the computer to the monitor to read the EDID stored in the EEPROM even when the monitor is powered off.
  • 8-bit data offset allows for 28 to 256 bytes of EDID storage.
  • Version 1 was established in 199 as a replacement for DDC versions 1 and 2. It allows display information storage capacity of up to 32 Kbytes for use with Enhanced EDID (E-EDID).
  • E-EDID Enhanced EDID
  • E-DDC version 1.1 was enacted in 2004 and includes support for video interfaces such as HDMI in addition to CE devices and VGA.
  • FIG 3 illustrates an EDID structure according to an embodiment of the present invention.
  • the EDID is a data structure including various information about the display device defined in the VESA, and may be transmitted to or read from the source device through the DDC channel.
  • version 1.3 data structures are used in IT display devices, CE display devices, and video interfaces (HDMI).
  • 4 through 5 illustrate an embodiment of an EDID extension block.
  • FIG. 4 illustrates an EDID extension block
  • FIG. 5A illustrates a video data block
  • FIG. 5B illustrates an audio data block
  • FIG. 5C illustrates a speaker allocation data block.
  • the timing information described in the EDID is for IT display devices and may use the EDID 1.3 extension block defined in CEA-861 to indicate timing information of the CE display devices.
  • Version 3 of the CEA Extension Block is defined in the CEA-861B standard and specifies four optional data blocks (Video, Audio, Speaker Assignment, and Vendor Specific).
  • the Short Video Descriptor represents a video identification code defined in CEA-861.
  • the Short Audio Descriptor represents an audio format code defined by CEA-861.
  • the Speaker Allocation Data Block Descriptor of FIG. 5C shows a data block payload defined in CEA-861.
  • FIG. 6 illustrates an HDMI Forum (HF) -Vendor-Specific Data Block (VSDB) according to an embodiment of the present invention.
  • HF HDMI Forum
  • VSDB Video Data Block
  • the HF-VSDB of FIG. 6 is a data block in which vendor-specific data can be defined, and HDMI can use this data block to define HDMI specific data.
  • the HF-VSDB may be included in the E-EDID of the sink device and, if included, in the CEA extension version 3 in the E-EDID of the sink device.
  • Length field The total length of the data block, with a minimum of 7, and a maximum of 31.
  • IEEE OUI field The OUI assigned to the HDMI Forum as an IEEE Organizationally Unique Identifier is 0xC45DD8.
  • Version field The version number of the HF-VSDB (HDMI Forum-VSDB).
  • Max_TMDS_Character_Rate field indicates the maximum TMDS Character Rate supported. Set to 0 if the sink device does not support more than 340 Mcsc.
  • 3D_OSD_Disparity If set to 1, indicates that the Sink device supports receiving 3D_OSD_Disparity Indication.
  • -Dual_view When set to 1, indicates that the sink device supports Dual_view signaling.
  • Independent_view field When set to 1, indicates that the sink device supports 3D independent view signaling.
  • LTE_340Mcsc_scramble field If set to 1, it indicates that the sink device supports scrambling at TMDS character rate of less than 340Mcss. And if SCDC_Present is set to 0, this flag should also be set to 0.
  • RR_Capable field If set to 1, indicates that the Sink device can initiate an SCDC read request. And if SCDC_Present is set to 0, this flag should also be set to 0.
  • SCDC_Present field If set to 1, indicates that Sink supports the SCDC function.
  • the gesture information processing capability information of the sink device may be signaled through the HF-VSDB of the EDID, which will be described later.
  • SCDC 7 illustrates a Status and Control Data Channel (SCDC) structure according to an embodiment of the present invention.
  • the Status and Control Data Channel corresponds to a point-to-point communication protocol in which data is exchanged between a source device and a sink device.
  • SCDC communication may use the above-described DDC channel (line I2C).
  • SCDC is a one-to-one communication protocol based on I2C serial communication that enables data exchange between an HDMI source device and a sink device.
  • the SCDC includes a mechanism in which a sink device that is an I2C slave requests a status check read from a source device that is an I2C master, and the source device receiving the read device reads the corresponding status from the sink device.
  • the SCDCS (SCDC Structure) is stored in the memory of the sink device and may include data such as the structure of FIG. 8.
  • the R / W represents data of the SCDCS stored in the sink device from the viewpoint of the source device, and whether the source device can read only or both read / write.
  • Sink Version field Displays the version information of the SCDCS compliant sink device. Set to 1.
  • Update_0, Update_1 If there is a change in information (Status, Character Error Detect, etc.) that the sink device should inform the source device, set the corresponding bit to 1.
  • TMDS_Config TMDS Configuration (TMDS_Config) field: If the TMDS_Bit_Clock_Ratio and Scrambling_Enable occupy 1 bit each, and the source device wants to enable the scrambling function of the sink device, set the corresponding bit to 1. Set to 0 if TMDS_Bit_Clock_Ratio is 1/10, or 1 if 1/40.
  • Scrambler Status field sets the bit to 1 when the sink device detects a scrambled control code sequence.
  • Configuration (Config_0) field A field for configuring capability-related information of source and sink devices.
  • RR_Enable field indicating whether a source device supports a read request of a sink device.
  • Status Flags (Status_Flag_0, Status_Flag_1) field: Indicates whether data received through Clock, channel 0, 1, and 2 has been successfully decoded.
  • Err_Det_0 ⁇ 2_L / H fields indicate LSB and MSB of the error counter detected in channels 0-3.
  • Err_Det_Checksum field implemented so that the one-byte sum of the error detection values of the seven registers containing the checksum is zero.
  • FIG 8 illustrates an HDMI system using CEC according to an embodiment of the present invention.
  • HDMI CEC stands for HDMI Consumer Electronic Control, and as we have seen, it refers to a protocol that gives multiple multimedia products the ability to control multiple products in a single operation on a network connected by HDMI cable. Hereinafter referred to as HDMI CEC.
  • the HDMI CEC system may be largely comprised of an HDMI sink device 1020 and an HDMI source device 1010.
  • the sink device 1020 may include an HDMI connector, an HDMI receiver, a central processing unit (CPU), and the like. It may include a CEC converter, and the source device 1010 may include an HDMI connector, an HDMI transmitter, a central processing unit (CPU), and a CEC converter.
  • the sink device 1012 may be referred to as a receiver or an initiator according to a corresponding situation, and the source device 1020 may be a transmitter or follower. ) May be called.
  • an initiator may mean a device for initiating, transmitting, and controlling a command
  • a follower may mean a device for informing a result by performing a response and a request for a command.
  • the sink device 1010 may include, for example, a TV, a repeater, and the like, and the source device 1020 may include, for example, a DVD player, a set top box (STB), Personal computers (PCs), notebooks, recorders, and the like.
  • STB set top box
  • PCs Personal computers
  • the HDMI connector may include five types of connectors such as Type A, B, C, D, and E.
  • Type A is a general HDMI connector with 19 pins
  • Type B is 29 pins for UHD video.
  • type C is a 19-pin mini connector
  • type D is a 19-pin micro connector
  • type E may represent a vehicle connector.
  • the HDMI transmitter and the HDMI receiver include three Transition Minimized Differential Signaling (TMDS) data transmission channels and one clock channel that carry multimedia information through the HDMI connector.
  • Control channels such as a Display Data Channel (DDC) (not shown), a Consumer Electronics Control (CEC) channel, a Utility channel (not shown), and a Hot Plug Detect (HPD) channel (not shown).
  • DDC Display Data Channel
  • CEC Consumer Electronics Control
  • HPD Hot Plug Detect
  • the TMDS channel consists of three data transmission channels and transmits video and audio data.
  • the CEC channel is a control channel that delivers a CEC protocol, which is a control command that enables the control of HDMI-connected devices using a TV remote control.
  • This function allows one remote control to control each device connected via HDMI, such as One Touch Play, which allows you to perform playback of a connected playback device using a TV remote control. It is possible to increase the user convenience.
  • the central processing unit of the sink device 1010 may include a graphical user interface layer (GUI layer), an application layer (CEC protocol layer), the central processing unit of the source device 1020 It may include an application layer and a CEC protocol layer.
  • GUI layer graphical user interface layer
  • CEC protocol layer application layer
  • CEC protocol layer application layer
  • the graphical user interface layer processes the data received through the HDMI receiver through the graphical user interface
  • the application layer processes the data in a manner defined by the user
  • CEC protocol The CEC protocol layer processes the transmitted CEC data and delivers necessary information to an upper layer.
  • a physical address assignment and a logical address assignment process to which the present invention is applied may be performed.
  • the CEC converters of the sink device 1010 and the source device 1020 generate a signal for data transmission or manage transmission priority, retransmission for reliable transmission, and the like. For example, frame transmission, Line error handling and frame validation can be performed. In addition, it serves as an interface for performing HDMI CEC signal processing through the data communication in the frame unit with the central processing unit.
  • the signal processor to which the present invention is applied may serve to process a message or data such as a command, a request, an action, or a response between devices.
  • CEC allows a single remote control to operate CEC-capable devices connected via HDMI.
  • HDMI When HDMI is connected, each device has a physical address, and devices that support CEC have an additional logical address.
  • Each device can send and receive messages through the CEC Line when an event occurs, and each message can have the following functions.
  • One Touch Play One-click playback starts and the device changes to the active source.
  • Routing Control Controls routing of HDMI networks when the CEC switch is in use.
  • Preset Transfer Transfers tuner channel settings to another TV set.
  • Timer Programming Set the timer on another device
  • System Information Set the device to use the same OSD and menu language as the TV.
  • Tuner Control Controls the tuner of another device
  • OSD Display Sends text from the device to display on the TV set
  • Device Menu Control Allows you to control the device menus with the TV remote control.
  • Vendor Specific Commands Manufacturer-defined commands
  • the CEC message is transmitted through a CEC frame, and the CEC frame may include a start bit, a header block, a first data block, and a second data block as shown in FIG. 9.
  • the size of each block is 10 bits and the maximum message size except the start bit is 16 * 10 bits.
  • the header block includes an address of a source device and an address of a destination
  • the first data block is composed of an opcode block and the second data.
  • the block may consist of an operand block.
  • the opcode may mean a name used to identify the message.
  • Each data block and header block may be composed of an information bits field, an end of message field, and an ACK field.
  • the information bits field may include data, an opcode, or an address.
  • the End Of Message (EOM) field is a bit indicating whether it is the last block of the message. For example, if the value of the End Of Message (EOM) field is 0, it means that one or more data blocks exist. If it means that the message is completed. Even if the message contains additional data after the EOM field is sent, the receiving device should ignore it.
  • the ACK field is sent by setting the initiator to '1', and indicates that the message was received by marking '0' in the follower.
  • FIG. 11 illustrates a data transmission / reception method through HDMI according to an embodiment of the present invention.
  • the source device 1010 converts a 5V power line from a low level to a high level and applies a current (S11010). Through this, the source device 1010 may operate the EEPROM and related circuits in which the EDID information of the sink device 1020 is stored.
  • the sink device 1020 switches the HPD (Hot Plug Detect) line from a low level to a high level so that the source device 1010 can access the EDID information by connecting a cable normally and enabling an EDID-related circuit to be activated. Can be informed (S11020).
  • HPD Hot Plug Detect
  • the source device 1010 may transmit a read request for EDID information to the sink device 1020 through a DDC (S11030).
  • the sink device 1020 may transmit EDID information stored in the RRPROM to the source device 1010 as a response to the EDID read request (S11040).
  • the EDID information may be transmitted as the VSDB described above.
  • the source device 1010 and the sink device 1020 perform an encryption protocol through a high-bandwidth digital content protection (HDCP) key exchange procedure through a DDC (S11050).
  • HDCP high-bandwidth digital content protection
  • the sink device 1020 transmits a ⁇ Give Deck Status> [“on”] message which is a CEC message for turning on the deck of the sink device 1010 to the source device 1020 through CEC ( S11060).
  • the source device 1020 may notify the sink device 1010 of the Deck status of the source device 1020 by turning on a deck and transmitting a ⁇ Deck Status> message (S11070).
  • the sink device 1010 transmits ⁇ Play> through CEC so that the source device 1020 receives the A / V data. Data can be played back (S11080).
  • the source device may inform the sink device 1020 that the deck status of the source device 1010 is being reproduced by transmitting a ⁇ deck Status> [“Play”] message through a CEC (S11090).
  • the source device 1010 may transmit video data, audio data, and an info frame to the sink device 1020 through TMDS (S11100).
  • the sink device 1010 receives a specific command from a user, for example, a next chapter command, and transmits a ⁇ Dec Control> [“Skip Forward”] message through a CEC to the source device 1010. Can skip the current chapter (S11110).
  • the source device 1010 which skips the current chapter may report the status of the deck by transmitting ⁇ Deck Status> [“Skip Forward”] (S11120).
  • the source device may transmit video data, audio data and / or infoframe to the sink device 1010 through a TDMS (S11130).
  • TDMS TDMS
  • the present invention proposes a method for transmitting / receiving gesture information obtained from a photographing device through the data transmission / reception method using HDMI.
  • FIG. 12 illustrates a data transmission / reception method through HDMI Ethernet Audio Channel (HEAC) of HDMI according to an embodiment of the present invention.
  • HEAC HDMI Ethernet Audio Channel
  • HEAC stands for HDMI Ethernet Audio Channel, hereinafter referred to as HEAC.
  • Ethernet follows IEEE 802.3 and audio data conforms to IEC60958-1.
  • Pin 14 is used as Utility / HEAC + (optional, 1.4+ with Audio Return Channel and Ethernet), Pin 17 is DDC / CEC / HEC Ground, Pin 19 is HEAC- (Optional, HDMI with Audio Return Channel and Ethernet 1.4+).
  • HEC is an Ethernet network connection of HDMI, and uses 100BAST-TX type, supports Full duples mode, and has a 100Mbps speed.
  • the HEC network is composed of a sink device, a repeater, and a source device interconnected by HEAC cables, and the repeater or source device including at least two HEC connectors has an internal layer for forwarding MAC frames. It has 2 switch (L2SW).
  • ARC is an abbreviation of Audio Return Channel and can input a digital voice signal transmitted from a sink device, for example, a TV, through a repeater to a source via HDMI, to the repeater, for example, an AV amplifier. Therefore, in this case, the TV which transmits the audio signal becomes a source device, and it is possible to check which audio format Amp supports using CEC.
  • FIG. 13 illustrates a state transition and a Capability Discovery and Control (CDC) message of an HEC channel according to an embodiment of the present invention.
  • CDC Capability Discovery and Control
  • the HEC channel is controlled through a CEC message, where the CEC command that controls the HEC state is called HEC CDC (Capability Discovery and Control).
  • the HEC may have a state as follows.
  • HEC First connected state
  • HEC function support is confirmed (VHEC).
  • HEC function is activated (AHEC).
  • the HEC CDC is transmitted through the CEC, it can find the HEC of the potential HEC state.
  • HEC can be activated or deactivated, and the state of a channel can be transmitted.
  • the HEC of the device when HDMI is first connected, the HEC of the device is in a Potential HEC (PHEC) state.
  • the device connected to the HDMI may transmit a ⁇ CDC_HEC_Discover> message to discover the HEC capability of another device connected to the HDMI (S13010).
  • the ⁇ CDC_HEC_ReportState> message may be transmitted in response to the ⁇ CDC_HEC_Discover> message.
  • the device can determine whether another device connected with HDMI supports the HEC function.
  • the device may send a ⁇ CEC_HEC_SetState> message to the other device to activate the HEC.
  • the other device may activate the HEC between the device and the other device, and then send a ⁇ CEC_HEC_ReportState> message to the device to report the activation state of the HEC (S13020). .
  • the device may transmit a ⁇ CDC_HEC_SetState> message in order to deactivate the HEC in the activated state (S13050).
  • the other device that has received the ⁇ CDC_HEC_SetState> message may deactivate all HECs between the device and the other device.
  • the devices that do not support the HEC function may return to the PHEC state again (S13040).
  • FIG. 13B illustrates the CDC message frame structure, wherein the CDC message includes a start bit field, a CEC header block field, a CEC opcode block field, and a CEC initiator physical address (CEC). It may consist of an Initiator Phy. Address field, a CDC Opcode field, and / or a CDC Parameter field.
  • CEC CEC initiator physical address
  • the start bit field, the CEC header block field, the CEC Opcode block field, and the CEC Initiator Phy. Address field are described above with reference to FIGS. 9 and 10, and thus descriptions thereof are omitted. Do it.
  • the CDC opcode field may indicate which message the CDC message is, and the CDC parameter field may include a parameter of each CDC message.
  • the present invention proposes a method for transmitting and receiving data obtained from a photographing device through the HEC described above.
  • FIG. 14 illustrates a MAC frame format according to an embodiment of the present invention.
  • FIG. 14 illustrates a structure of a MAC frame forwarded through the HEC described above, and may transmit data using the MAC data frame (IEEE 802.3).
  • the present invention proposes a method for transmitting data acquired from a photographing device by a sink device or a source device to the source device or the sink device through the HEC using the MAC frame.
  • a photographing device eg, a camera, a camcorder, etc.
  • a photographing device eg, a camera, a camcorder, etc.
  • Devices to which a photographing device may recognize or extract a preset gesture through a video or an image photographed by the photographing device.
  • gesture information includes, for example, (a) basically human face information, hand information, body information, or a combination of such information.
  • the human face information may be obtained through a technique such as face detection, face recognition, facial part tracking, or gaze tracking.
  • the hand or body information includes a hand gesture indicating information such as hand movement, position, and shape, a finger gesture indicating information such as finger movement, position, and shape, or a body movement. It may include a body gesture indicating information, such as position shape.
  • the sink device or the source device in order for the sink device or the source device to recognize or extract specific information such as the gesture information from the video or the image, the sink device or the source device should be set to the source device or the sink device in advance. That is, specific technology or information should be set in order to recognize or extract the gesture information in the source device or the sink device.
  • Such gesture information may be transmitted as raw data such as the video or the image, or may be transmitted as metadata indicating the gesture information in the raw data.
  • the metadata may represent coordinate information such as x-axis information, y-axis information, width, height, and the like.
  • the meta data is simple in data and small in size, and thus easy to transmit and receive.
  • the raw data is YUV-type video or image data expressing colors by the luminance signal Y and the color difference signals U and V photographed by the photographing apparatus.
  • the luminance signal ( Y) is all you need.
  • the present invention proposes a method for transmitting such gesture information to a sink device or a source device through HDMI.
  • FIG. 16 illustrates a method of transmitting and receiving A / V data according to an embodiment of the present invention.
  • the sink device and the source device may transmit and receive A / V data through HDMI.
  • the source device 1010 and the sink device 1020 are connected with an HDMI cable (S16010).
  • the source device 1010 converts a 5V power line from a low level to a high level and applies a current (S16020).
  • the source device 1010 may operate the EEPROM and related circuits in which the EDID information of the sink device 1020 is stored.
  • the sink device 1020 switches the HPD (Hot Plug Detect) line from a low level to a high level (S16030), and a cable is normally connected, and an EDID related circuit is activated to access EDID information. 1010).
  • HPD Hot Plug Detect
  • the source device 1010 may transmit a read request for EDID information to the sink device 1020 through a DDC (S16040).
  • the sink device 1020 may transmit EDID information stored in the EEPROM through a DDC (S16050).
  • the EDID information may be transmitted as the VSDB described above.
  • the source device 1010 parses the received EDID information to determine an operation parameter (timing, format, etc.) of A / V data to be transmitted to the sink device 1020 (S16060), and uncompressed to transmit. ) The determined operating parameter related to the A / V data can be transmitted to the source device.
  • an operation parameter timing, format, etc.
  • the method described with reference to FIG. 16 is a method for transmitting / receiving A / V data stored in a source device, and a moving picture or an image obtained from a photographing device (eg, a camera, a camcorder, etc.) included in the source device or the sink device. Data may not be transmitted or received, or gesture information included in the video or image data may not be transmitted or received.
  • a photographing device eg, a camera, a camcorder, etc.
  • the present invention proposes a method for transmitting / receiving gesture information obtained from such moving image or image data as well as moving image or image data obtained from a photographing device through HDMI.
  • FIG. 17 illustrates a method of transmitting gesture information through a consumer electronic control (CEC) when a sink device supports a camera according to an embodiment of the present invention.
  • CEC consumer electronic control
  • data (video data or image data) captured by the provided camera or gesture information included in the data may be transmitted to the source device through HDMI.
  • the sink device when the sink device is connected to the source device via an HDMI cable (S17010), the sink device may transmit a request for reading EDID information through a DDC, and in response to the request for reading EDID information from the source device, the sink device may transmit a DDC.
  • the EDID stored in the EEPROM can be received (S17020).
  • the EDID information may be transmitted as the above-described VSDB.
  • the EDID may include capability information related to the gesture information described in FIG. 15 by the source device.
  • the capability information indicates whether gesture information can be processed and whether the source device supports a service related to the gesture information or processes raw data that is video data or image data including the gesture information. It may include information about whether or not.
  • the sink device may determine whether the source device can process gesture information by parsing EDID information received from the source device.
  • the sink device may not transmit the gesture information to the source device and may transmit only data (S17070).
  • the sink device may be requested to transmit the gesture information through the CEC from the source device (S17030).
  • the sink device that has received the gesture information may obtain gesture information from a camera provided in the sink device (S17040), and transmit the acquired gesture information to the source device through CEC (S17050).
  • the source device may process the received gesture information (S17060).
  • FIG. 18 illustrates a method of transmitting gesture information through a consumer electronic control (CEC) when a source device supports a camera according to an embodiment of the present invention.
  • CEC consumer electronic control
  • a source device when a source device includes a camera, data (video data or image data) captured by the provided camera or gesture information included in the data may be transmitted to the sink device through HDMI.
  • the source device when the source device is connected to the sink device via an HDMI cable (S18010), the source device may transmit an EDID information read request to the sink device through a DDC, and the read request from the sink device to the EDID information read request.
  • the EDID stored in the EEPROM may be received through the DDC (S18020).
  • the EDID information may be transmitted as the above-described VSDB.
  • the EDID may include capability information related to the gesture information described by FIG. 15 by the sink device.
  • the capability information indicates whether gesture information can be processed and whether the source device supports a service related to the gesture information or processes raw data that is video data or image data including the gesture information. It may include information about whether or not.
  • the source device may determine whether the source device can process gesture information by parsing EDID information received from the source device.
  • the source device may request the sink device to write capability information related to gesture information of the source device to the SCDCS of the sink device.
  • the source device and the sink device may determine whether the sink device and the source device can process gesture information through EDID reading and SCDCS reading.
  • the source device may not transmit the gesture information to the sink device and may transmit only data (S18080).
  • the sink device may receive a request for transmitting gesture information from the source device through CEC (S18040).
  • the source device that has received the gesture information may obtain gesture information from a camera provided in the sink device (S18050), and transmit the acquired gesture information to the source device through CEC (S18060).
  • the sink device may process the received gesture information (S18070).
  • FIG. 19 illustrates a method for transmitting gesture information through a HEC (HDMI Ethernet Channel) when a sink device supports a camera according to an embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • step S19010 and step S19020 are performed in the same manner as step S17010 and step S17020 of FIG. 17, and descriptions thereof will not be repeated.
  • FIG. 19 includes operations added to the flowchart of FIG. 17, and the same description as in FIG. 17 may be applied to the description of FIG. 19 without being described again in FIG. 19.
  • the sink device may determine whether the source device can process gesture information by parsing EDID information received from the source device.
  • the sink device may not transmit the gesture information to the source device and may transmit only data (S19090).
  • the sink device checks whether the HEC between the source devices is activated or deactivated through a CEC message (S19030). As described in FIG. 13, the HEC is activated (S19040).
  • the sink device may receive a request for transmitting gesture information from the source device through the HEC (S19050).
  • the sink device that has received the gesture information may obtain gesture information from a camera provided in the sink device (S19060), and transmit the acquired gesture information to the source device through HEC (S19070).
  • the source device may process the received gesture information (S19080).
  • FIG. 20 illustrates a method of transmitting gesture information through a HEC (HDMI Ethernet Channel) when a source device supports a camera according to an embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • step S20010 and step S20030 are performed in the same manner as step S18010 and step S18030 of FIG. 18, and descriptions thereof will not be repeated.
  • FIG. 20 includes operations added to the flowchart of FIG. 18, and the same description as in FIG. 18 is applicable to the description of FIG. 20 without being described again in FIG. 20.
  • the source device may not transmit the gesture information to the sink device and may transmit only data (S20100).
  • the source device checks whether the HEC between the sink devices is activated or deactivated through a CEC message (S20040). As described above, the HEC is activated (S20050).
  • the source device may receive a request for transmitting gesture information from the sink device through HEC (S20060).
  • the source device that has received the gesture information may obtain gesture information from a camera provided in the source device (S20070), and transmit the acquired gesture information to the sink device through HEC (S20080).
  • the source device may process the received gesture information (S20090).
  • FIG. 21 illustrates a method for confirming whether a sink device can process gesture information through an EDID in a source device according to an embodiment of the present invention.
  • the sink device when the sink device includes a camera, it may be determined whether the sink device can process gesture information by reading an EDID.
  • the source device 1010 may read the EDID of the sink device 1020 to determine whether the sink device 1020 can process gesture information (S21010).
  • the source device 1010 transmits an EDID information read request to the sink device 1020, and the capability information related to whether the sink device 1020 can process the gesture information in response to the request.
  • An EDID including a may be transmitted to the source device 1010.
  • the EDID information may be transmitted as the above-described VSDB, which will be described with reference to FIG. 22.
  • the source device 1010 receiving the EDID may read the EDID to determine whether the sink device 1020 can process gesture information, for example, the sink device 1020 can process gesture information. It is possible to determine whether there is and / or whether the above-described raw data can be processed (S21020).
  • the sink device 1020 may request gesture information from the sink device 1020 and receive the gesture information from the sink device 1020.
  • FIG. 22 shows an HF-VSDB according to another embodiment of the present invention.
  • the HF-VSDB of FIG. 22 may include capability information and include fields indicating capability of processing gesture information and capability of processing raw data including gesture information. It may include.
  • a new HF-VSDB is further defined, and a version number of a version field may be set to 2 to distinguish it from an earlier version of HF-VSDB.
  • a version number of a version field may be set to 2 to distinguish it from an earlier version of HF-VSDB.
  • at least one bit of bits 5 to 4 of the byte 6 block of the HF-VSDB and bits 7 to 3 of the byte 7 block may be used.
  • the corresponding bit when the corresponding bit is set to 1, it may indicate that the sink device can receive gesture information, and if it is 0, it may indicate that gesture information cannot be received.
  • the decompression capability information may include at least one of the following fields shown in FIG. 15.
  • Gesture_Present field Indicates whether the sink device can process gesture information.
  • -Gesture_Capable field Indicates whether the sink device can process raw data including gesture information.
  • the HF-VSDB may be used in an embodiment for determining whether to process gesture information of the sink device through the EDID in the present invention.
  • FIG. 23 illustrates a method of confirming whether gesture information of a source device can be processed through an SCDCS in a sink device according to an embodiment of the present invention.
  • the sink device may read whether the source device processes gesture information by reading the SCDC.
  • step S23010 is the same as step S22010 of FIG. 22, description thereof will be omitted.
  • the source device 1010 when the source device 1010 supports a read request based on information of reading a Gesture_Present field of an EDID transmitted from the sink device 1020, the source device 1010 supports the read request of the sink device. If the RR_Enable field of the SCDCS is set to "1" and not supported, the sink device 1020 may be requested to be written as "0" (S23020).
  • the source device 1010 may request the SCDCS of the sink device to fill in a field related to the gesture information processing of the source device 1010 (S23030).
  • an embodiment and description of fields corresponding to / included in capability information related to gesture information processing are as follows.
  • -Gesture_Enable Set to “1” if the source device can process gesture information, or “0” if it cannot process.
  • -Gesture_Handing Set to “1” if the source device can process raw data containing gesture information, and set to “0” if it cannot process. (If “0”, only meta data can be sent.)
  • the sink device 1020 may read information written in the SCDCS (S23040), and determine whether the source device can process gesture information, and if the source device can process gesture information, the source The gesture information may be requested to the device 1010 (S23050).
  • the sink device may receive only meta data, and if it is set to "1", it may also receive meta data and / or raw data.
  • CEC Consumer Electronic Control
  • the sink device when the sink device can process gesture information, the sink device may transmit gesture information to the source device through CEC.
  • the source device 1010 may determine whether the sink device 1020 may process gesture information through FIGS. 21 through 23.
  • the source device 1010 may request gesture information from the sink device 1020 through a CEC message requesting gesture information such as ⁇ Request Gesture capability> (S24010).
  • the sink device 1020 receiving the request may transmit gesture information to the source device 1010 by including gesture information in an Operand field of a CEC message such as ⁇ Response Gesture Data capability> [capability] in response to the request. (S24020).
  • CEC Consumer Electronic Control
  • the source device when the source device can process gesture information, the source device may transmit gesture information to the sink device through CEC.
  • the sink device 1020 may determine whether the source device 1010 can process the gesture information through FIGS. 21 to 23.
  • the sink device 1020 may request gesture information from the source device 1010 through a CEC message requesting gesture information such as ⁇ Request Gesture capability> (S25010).
  • the source device 1010 receiving the request may transmit gesture information to the sink device 1020 by including gesture information in an Operand field of a CEC message such as ⁇ Response Gesture Data capability> [capability]. (S25020).
  • FIG. 26 illustrates a method of transmitting and receiving gesture information of a sink device through an HEC (HDMI Ethernet Channel) according to another embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • the source device may request transmission of the acquired gesture information from the sink device, and gestures from the sink device through a HEC (HDMI Ethernet Channel). You can receive information.
  • HEC HDMI Ethernet Channel
  • the source device 1010 may determine whether the sink device 1020 may process gesture information through the processes of FIGS. 21 to 23. Thereafter, a CEC message such as ⁇ CDC_HEC_InquireState> for inquiring about the state of the HEC described with reference to FIG. 13 may be transmitted to the source device 1010 through a CEC message (S26010).
  • a CEC message such as ⁇ CDC_HEC_InquireState> for inquiring about the state of the HEC described with reference to FIG. 13 may be transmitted to the source device 1010 through a CEC message (S26010).
  • the sink device 1020 should perform a physical address allocation mechanism regardless of whether the device supports the CEC function, and other devices may not allocate the physical address if the CEC function is not supported.
  • the physical address may consist of four digits.
  • the sink device 1020 generates a physical address 0.0.0.0 and reads the address from the EDID in the sink device 1020.
  • the sink device 1020 needs to generate a physical address of the source device 1010 connected to the sink device 1020, and a part of the EDID VSDB of the source device may be used for the physical address.
  • the next digit value may be increased by one.
  • the physical address of the source device is 1.0.0.0.
  • the sink device 1020 may receive a CEC message such as ⁇ CDC_HEC_ReportState> including information related to the state of the HEC through the CEC in response to the CEC message inquiring about the state of the HEC (S26020).
  • a CEC message such as ⁇ CDC_HEC_ReportState> including information related to the state of the HEC through the CEC in response to the CEC message inquiring about the state of the HEC (S26020).
  • the ⁇ CEC_HEC_ReportState> message may include an operand as shown in Table 1 below.
  • the sink device 1020 transmits a CEC message such as ⁇ CDC_HEC_SetState> to the source device 1010 through CEC (S26030), and the sink device 1020 and the source. All HECs present between the devices 1010 may be activated.
  • the source device 1010 After the HEC is activated through the CEC message, the source device 1010 sends a CEC message such as ⁇ CDC_HEC_ReportState> including state information of the HEC to inform the sink device 1020 that the HEC is activated. It may transmit to the sink device (S26040).
  • a CEC message such as ⁇ CDC_HEC_ReportState> including state information of the HEC to inform the sink device 1020 that the HEC is activated. It may transmit to the sink device (S26040).
  • the steps S26030 and S26040 may not be performed.
  • the source device 1010 may request the gesture information described with reference to FIG. 15 from the sink device 1020 (S26050).
  • the sink device 1020 Upon receiving the request for the gesture information, the sink device 1020 transmits a type of gesture information supported by the sink device 1020 (S26070), and sends the gesture information obtained from the camera to the source device 1010. Can be transmitted (S26080).
  • the steps S26050 to S26080 may be performed through a CEC channel or an HEC, and the gesture information may be raw data or metadata, which are moving image data or image data acquired by the camera. data).
  • FIG. 27 illustrates a method of transmitting and receiving gesture information of a source device through an HEC (HDMI Ethernet Channel) according to another embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • the sink device may request transmission of the acquired gesture information from the source device, and gestures from the source device through HEC (HDMI Ethernet Channel). You can receive information.
  • HEC HDMI Ethernet Channel
  • the sink device 1020 may determine whether the source device 1010 may process gesture information through the processes of FIGS. 21 to 23. Thereafter, a CEC message such as ⁇ CDC_HEC_InquireState> for inquiring the state of the HEC described with reference to FIG. 13 may be transmitted to the sink device 1020 through a CEC message (S27010).
  • a CEC message such as ⁇ CDC_HEC_InquireState> for inquiring the state of the HEC described with reference to FIG. 13 may be transmitted to the sink device 1020 through a CEC message (S27010).
  • the sink device 1020 should perform a physical address allocation mechanism regardless of whether the device supports the CEC function, and other devices may not allocate the physical address if the CEC function is not supported.
  • the physical address may consist of four digits.
  • the sink device 1020 generates a physical address 0.0.0.0 and reads the address from the EDID in the sink device 1020.
  • the sink device 1020 needs to generate a physical address of the source device 1010 connected to the sink device 1020, and a part of the EDID VSDB of the source device may be used for the physical address.
  • the next digit value may be increased by one.
  • the physical address of the source device is 1.0.0.0.
  • the source device 1010 may receive a CEC message such as ⁇ CDC_HEC_ReportState> including information related to the state of the HEC through the CEC in response to the CEC message inquiring about the state of the HEC (S27020).
  • a CEC message such as ⁇ CDC_HEC_ReportState> including information related to the state of the HEC through the CEC in response to the CEC message inquiring about the state of the HEC (S27020).
  • the ⁇ CEC_HEC_ReportState> message may include operands as shown in Table 1 above.
  • the source device 1010 transmits a CEC message such as ⁇ CDC_HEC_SetState> to the sink device 1020 through CEC (S27030), and the sink with the source device 1010. All HECs existing between the devices 1020 may be activated.
  • the sink device 1020 After the HEC is activated through the CEC message, the sink device 1020 sends a CEC message such as ⁇ CDC_HEC_ReportState> including state information of the HEC to inform the source device 1010 that the HEC is activated. It may transmit to the source device (S27040).
  • a CEC message such as ⁇ CDC_HEC_ReportState> including state information of the HEC to inform the source device 1010 that the HEC is activated. It may transmit to the source device (S27040).
  • the steps S27030 and S27040 may not be performed.
  • the sink device 1020 may request the gesture device described with reference to FIG. 15 from the source device 1010 (S27050).
  • the source device 1010 Upon receiving the request for the gesture information, the source device 1010 transmits a type of gesture information supported by the source device 1010 (S27070), and sends the gesture information obtained from the camera to the sink device 1020. Can be transmitted (S27080).
  • the steps S27050 to S27080 may be performed through a CEC channel or an HEC, and the gesture information is raw data or metadata, which is moving image data or image data acquired by the camera. data).
  • a sink device having a camera may display raw data or metadata according to whether a source device may process moving image data or image data including gesture information. Gesture information may be transmitted.
  • the source device When the source device is connected to the sink device via an HDMI cable (S28010), the source device may transmit a request to read the EDID information to the sink device through a DDC, in response to the request to read the EDID information from the sink device.
  • the EDID stored in the EEPROM may be received through the DDC (S28020).
  • the EDID information may be transmitted as the above-described VSDB.
  • the EDID may include capability information related to the gesture information described by FIG. 15 by the sink device.
  • the capability information indicates whether gesture information can be processed and whether the source device supports a service related to the gesture information or processes raw data that is video data or image data including the gesture information. It may include information about whether or not.
  • the source device may determine whether the source device can process gesture information by parsing EDID information received from the source device.
  • the source device may request the sink device to write capability information related to gesture information of the source device to the SCDCS of the sink device.
  • the sink device may determine whether the sink device and the source device can process gesture information by reading the SCDCS (S28030). That is, the sink device reads the Gesture_Handling field and the Gesture_Enable field of the SCDCS shown in FIG. 23A to determine whether the source device can process gesture information and whether data can be processed with. You can check it.
  • the sink device transmits raw data including gesture information to the source device according to a method determined by a user or through HEC (S28050).
  • the source device may obtain the gesture information by parsing the received raw data.
  • the sink device may transmit the meta data described in FIG. 15 to the source device through CEC (S28040).
  • the metadata may be transmitted to the source device through the HEC or the CEC. In this case, it can be transmitted mainly through the CEC.
  • the sink device when the sink device cannot process the gesture information, and only the source device can process the raw data, the sink device may transmit the raw data to the source device through HEC, and the sink device sends the gesture information. Even if it can be processed, if the HEC Data Capability is exceeded, the metadata may be sent through CEC or the metadata may be transmitted through HEC.
  • data may be transmitted through the HEC and metadata may be transmitted through the CEC.
  • the source device may serve as the sink device and the sink device may serve as the source device in FIG. 28.
  • 29 and 30 illustrate a structure of a CEC command (Consumer Electronic Control Command) according to an embodiment of the present invention.
  • a sink device or a source device may request metadata through a ⁇ Request Gesture Capability> message, and through a ⁇ Report Gesture Capability> message. Meta data can be received.
  • FIG. 30 illustrates an operand included in the CEC message of FIG. 29, and may transmit gesture information related to a face, a hand, and a body through the metadata.
  • the meta data may include coordinate information such as an x-axis, a y-axis, a width, a height, and the like.
  • 31 and 32 illustrate a data structure when transmitting gesture information through a HEC (HDMI Ethernet Channel) according to an embodiment of the present invention.
  • HEC HDMI Ethernet Channel
  • raw data including gesture information may be transmitted through a MAC frame of the HEC.
  • the gesture information of the raw data may be included in the data field of the MAC frame illustrated in FIG. 31 and transmitted.
  • the gesture information included in the data field includes a header and a payload, and as shown in (c) of FIG. 32, the header includes a format field, a resolution field, a gesture_op field, a gesture_rev field, and / or a payload infor. May contain fields.
  • the gesture information may be included in a payload field and transmitted.
  • the present invention is used in the field of HDMI.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 HDMI(High Definition Media Interface)를 이용하여 데이터를 송수신하는 방법 및 장치에 관한 것이다. 본 발명에 의하며, 싱크 기기가 연결되면, 상기 싱크 기기로 EDID(Extended Display Identification Data) 판독(Read)을 요청하는 단계; 상기 싱크 기기로부터 상기 싱크 기기의 능력 정보를 포함하는 EDID를 수신하는 단계로서, 상기 능력 정보는 상기 싱크 기기가 제스처 정보(Gesture Information)를 처리할 수 있는지 여부를 나타냄; 상기 EDID에 기초하여 상기 싱크 기기로 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 상기 제스처 정보(Gesture Information)를 요청하는 단계; 및 상기 싱크 기기로부터 상기 제스처 정보를 수신하는 단계를 포함하는 방법 및 장치를 제공한다.

Description

HDMI를 사용하여 데이터를 송수신하기 위한 방법 및 장치
본 발명은 HDMI(High Definition Multimedia Interface)를 사용하는 데이터 송수신 장치 및 방법에 관한 것으로, 특히 HDMI를 통해서 싱크 기기와 소스 기기간 캡쳐(Capture)기기를 통해 획득한 동작 정보를 송수신 하기 위한 방법 및 장치에 관한 것이다.
HDMI는 개인용 컴퓨터와 디스플레이의 인터페이스 표준 규격인 DVI(Digital Visual Interface)를 AV 전자제품용으로 개발한 인터페이스/규격으로, HDMI는 영상/음성을 압축하지 않고 플레이어에서 디스플레이 기기 측으로 전송하므로 소스(source) 기기와-싱크(sink) 기기간의 지연(Latency)이 거의 없으며, 별도의 디코더 칩이나 소프트웨어를 필요로 하지 않아 포맷 호환성이 높다. 또한 비디오 신호, 오디오 신호, 및 컨트롤 신호가 케이블 하나로 전송되기 때문에 복잡했던 AV 기기들의 배선을 간단히 할 수 있고, 불법 복제 방지를 위한 암호와 기술(HDCP: High-bandwidth Digital Content Protection)을 지원하여 저작권 보호 기능까지 제공할 수 있다.
본 발명은, HDMI를 통해서 싱크 기기와 소스 기기간 데이터를 송수신하기 위한 방법을 제공함에 그 목적이 있다.
또한, 본 발명은 캡쳐 기기(예를 들면, 카메라)가 적용된 싱크 기기 또는 소스기기간 영상 데이터 또는 이미지 데이터를 송수신하기 위한 방법을 제공함에 그 목적이 있다.
또한, 본 발명은 캡쳐 기기가 구비되어 있는 싱크 기기를 통해 소스 기기로 동작 데이터와 정보를 전달하는 방법을 제공함에 그 목적이 있다.
또한, 본 발명은 캡쳐 기기가 지원되지 않는 싱크 기기에 대해 소스 기기가 캡쳐 기기를 지원하는 경우, 소스기기에 구비된 캡쳐 기기로부터 동작 데이터 및 정보를 싱크기기에게 전달하는 방법을 제공함에 그 목적이 있다.
본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상술한 문제점을 해결하기 위해서, HDMI(High Definition Media Interface)를 이용하여 데이터를 송수신하기 위한 방법 및 장치를 제공한다.
구체적으로, 본 발명의 일 실시예에 따른 데이터를 송수신 하기 위한 방법은, 싱크 기기가 연결되면, 상기 싱크 기기로 EDID(Extended Display Identification Data) 판독(Read)을 요청하는 단계; 상기 싱크 기기로부터 상기 싱크 기기의 능력 정보를 포함하는 EDID를 수신하는 단계로서, 상기 능력 정보는 상기 싱크 기기가 상기 제스처 정보를 처리할 수 있는지 여부를 나타냄; 상기 EDID에 기초하여 상기 싱크 기기로 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 제스처 정보(Gesture Information)를 요청하는 단계; 및 상기 싱크 기기로부터 상기 제스처 정보를 수신하는 단계를 포함한다.
또한, 본 발명에서, 상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타낸다.
또한, 본 발명에서, 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신된다.
또한, 본 발명에서, 상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고, 상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신된다.
또한, 본 발명은, 상기 싱크 기기로부터 상기 HEC의 이용 가능 여부를 나타내는 상태 정보를 요청하는 문의 메시지(inquiry message)를 수신하는 단계; 및 상기 싱크기기에게 상기 상태 정보를 포함하는 제 1 보고 메시지(first Reporting Message)를 전송하는 단계를 포함하되, 상기 상태 정보는 상기 HEC의 활성화(Activation) 또는 비활성화(Inactivation) 중 하나를 나타낸다.
또한, 본 발명에서, 상기 상태 정보가 상기 HEC의 비활성화를 나타내는 경우,
상기 싱크 기기로부터 상기 HEC를 활성화하는 설정 메시지(set message)를 수신하는 단계; 및 상기 HEC를 활성화하고, 상기 싱크 기기에게 상기 HEC의 활성화 상태를 나타내는 상태 정보를 포함하는 제 2 보고 메시지(second reporting message)를 전송하는 단계를 더 포함한다.
또한, 본 발명은, 상기 소스 기기로부터 SCDCS(Status and Control Data Channel Structure)에 포함된 상기 소스 기기의 능력 정보의 기입(Write) 요청을 수신하는 단계로서, 상기 능력 정보는 상기 싱크 기기가 상기 제스처 정보를 처리할 수 있는지 여부를 나타냄; 상기 기입된 능력 정보를 판독(Read)하는 단계; 상기 판독 결과에 기초하여 상기 소스 기기에게 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 제스처 정보(Gesture Information)를 요청하는 단계; 및 상기 소스 기기로부터 상기 제스처 정보를 수신하는 단계를 포함하는 방법을 제공한다.
또한, 본 발명에서, 상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타낸다.
또한, 본 발명에서, 상기 제스처 정보는, HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신된다.
또한, 본 발명에서, 상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고, 상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신된다.
또한, 본 발명은, 상기 싱크 기기로부터 상기 HEC의 이용 가능 여부를 나타내는 상태 정보를 요청하는 문의 메시지(inquiry message)를 수신하는 단계; 및 상기 싱크기기에게 상기 상태 정보를 포함하는 제 1 보고 메시지(first Reporting Message)를 전송하는 단계를 포함하되, 상기 상태 정보는 상기 HEC의 활성화(Activation) 또는 비활성화(Inactive) 중 하나를 나타낸다.
또한, 본 발명에서, 상기 상태 정보가 상기 HEC의 비활성화를 나타내는 경우, 상기 싱크 기기로부터 상기 HEC를 활성화하는 설정 메시지(set message)를 수신하는 단계; 및 상기 HEC를 활성화하고, 상기 싱크 기기에게 상기 HEC의 활성화 상태를 나타내는 상태 정보를 포함하는 제 2 보고 메시지(second reporting message)를 전송하는 단계를 더 포함한다.
또한, 본 발명은, HDMI를 통해 데이터를 송수신하는 HDMI 송신기; 상기 HDMI 송신기를 컨트롤 하는 컨트롤 유닛을 포함하되, 상기 소스 기기는, 싱크 기기가 연결되면, 상기 싱크 기기로 EDID(Extended Display Identification Data) 판독(Read)을 요청하고, 상기 싱크 기기로부터 상기 싱크 기기의 능력 정보를 포함하는 EDID를 수신하며, 상기 EDID에 기초하여 상기 싱크 기기로 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 제스처 정보(Gesture Information)를 요청하고, 상기 싱크 기기로부터 상기 제스처 정보를 수신하되, 상기 능력 정보는 상기 싱크 기기가 상기 제스처 정보를 처리할 수 있는지 여부를 나타내는 소스 기기를 제공한다.
또한, 본 발명에서, 상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타낸다.
또한, 본 발명에서, 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신된다.
또한, 본 발명에서, 상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고, 상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신된다.
또한, 본 발명은, HDMI를 통해 데이터를 송수신하는 HDMI 송신기; 상기 HDMI 송신기를 컨트롤 하는 컨트롤 유닛을 포함하되, 상기 싱크 기기는, 상기 소스 기기로부터 SCDCS(Status and Control Data Channel Structure)에 포함된 상기 소스 기기의 능력 정보의 기입(Write) 요청을 수신하고, 상기 기입된 능력 정보를 판독(Read)하며, 상기 판독 결과에 기초하여 상기 소스 기기에게 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 제스처 정보(Gesture Information)를 요청하고, 상기 소스 기기로부터 상기 제스처 정보를 수신하되, 상기 능력 정보는 상기 싱크 기기가 상기 제스처 정보를 처리할 수 있는지 여부를 나타내는 싱크 기기를 제공한다.
또한, 본 발명에서, 상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타낸다.
또한, 본 발명에서, 상기 제스처 정보는, HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신된다.
또한, 본 발명에서, 상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고,
상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신된다.
본 발명의 일 실시예에 따른 HDMI를 사용하여 데이터를 송수신하기 위한 방법에 따르면, 싱크 기기와 소스 기기간 데이터를 송수신할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 소스 기기와 싱크 기기간 동작 정보를 송수신할 수 있는 양방향 통신이 가능할 수 있다.
또한, 본 발명에 따르면, 캡쳐 기기가 구비되어 있는 싱크 기기를 통해서 소스기기로 동작 데이터 및/또는 동작 정보를 전송할 수 있다.
또한, 본 발명에 따르면, 캡쳐 기기가 지원되지 않는 싱크 기기가 캡쳐 기기가 지원되는 소스 기기를 통해 동작 데이터 및/또는 동작 정보를 전송 받을 수 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 HDMI 시스템 및 HDMI 시스템에 포함된 데이터 송수신 채널들을 나타낸다.
도 2는 본 발명의 실시예에 따른 HDMI 시스템에서, 소스 기기 및 싱크 기기를 나타낸다.
도 3은 본 발명의 실시예에 따른 EDID 스트럭처를 나타낸 도면이다.
도 4 및 도 5는 EDID 익스텐션 블록의 실시예를 나타낸다.
도 6은 본 발명의 실시예에 따른 HF(HDMI Forum)-VSDB(Vendor- Specific Data Block)을 나타낸다.
도 7은 본 발명의 실시예에 따른 SCDC(Status and Control Data Channel) 스트럭처를 나타낸다.
도 8은 본 발명의 실시예에 따른 CEC를 이용하는 HDMI 시스템을 나타낸다.
도 9 및 도 10은 본 발명의 실시예에 따른 CEC 메시지의 스트럭처를 나타낸다.
도 11은 본 발명의 실시예에 따른 HDMI를 통한 데이터 송수신 방법을 나타낸다.
도 12는 본 발명의 실시예에 따른 HDMI의 HEAC(HDMI Ethernet Audio Channel)를 통한 데이터 송수신 방법을 나타낸다.
도 13은 본 발명의 실시예에 따른 HEC 채널의 상태 전환 및 CDC(Capability Discovery and Control) 메시지를 나타낸다.
도 14는 본 발명의 실시예에 따른 MAC 프레임 포맷을 나타낸다.
도 15는 본 발명의 실시예에 따른 제스처 정보(Gesture Information)의 일 예를 나타낸다.
도 16은 본 발명의 실시예에 따른 A/V 데이터의 송수신 방법을 나타낸다.
도 17은 본 발명의 실시예에 따른 싱크 기기에서 카메라를 지원하는 경우, CEC(Consumer Electronic Control)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
도 18은 본 발명의 실시예에 따른 소스 기기에서 카메라를 지원하는 경우, CEC(Consumer Electronic Control)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
도 19는 본 발명의 실시예에 따른 싱크 기기에서 카메라를 지원하는 경우, HEC(HDMI Ethernet Channel)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
도 20은 본 발명의 실시예에 따른 소스 기기에서 카메라를 지원하는 경우, HEC(HDMI Ethernet Channel)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
도 21은 본 발명의 실시예에 따른 소스 기기에서 EDID를 통해 싱크 기기의 제스처 정보(Gesture Information) 처리 가능 여부를 확인하는 방법을 나타낸다.
도 22는 본 발명의 또 다른 실시예에 따른 HF-VSDB를 나타낸다.
도 23은 본 발명의 실시예에 따른 싱크 기기에서 SCDCS를 통해 소스 기기의 제스처 정보(Gesture Information) 처리 가능 여부를 확인하는 방법을 나타낸다.
도 24는 본 발명의 또 다른 실시예에 따른 CEC(Consumer Electronic Control)를 통해 소스 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
도 25는 본 발명의 또 다른 실시예에 따른 CEC(Consumer Electronic Control)를 통해 싱크 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
도 26은 본 발명의 또 다른 실시예에 따른 HEC(HDMI Ethernet Channel)를 통해 싱크 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
도 27는 본 발명의 또 다른 실시예에 따른 HEC(HDMI Ethernet Channel)를 통해 소스 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
도 28은 본 발명의 또 다른 실시예에 따른 제스처 정보(Gesture Information)의 송수신 방법을 나타낸다.
도 29 및 도 30은 본 발명의 실시예에 따른 CEC 커맨드(Consumer Electronic Control Command)의 스트럭처를 나타낸다.
도 31 및 도 32는 본 발명의 실시예에 따른 HEC(HDMI Ethernet Channel)을 통해 제스처 정보(Gesture Information)를 전송하는 경우의 데이터 스트럭처를 나타낸다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는 바, 이하에서는 특정 실시 예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명과 관련된 방법 및 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 HDMI 시스템 및 HDMI 시스템에 포함된 데이터 송수신 채널들을 나타낸다.
HDMI를 사용하여 비디오/오디오/컨트롤 데이터를 송수신하는 기기들을 함께 HDMI 시스템이라고 지칭할 수 있으며, HDMI 시스템은 소스 기기(1010)와 싱크 기기(1020) 및 HDMI 케이블을 포함할 수 있다. HDMI 시스템에서, HDMI를 통해 비디오/오디오 데이터를 전송하는 기기가 소스기기(1010)에 해당하고, HDMI를 통해 비디오/오디오 데이터를 수신하는 기기가 싱크 기기(1020)에 해당하며, 두 기기를 연결하여 데이터 송수신을 지원하는 HDMI 케이블이 제공된다.
도 1에서와 같이, HDMI 케이블 및 커넥터들은 TMDS(Transition Minimized Differential Signaling) 데이터 채널 및 TMDS 클럭 채널을 제공하는 4개 채널의 페어링을 수행할 수 있다. TMDS 데이터 채널들은 비디오 데이터, 오디오 데이터 및 부가(auxiliary) 데이터를 전달하는데 사용될 수 있다.
추가로, HDMI 시스템은 VESA(Video Electronics Standards Association) DDC(Display Data Channel)를 제공한다. DDC는 하나의 소스 기기와 하나의 싱크 기기간의 구성(Configuration) 및 상태(status) 정보 교환에 사용된다. CEC 프로토콜은 사용자 환경의 다양한 오디오 비주얼 제품들 간의 하이-레벨의 컨트롤 기능을 제공할 수 있으며, 옵셔널(optional)하게 사용될 수도 있다. 또한, 옵셔널 HEAC(HDMI Ethernet and Audio Return Channel)는 TMDS로부터 반대 방향에서 ARC(Audio Return Channel) 및 연결된 기기들 간의 이더넷(Ethernet) 호환 데이터 네트워킹을 제공할 수도 있다.
비디오 데이터, 오디오 데이터 및 부가 데이터는 3개의 TMDS 데이터 채널을 통해 전송/수신될 수 있다. TMDS 클록은, 통상적으로 비디오 픽셀 레이트를 운용(run)하며, TMDS 클럭 채널을 통해 전송된다. TMDS 클록은 HDMI 수신기에서 3개의 TMDS 데이터 채널들에서의 데이터 리커버리(recovery)를 위한 기준 주파수(frequency reference)로서 사용될 수 있다. 소스 기기에서, TMDS 데이터 채널 당 8비트의 데이터는 10비트의 DC 밸런싱된, 트랜지션(transition)이 최소화된 시퀀스로 변환되어, TMDS 클럭 주기(period) 당 10 비트의 레이트(rate)로 시리얼하게 전송될 수 있다.
TMDS 채널을 통해 오디오 데이터 및 부가 데이터를 전송하기 위해, HDMI는 패킷 구조를 사용한다. 오디오 데이터 및 컨트롤 데이터를 위한 높은 신뢰도(reliability)를 달성하기 위해, 데이터는 BCH 에러 정정 코드 및 에러 감소 코딩을 사용하여 생성되는 10비트의 워드로서 전송될 수 있다.
소스 기기는 DDC(Display Data Channel) 싱크 기기의 E-EDID(Enhanced Extended Display Identification Data)를 판독하여 싱크 기기의 구성 정보 및 가능한 기능을 알아낼 수 있다. E-EDID는 이하에서 EDID 정보라고 지칭할 수도 있다.
유틸리티 라인은 HEAC와 같은 옵셔널한 확장 기능에 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 HDMI 시스템에서, 소스 기기 및 싱크 기기를 나타낸다.
HDMI 시스템에서, HDMI를 통해 비디오/오디오 데이터를 전송하는 기기가 소스기기(2100)에 해당하고, HDMI를 통해 비디오/오디오 데이터를 수신하는 기기가 싱크 기기(2200)에 해당한다.
소스 기기(2100; source device)는 디스플레이 유닛(2110), 사용자 입력 인터페이스 유닛(2120), 비디오 인코딩 유닛(2130; Video Encoder), 컨트롤 유닛(2140), HDMI 송신기(2150), 메모리 유닛(2160), 스토리지 유닛(2170), 멀티미디어 유닛(2180), 또는 파워 공급 유닛(2190) 중 적어도 하나를 포함한다. 싱크 기기(2200)는 EDID EEPROM(2210), 비디오 디코딩 유닛(2220), 디스플레이 유닛(2230), 사용자 입력 인터페이스 유닛(2240), HDMI 수신기(2250), 컨트롤 유닛(2260), 파워 공급 유닛(2270), 메모리 유닛(2280) 또는 멀티미디어 유닛(2290) 중 적어도 하나를 포함한다. 이하에서, 동일한 동작을 수행하는 유닛에 대한 설명은 중복하지 않도록 한다.
소스 기기(2100)는 스토리지 유닛에 저장된 컨텐트를 싱크 기기(2200)로 전송하거나 스트리밍하는 물리적 장치를 나타낸다. 소스 기기(2100)는 싱크 기기에 요청(request) 메시지를 보내거나 싱크 기기로부터 수신한 요청 메시지를 수신하여 처리할 수 있다. 또한, 소스 기기(2100)는 전송한 요청 메시지에 대해 싱크 기기(2200)가 전송하는 응답 메시지를 처리하여 사용자에게 전달하는 UI를 제공할 수 있으며, 소스 기기(2100)가 디스플레이 유닛(2110)을 포함하는 경우에는, 이 UI를 디스플레이로 제공할 수 있다.
싱크 기기(2200)는 소스 기기(2100)로부터 컨텐트를 수신하며, 소스 기기(2100)에 요청 메시지를 전송하거나 소스 기기로부터(2100) 수신한 메시지를 처리하여 응답 메시지를 전송할 수 있다. 싱크 기기(2200) 역시 소스 기기(2100)로부터 수신하하는 응답 메시지를 처리하여 사용자에게 전달하는 UI를 제공할 수 있으며, 싱크 기기(2200)가 디스플레이 유닛(2230)을 포함하는 경우에는, 이 UI를 디스플레이로 제공할 수 있다.
소스 기기(2100) 및 싱크 기기(2200)는 사용자의 액션 또는 입력을 수신하는 사용자 입력 인터페이스 유닛(2120, 2240)을 포함할 수 있으며, 실시예로서 사용자 입력 인터페이스(2120, 2240)는 리모트 컨트롤러, 음성 수신/인식 장치, 터치 입력 센싱/수신 장치 등에 해당할 수 있다.
메모리 유닛(2160, 2280)은 다양한 종류의 데이터가 임시적으로 저장되는 휘발적 성격의 물리 장치를 나타낸다.
스토리지 유닛(2170)은 다양한 종류의 데이터를 저장할 수 있는 비휘발성성격의 물리적 장치를 타나낸다.
EDID EEPROM(2210)은 EDID 정보를 저장하고 있는 EEPROM을 나타낸다.
상술한 메모리 유닛, 스토리지 유닛, EDID EEPROM은 모두 데이터를 저장하는 역할을 하며, 이를 통칭하여 메모리 유닛이라고 지칭할 수도 있다.
디스플레이 유닛(2110, 2230)은 HDMI를 통해 수신된 데이터 또는 컨텐트 스토리지에 저장된 데이터 및 UI 등을 컨트롤 유닛의 제어에 의해 화면에 디스플레이하는 유닛을 나타낸다.
멀티미디어 유닛(2180, 2290)은 다양한 종류의 멀티미디어 재생을 수행한다. 멀티 미디어 유닛(21180, 2290)은 컨트롤 유닛(2140, 2260)과 별도로 구현되거나, 컨트롤 유닛과 하나의 물리적 구성으로서 구현될 수도 있다.
파워 공급 유닛(2190, 2270)은 소스 기기 및 싱크 기기 및 이들에 포함된 서브 유닛들의 동작에 필요한 전력을 공급한다.
HDMI 송신기(2150)는 소스 기기(2100)에 구비되어 HDMI를 통해 데이터를 송수신하는 유닛으로서, 오디오/비디오 데이터뿐만 아니라 기기간의 커맨드, 요청, 액션, 응답 등의 메시지를 포함하는 데이터 송수신을 수행한다.
비디오 인코딩 유닛(2130)은 HDMI 송신기(2150)를 통해 전송할 영상 데이터를 압축한다.
HDMI 수신기(2250)는 싱크 기기(2200)에 구비되어 HDMI를 통해 데이터를 송수신하는 유닛으로서, 오디오/비디오 데이터뿐만 아니라 기기간의 커맨드, 요청, 액션, 응답 등의 메시지를 포함하는 데이터 송수신을 수행한다.
비디오 디코딩 유닛(2130)은 HDMI 수신기(2250)를 통해 수신한 압축된 영상 데이터의 압축해제를 수행한다.
이하에서는, HDMI에서 제공하는 채널, 데이터 구조, 기능들에 대해 더욱 상세히 설명하도록 한다.
상술한 바와 같이, HDMI 시스템은 VESA(Video Electronics Standard Association)에서 정의한 모니터 및 컴퓨터 그래픽 어댑터 간의 디지털 정보 전송을 위한 프로토콜 표준인 DDC(Display Data Channel)를 제공한다. DDC를 통해 HDMI 기기들은 모니터에서 지원 가능한 디스플레이 모드 정보를 그래픽 어댑터에 전송하고, 그래픽 어댑터는 이에 맞춰 모니터에 영상을 전송할 수 있다. DDC 표준이 제정되기 전, VGA 표준에서는 모니터 타입을 인식하기 위해 아날로그 VGA 커넥터의 4가지 핀(Pin 11, 12, 4, 15)을 사용하였으며, 이 중 Pin 11, 12, 4만이 사용되고 7 종류의 모니터 타입을 인식할 수 있었다. DDC에 대한 버전 별 내용은 이하와 같다.
** DDC 버전 1 (1994년 제정)
-모니터링 정보를 기술하는 바이너리 파일 포맷인 EDID(Extended Display Identification Data)를 정의함.
-핀 12를 데이터 라인으로 사용하며 128 바이트의 EDID 블록을 연속적으로 모니터에서 컴퓨터로 전송함.
** DDC 버전 2 (1996년 제정)
-EDID를 DDC에서 정의하지 않고 병행하는 독립적인 표준으로 정의함.
-I2C 시리얼 버스를 기반으로 정의되며 Pin 12는 I2C 버스의 데이터 라인, Pin 15는 I2C 버스의 클록 라인으로 사용함.
Pin 9는 모니터 전원이 오프되어 있어도 EEPROM에 저장된 EDID를 읽기 위해 컴퓨터에서 모니터로 5V DC 전원(50mA까지)을 인가하는 용도로 사용됨.
-8비트 데이터 오프셋으로 28 바이트~256 바이트까지의 EDID 저장 용량을 허용.
** E-DDC
-DDC 버전 1 및 2를 대체하는 표준으로서 199년에 버전 1이 제정되었으며 E-EDID(Enhanced EDID) 사용을 위해 디스플레이 정보 저장 용량을 32Kbyte까지 허용함.
-8비트 세그먼트 인덱스(0x00~0x7F)를 사용하는 새로운 I2C 어드레싱 스킴을 적용하여 128 세그먼트(1세그먼트=256바이트)를 액세스할 수 있으며, 이로 인해 32 바이트까지 액세스 가능함.
-2004년 E-DDC 버전 1.1이 제정되었으며 CE 기기 및 VGA 이외에 HDMI 같은 비디오 인터페이스도 지원하는 내용이 포함됨.
-2007년 E-DDC 버전 1.2가 제정되었으며, 디스플레이 포트 및 디스플레이 ID 지원 내용이 포함됨.
이하에서는 DDC를 통해 제공되는 EDID에 대하여 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 EDID 스트럭처를 나타낸 도면이다.
EDID는 VESA에서 정의된 디스플레이 장치에 대한 다양한 정보가 포함된 데이터 스트럭처로서, DDC 채널을 통해 소스 기기로 전송되거나 소스 기기에 의해 판독될 수 있다. EDID의 경우 버전 1.3의 데이터 스트럭처가 IT 디스플레이 장치, CE 디스플레이 장치 및 비디오 인터페이스(HDMI)에서 사용되고 있다.
도 3은, EDID 데이터 스트럭처에서, 각각의 어드레스에서 나타내는 정보들을 간략히 나타낸다.
도 4 내지 도 5는 EDID 익스텐션 블록의 실시예를 나타낸다.
각각 도 4는 EDID 익스텐션(Extension) 블록을, 도 5(a)는 비디오 데이터 블록을, 도 5(b)는 오디오 데이터 블록을 및 도 5(c)는 스피커 할당(allocation) 데이터 블록을 나타낸다.
EDID에 기술된 타이밍 정보는 IT 디스플레이 장치들을 위한 것으로서 CE 디스플레이 장치들의 타이밍 정보를 나타내기 위해 CEA-861에서 정의한 EDID 1.3 익스텐션 블록을 사용할 수 있다. 버전 3의 CEA 익스텐션 블록은 CEA-861B 표준에서 정의되었으며, 4개의 옵셔널 데이터 블록(비디오, 오디오, 스피커 할당, 벤더 특정(Vendor Specific)을 명시한다.
도 5(a)의 비디오 데이터 블록에서, Short Video Descriptor는 CEA-861에서 정의한 비디오 식별 코드(Video Identification Code)를 나타낸다. 도 5(b)의 오디오 데이터 블록에서, Short Audio Descriptor는 CEA-861에서 정의한 오디오 포맷 코드(Audio Format Code)를 나타낸다. 도 5(c)의 Speaker Allocation Data Block Descriptor는 CEA-861에서 정의한 데이터 블록 페이로드(Data Block Payload)를 나타낸다.
도 6은 본 발명의 실시예에 따른 HF(HDMI Forum)-VSDB(Vendor- Specific Data Block)을 나타낸다.
도 6의 HF-VSDB는 벤더-특정 데이터가 정의될 수 있는 데이터 블록으로, HDMI는 이 데이터 블록을 사용하여 HDMI 특정 데이터를 정의할 수 있다. HF-VSDB는 싱크 기기의 E-EDID에 포함될 수 있으며, 포함되는 경우 싱크 기기의 E-EDID 내의 CEA 익스텐션 버전 3에 위치할 수 있다.
도 6의 HF-VSDB에 포함된 필드들에 대한 설명은 이하와 같다.
- Length 필드: 데이터 블록의 전체 길이(total length)로서 최소값은 7, 최대값은 31임.
- IEEE OUI 필드: IEEE Organizationally Unique Identifier로서 HDMI 포럼에 할당된 OUI는 0xC45DD8임.
- Version 필드: HF-VSDB (HDMI Forum-VSDB)의 버전 넘버로서 값은 1임.
- Max_TMDS_Character_Rate 필드: 지원하는 maximum TMDS Character Rate를 나타내며 싱크 기기가 340 Mcsc 이상을 지원하지 않으면 0으로 세팅하고 지원하면 1로 세팅.
- 3D_OSD_Disparity: 1로 세팅 되면 Sink 기기가 3D_OSD_Disparity Indication 수신을 지원함을 나타냄.
- Dual_view: 1로 세팅되면 싱크 기기가 Dual_view 시그널링 수신을 지원함을 나타냄.
- Independent_view 필드: 1로 세팅되면 싱크 기기가 3D independent view 시그널링 수신을 지원함을 나타냄.
- LTE_340Mcsc_scramble 필드: 1로 세팅 되면 싱크 기기가 TMDS character rate 340Mcss 이하에서 스크램블링을 지원함을 나타냄. 그리고 SCDC_Present가 0으로 세팅되면 이 flag 또한 0으로 세팅 되어야 함.
- RR_Capable 필드: 1로 세팅 되면 Sink 기기가 SCDC 판독 요청(read request)을 개시(initiating) 할 수 있는 것을 나타냄. 그리고 SCDC_Present가 0으로 세팅되면 이 flag 또한 0으로 세팅 되어야 함.
- SCDC_Present 필드: 1로 세팅 되면 Sink가 SCDC 기능을 지원함을 나타냄.
- DC_48bit_420, DC_36bit_420, DC_30bit_420: 1로 세팅 되면, Deep Color 4:2:0 픽셀 인코딩을 컴포넌트(component)당 10 bit/12bit/16bit를 지원함을 나타냄.
본 발명에서는 EDID의 HF-VSDB를 통해 싱크 기기의 제스처 정보(Gesture Information) 처리 능력 정보를 시그널링할 수 있으며, 이에 대해서는 후술하도록 하겠다.
도 7은 본 발명의 실시예에 따른 SCDC(Status and Control Data Channel) 스트럭처를 나타낸다.
SCDC(Status and Control Data Channel)는 소스 기기와 싱크 기기가 데이터를 교환하는 포인트-대-포인트(Point-to-Point) 통신 프로토콜에 해당한다. SCDC 통신은 상술한 DDC 채널(라인I2C)을 사용할 수 있다. 즉, SCDC는 HDMI 소스 기기와 싱크 기기간의 데이터 교환을 가능하게 하는 I2C 시리얼 통신 기반의 일대일 통신 프로토콜이다. SCDC는 I2C 슬레이브인 싱크 기기가 I2C 마스터인 소스 기기에 상태 확인 판독(status check read)을 요청하고, 이를 수신한 소스 기기가 해당 상태(status)를 싱크 기기로부터 읽어오는 매커니즘을 포함한다.
SCDCS(SCDC Structure)는 싱크 기기의 메모리에 저장되며, 도 8의 구조와 같은 데이터를 포함할 수 있다. 도 8에서 R/W는 소스 기기 관점에서, 싱크 기기에 저장된 SCDCS의 데이터를, 소스 기기는 판독(read)만 가능한지 또는 판독/기입(read/write)이 모두 가능한지를 나타낸다.
도 7의 SCDCS에 포함되는 필드들에 대한 설명은 이하와 같다.
- Sink Version 필드: SCDCS 지원(compliant) 싱크 기기의 버전 정보를 표시. 1로 설정함.
- Source Version 필드: SCDCS 지원(compliant) 소스 기기가 싱크 기기로 부터 E-EDID를 읽어오고 E-EDID의 SCDC_Present = 1로 설정되어 있으면 SCDCS의 Source Version을 1로 설정함.
- Update Flags (Update_0, Update_1) 필드: 싱크 기기가 소스 기기에 알려주어야 할 정보 (Status, Character Error Detect 등) 에 변화가 생기면 해당 bit를 1로 설정함.
- TMDS Configuration (TMDS_Config) 필드: TMDS_Bit_Clock_Ratio와 Scrambling_Enable이 각각 1 bit씩 점유하고 있으며 소스 기기가 싱크 기기의 스크램블링 기능을 활성화하고자 한다면 해당 bit를 1로 설정. TMDS_Bit_Clock_Ratio가 1/10이면 0로, 1/40이면 1로 설정.
- Scrambler Status 필드: 싱크 기기가 스크램블된 컨트롤 코드 시퀀스를 감지할 때 해당 bit를 1로 설정.
- Configuration (Config_0) 필드: 소스 및 싱크 기기의 Capability 관련 정보를 configuration하는 필드로서 현재는 Source 기기가 Sink 기기의 Read Request를 지원하는지를 나타낼 수 있는 RR_Enable field만 있음.
- Status Flags (Status_Flag_0, Status_Flag_1) 필드: Clock, channel 0,1, 그리고 2를 통해 수신된 data가 성공적으로 decoding 되었는지 아닌지를 나타냄.
- Err_Det_0~2_L/H 필드: 채널 0~3에서 디텍팅된 에러 카운터의 LSB 및 MSB를 각각 나타냄.
- Err_Det_Checksum 필드: 체크섬(hecksum)을 포함하는 7개 레지스터들의 에러 디텍션 값들의 1바이트 합(sum)이 0이 되도록 구현됨.
도 8은 본 발명의 실시예에 따른 CEC를 이용하는 HDMI 시스템을 나타낸다.
HDMI CEC는 HDMI Consumer Electronic Control의 약자로, 앞에서 살펴보았듯이, 여러 개의 멀티미디어 제품이 HDMI 케이블로 연결된 네트워크에서 사용자에게 한번의 동작으로 여러 제품을 제어할 수 있도록 하는 기능을 제공하는 프로토콜을 의미하며, 이하에서는 HDMI CEC라고 명명하기로 한다.
상기 도 8에서와 같이, HDMI CEC 시스템은 크게 HDMI 싱크 기기(1020), HDMI 소스 기기(1010)로 구성될 수 있으며, 싱크 기기(1020)는 HDMI 커넥터, HDMI 수신기, 중앙처리장치(CPU) 및 CEC 컨버터(CEC Converter)를 포함할 수 있고, 소스 기기(1010)는 HDMI 커넥터, HDMI 송신기, 중앙처리장치(CPU) 및 CEC 컨버터(CEC Converter)를 포함할 수 있다.
본 발명이 적용되는 다양한 실시예에서, 해당 상황에 따라 싱크 기기(1012)는 수신기(receiver) 또는 이니시에이터(initiator) 등으로 호칭될 수 있으며, 소스 기기(1020)는 송신기(transmitter) 또는 팔로워(follower) 등으로 호칭될 수 있다.
여기서, 이니시에이터(initiator)는 명령을 시작하고 전달, 제어하는 기기를 의미하고, 팔로워(follower)는 명령에 대한 응답 및 요청을 수행하여 결과를 알려주는 기기를 의미할 수 있다.
상기 싱크 기기(1010)는, 예를 들어, TV, 리피터(repeater) 등을 포함할 수 있고, 상기 소스 기기(1020)는, 예를 들어, DVD 플레이어, 셋탑박스(STB, Set Top Box), 퍼스널 컴퓨터(PC), 노트북, 레코더 등을 포함할 수 있다.
상기 HDMI 커넥터는 타입 A,B,C,D,E와 같은 다섯 가지 타입의 커넥터를 포함할 수 있으며, 예를 들어, 타입 A는 19핀으로 일반적인 HDMI 커넥터이고, 타입 B는 29핀으로 UHD 영상을 전송하기 위한 커넥터이고, 타입 C는 19핀의 미니 커넥터이고, 타입 D는 19핀의 마이크로 커넥터이며, 타입 E는 차량용 커넥터를 나타낼 수 있다.
HDMI 송신기(HDMI transmitter)와 HDMI 수신기(HDMI receiver)는 앞에서 살펴본 바와 같이, HDMI 커넥터(HDMI connector)를 통해 멀티미디어 정보를 전달하는 세 개의 TMDS (Transition Minimized Differential Signaling) 데이터 전송 채널과 한 개의 클럭 채널 및 DDC (Display Data Channel)(미도시), CEC (Consumer Electronics Control) 채널, 유틸리티(Utility) 채널(미도시), HPD(Hot Plug Detect) 채널(미도시)과 같은 제어 채널들을 포함할 수 있다.
상기 TMDS 채널은 세 개의 데이터 전송 채널로 이루어지며, 비디오와 오디오 데이터를 전송한다.
상기 CEC 채널은 TV 리모컨을 이용하여 HDMI가 연결된 기기들을 제어할 수 있게 해주는 제어 명령인 CEC 프로토콜을 전달하는 제어 채널이다. 이 기능을 이용하면 원터치 재생(One Touch Play), 즉 TV 리모컨을 이용하여 연결된 재생 기기의 재생을 수행하도록 하는 기능 등 HDMI로 연결된 각각의 기기를 따로따로 컨트롤 할 필요 없이, 하나의 리모컨으로 제어가 가능하여 사용자 편의를 증대시킬 수 있다.
싱크 기기(1010)의 중앙처리장치는 그래픽 유저 인터페이스 계층(GUI layer), 응용 계층(application layer) 및 CEC 프로토콜 계층(CEC Protocol layer)을 포함할 수 있으며, 소스 기기(1020)의 중앙처리장치는 응용 계층(application layer)과 CEC 프로토콜 계층(CEC Protocol layer)을 포함할 수 있다.
그래픽 유저 인터페이스 계층(GUI layer)은 HDMI 수신기를 통해 받은 데이터를 그래픽 유저 인터페이스를 통해 출력되도록 데이터를 처리하고, 응용 계층(application layer)은 사용자에 의해 정의된 방식에 의해 데이터를 처리하며, CEC 프로토콜 계층(CEC Protocol layer)은 전송된 CEC 데이터를 처리하고 필요한 정보 등을 상위 계층으로 전달한다. 상기 CEC 프로토콜 계층(CEC Protocol layer)에서는 본 발명이 적용되는 물리 주소 할당 및 논리 주소 할당 과정 등이 수행될 수 있다.
싱크 기기(1010) 및 소스 기기(1020)의 CEC 컨버터에서는 데이터 전송을 위해 신호를 발생시키거나 전송 우선 순위, 신뢰성 있는 전송을 위한 재전송 등을 관리하며, 예를 들어, 프레임 전송(frame transmission), 라인 에러 관리(line error handling) 및 프레임 유효 검사(frame validation)를 수행할 수 있다. 또한, 중앙처리장치와 프레임 단위의 데이터 통신을 통해 HDMI CEC 신호 처리를 수행하는 인터페이스 역할을 한다.
예를 들어, 본 발명이 적용되는 신호처리부에서는 기기 간의 커맨드(command), 요청(request), 액션(action), 응답(response) 등의 메시지나 데이터 등을 처리하는 역할을 수행할 수 있다.
도 9 및 도 10은 본 발명의 실시예에 따른 CEC 메시지의 스트럭처를 나타낸다.
앞에서 살펴본 바와 같이, CEC는 HDMI를 통해 연결된 CEC 가능한 기기를 리모컨 하나로 조작 가능하게 한다. HDMI가 연결되면 각각의 기기들은 물리 주소(Physical address)를 가지게 되고, CEC를 지원하는 기기들은 추가로 논리 주소(Logical address)를 가지게 된다.
각각의 기기들은 이벤트 발생 시 CEC Line을 통해 메시지를 주고 받을 수 있으며, 각각의 메시지는 아래와 같은 기능을 가질 수 있다.
- One Touch Play: 버튼 한번 클릭으로 재생이 시작되고 기기가 active source 상태로 변경됨.
- Routing Control: CEC Switch가 사용되고 있을 때 HDMI 네트워크의 Routing을 제어함.
- System Standby: 모든 연결된 기기들을 대기 모드로 전환.
- One Touch Record: TV에 나오는 내용을 녹화하는 기능 컨트롤
- Preset Transfer: tuner channel의 설정을 다른 TV set으로 전송
- Timer Programming: 한 기기에서 다른 기기의 타이머를 설정
- System Information: 기기에서 TV와 동일한 OSD와 메뉴 언어를 사용하도록 세팅
- Deck Control: 재생 기기를 타 기기에서 제어
- Tuner Control: 다른 기기의 tuner를 제어
- OSD Display: 기기에서 TV 세트의 화면에 띄우기 위해 텍스트를 전송
- Device OSD Name Transfer: 설정되어 있는 기기 이름을 TV set으로 전송
- Device Menu Control: TV 리모컨으로 기기의 메뉴들을 제어 가능하도록 함
- Remote Control Pass Through: 리모컨에서 입력 받은 내용을 다른 기기로 전송함
- Vendor Specific Commands: 제조사가 정의한 명령어
CEC 메시지는 CEC 프레임을 통해서 전송되며, CEC 프레임은 상기 도 9에서와 같이 시작 비트(Start bit), 헤더 블록(Header Block), 제 1 데이터 블록 및 제 2 데이터 블록으로 이루어질 수 있다.
각 블록 하나의 크기는 10bits 이며, 시작 비트를 제외하고 최대 메시지의 크기는 16*10 bits이다
상기 도 9의 (c) 및 도 10에서와 같이, 상기 헤더 블록은 소스 기기의 주소와 목적지의 주소를 포함하고, 상기 제 1 데이터 블록은 옵코드(Opcode)블록으로 구성되며, 상기 제 2 데이터 블록은 오퍼랜드(operand)블록으로 구성될 수 있다. 여기서, 옵코드(opcode)란 메시지를 식별하기 위해 사용되는 이름을 의미할 수 있다.
각각의 모든 데이터 블록과 헤더 블록은 정보 비트(information bits)필드, EOM(End Of Message) 필드 및 ACK 필드로 구성될 수 있다.
상기 정보 비트(information bits) 필드는 데이터, 옵코드 또는 주소를 포함할 수 있다. 상기 EOM(End Of Message) 필드는 메시지의 마지막 블록인지를 알려주는 비트로써, 예를 들어, 상기 EOM(End Of Message) 필드 값이 0이면 하나 또는 그 이상의 데이터 블록이 존재한다는 것을 의미하고, 1이면 메시지가 완료되었음을 의미할 수 있다. EOM 필드가 전송된 이후 메시지가 추가 데이터를 포함한다 하더라도 메시지를 받는 디바이스는 이를 무시해야 한다.
상기 ACK 필드는 이니시에이터에서 ‘1’로 세팅해서 보내며, 팔로우어에서 ‘0’으로 표기하여 메시지를 받았음을 의미한다.
도 11은 본 발명의 실시예에 따른 HDMI를 통한 데이터 송수신 방법을 나타낸다.
소스 기기(1010) 및 싱크 기기(1020)가 HDMI 케이블로 연결되면, 상기 소스 기기(1010)는 5V의 전력 라인을 로우 레벨로부터 하이 레벨로 전환하고 전류를 인가한다(S11010). 이를 통해 상기 소스 기기(1010)는 상기 싱크 기기(1020)의 EDID 정보가 저장된 EEPROM 및 관련 회로를 동작시킬 수 있다.
상기 싱크 기기(1020)는 HPD(Hot Plug Detect) 라인을 로우 레벨에서 하이 레볼로 전환하여, 케이블이 정상적으로 연결되었고, EDID 관련 회로가 활성화 되어 EDID 정보의 액세스가 가능함을 상기 소스 기기(1010)에게 알려줄 수 있다(S11020).
이후, 상기 소스 기기(1010)는 상기 싱크 기기(1020)로 DDC를 통해 EDID 정보 판독 요청을 전송할 수 있다(S11030). 상기 싱크 기기(1020)는 상기 EDID 판독 요청에 대한 응답으로서, 상기 소스 기기(1010)에게 DDC를 통해 RRPROM에 저장된 EDID 정보를 전송할 수 있다(S11040). 본 발명의 실시예에서, EDID 정보는 상술한 VSDB로서 전송될 수 있다.
상기 소스 기기(1010)와 상기 싱크 기기(1020)는 DDC를 통해 HDCP(High-bandwidth Digital Content Protection) 키 교환 절차를 통해서, 암호화 프로토콜을 수행한다(S11050).
상기 싱크 기기(1020)는 CEC를 통해 상기 소스 기기(1020)에게 상기 싱크 기기(1010)의 데크(Deck)를 온 시키기 위한 CEC 메시지인 <Give Deck Status>[“on”] 메시지를 전송한다(S11060). 상기 소스 기기(1020)는 데크(Deck)를 온(ON)시키고 <Deck Status> 메시지를 전송함으로써, 상기 싱크 기기(1010)에게 상기 소스 기기(1020)의 Deck 상태를 알려줄 수 있다(S11070).
이후, 상기 싱크 기기(1010)가 사용자로부터 A/V 데이터의 재생을 위한 명령을 입력 받으면, 상기 싱크 기기(1010)는 CEC를 통해 <Play>를 전송하여 상기 소스 기기(1020)가 A/V 데이터를 재생하게 할 수 있다(S11080). 상기 소스 기기는 CEC를 통해 <deck Status>[“Play”] 메시지를 상기 싱크 기기(1020)에게 전송함으로써, 상기 소스 기기(1010)의 데크 상태가 재생 중임을 알릴 수 있다(S11090).
이후, 상기 소스 기기(1010)는 TMDS를 통해 상기 싱크 기기(1020)에게 비디오 데이터, 오디오 데이터 및 인포프레임을 전송할 수 있다(S11100). 상기 싱크 기기(1010)는 사용자로부터 특정 명령, 예를 들면, 다음 쳅터(Next Chapter)라는 명령을 수신하고, CEC를 통해 <Dec Control>[“Skip Forward”] 메시지를 전송하여 상기 소스 기기(1010)가 현재 챕터를 스킵(Skip)하게 할 수 있다(S11110). 현재 챕터를 스킵한 상기 소스 기기(1010)는 <Deck Status>[“Skip Forward”]를 전송하여 데크(Deck)의 상태를 보고할 수 있다(S11120).
이후, 상기 소스 기기는 TDMS를 통해서 상기 싱크 기기(1010)에게 비디오 데이터, 오디오 데이터 및/또는 인포프레임을 전송할 수 있다(S11130).
본 발명은, 이와 같은 HDMI를 이용한 데이터 송수신 방법을 통해 촬영 기기로부터 획득된 제스처 정보(Gesture Information)를 송수신 하기 위한 방법을 제안한다.
도 12는 본 발명의 실시예에 따른 HDMI의 HEAC(HDMI Ethernet Audio Channel)를 통한 데이터 송수신 방법을 나타낸다.
HEAC는 HDMI Ethernet Audio Channel의 약자로 이하 HEAC라 호칭한다. HEAC에서 Ethernet은 IEEE 802.3, 오디오 데이터는 IEC60958-1 규격을 따른다.
핀 14는 유틸리티/HEAC+(선택적, 오디오 리턴 채널과 이더넷이 달린 1.4+)로 사용되며, 핀 17은 DDC/CEC/HEC Ground로, 핀 19는 HEAC-(선택적, 오디오 리턴 채널과 이더넷이 달린 HDMI 1.4+)로 사용된다.
상기 도 12에 도시된 바와 같이, HEC는 HDMI의 Ethernet 네트워크 연결로서, 100BAST-TX 타입을 사용하며, Full duples mode를 지원하고, 100Mbps 속도를 가진다.
상기 HEC 네트워크는 HEAC 케이블들로 상호 연결된 싱크 기기, 리피터(Repeater) 및 소스 기기로 구성되어 있으며, 적어도 2개의 HEC 커넥터를 포함하고 있는 리피터 또는 소스 기기는 MAC 프레임을 포워딩(forwarding)하기 위해서 internal Layer 2 switch(L2SW)를 가지고 있다.
ARC는 Audio Return Channel의 약자로 싱크 기기, 예를 들어 TV로부터 리피터(Repeater)를 통해 소스로 전송된 디지털 음성 신호를 HDMI를 경유하여 역으로 상기 리피터, 예를 들면 AV 앰프에 입력할 수 있다. 따라서, 이 경우 오디오 신호를 전송하는 TV가 소스기기가 되며, CEC를 사용하여 Amp가 어떤 오디오 포맷을 지원하는지 확인할 수 있다.
도 13은 본 발명의 실시예에 따른 HEC 채널의 상태 전환 및 CDC(Capability Discovery and Control) 메시지를 나타낸다.
HEC 채널은 CEC 메시지를 통해서 컨트롤 되며, 이때, HEC 상태를 컨트롤하는 CEC 명령어를 HEC CDC(Capability Discovery and Control)이라고 한다.
상기 HEC는 아래와 같은 상태를 가질 수 있다.
- Potential HEC: 처음 연결 상태(PHEC).
- Verified HEC: HEC 기능 지원이 확인 된 상태(VHEC).
- Active HEC: HEC 기능이 활성화 된 상태(AHEC).
상기 HEC CDC는 CEC를 통해 전송되며, potential HEC 상태의 HEC를 발견할 수 있다.
또한, HEC를 활성화 또는 비활성화 시킬 수 있으며, channel의 상태를 전달할 수 있다.
상기 도 13에 도시된 바와 같이 처음 HDMI가 연결되면, 디바이스의 HEC의 상태는 Potential HEC(PHEC) 상태로 존재하게 된다. HDMI가 연결된 기기는 HDMI로 연결된 다른 디바이스의 HEC 능력(capability)을 발견하기 위해 <CDC_HEC_Discover> 메시지를 전송할 수 있다(S13010).
만약, 상기 <CDC_HEC_Discover> 메시지를 수신한 다른 디바이스가 HEC 기능을 지원하는 경우, 상기 <CDC_HEC_Discover> 메시지에 대한 응답으로 <CDC_HEC_ReportState> 메시지를 전송할 수 있다.
하지만, 상기 <CDC_HEC_Discover> 메시지를 수신한 다른 디바이스가 HEC 기능을 지원하지 않는 경우, 상기 다른 디바이스는 상기 <CDC_HEC_Discover> 메시지에 대한 응답을 하지 않는다.
이와 같은 방법을 통해서 상기 디바이스는 HDMI로 연결된 다른 디바이스가 HEC 기능을 지원하는지 여부를 확인할 수 있다.
만약 다른 디바이스로부터 전송된 상기 <CDC_HEC_ReportState> 메시지가 비활성 상태를 나타내는 경우, 상기 디바이스는 상기 HEC를 활성화 시키기기 위해 상기 다른 디바이스에게 <CEC_HEC_SetState> 메시지를 전송할 수 있다.
상기 <CEC_HEC_SetState> 메시지를 수신한 상기 다른 디바이스는 상기 디바이스와 상기 다른 디바이스 사이의 HEC를 모두 활성화 시킨 뒤, 상기 디바이스에게 <CEC_HEC_ReportState> 메시지를 전송하여, HEC의 활성화 상태를 보고할 수 있다(S13020).
이후, 상기 디바이스가 상기 활성화 상태의 HEC를 비활성화 시키기 위해서는 <CDC_HEC_SetState> 메시지를 전송할 수 있다(S13050).
상기 <CDC_HEC_SetState> 메시지를 수신한 상기 다른 디바이스는 상기 디바이스와 상기 다른 디바이스 사이의 HEC를 모두 비활성화 시킬 수 있다.
만약, VHEC 상태로 존재하는 디바이스들 중 일부가 HEC 기능을 지원하지 않는 경우, HEC 기능을 지원하지 않는 디바이스 들은 다시 PHEC 상태로 돌아갈 수 있다(S13040).
상기 도 13의 (b)는 상기 CDC 메시지 프레임 구조를 나타내는 것으로써, 상기 CDC 메시지는 시작 비트(start bit) 필드, CEC 헤더 블록 필드, CEC 옵코드(Opcode) 블록 필드, CEC 이니시에이터 물리 주소(CEC Initiator Phy. Address) 필드, CDC 옵(Opcode) 필드 및/또는 CDC 파라미터(Parameter) 필드로 구성될 수 있다.
상기 시작 비트(start bit) 필드, CEC 헤더 블록 필드, CEC 옵코드(Opcode) 블록 필드, CEC 이니시에이터 물리 주소(CEC Initiator Phy. Address) 필드는 앞의 도 9 및 도 10에서 설명한바, 설명을 생략하도록 한다.
상기 CDC 옵 코드 필드는, 상기 CDC 메시지가 어떤 메시지를 나타내고, 상기 CDC 파라미터 필드는 각 CDC 메시지의 파라미터를 포함할 수 있다.
본 발명은, 앞에서 설명한 HEC를 통해서 촬영 기기로부터 획득된 데이터를 송수신하는 방법을 제안한다.
도 14는 본 발명의 실시예에 따른 MAC 프레임 포맷을 나타낸다.
상기 도 14는 앞에서 설명한 HEC를 통해 포워딩(forwarding)되는 MAC 프레임의 구조를 나타내는 것으로써, 상기 MAC data frame(IEEE 802.3)을 이용하여 데이터를 전달할 수 있다.
본 발명은 상기 MAC 프레임을 이용하여 싱크 기기 또는 소스 기기가 촬영 기기로부터 획득한 데이터를 HEC를 통해서 상기 소스 기기 또는 싱크기기에게 전송하는 방법을 제안한다.
도 15는 본 발명의 실시예에 따른 제스처 정보(Gesture Information)의 일 예를 나타낸다.
촬영 기기(예를 들면, 카메라, 캠코더 등)가 부착된 장치들은 상기 촬영 기기를 통해 촬영된 동영상 또는 이미지들을 통해서 기 설정된 제스처를 인식하거나 추출할 수 있다.
이렇게 인식하거나 추출된 제스처들을 제스처 정보(Gesture Information)라 한다. 이러한 제스처 정보들은 예를 들면, (a) 기본적으로 인간의 얼굴 정보, 핸드(Hand) 정보, 바디(body) 정보 또는 이러한 정보들의 조합을 포함한다.
(b) 상기 인간의 얼굴 정보는 페이스 디텍션(Face detection), 얼굴 인식(Face Recognition), 페이셜 파트 트래킹(Facial Part Tracking) 또는 게이즈 트래킹(Gaze Tracking)과 같은 기술을 통해서 획득될 수 있다.
(c)상기 핸드 또는 바디 정보는 손의 움직임, 위치, 모양 등의 정보를 나타내는 핸드 제스처(Hand Gesture), 손가락의 움직임, 위치, 모양 등의 정보를 나타내는 핑거 제스처(Finger Gesture) 또는 몸의 움직임, 위치 모양 등의 정보를 나타내는 바디 제스처(Body Gesture)를 포함할 수 있다.
이때, 상기 싱크 기기 또는 상기 소스기기가 상기 동영상 또는 상기 이미지에서 상기 제스처 정보와 같은 특정 정보를 인식 또는 추출하기 위해서 상기 제스처 정보가 어떤 정보인지 사전에 상기 소스 기기 또는 상기 싱크 기기에 설정되어 있어야 한다. 즉, 상기 소스 기기 또는 상기 싱크 기기에 상기 제스처 정보를 인식 또는 추출하기 위해 특정 기술 또는 정보가 설정되어 있어야 한다.
이와 같은 제스처 정보는 상기 동영상 또는 상기 이미지와 같은 로 데이터(raw data)로써 전송되거나, 상기 로 데이터(raw data)에서 상기 제스처 정보를 나타내는 메타 데이터(meta data)로서 전송될 수 있다.
예를 들면, 상기 메타 데이터는 x축 정보, y축 정보, width, height 등의 좌표 정보를 나타낼 수 있다. 이러한 상기 메타 데이터는 데이터가 간단하며 사이즈가 작아 송수신이 용이하다.
상기 로 데이터는 촬영기기에 의해 촬영된 휘도 신호(Y)와 색차 신호(U,V)로 색을 표현하는 YUV 방식의 비디오 또는 이미지 데이터이며, 상기 로 데이터에서 메타 데이터를 추출하기 위해서는 휘도 신호(Y)만 있으면 된다.
본 발명에서는 이와 같은 제스처 정보를 HDMI를 통해서 싱크 기기 또는 소스 기기로 전송하기 위한 방법을 제안한다.
도 16은 본 발명의 실시예에 따른 A/V 데이터의 송수신 방법을 나타낸다.
상기 도 16을 참조하면, HDMI를 통해서 싱크 기기와 소스 기기는 A/V 데이터를 송수신할 수 있다.
구체적으로, 상기 소스 기기(1010)와 상기 싱크 기기(1020)가 HDMI 케이블로 연결 된다(S16010). HDMI 케이블이 연결되면 상기 소스 기기(1010)는 5V의 전력 라인을 로우 레벨로부터 하이 레벨로 전환하고 전류를 인가한다(S16020). 이를 통해 상기 소스 기기(1010)는 상기 싱크 기기(1020)의 EDID 정보가 저장된 EEPROM 및 관련 회로를 동작시킬 수 있다.
상기 싱크 기기(1020)는 HPD(Hot Plug Detect) 라인을 로우 레벨에서 하이 레벨로 전환하여(S16030), 케이블이 정상적으로 연결되었고, EDID 관련 회로가 활성화되어 EDID 정보의 액세스가 가능함을 상기 소스 기기(1010)에게 알려줄 수 있다.
이제 상기 소스 기기(1010)는 상기 싱크 기기(1020)로 DDC를 통해 EDID 정보 판독 요청을 전송할 수 있다(S16040). 상기 소스 기기(1010)의 EDID 판독 요청에 대한 응답으로서, 상기 싱크 기기(1020)는 DDC를 통해 EEPROM에 저장된 EDID 정보를 전송할 수 있다(S16050). 본 발명의 실시예에서, EDID 정보는 상술한 VSDB로서 전송될 수 있다.
상기 소스 기기(1010)는 수신한 EDID 정보를 파싱(parsing)하여 상기 싱크 기기(1020)로 전송할 A/V 데이터의 동작 파라미터(타이밍, 포맷 등)를 결정하고(S16060), 전송할 비압축(uncompressed) A/V 데이터와 관련된, 결정된 동작 파라미터를 소스 기기로 전송할 수 있다.
상기 도 16에서 설명한 방법은, 소스 기기에 저장된 A/V 데이터를 송수신하기 위한 방법이며, 상기 소스 기기 또는 싱크 기기에 구비된 촬영 기기(예를 들면, 카메라, 캠코더 등)로부터 획득된 동영상 또는 이미지 데이터를 송수신 하거나, 상기 동영상 또는 상기 이미지 데이터에 포함되어 있는 제스처 정보를 송수신할 수 없다.
따라서 본 발명은 촬영 기기로부터 획득된 동영상 또는 이미지 데이터 뿐만 아니라 이와 같은 동영상 또는 이미지 데이터로부터 획득된 제스처 정보를 HDMI를 통해서 송수신하기 위한 방법을 제안한다.
도 17은 본 발명의 실시예에 따른 싱크 기기에서 카메라를 지원하는 경우, CEC(Consumer Electronic Control)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
상기 도 17을 참조하면, 싱크 기기에 카메라가 구비된 경우, 구비된 카메라로부터 촬영된 데이터(동영상 데이터 또는 이미지 데이터) 또는 상기 데이터에 포함되어 있는 제스처 정보를 HDMI를 통해서 소스기기에게 전송할 수 있다.
구체적으로, 상기 싱크 기기가 상기 소스 기기와 HDMI 케이블로 연결되면(S17010), 상기 싱크 기기는 DDC를 통해 EDID 정보 판독 요청을 전송할 수 있으며, 상기 소스기기로부터 상기 EDID 정보 판독 요청에 대한 응답으로 DDC를 통해 EEPROM에 저장된 EDID를 수신할 수 있다(S17020). 본 발명의 실시예에서 EDID 정보는 상술한 VSDB로서 전송될 수 있다.
상기 EDID는 상기 소스 기기가 상기 도 15에서 설명한 제스처 정보와 관련된 능력 정보(Capability Information)를 포함할 수 있다.
상기 능력 정보는 제스처 정보를 처리할 수 있는지 여부를 나타내는 것으로, 상기 소스 기기가 상기 제스처 정보와 관련된 서비스를 지원하는지, 상기 제스처 정보가 포함된 동영상 데이터 또는 이미지 데이터인 로 데이터(raw data)를 처리할 수 있는 여부 등에 대한 정보를 포함할 수 있다.
상기 싱크 기기는 상기 소스 기기로부터 수신한 EDID 정보를 파싱(parsing)하여 상기 소스 기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다.
만약, 상기 소스 기기가 상기 제스처 정보를 처리할 수 없는 경우, 상기 싱크 기기는 상기 소스 기기에게 상기 제스처 정보를 전송할 수 없으며 데이터만 전송할 수 있다(S17070).
하지만, 상기 소스기기가 상기 제스처 정보를 처리할 수 있는 경우, 상기 싱크 기기는 상기 소스 기기로부터 CEC를 통해 제스처 정보 전송을 요청 받을 수 있다(S17030).
상기 제스처 정보를 요청 받은 상기 싱크 기기는 상기 싱크 기기에 구비된 카메라로부터 제스처 정보를 획득할 수 있으며(S17040), CEC를 통해 상기 획득된 제스처 정보를 상기 소스 기기에게 전송할 수 있다(S17050).
마지막으로, 상기 소스 기기는 상기 수신된 제스처 정보를 처리할 수 있다(S17060).
도 18은 본 발명의 실시예에 따른 소스 기기에서 카메라를 지원하는 경우, CEC(Consumer Electronic Control)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
상기 도 18을 참조하면, 소스 기기에 카메라가 구비된 경우, 구비된 카메라로부터 촬영된 데이터(동영상 데이터 또는 이미지 데이터) 또는 상기 데이터에 포함되어 있는 제스처 정보를 HDMI를 통해서 싱크기기에게 전송할 수 있다.
구체적으로, 상기 소스 기기가 상기 싱크 기기와 HDMI 케이블로 연결되면(S18010), 상기 소스 기기는 DDC를 통해 상기 싱크 기기에게 EDID 정보 판독 요청을 전송할 수 있으며, 상기 싱크 기기로부터 상기 EDID 정보 판독 요청에 대한 응답으로 DDC를 통해 EEPROM에 저장된 EDID를 수신할 수 있다(S18020). 본 발명의 실시예에서 EDID 정보는 상술한 VSDB로서 전송될 수 있다.
상기 EDID는 상기 싱크 기기가 상기 도 15에서 설명한 제스처 정보와 관련된 능력 정보(Capability Information)를 포함할 수 있다.
상기 능력 정보는 제스처 정보를 처리할 수 있는지 여부를 나타내는 것으로, 상기 소스 기기가 상기 제스처 정보와 관련된 서비스를 지원하는지, 상기 제스처 정보가 포함된 동영상 데이터 또는 이미지 데이터인 로 데이터(raw data)를 처리할 수 있는 여부 등에 대한 정보를 포함할 수 있다.
상기 소스 기기는 상기 소스 기기로부터 수신한 EDID 정보를 파싱(parsing)하여 상기 소스 기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다.
이후, 상기 소스 기기는 상기 소스 기기의 제스처 정보와 관련된 능력 정보(Capability Information)를 상기 싱크 기기의 SCDCS에 기입하도록 상기 싱크 기기에게 요청할 수 있다.
상기 소스 기기 및 상기 싱크 기기는 EDID 판독 및 SCDCS 판독을 통해서 상기 싱크 기기 및 상기 소스기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다
만약, 상기 제스처 정보를 처리할 수 없는 경우, 상기 소스 기기는 상기 싱크 기기에게 상기 제스처 정보를 전송할 수 없으며 데이터만 전송할 수 있다(S18080).
하지만, 상기 제스처 정보를 처리할 수 있는 경우, 상기 싱크 기기는 상기 소스 기기로부터 CEC를 통해 제스처 정보 전송을 요청 받을 수 있다(S18040).
상기 제스처 정보를 요청 받은 상기 소스 기기는 상기 싱크 기기에 구비된 카메라로부터 제스처 정보를 획득할 수 있으며(S18050), CEC를 통해 상기 획득된 제스처 정보를 상기 소스 기기에게 전송할 수 있다(S18060).
마지막으로, 상기 싱크 기기는 상기 수신된 제스처 정보를 처리할 수 있다(S18070).
도 19는 본 발명의 실시예에 따른 싱크 기기에서 카메라를 지원하는 경우, HEC(HDMI Ethernet Channel)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
먼저, 단계(S19010) 및 단계(S19020)은 상기 도 17의 단계(S17010) 및 단계(S17020)와 동일하게 수행되며, 이에 대한 설명은 중복하지 않는다. 도 19는 상기 도 17의 순서도에 추가되는 동작들을 포함하는 것으로서, 상기 도 17에서와 동일한 설명은 상기 도 19에서 다시 기술되지 않아도, 상기 도 19의 설명에 적용이 가능한 것이다.
상기 도 19에서, 상기 싱크 기기는 상기 소스 기기로부터 수신한 EDID 정보를 파싱(parsing)하여 상기 소스 기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다.
만약, 상기 소스 기기가 상기 제스처 정보를 처리할 수 없는 경우, 상기 싱크 기기는 상기 소스 기기에게 상기 제스처 정보를 전송할 수 없으며 데이터만 전송할 수 있다(S19090).
하지만, 상기 소스기기가 상기 제스처 정보를 처리할 수 있는 경우, 상기 싱크 기기는 CEC 메시지를 통해서 상기 소스 기기간 HEC가 활성화 되어 있는지, 비활성화 되어 있는지 여부를 체크하고(S19030), 만약 비활성화 되어있는 경우 상기 도 13에서 설명한 바와 같이 상기 HEC를 활성화 시키게 된다(S19040).
이후, 상기 싱크 기기는 소스 기기로부터 HEC를 통해 제스처 정보 전송을 요청 받을 수 있다(S19050).
상기 제스처 정보를 요청 받은 상기 싱크 기기는 상기 싱크 기기에 구비된 카메라로부터 제스처 정보를 획득할 수 있으며(S19060), HEC를 통해 상기 획득된 제스처 정보를 상기 소스 기기에게 전송할 수 있다(S19070).
마지막으로, 상기 소스 기기는 상기 수신된 제스처 정보를 처리할 수 있다(S19080).
도 20은 본 발명의 실시예에 따른 소스 기기에서 카메라를 지원하는 경우, HEC(HDMI Ethernet Channel)를 통해 제스처 정보(Gesture Information)를 송신하는 방법을 나타낸다.
먼저, 단계(S20010) 및 단계(S20030)은 상기 도 18의 단계(S18010) 및 단계(S18030)와 동일하게 수행되며, 이에 대한 설명은 중복하지 않는다. 도 20는 상기 도 18의 순서도에 추가되는 동작들을 포함하는 것으로서, 상기 도 18에서와 동일한 설명은 상기 도 20에서 다시 기술되지 않아도, 상기 도 20의 설명에 적용이 가능한 것이다.
상기 도 20에서, 만약, 상기 제스처 정보를 처리할 수 없는 경우, 상기 소스 기기는 상기 싱크 기기에게 상기 제스처 정보를 전송할 수 없으며 데이터만 전송할 수 있다(S20100).
하지만, 상기 제스처 정보를 처리할 수 있는 경우, 상기 소스 기기는 CEC 메시지를 통해서 상기 싱크 기기간 HEC가 활성화 되어 있는지, 비활성화 되어 있는지 여부를 체크하고(S20040), 만약 비활성화 되어있는 경우 상기 도 13에서 설명한 바와 같이 상기 HEC를 활성화 시키게 된다(S20050).
이후, 상기 소스 기기는 상기 싱크 기기로부터 HEC를 통해 제스처 정보 전송을 요청 받을 수 있다(S20060).
상기 제스처 정보를 요청 받은 상기 소스 기기는 상기 소스 기기에 구비된 카메라로부터 제스처 정보를 획득할 수 있으며(S20070), HEC를 통해 상기 획득된 제스처 정보를 상기 싱크 기기에게 전송할 수 있다(S20080).
마지막으로, 상기 소스 기기는 상기 수신된 제스처 정보를 처리할 수 있다(S20090).
도 21은 본 발명의 실시예에 따른 소스 기기에서 EDID를 통해 싱크 기기의 제스처 정보(Gesture Information) 처리 가능 여부를 확인하는 방법을 나타낸다.
상기 도 21을 참조하면, 상기 싱크 기기가 카메라를 구비하는 경우, EDID 판독을 통해서 상기 싱크 기기가 제스처 정보를 처리할 수 있는지 여부를 확인할 수 있다.
구체적으로, 소스 기기(1010)는 싱크 기기(1020)의 EDID를 판독하여 상기 싱크 기기(1020)가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다(S21010).
즉, 상기 소스 기기(1010)는 상기 싱크 기기(1020)에게 EDID 정보 판독 요청을 전송하고, 상기 싱크 기기(1020)는 상기 요청에 대한 응답으로 상기 제스처 정보를 처리할 수 있는지 여부와 관련된 능력 정보를 포함하는 EDID를 상기 소스 기기(1010)에게 전송할 수 있다.
본 발명의 실시예에서 EDID 정보는 상술한 VSDB로서 전송될 수 있으며 이는 도 22에서 설명하도록 한다.
상기 EDID를 수신한 상기 소스 기기(1010)는 상기 EDID를 판독하여 상기 싱크 기기(1020)가 제스처 정보를 처리할 수 있는지 여부, 예를 들면, 상기 싱크 기기(1020)가 제스처 정보를 처리할 수 있는 여부 및/또는 앞에서 살펴본 로 데이터를 처리할 수 있는지 여부를 확인할 수 있다(S21020).
만약, 상기 싱크 기기(1020)가 제스처 정보를 처리할 수 있는 경우, 상기 싱크 기기(1020)에게 제스처 정보를 요청하여(S21030), 상기 싱크 기기(1020)로부터 상기 제스처 정보를 수신할 수 있다.
도 22는 본 발명의 또 다른 실시예에 따른 HF-VSDB를 나타낸다.
상기 도 22에서는, 도 6에서 도시한 HF-VSDB에 추가로, 제스처 정보 처리와 관련된 능력 정보(Capability Information)가 추가된 실시예에 해당한다. 상기 도 22의 HF-VSDB는 상술한 바와 같이 EDID 정보의 하나로서, 능력 정보를 포함할 수 있고, 제스처 정보의 처리 및 제스처 정보가 포함된 로 데이터의 처리 가능 여부 능력(capability)을 나타내는 필드들을 포함할 수 있다.
상기 도 22에서는 새로운 HF-VSDB를 추가로 정의하며, 이전 버전의 HF-VSDB와 구별하기 위해 버전(Version) 필드의 버전 넘버를 2로 설정할 수 있다. 싱크 기기가 압축된 A/V 데이터를 처리할 수 있음을 나타내기 위하여 HF-VSDB의 바이트 6 블록의 비트 5~4, 바이트 7 블록의 비트 7~3 중 적어도 하나의 비트를 사용할 수 있다.
실시예로서, 해당 비트가 1로 설정되면 싱크 기기가 제스처 정보를 수신할 수 있음을 나타내고, 0이면 제스처 정보를 수신할 수 없음을 나타낼 수 있다.
도 22에서 새로이 추가된 압축해제 능력 정보에 대한 필드들에 대한 설명은 이하와 같다. 압축해제 능력 정보는 도 15에서 나타낸 아래의 필드들 중 적어도 하나의 필드를 포함할 수 있다.
- Gesture_Present 필드: 싱크 기기가 제스처 정보를 처리할 수 있는지 여부를 나타냄.
- Gesture_Capable 필드: 싱크 기기에서 제스처 정보가 포함된 로 데이터를 처리할 수 있는지 여부를 나타냄.
이와 같은, HF-VSDB는 본 발명에서 EDID를 통해 싱크 기기의 제스처 정보 처리 여부를 판단하기 위한 실시예에서 사용될 수 있다.
도 23은 본 발명의 실시예에 따른 싱크 기기에서 SCDCS를 통해 소스 기기의 제스처 정보(Gesture Information) 처리 가능 여부를 확인하는 방법을 나타낸다.
상기 도 23은 소스 기기가 카메라를 지원하는 경우, SCDC를 통해서 상기 소스 기기의 제스처 정보 처리 가능 여부를 기입하고, 상기 싱크 기기는 상기 SCDC를 판독함으로써 상기 소스 기기의 제스처 정보 처리 여부를 확인할 수 있다.
먼저, 단계(S23010)은 상기 도 22의 단계(S22010)과 동일하므로 설명을 생략하도록 한다.
상기 도 20에서, 상기 소스 기기(1010)는 상기 싱크 기기(1020)로부터 전송된 EDID의 Gesture_Present 필드를 판독(read)한 정보를 기초로, 판독 요청(read request)를 지원하는 경우 상기 싱크 기기의 SCDCS의 RR_Enable 필드를 “1”로, 지원하지 않는 경우 “0”으로 기입할 것을 상기 싱크 기기(1020)에게 요청할 수 있다(S23020).
이후, 상기 소스 기기(1010)는 상기 싱크 기기의 SCDCS에 상기 소스 기기(1010)의 제스처 정보 처리와 관련된 필드의 기입을 요청할 수 있다(S23030).
상기 도 23의 (a)에 도시된 바와 같이, 제스처 정보 처리와 관련된 능력 정보에 해당/포함되는 필드들의 실시예 및 설명은 아래와 같다.
- Gesture_Enable: 소스 기기가 제스처 정보를 처리할 수 있으면 “1”로, 처리할 수 없으면 “0”으로 설정됨.
- Gesture_Handing: 소스 기기가 제스처 정보를 포함하는 로 데이터(raw data)를 처리할 수 있으면 “1”로, 처리할 수 없으면 “0”으로 설정됨(“0”인 경우 Meta data로만 전송 가능)
상기 싱크 기기(1020)는 상기 SCDCS에 기입된 정보를 판독하여(S23040), 상기 소스 기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있으며, 만약 제스처 정보를 처리할 수 있는 경우, 상기 소스 기기(1010)에게 제스처 정보를 요청할 수 있다(S23050).
이때, 만약 상기 SCDCS의 Gesture_Handling 필드가 “0”으로 설정되어 있다면, 상기 싱크 기기는 메타 데이터만 전송 받을 수 있으며, “1”로 설정되어 있으면 메타 데이터 및/또는 로 데이터도 전송 받을 수 있다.
도 24는 본 발명의 또 다른 실시예에 따른 CEC(Consumer Electronic Control)를 통해 소스 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
상기 도 24를 참조하면, 싱크 기기가 제스처 정보를 처리할 수 있는 경우, 상기 싱크 기기는 CEC를 통해 소스 기기에게 제스처 정보를 전송할 수 있다.
구체적으로 상기 도 21내지 도 23을 통해 소스 기기(1010)는 싱크 기기(1020)가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다.
이후, 사용자의 요청이 있는 경우, 상기 소스 기기(1010)는 <Request Gesture capability>와 같이 제스처 정보를 요청하는 CEC 메시지를 통해 상기 싱크 기기(1020)에게 제스처 정보를 요청할 수 있다(S24010).
상기 요청을 수신한 상기 싱크 기기(1020)는 상기 요청에 대한 응답으로 제스처 정보를 <Response Gesture Data capability>[capability]와 같은 CEC 메시지의 Operand 필드에 포함하여 상기 소스 기기(1010)에게 전송할 수 있다(S24020).
도 25는 본 발명의 또 다른 실시예에 따른 CEC(Consumer Electronic Control)를 통해 싱크 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
상기 도 25를 참조하면, 소스 기기가 제스처 정보를 처리할 수 있는 경우, 상기 소스 기기는 CEC를 통해 싱크 기기에게 제스처 정보를 전송할 수 있다.
구체적으로 상기 도 21 내지 도 23을 통해 싱크 기기(1020)는 소스 기기(1010)가 제스처 정보를 처리할 수 있는지여부를 판단할 수 있다.
이후, 사용자의 요청이 있는 경우, 상기 싱크 기기(1020)는 <Request Gesture capability>와 같이 제스처 정보를 요청하는 CEC 메시지를 통해 상기 소스 기기(1010)에게 제스처 정보를 요청할 수 있다(S25010).
상기 요청을 수신한 상기 소스 기기(1010)는 상기 요청에 대한 응답으로 제스처 정보를 <Response Gesture Data capability>[capability]와 같은 CEC 메시지의 Operand 필드에 포함하여 상기 싱크 기기(1020)에게 전송할 수 있다(S25020).
도 26는 본 발명의 또 다른 실시예에 따른 HEC(HDMI Ethernet Channel)를 통해 싱크 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
상기 도 26을 참조하면, 싱크 기기가 제스처 정보를 획득할 수 있는 경우, 소스 기기는 상기 싱크 기기에게 획득한 제스처 정보의 전송을 요청할 수 있으며, HEC(HDMI Ethernet Channel)을 통해 상기 싱크 기기로부터 제스처 정보를 전송 받을 수 있다.
구체적으로, 상기 도 21내지 상기 도 23의 과정을 통해 소스 기기(1010)는 싱크 기기(1020)가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다. 이후, CEC 메시지를 통해서 상기 도 13에서 살펴본 HEC의 상태를 문의하는 <CDC_HEC_InquireState>와 같은 CEC 메시지를 상기 소스 기기(1010)에게 전송할 수 있다(S26010).
이때, 상기 소스 기기(1010) 및 상기 싱크 기기(1020)는 CEC를 이용하기 위해서, HDMI CEC 시스템 내의 모든 디바이스들은 HDMI CEC 기능을 활성화시키기 위해 고유의 물리 주소를 가져야 한다.
HDMI 호스트 기기가 싱크 기기인 경우, 상기 싱크 기기(1020)는 CEC 기능 지원 여부에 상관없이 물리 주소 할당 매커니즘이 수행되어야 하며, 다른 기기들은 CEC 기능이 지원되지 않으면 물리 주소를 할당하지 않을 수 있다. 물리 주소는 4 디지트로 구성될 수 있다.
상기 싱크 기기(1020)는 물리 주소 0.0.0.0을 생성하고, 상기 싱크 기기(1020)내 EDID로부터 주소를 읽는다.
그리고, 상기 싱크 기기(1020)는 자신과 연결된 소스 기기(1010)의 물리 주소를 생성해야 하며, 소스 기기의 EDID VSDB의 일부는 물리 주소를 위한 용도로 사용될 수 있다.
상기 소스 기기(1010)의 물리 주소를 생성하는 방법으로, 상기 소스 기기(1010)가 하위 계층으로 내려갈 때마다 다음 디지트 값을 1씩 증가시킬 수 있다. 본 발명에서 상기 소스 기기의 물리 주소는 1.0.0.0으로 가정한다.
상기 싱크 기기(1020)는 HEC의 상태를 문의하는 CEC 메시지에 대한 응답으로 상기 CEC를 통해 HEC의 상태와 관련된 정보를 포함하는 <CDC_HEC_ReportState>와 같은 CEC 메시지를 수신할 수 있다(S26020).
이때, 상기 <CEC_HEC_ReportState> 메시지는 아래 표 1과 같은 오퍼랜드(Operand)를 포함할 수 있다.
Figure PCTKR2015005955-appb-T000001
Figure PCTKR2015005955-appb-I000001
Figure PCTKR2015005955-appb-I000002
만약, 상기 HEC가 비활성화 되어 있는 경우, 상기 싱크 기기(1020)는 CEC를 통해 <CDC_HEC_SetState>와 같은 CEC 메시지를 상기 소스 기기(1010)에 전송하여(S26030), 상기 싱크 기기(1020)와 상기 소스 기기(1010) 사이에 존재하는 모든 HEC를 활성화 시킬 수 있다.
상기 HEC가 상기 CEC 메시지를 통해 활성화된 뒤, 상기 소스 기기(1010)는 상기 싱크 기기(1020)에게 상기 HEC가 활성화 되었음을 알리기 위해, 상기 HEC의 상태 정보를 포함하는 <CDC_HEC_ReportState>와 같은 CEC 메시지를 상기 싱크 기기에게 전송할 수 있다(S26040).
하지만, 상기 HEC가 활성화 되어있다면, 상기 단계(S26030) 및 단계(S26040)은 수행되지 않을 수 있다.
이후, 상기 소스 기기(1010)는 상기 싱크 기기(1020)에게 상기 도 15에서 살펴본 제스처 정보를 요청할 수 있다(S26050).
상기 제스처 정보의 요청을 수신한 상기 싱크 기기(1020)는 상기 싱크 기기(1020)에서 지원하는 제스처 정보의 종류를 전송하고(S26070), 상기 카메라로부터 획득한 제스처 정보를 상기 소스 기기(1010)에게 전송할 수 있다(S26080).
이때, 상기 단계(S26050) 내지 단계(S26080)은 CEC 채널 또는 HEC를 통해서 수행될 수 있으며, 상기 제스처 정보는 상기 카메라가 획득한 동영상 데이터 또는 이미지 데이터인 로 데이터(raw data) 또는 메타 데이터(meta data)형태로 전송될 수 있다.
도 27는 본 발명의 또 다른 실시예에 따른 HEC(HDMI Ethernet Channel)를 통해 소스 기기의 제스처 정보(Gesture Information)를 송수신하는 방법을 나타낸다.
상기 도 27을 참조하면, 소스 기기가 제스처 정보를 획득할 수 있는 경우, 싱크 기기는 상기 소스 기기에게 획득한 제스처 정보의 전송을 요청할 수 있으며, HEC(HDMI Ethernet Channel)을 통해 상기 소스 기기로부터 제스처 정보를 전송 받을 수 있다.
구체적으로, 상기 도 21내지 상기 도 23의 과정을 통해 싱크 기기(1020)는 소스 기기(1010)가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다. 이후, CEC 메시지를 통해서 상기 도 13에서 살펴본 HEC의 상태를 문의하는 <CDC_HEC_InquireState>와 같은 CEC 메시지를 상기 싱크 기기(1020)에게 전송할 수 있다(S27010).
이때, 상기 싱크 기기(1020) 및 상기 소스 기기(1010)는 CEC를 이용하기 위해서, HDMI CEC 시스템 내의 모든 디바이스들은 HDMI CEC 기능을 활성화시키기 위해 고유의 물리 주소를 가져야 한다.
HDMI 호스트 기기가 싱크 기기인 경우, 상기 싱크 기기(1020)는 CEC 기능 지원 여부에 상관없이 물리 주소 할당 매커니즘이 수행되어야 하며, 다른 기기들은 CEC 기능이 지원되지 않으면 물리 주소를 할당하지 않을 수 있다. 물리 주소는 4 디지트로 구성될 수 있다.
상기 싱크 기기(1020)는 물리 주소 0.0.0.0을 생성하고, 상기 싱크 기기(1020)내 EDID로부터 주소를 읽는다.
그리고, 상기 싱크 기기(1020)는 자신과 연결된 소스 기기(1010)의 물리 주소를 생성해야 하며, 소스 기기의 EDID VSDB의 일부는 물리 주소를 위한 용도로 사용될 수 있다.
상기 소스 기기(1010)의 물리 주소를 생성하는 방법으로, 상기 소스 기기(1010)가 하위 계층으로 내려갈 때마다 다음 디지트 값을 1씩 증가시킬 수 있다. 본 발명에서 상기 소스 기기의 물리 주소는 1.0.0.0으로 가정한다.
상기 소스 기기(1010)는 HEC의 상태를 문의하는 CEC 메시지에 대한 응답으로 상기 CEC를 통해 HEC의 상태와 관련된 정보를 포함하는 <CDC_HEC_ReportState>와 같은 CEC 메시지를 수신할 수 있다(S27020).
이때, 상기 <CEC_HEC_ReportState> 메시지는 상기 표 1과 같은 오퍼랜드를 포함할 수 있다.
만약, 상기 HEC가 비활성화 되어 있는 경우, 상기 소스 기기(1010)는 CEC를 통해 <CDC_HEC_SetState>와 같은 CEC 메시지를 상기 싱크 기기(1020)에 전송하여(S27030), 상기 소스 기기(1010)와 상기 싱크 기기(1020) 사이에 존재하는 모든 HEC를 활성화 시킬 수 있다.
상기 HEC가 상기 CEC 메시지를 통해 활성화된 뒤, 상기 싱크 기기(1020)는 상기 소스 기기(1010)에게 상기 HEC가 활성화 되었음을 알리기 위해, 상기 HEC의 상태 정보를 포함하는 <CDC_HEC_ReportState>와 같은 CEC 메시지를 상기 소스 기기에게 전송할 수 있다(S27040).
하지만, 상기 HEC가 활성화 되어있다면, 상기 단계(S27030) 및 단계(S27040)은 수행되지 않을 수 있다.
이후, 상기 싱크 기기(1020)는 상기 소스 기기(1010)에게 상기 도 15에서 살펴본 제스처 정보를 요청할 수 있다(S27050).
상기 제스처 정보의 요청을 수신한 상기 소스 기기(1010)는 상기 소스 기기(1010)에서 지원하는 제스처 정보의 종류를 전송하고(S27070), 상기 카메라로부터 획득한 제스처 정보를 상기 싱크 기기(1020)에게 전송할 수 있다(S27080).
이때, 상기 단계(S27050) 내지 단계(S27080)은 CEC 채널 또는 HEC를 통해서 수행될 수 있으며, 상기 제스처 정보는 상기 카메라가 획득한 동영상 데이터 또는 이미지 데이터인 로 데이터(raw data) 또는 메타 데이터(meta data)형태로 전송될 수 있다.
도 28은 본 발명의 또 다른 실시예에 따른 제스처 정보(Gesture Information)의 송수신 방법을 나타낸다.
상기 도 28을 참조하면, 소스 기기가 제스처 정보를 포함하고 있는 동영상 데이터 또는 이미지 데이터를 처리할 수 있는지 여부에 따라 카메라를 구비한 싱크 기기가 로 데이터(raw data) 또는 메타 데이터(meta data)로 제스처 정보를 전송할 수 있다.
상기 소스 기기가 상기 싱크 기기와 HDMI 케이블로 연결되면(S28010), 상기 소스 기기는 DDC를 통해 상기 싱크 기기에게 EDID 정보 판독 요청을 전송할 수 있으며, 상기 싱크 기기로부터 상기 EDID 정보 판독 요청에 대한 응답으로 DDC를 통해 EEPROM에 저장된 EDID를 수신할 수 있다(S28020). 본 발명의 실시예에서 EDID 정보는 상술한 VSDB로서 전송될 수 있다.
상기 EDID는 상기 싱크 기기가 상기 도 15에서 설명한 제스처 정보와 관련된 능력 정보(Capability Information)를 포함할 수 있다.
상기 능력 정보는 제스처 정보를 처리할 수 있는지 여부를 나타내는 것으로, 상기 소스 기기가 상기 제스처 정보와 관련된 서비스를 지원하는지, 상기 제스처 정보가 포함된 동영상 데이터 또는 이미지 데이터인 로 데이터(raw data)를 처리할 수 있는 여부 등에 대한 정보를 포함할 수 있다.
상기 소스 기기는 상기 소스 기기로부터 수신한 EDID 정보를 파싱(parsing)하여 상기 소스 기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다.
이후, 상기 소스 기기는 상기 소스 기기의 제스처 정보와 관련된 능력 정보(Capability Information)를 상기 싱크 기기의 SCDCS에 기입하도록 상기 싱크 기기에게 요청할 수 있다.
상기 싱크 기기는 SCDCS 판독을 통해서 상기 싱크 기기 및 상기 소스기기가 제스처 정보를 처리할 수 있는지 여부를 판단할 수 있다(S28030). 즉 상기 싱크 기기는 상기 도 23의 (a)에 도시된 SCDCS의 Gesture_Handling 필드 및 Gesture_Enable 필드를 판독(Read)하여 상기 소스 기기가 제스처 정보를 처리할 수 있는지 여부 및 로 데이터를 처리할 수 있는지 여부를 확인할 수 있다.
만약, 상기 소스 기기가 로 데이터를 파싱(parsing)할 수 있는 경우, 상기 싱크 기기는 사용자가 정하는 방식에 따르거나, HEC를 통해서 상기 소스 기기에게 제스처 정보가 포함된 로 데이터를 전송하고(S28050), 상기 소스 기기는 수신된 로 데이터를 파싱하여 제스처 정보를 획득할 수 있다(S28060).
하지만, 상기 소스 기기가 상기 로 데이터를 처리하지 못하는 경우, 상기 싱크 기기는 상기 소스 기기에게 CEC를 통해서 상기 도 15에서 살펴본 메타 데이터를 전송할 수 있다(S28040).
뿐만 아니라, 상기 소스 기기가 로 데이터를 처리할 수 있는 경우라도, 사용자가 메타 데이터만 전송하도록 한경우, HEC 또는 CEC를 통해서 상기 소스 기기에게 메타데이터를 전송할 수 있다. 이 경우 주로 CEC를 통해서 전송할 수 있다.
또 다른 실시예로, 싱크 기기에서 상기 제스처 정보를 처리할 수 없고, 소스 기기만이 로 데이터를 처리할 수 있는 경우 HEC를 통해서 상기 소스 기기에게 로 데이터를 전송할 수 있으며, 싱크 기기가 제스처 정보를 처리할 수 있다고 하더라도 HEC Data Capability를 초과하는 경우 CEC를 통해 메타 데이터를 보내거나, HEC를 통해 메타 데이터를 전송할 수 있다.
또한, 경우에 따라서는 HEC를 통해 로 데이터를 전송하고, CEC를 통해 메타 데이터를 전송할 수 있다.
본 발명의 또 다른 실시예로, 만약 소스 기기가 카메라를 구비하고 있는 경우, 상기 도 28에서 싱크 기기의 역할을 소스 기기가, 소스 기기의 역할을 싱크 기기가 수행할 수 있다.
도 29 및 도 30은 본 발명의 실시예에 따른 CEC 커맨드(Consumer Electronic Control Command)의 스트럭처를 나타낸다.
상기 도 29는 본 발명에서 제스처 정보를 요청 및 전송하기 위한 CEC Command를 나타낸 것으로, 싱크 기기 또는 소스 기기는 <Request Gesture Capability> 메시지를 통해 메타 데이터를 요청할 수 있으며, <Report Gesture Capability> 메시지를 통해서 메타 데이터를 수신할 수 있다.
상기 도 30은 상기 도 29의 CEC 메시지에 포함되는 오퍼랜드(Operand)를 나타내는 것으로써, 상기 메타 데이터를 통해 얼굴(Face), 손(hand), 몸(body)와 관련된 제스처 정보를 전송할 수 있다.
상기 메타 데이터는 x축, y축, width, height 등과 같은 좌표정보를 포함할 수 있다.
도 31 및 도 32는 본 발명의 실시예에 따른 HEC(HDMI Ethernet Channel)을 통해 제스처 정보(Gesture Information)를 전송하는 경우의 데이터 스트럭처를 나타낸다.
상기 도 31및 상기 도 32를 참조하면, 제스처 정보를 포함하고 있는 로 데이터는 HEC의 MAC 프레임을 통해서 전송될 수 있다.
구체적으로, 상기 로 데이터의 제스처 정보는 상기 도 31에 도시된 MAC 프레임의 데이터 필드에 포함되어 전송될 수 있다.
상기 데이터 필드에 포함된 상기 제스처 정보는 헤더와 페이로드로 구성되어 있으며, 상기 도 32의 (c)에 도시된 바와 같이 상기 헤더는 Format 필드, Resolution 필드, Gesture_op필드, Gesture_Rev 필드 및/또는 Payload Infor 필드를 포함할 수 있다. 상기 제스처 정보는 페이로드 필드에 포함되어 전송될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 일련의 HDMI 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (20)

  1. HDMI(High Definition Media Interface)를 이용하여 데이터를 송수신하는 방법에 있어서, 소스기기에서 수행되는 방법은,
    싱크 기기가 연결되면, 상기 싱크 기기로 EDID(Extended Display Identification Data) 판독(Read)을 요청하는 단계;
    상기 싱크 기기로부터 상기 싱크 기기의 능력 정보를 포함하는 EDID를 수신하는 단계로서,
    상기 능력 정보는 상기 싱크 기기가 제스처 정보(Gesture Information)를 처리할 수 있는지 여부를 나타냄;
    상기 EDID에 기초하여 상기 싱크 기기로 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 상기 제스처 정보(Gesture Information)를 요청하는 단계; 및
    상기 싱크 기기로부터 상기 제스처 정보를 수신하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타내는 방법.
  3. 제 1 항에 있어서,
    상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신되는 방법.
  4. 제 2 항에 있어서,
    상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고,
    상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신되는 방법.
  5. 제 4 항에 있어서,
    상기 싱크 기기로부터 상기 HEC의 이용 가능 여부를 나타내는 상태 정보를 요청하는 문의 메시지(inquiry message)를 수신하는 단계; 및
    상기 싱크기기에게 상기 상태 정보를 포함하는 제 1 보고 메시지(first Reporting Message)를 전송하는 단계를 포함하되,
    상기 상태 정보는 상기 HEC의 활성화(Activation) 또는 비활성화(Inactivation) 중 하나를 나타내는 방법.
  6. 제 5 항에 있어서,
    상기 상태 정보가 상기 HEC의 비활성화를 나타내는 경우,
    상기 싱크 기기로부터 상기 HEC를 활성화하는 설정 메시지(set message)를 수신하는 단계; 및
    상기 HEC를 활성화하고, 상기 싱크 기기에게 상기 HEC의 활성화 상태를 나타내는 상태 정보를 포함하는 제 2 보고 메시지(second reporting message)를 전송하는 단계를 더 포함하는 방법.
  7. HDMI(High Definition Media Interface)를 이용하여 데이터를 송수신하는 방법에 있어서, 싱크 기기에서 수행되는 방법은,
    상기 소스 기기로부터 SCDCS(Status and Control Data Channel Structure)에 포함된 상기 소스 기기의 능력 정보의 기입(Write) 요청을 수신하는 단계로서,
    상기 능력 정보는 상기 싱크 기기가 제스처 정보(Gesture Information)를 처리할 수 있는지 여부를 나타냄;
    상기 기입된 능력 정보를 판독(Read)하는 단계;
    상기 판독 결과에 기초하여 상기 소스 기기에게 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 상기 제스처 정보(Gesture Information)를 요청하는 단계; 및
    상기 소스 기기로부터 상기 제스처 정보를 수신하는 단계를 포함하는 방법.
  8. 제 7 항에 있어서,
    상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타내는 방법.
  9. 제 7 항에 있어서,
    상기 제스처 정보는, HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신되는 방법.
  10. 제 8 항에 있어서,
    상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고,
    상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신되는 방법.
  11. 제 10 항에 있어서,
    상기 싱크 기기로부터 상기 HEC의 이용 가능 여부를 나타내는 상태 정보를 요청하는 문의 메시지(inquiry message)를 수신하는 단계; 및
    상기 싱크기기에게 상기 상태 정보를 포함하는 제 1 보고 메시지(first Reporting Message)를 전송하는 단계를 포함하되,
    상기 상태 정보는 상기 HEC의 활성화(Activation) 또는 비활성화(Inactive) 중 하나를 나타내는 방법.
  12. 제 11 항에 있어서,
    상기 상태 정보가 상기 HEC의 비활성화를 나타내는 경우,
    상기 싱크 기기로부터 상기 HEC를 활성화하는 설정 메시지(set message)를 수신하는 단계; 및
    상기 HEC를 활성화하고, 상기 싱크 기기에게 상기 HEC의 활성화 상태를 나타내는 상태 정보를 포함하는 제 2 보고 메시지(second reporting message)를 전송하는 단계를 더 포함하는 방법.
  13. HDMI(High Definition Media Interface)를 이용하여 데이터를 송수신하는 소스 기기에 있어서,
    HDMI를 통해 데이터를 송수신하는 HDMI 송신기; 및
    상기 HDMI 송신기를 컨트롤 하는 컨트롤 유닛을 포함하되,
    상기 소스 기기는,
    싱크 기기가 연결되면, 상기 싱크 기기로 EDID(Extended Display Identification Data) 판독(Read)을 요청하고,
    상기 싱크 기기로부터 상기 싱크 기기의 능력 정보를 포함하는 EDID를 수신하며,
    상기 EDID에 기초하여 상기 싱크 기기로 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 제스처 정보(Gesture Information)를 요청하고,
    상기 싱크 기기로부터 상기 제스처 정보를 수신하되,
    상기 능력 정보는 상기 싱크 기기가 상기 제스처 정보를 처리할 수 있는지 여부를 나타내는 소스 기기.
  14. 제 13 항에 있어서,
    상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타내는 소스 기기.
  15. 제 13 항에 있어서,
    상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신되는 소 스기기.
  16. 제 14 항에 있어서,
    상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고,
    상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신되는 소스 기기.
  17. HDMI(High Definition Media Interface)를 이용하여 데이터를 송수신하는 싱크 기기에 있어서,
    HDMI를 통해 데이터를 송수신하는 HDMI 송신기; 및
    상기 HDMI 송신기를 컨트롤 하는 컨트롤 유닛을 포함하되,
    상기 싱크 기기는,
    상기 소스 기기로부터 SCDCS(Status and Control Data Channel Structure)에 포함된 상기 소스 기기의 능력 정보의 기입(Write) 요청을 수신하고,
    상기 기입된 능력 정보를 판독(Read)하며,
    상기 판독 결과에 기초하여 상기 소스 기기에게 인식 또는 추출될 수 있는 기 설정된 제스처를 나타내는 제스처 정보(Gesture Information)를 요청하고,
    상기 소스 기기로부터 상기 제스처 정보를 수신하되,
    상기 능력 정보는 상기 싱크 기기가 상기 제스처 정보를 처리할 수 있는지 여부를 나타내는 싱크 기기.
  18. 제 17 항에 있어서,
    상기 제스처 정보는, 상기 제스처 정보를 포함하는 로 데이터(raw data)를 통해 수신되거나, 상기 로 데이터로부터 추출된 메타 데이터(meta data)로서 수신되며, 상기 로 데이터는 상기 싱크 기기에서 획득된 비디오 데이터 또는 이미지 데이터에 해당하고, 상기 메타데이터는 상기 제스처 정보를 나타내는 싱크 기기.
  19. 제 17 항에 있어서,
    상기 제스처 정보는, HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)중 적어도 어느 하나를 통해 수신되는 싱크 기기.
  20. 제 18 항에 있어서,
    상기 제스처 정보가 상기 메타 데이터로서 수신되는 경우 상기 제스처 정보는 HDMI CEC(Consumer Electronic Control) 채널 또는 HEC(HDMI Ethernet Channel)를 통해 수신되고,
    상기 제스처 정보가 상기 로 데이터로 수신되는 경우 상기 제스처 정보는 상기 HEC를 통해 수신되는 싱크 기기.
PCT/KR2015/005955 2014-06-12 2015-06-12 Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치 Ceased WO2015190877A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020167034182A KR20170016845A (ko) 2014-06-12 2015-06-12 Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
US15/318,336 US10474241B2 (en) 2014-06-12 2015-06-12 Method and device for transmitting/receiving data using HDMI

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462011046P 2014-06-12 2014-06-12
US62/011,046 2014-06-12

Publications (1)

Publication Number Publication Date
WO2015190877A1 true WO2015190877A1 (ko) 2015-12-17

Family

ID=54833878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005955 Ceased WO2015190877A1 (ko) 2014-06-12 2015-06-12 Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US10474241B2 (ko)
KR (1) KR20170016845A (ko)
WO (1) WO2015190877A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3699902A1 (en) * 2019-02-22 2020-08-26 Samsung Electronics Co., Ltd. Display device and image display method of the same
WO2024043456A1 (ko) * 2022-08-26 2024-02-29 삼성전자 주식회사 싱크 장치, 소스 장치 및 그 제어 방법
US12395603B2 (en) 2022-08-26 2025-08-19 Samsung Electronics Co., Ltd. Sink device, source device, and method for controlling the same

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319336B2 (en) * 2016-02-16 2019-06-11 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR102731317B1 (ko) * 2016-12-14 2024-11-19 삼성전자주식회사 다중 디스플레이 시스템을 구성하는 디스플레이 장치 및 그 제어 방법
KR102546765B1 (ko) * 2018-09-28 2023-06-22 한화비전 주식회사 비디오 모니터링 시스템
JP7003079B2 (ja) * 2019-03-14 2022-01-20 株式会社東芝 電子機器
JP7412090B2 (ja) * 2019-05-08 2024-01-12 株式会社ディーアンドエムホールディングス オーディオシステム
JP7412091B2 (ja) 2019-05-08 2024-01-12 株式会社ディーアンドエムホールディングス オーディオ装置およびオーディオシステム
JP2021150791A (ja) 2020-03-18 2021-09-27 ソニーグループ株式会社 撮像装置および撮像装置の制御方法
KR102870106B1 (ko) * 2020-11-18 2025-10-16 엘지전자 주식회사 디스플레이 장치 및 그의 edid 정보 변경 방법
WO2022245182A1 (ko) * 2021-05-20 2022-11-24 엘지전자 주식회사 비디오 데이터 송수신 방법 및 이에 대한 장치
WO2025053294A1 (ko) * 2023-09-04 2025-03-13 엘지전자 주식회사 무선 전송 장치 및 무선 디스플레이 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080043421A (ko) * 2006-11-14 2008-05-19 엘지전자 주식회사 디바이스 서치 및 인터페이스 방법
KR20090066582A (ko) * 2007-12-20 2009-06-24 엘지전자 주식회사 에이치디엠아이 오디오 및 비디오 신호 분기방법
KR100935375B1 (ko) * 2008-10-20 2010-01-06 (주) 마스타 화질 검사 시스템
US20110157310A1 (en) * 2008-09-02 2011-06-30 Hiroshi Mitani Three-dimensional video transmission system, video display device and video output device
US20140130091A1 (en) * 2011-12-28 2014-05-08 Jiang Liu User interface interaction system and method for handheld device and tv set

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587723B2 (en) * 2006-11-07 2013-11-19 Sony Corporation Electronic equipment, control information transmission and reception methods having bidirecitonal communication using predetermined lines
US10437060B2 (en) * 2014-01-20 2019-10-08 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
EP3139620B1 (en) * 2014-05-01 2022-03-30 Sony Group Corporation Communication apparatus or communication method, and computer program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080043421A (ko) * 2006-11-14 2008-05-19 엘지전자 주식회사 디바이스 서치 및 인터페이스 방법
KR20090066582A (ko) * 2007-12-20 2009-06-24 엘지전자 주식회사 에이치디엠아이 오디오 및 비디오 신호 분기방법
US20110157310A1 (en) * 2008-09-02 2011-06-30 Hiroshi Mitani Three-dimensional video transmission system, video display device and video output device
KR100935375B1 (ko) * 2008-10-20 2010-01-06 (주) 마스타 화질 검사 시스템
US20140130091A1 (en) * 2011-12-28 2014-05-08 Jiang Liu User interface interaction system and method for handheld device and tv set

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3699902A1 (en) * 2019-02-22 2020-08-26 Samsung Electronics Co., Ltd. Display device and image display method of the same
US11303958B2 (en) 2019-02-22 2022-04-12 Samsung Electronics Co., Ltd. Display device and image display method of the same
WO2024043456A1 (ko) * 2022-08-26 2024-02-29 삼성전자 주식회사 싱크 장치, 소스 장치 및 그 제어 방법
US12395603B2 (en) 2022-08-26 2025-08-19 Samsung Electronics Co., Ltd. Sink device, source device, and method for controlling the same

Also Published As

Publication number Publication date
KR20170016845A (ko) 2017-02-14
US10474241B2 (en) 2019-11-12
US20170115740A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
WO2015190877A1 (ko) Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
WO2015190880A1 (ko) Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
WO2017119667A1 (en) Video content providing apparatus, control method thereof and system
WO2016021809A1 (ko) 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
WO2018062715A1 (en) Apparatus and control method for displaying content of peripheral device
WO2016195429A1 (ko) Hdmi를 사용하여 전력을 송수신하기 위한 방법 및 그 장치
WO2015030545A1 (en) Method and system for presenting content
WO2016060474A1 (ko) Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
WO2013100350A1 (en) Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof
WO2016035984A1 (en) Electronic device and method for operating the same
WO2017146438A1 (en) Display apparatus and method of setting operating channel of the same
WO2016175467A1 (en) Source device and control method thereof, and sink device and image quality improvement processing method thereof
WO2015167245A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2021117953A1 (ko) 디스플레이 장치
WO2018088667A1 (en) Display device
WO2023008606A1 (ko) 영상표시장치
WO2016089161A1 (ko) Ip 기반의 hdmi 기기 제어 방법
WO2021137630A1 (en) Display apparatus and method of controlling the same
WO2016167475A1 (ko) Wfd에서 입력 문자 전환 방법 및 장치
WO2021230711A1 (ko) 고속 인터페이스를 사용한 비디오 데이터 송수신 방법 및 이에 대한 장치
WO2017119571A1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
WO2021235829A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2024219858A1 (ko) 다중 적응형 동기화 프레임 범위 중 최적의 적응형 동기화 프레임 범위를 결정하기 위한 장치 및 방법
WO2025089874A1 (ko) 프레임 레이트가 고정된 비디오와 관련된 동작을 수행하기 위한 장치 및 방법
WO2020235719A1 (ko) 무선 av 시스템에서 데이터의 전송 장치 및 수신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15807321

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167034182

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15318336

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15807321

Country of ref document: EP

Kind code of ref document: A1