EP2641347A1 - Système et procédé de synchronisation d'une application avec un contenu audio - Google Patents

Système et procédé de synchronisation d'une application avec un contenu audio

Info

Publication number
EP2641347A1
EP2641347A1 EP11772979.8A EP11772979A EP2641347A1 EP 2641347 A1 EP2641347 A1 EP 2641347A1 EP 11772979 A EP11772979 A EP 11772979A EP 2641347 A1 EP2641347 A1 EP 2641347A1
Authority
EP
European Patent Office
Prior art keywords
audio data
time
content
application
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11772979.8A
Other languages
German (de)
English (en)
Inventor
Jacques Sagne
Rémi Pecqueur
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Egonocast
Original Assignee
Egonocast
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Egonocast filed Critical Egonocast
Publication of EP2641347A1 publication Critical patent/EP2641347A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Definitions

  • the present invention relates to the synchronization of an application, installed on a terminal, said interactivity terminal, with audio content intended to be consumed by a terminal, said consumer terminal, said content being provided in the form of a stream of audio data timestamped according to a first time reference, said application executing according to a second time reference.
  • Mobile devices such as mobile phones, including high-end phones (also called English smartphones or smartphones in French), PDAs ⁇ Personal Digital Assistant in English), tablet-type personal computers ⁇ tablet PC or tablet Personal Computer in English, also called Tablet Electronic Electronics in French), and more generally all mobile or portable terminals with multimedia capabilities are examples of interactivity terminals.
  • These terminals offer more and more features to their users. These features are accessible in the form of software modules called applications. Thanks to the range of functionalities they offer, these mobile interactivity terminals become de facto a privileged interface for interacting with a user.
  • consumer terminals Although these mobile terminals of interactivity generally allow visualization of audiovisual content, the user usually prefers, in the home environment, to view such content on a screen, possibly connected to a set-top box English) to receive broadcast content ⁇ broadcast in English). Indeed, the dimensions of the screen on which are then viewed such contents allow a better user experience ⁇ user experience in English).
  • consumer terminals include television sets, which include a screen and speakers, or loudspeakers used to broadcast the sound when they are not integrated with the screen, or any other audio system.
  • the interactivity terminal and the consumer terminal are made by the same equipment, for example when interactive data are presented to the user on the screen of the television set and not on a mobile terminal, it is possible to note that a similar problem of synchronization arises.
  • the first time reference used to time stamp the data of the stream carrying the audiovisual content is indeed unknown to the interactivity / consumer terminal.
  • the data stream is received via the set-top box, and even if the first time reference used to time-stamp the broadcast audio stream could be known to this set-top box, the time difference between the decoding of the stream by the set-top box and the set-top box. effective data consumption by the screen would greatly harm the user experience.
  • the interactive data would not transit through the set-top box.
  • this problem of synchronization also arises when the content is simply audio content rather than audiovisual content, the terminals used being able, by way of illustration, to take the form of a mobile terminal for the terminal interactivity and a radio for the consumer terminal.
  • the invention relates to a synchronization system of an application with an audio content intended to be consumed by a terminal, said consumer terminal, said content being provided in the form of a stream of audio data timestamped according to a first time reference, said application executing according to a second time reference.
  • the system is such that it comprises: means for obtaining audio data of said content, said audio data obtained being time stamped, on the basis of the second time reference, for indicating respective times of consumption by said consumer terminal of said audio data ; means for determining correlation information between said obtained audio data and said audio data of said stream; means for determining time offset information between the first and second time references, based on the determined correlation information and time stamp information of the data according to the first and second time references; and means of synchronizing the application with said content, based on the determined time offset information.
  • the application executes on a terminal separate from the consumer terminal and said means for obtaining audio data of said content comprise means for recording a portion of the audio content consumed by the consumer terminal.
  • said interactivity terminal which the content is not intended, it is possible to synchronize the application content. It is then possible for the user to use an interactivity mobile terminal to interact synchronously with audiovisual content processed independently by a fixed consumer terminal, such as a screen provided with loudspeakers.
  • the consumer terminal is connected to a device comprising means for recovering said content from said audio data stream timestamped according to the first temporal reference
  • the application executes on the consumer terminal and the consumer terminal.
  • the system comprises means for resampling the audio data obtained and / or audio data of said stream to a target frequency.
  • devices either for the generation of said stream or for obtaining audio data timestamped according to the second time reference, which operate at different sampling frequencies.
  • said synchronization means comprise means for taking into account said time shift information by said application.
  • said synchronization means comprise means for taking into account said time shift information by a device transmitting to said application events related to said content.
  • the correlation information determination means comprise a matched filter (in English), based on a temporal inversion of said obtained audio data, or acoustic fingerprint generating means from said data. obtained and data of said flow and comparison of the generated fingerprints.
  • the system comprises means for modifying the time offset information on detection of a flow decoding start.
  • any temporal desynchronizations related to this change of context are corrected by adaptation of the time synchronization information.
  • said audio content is part of an audiovisual content.
  • the invention also relates to a method of synchronizing an application with an audio content intended to be consumed by a terminal, said consumer terminal, said content being provided in the form of a stream of audio data timestamped according to a first time reference, said application executing according to a second time reference.
  • the method is such that it comprises steps of: obtaining audio data of said content, said audio data obtained being time stamped, on the basis of the second time reference, to indicate respective times of consumption by said consumer terminal of said audio data; ; determining correlation information between said obtained audio data and said audio data of said stream; determining a time offset information between the first and second time references, based on the determined correlation information and time stamp information of the data according to the first and second time references; synchronizing the application with said content, based on the determined time offset information.
  • the invention also relates to a device determining an offset information for synchronizing an application with audio content intended to be consumed by a terminal, said consumer terminal, said content being provided in the form of a stream of audio data timestamped according to a first time reference, said application executing according to a second time reference.
  • the device is such that it comprises: means for obtaining audio data of said content, said audio data obtained being time stamped, on the basis of the second time reference, to indicate respective times of consumption by said consumer terminal of said audio data ; means for determining correlation information between said obtained audio data and said audio data of said stream; means for determining the time shift information between the first and second time references, based on the determined correlation information and time stamp information of the data according to the first and second time references.
  • the invention also relates to a device comprising an application to synchronize with audio content intended to be consumed by a terminal, said consumer terminal, said content being provided in the form of a stream of audio data timestamped according to a first time reference, said application running according to a second time reference.
  • the device is such that it comprises: means for obtaining audio data of said content, said audio data obtained being time stamped, on the basis of the second time reference, to indicate respective times of consumption by said consumer terminal of said audio data ; and means for transmitting, to a device for synchronizing said application with the audio content, said audio data obtained and timestamped on the basis of the second time reference.
  • FIG. 1 schematically illustrates a synchronization system of an application to an audio data stream, according to a first embodiment of the invention
  • FIG. 2 schematically illustrates a synchronization system of an application to an audio data stream, according to a second embodiment of the invention
  • FIG. 3 schematically illustrates an equipment architecture of the synchronization system, such as a synchronization service platform or a user terminal, according to an embodiment of the invention
  • FIG. 4 schematically illustrates an algorithm implemented by a user terminal, according to the first embodiment of the invention
  • FIG. 5 schematically illustrates an algorithm implemented by a user terminal, according to the second embodiment of the invention
  • FIG. 6 schematically illustrates an algorithm implemented by a synchronization service platform, according to one embodiment of the invention.
  • the audio data is derived from audiovisual content and the consumer terminal is a screen to which a set-top box providing the data stream after decoding is connected.
  • the audio data is audio content and the consumer terminal is an amplifier, for example for home theater ⁇ home theater in English).
  • the timestamp information and associated audio data, obtained at the interactivity terminal are then transmitted to a synchronization service platform, which has the same content but with a time stamp performed at the network level. broadcast, that is to say upstream of the consumer terminal.
  • the time reference used at the broadcast network is the first time reference.
  • the synchronization service platform then performs a correlation between these data and those received from the interactivity terminal, in order to determine to which portion of the flow corresponds the data received from the interactivity terminal.
  • the timestamp information makes it possible to determine a time offset between the time reference used at the broadcasting network, ie the first time reference, and that used at the interactivity terminal, that is, ie the second time reference. This time shift is then used to synchronize the application, installed on the interactivity terminal, on times of consumption of the flow by the consumer terminal.
  • Fig. 1 schematically illustrates a system for synchronizing the application to the audio data stream, according to a first embodiment of the invention.
  • a source device 1.1 such as a camera or a controller, provides content with audio data via a link 1.10, wired or wireless.
  • the link 1.10 is connected to the synchronization service platform 1.3 and to a broadcast equipment 1.2, which enables them to receive the data stream provided by the source 1.1.
  • the broadcasting equipment 1.2 encodes the data stream received via the link 1.10, so as to adapt it to be broadcast to set-top boxes, typically installed in dwellings.
  • the encoding carried out by the broadcasting equipment 1.2 is for example in accordance with the DVB-T digital video broadcasting standard (Digital Video Broadcasting - Terrestrial), as described in the specification document ETSI EN 300 744 VI.
  • the stream thus encoded is then received, in a house, via a link 1.11, by a set-top box 1.4.
  • the set-top box 1.4 is shown in FIG. 1 in a manner integrated with a television screen 1.16.
  • the set-top box 1.4 decodes the stream received via the link 1.11, that is to say that it performs the opposite operation to that performed by the broadcast equipment 1.2. It thus retrieves the content, the data then no longer being in the form of the timestamped stream received by the set-top box 1.4.
  • the stream is processed to be adapted to be displayed on screen 1.16, for video data, and broadcast on loudspeakers, with respect to the audio data.
  • the set constituted by the synchronization service platform 1.3, the broadcast equipment 1.2, the set-top boxes and possibly the source 1.1 form the broadcast network.
  • Each device of the broadcast network shares the same time reference and their internal clocks are synchronized to this same time reference.
  • the synchronization service platform 1.3 comprises an internal clock 1.13 which it uses as a time reference for the time stamp and the analysis of the data of the stream received via the link 1.10, as described below in relation with FIG. 6.
  • the synchronization system comprises, in addition to the synchronization service platform 1.3, a mobile terminal 1.5 on which the application 1.15 can be launched, making it possible to interact with a user according to the content displayed on the screen 1.16 and / or broadcast on the speakers.
  • This mobile terminal 1.5 has an internal clock 1.14 that it uses as a time reference to time stamp the audio data of the stream consumed by the screen 1.16, that is to say broadcast by the speakers, as described below in relationship with FIG. 4.
  • the synchronization service platform 1.3 and the mobile terminal 1.5 exchange data via a link 1.12, which is for example a connection established via the Internet network.
  • This data makes it possible to synchronize the application 1.15 with the content displayed on the screen 1.16 and / or broadcast on the loudspeakers, as described below in relation with FIGS. 4 and 6.
  • the application 1.15 allows the implementation of services that can for example be classified as follows:
  • push type services for presenting on the mobile terminal 1.5 interactive data closely related to the content displayed on the screen 1.16 and / or broadcast on the speakers;
  • pull-type services (pull in English), allowing the user to request at any time, via the mobile terminal 1.5, data complementary to the content displayed on the screen 1.16 and / or broadcast on the speakers;
  • entertainment-type services (entertainment in English), allowing the user to answer, via the mobile terminal 1.5, questions asked over the content displayed on the screen 1.16 and / or broadcast on the speakers, the mobile terminal 1.5 controlling the response times of the user.
  • classifications may be used, and in particular combinations of the above-mentioned services, for example push-pull services, enabling the user to recover on the mobile terminal a information present at a given moment in the content displayed on the screen 1.16 and / or broadcast on the speakers.
  • the data exchanged via the link 1.12 also allow the application 1.15 to manage the interactivity with the user.
  • these data can correspond to user actions executed via a human-machine interface of the mobile terminal 1.5 or to event notifications transmitted to the application 1.15.
  • Fig. 2 schematically illustrates a system for synchronizing the application to the audio data stream, according to a second embodiment of the invention.
  • Fig. 2 differs from FIG. 1 in that the set-top box 2.3 is an autonomous device (stand-alone device in English), that is to say that it is not integrated in a screen.
  • the set-top box 2.3 is connected to a screen 2.1 via a link 2.2, which makes it possible to transmit the decoded audio-visual data.
  • the link 2.2 is, for example, in accordance with the high-definition multimedia interface (FIDMI) multimedia interface standard, for example according to the document "High Definition Multimedia Interface Specification, Version 1.3, HDMI Licensing LLC, 2006".
  • FIDMI high-definition multimedia interface
  • the screen 2.1 has an internal clock 2.4, which it uses as a time reference to time stamp the audio data of the stream that it consumes.
  • Screen 2.1 also includes the application 1.15.
  • Interactivity with the user is then performed through the screen 2.1, which replaces the mobile terminal 1.5 of FIG. 1 in its relationship with the synchronization service platform 1.3 via link 1.12.
  • the synchronization service platform 1.3 and the screen 2.1 exchange data via the link 1.12 to synchronize the application 1.15 with the content displayed on the screen 2.1 and / or broadcast on loudspeakers, such as described below in relation to FIGS. 5 and 6.
  • FIG. 3 schematically illustrates, at least partially, the architecture of the mobile terminal 1.5, the screen 2.1 or the synchronization service platform 1.3.
  • This schematic architecture comprises, connected by a communication bus 3.1:
  • processors a processor, microprocessor, microcontroller (denoted ⁇ ) or CPU (Central Processing Unit in English or Central Processing Unit in French) 3.2;
  • RAM Random Access Memory in English or Random Access Memory in French
  • ROM Read Only Memory in English or Mémoire à Lire Seul in French
  • medium storage drive 3.5 such as a SD (Secure Digital Card) or HDD (Hard Disk Drive) hard disk drive
  • interface means 3.6 with a communication network, for example with the Internet network;
  • human-machine interface means 3.7 allowing, in particular, with respect to the mobile terminal 1.5 and the screen 2.1, to interact with the user.
  • the microcontroller 3.2 is capable of executing instructions loaded into the RAM 3.3 from the ROM 3.4, an external memory, a storage medium or a communication network. After powering on, microcontroller 3.2 is able to read instructions from RAM 3.3 and execute them. These instructions form a computer program. This computer program causes the implementation, by the microcontroller 3.2, of all or part of the algorithms described below in relation to FIGS. 4-6.
  • All or part of the algorithms described below in relation to FIGS. 4 to 6 may be implemented in software form by executing a set of instructions by a programmable machine, such as a DSP (Digital Signal Processor in English or Digital Signal Processing Unit in French) or a microcontroller, such as the microcontroller 3.2, or be implemented in hardware form by a machine or a dedicated component, such as an FPGA (Field Programmable Gate Array) or an ASIC Application-Specific Integrated Circuit in English or Integrated Circuit specific to an Application in French).
  • a programmable machine such as a DSP (Digital Signal Processor in English or Digital Signal Processing Unit in French) or a microcontroller, such as the microcontroller 3.2
  • a machine or a dedicated component such as an FPGA (Field Programmable Gate Array) or an ASIC Application-Specific Integrated Circuit in English or Integrated Circuit specific to an Application in French).
  • the synchronization service platform 1.3 preferably comprises at least one hard disk.
  • the data provided by the source 1.1 are stored on this hard disk and are preferably organized by circular buffer (buffer in English).
  • the synchronization service platform 1.3 can thus store a predefined number of these data or the data corresponding to a predefined consumption duration, such as, for example, the data corresponding to a number N of consecutive seconds of display of video data and data. broadcasting associated audio data in an audiovisual stream.
  • the synchronization service platform 1.3 performs a correlation step between data received from the source 1.1 and data received from the mobile terminal 1.5 or the screen 2.1. It should be noted that the circular buffer depth should to be high enough so that the data received from the source 1.1 during the correlation step does not overwrite the data of the calculation window of the correlation step.
  • Fig. 4 schematically illustrates an algorithm implemented by the mobile terminal 1.5, according to the first embodiment of the invention illustrated in FIG. 1.
  • the mobile terminal 1.5 receives an audio signal broadcast by the speakers associated with the screen 1.16.
  • the mobile terminal 1.5 performs, by means of a microphone, a recording of a predetermined duration of the audio signal broadcast by the loudspeakers.
  • the mobile terminal 1.5 then scans the received audio signal.
  • the mobile terminal 1.5 determines, thanks to the time reference provided by the clock 1.14, timestamp information of the digitized audio data during the recording carried out in the step 4.2.
  • the digitized audio data is thus time stamped in reference to the clock 1.14, this marking representing for each data the time at which this data is consumed by the speakers associated with the screen 1.16.
  • the propagation time of the audio signal in the air is neglected vis-à-vis the possible synchronization between the time references, the broadcast network on the one hand and the mobile terminal 1.5 on the other hand.
  • the mobile terminal 1.5 performs a correction of the time stamping taking into account a value of the propagation time of the audio signal in the air.
  • the mobile terminal 1.5 transmits to the synchronization service platform 1.3 the digitized data, as well as the timestamp information associated therewith.
  • the mobile terminal 1.5 receives, from the synchronization service platform 1.3, time synchronization information. This information corresponds to a time shift, determined by the synchronization service platform 1.3, between the time reference used by the mobile terminal 1.5 and that used at the broadcast network.
  • This synchronization information is provided to the application 1.15 so as to adjust temporally its interactions with the user during the implementation of the services mentioned in connection with FIG. 1. These interactions are then temporally synchronized with the content displayed by the screen 1.16 and / or broadcast by the speakers associated with it.
  • Fig. 5 schematically illustrates an algorithm implemented by the screen 2.1, according to the second embodiment of the invention illustrated in FIG. 2.
  • the screen 2.1 receives, via the link 2.2 and from the set-top box 2.3, a stream of decoded audiovisual data, in order to consume it.
  • the screen 2.1 selects a segment of the consumed data stream, corresponding to a predefined consumption duration, for example the data corresponding to a number N of consecutive seconds of video data display and broadcasting of associated audio data in the audiovisual stream.
  • the screen 2.1 determines, thanks to the time reference provided by the clock 2.4, timestamp information consumed audio data.
  • the consumed audio data are thus marked temporally by reference to the clock 2.4, this marking representing for each data the time at which this data is consumed by the screen 2.1.
  • this marking representing for each data the time at which this data is consumed by the screen 2.1.
  • the screen 2.1 generates, from the audio content, a stream of audio data timestamped according to its own time reference.
  • the screen 2.1 transmits these data to the synchronization service platform 1.3, as well as the timestamp information associated with them.
  • the screen 2.1 receives, from the synchronization service platform 1.3, the time synchronization information already mentioned in relation with FIG. 4.
  • Fig. 6 schematically illustrates an algorithm implemented by the synchronization service platform 1.3, according to one embodiment of the invention.
  • the synchronization service platform 1.3 receives data from a stream via the link 1.10.
  • the synchronization service platform 1.3 obtains timestamp information from the stream. This timestamp information is generated based on the timing reference of the broadcast network. This timestamp information is for example inserted by the source 1. 1. In an alternative embodiment, this timestamp information is generated by the synchronization service platform 1.3, by means of its clock 1.13.
  • the broadcasting equipment 1.2 likewise generates time stamp information on the basis of its internal clock, before transmitting it via the link 1.11, the internal clocks of the devices of the broadcasting network being synchronized on the basis of its internal clock. same time reference.
  • the synchronization service platform 1.3 stores the received data as well as the associated timestamp information. These data are non-noisy and constitute the reference flow to implement the correlation step already mentioned.
  • the synchronization service platform 1.3 receives audio data and associated timestamp information, which timestamp information corresponds to the moment when the associated audio data has been consumed by the terminal for which it is intended. , that is to say the consumer terminal.
  • These audio data and time stamp information correspond, in the embodiments described with reference to FIGS. 4 and 5, respectively to what is transmitted by the mobile terminal 1.5 in step 4.4 and by the screen 2.1 in step 5.3.
  • the synchronization service platform 1.3 performs a frequency adjustment of the data stored in step 6.3 and / or those received in step 6.4.
  • the correlation step between these data to be performed on sampled audio data at the same frequency a target frequency is chosen. For example, this frequency is chosen at 8 kHz. In the case where the sampling frequency of the data stored at step
  • step 6.3 and / or those received in step 6.4 differs from the target frequency, a step of resampling to this target frequency is performed.
  • the synchronization service platform 1.3 performs the correlation step, i.e. it determines correlation information between the data stored in step 6.3 and those received at step 6.4.
  • the correlation step consists in determining to which portion of the stream received from the source 1.1 corresponds the data received in step 6.4.
  • a matched filter also known as a North filter
  • the matched filter is then formed based on the audio data received in step 6.4, temporally inverted.
  • 6.4 come from the registration made by the mobile terminal 1.5 in step 4.2. It is also possible to implement acoustic fingerprint generation and comparison techniques. Such fingerprints are generated for the audio data received in step 6.4 and are compared to similarly generated fingerprints for the audio data received in step 6.1, i.e. time-stamped according to the first time reference.
  • the synchronization service platform 1.3 may further implement a step of validating the results of the correlation step, so as to check their temporal coherence.
  • a next step 6.7 once the timing service platform 1.3 has determined the positioning of the audio data received in step 6.4 from the audio data stored in step 6.3, it determines a representative time synchronization information temporal shift between the time reference used by the broadcast network and that used by the interactivity terminal, that is to say the one on which the application 1.15 is launched.
  • the synchronization service platform 1.3 transmits the time synchronization information, determined in step 6.7, to the interactivity terminal.
  • the time synchronization information is then exploited, or taken into account, at this interactivity terminal.
  • the synchronization service platform 1.3 when the synchronization service platform 1.3 receives the data from the stream, as indicated in step 6.1, it is able to detect events inscribed in the stream, with timestamp information associated with these events. . The synchronization service platform 1.3 can thus propagate this event to all the applications 1.15 for which the correlation step has been implemented and for which the synchronization information, from step 6.7, is available. . The applications 1.15 are then able to adapt the timestamps of these events with the synchronization information they have respectively. This allows the synchronization service platform 1.3 to transmit each event in the form of the same notification, identical for each application 1.15. Alternatively, it makes it possible to manage the transmission of the events by a device other than the synchronization service platform 1.3, such as for example the broadcast equipment 1.2. The processing load of the synchronization service platform 1.3 is thus lightened.
  • the time synchronization information is exploited, or taken into account, at the level of the synchronization service platform 1.3. Synchronization information is not transmitted to 1.15 applications.
  • the synchronization service platform 1.3 detects an event in the stream, it adapts the time stamp associated with the event by taking into account the synchronization information determined in step 6.7, for each application 1.15 .
  • the synchronization service platform 1.3 then transmits to each application 1.15 an event notification, whose timestamp information is adapted to the application 1.15 concerned.
  • the events are notified to the interactivity terminals by indicating the value of the time reference at which this event must take place in the interactivity terminal, this time value being determinable with respect to the first time reference (case of a generic notification) or with respect to the second time reference (case of a particular notification to each interactivity terminal).
  • These notifications can a priori be transmitted to the terminals in different forms, such as for example dedicated messages separate from the frames encapsulating audiovisual data, dedicated fields included directly in the frames encapsulating audiovisual data, or any other signaling means.
  • the events can be provided by the source 1.1 or by a dedicated device placed on the link 1.10, downstream of the source 1.1 and upstream of the synchronization service platform 1.3 and the broadcast equipment 1.2.
  • time references are established for the audio data.
  • each application 1.15 and / or the synchronization service platform 1.3 are able to determine the offset between these temporal references. It suffices to compare the timestamps of a video data and associated audio data in the audiovisual stream to determine this offset.
  • the difference between these time references combined with the synchronization information determined in step 6.7, makes it possible to synchronously manage events related to the video data.
  • desynchronizations may occur when switching from one content to another, that is to say, from one stream to another, on the set-top box 1.4 or 2.3. It is then possible to repeat the synchronization operation. This can be done on detection of the start of a stream in the set-top box or the start of the consumption of a stream by the consumer terminal. This detection of a stream decoding start, for example resulting from a change of channels operated by the user can come from:
  • the interactivity terminal itself, in the case where it acts as a remote control for the set-top box 1.4 or 2.3.
  • the time synchronization information is then modified accordingly.
  • the consumer terminal has two modes of receiving the same content.
  • the consumer terminal is then adapted to receive two streams, corresponding to the same content, by two different means.
  • a first stream can be received broadcast from the broadcast equipment 1.2 and a second stream is received, point-to-point, via the Internet.
  • These two streams then have time stamps made on the basis of separate time references.
  • the correlation operation can then be implemented so as to determine the time difference between these two flows.
  • Correlation information of a segment of one of these two streams with the other stream is determined to determine a time synchronization information, i.e. a time offset between the two references, in the same manner as in steps 6.6 and 6.7.
  • This time shift information can then be used to allow synchronized failover from one flow to another, i.e., transparently for the user.
  • a switchover is for example useful when the consumer terminal is a mobile terminal and the user enters an uncovered geographical area according to one of the two reception modes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Une application est à synchroniser avec un contenu audio destiné à être consommé par un terminal consommateur. Le contenu est fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle. L'application s'exécute selon une seconde référence temporelle. Synchroniser l'application avec le contenu audio comporte des étapes : d'obtention (6.4) de données audio dudit contenu horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio; de détermination (6.6) d'informations de corrélation entre les données audio; de détermination (6.7) d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données; e t d e synchronisation de l'application avec ledit contenu, sur la base de cette information de décalage temporel.

Description

Système et procédé de synchronisation d'une application avec un contenu audio
La présente invention concerne la synchronisation d'une application, installée sur un terminal, dit terminal d'interactivité, avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle.
Les terminaux mobiles tels que les téléphones mobiles, et notamment les téléphones haut de gamme (aussi appelés smartphones en anglais ou téléphones intelligents en français), les assistants personnels numériques PDA {Personal Digital Assistant en anglais), les ordinateurs personnels de type tablette {tablet PC ou tablet Personal Computer en anglais, aussi appelé Tablette Electronique en français), et plus généralement tous les terminaux mobiles ou portables dotés de capacités multimédia sont des exemples de terminaux d'interactivité. Ces terminaux offrent des fonctionnalités toujours plus nombreuses à leurs utilisateurs. Ces fonctionnalités sont accessibles sous la forme de modules logiciels appelés applications. Grâce à l'étendue des fonctionnalités qu'ils proposent, ces terminaux mobiles d'interactivité deviennent de facto une interface privilégiée pour interagir avec un utilisateur. Bien que ces terminaux mobiles d'interactivité permettent généralement de visualiser des contenus audiovisuels, l'utilisateur préfère d'ordinaire, dans l'environnement domestique, visualiser de tels contenus sur un écran, éventuellement connecté à un boîtier décodeur {set-top box en anglais) permettant de recevoir du contenu diffusé {broadcast en anglais). En effet, les dimensions de l'écran sur lequel sont alors visualisés de tels contenus permettent une meilleure expérience utilisateur {user expérience en anglais). On parle alors de terminal consommateur. Comme exemples de terminaux consommateurs, on peut citer les postes de télévision, comportant un écran et des haut-parleurs, ou encore les haut-parleurs servant à diffuser le son lorsque ceux-ci ne sont pas intégrés avec l'écran, ou tout autre système audio.
Afin d'augmenter cette expérience utilisateur, il est envisagé de permettre à l'utilisateur de visualiser de tels contenus audiovisuels sur un écran de taille de l'ordre de celles des postes de télévision actuels, tout en lui donnant la possibilité d'interagir avec ces contenus via un terminal mobile d'interactivité. Dans un tel contexte, étant donné que le terminal mobile d'interactivité, le boîtier décodeur et l'écran, ou le terminal consommateur, ne disposent pas d'une référence temporelle commune, il est nécessaire de synchroniser l'application interactive lancée sur le terminal mobile avec le contenu affiché par l'écran. En effet, pour une bonne expérience utilisateur, il est nécessaire que l ' application gère l 'interactivité avec l 'utilisateur de manière synchronisée avec le contenu affiché.
On peut noter qu'il n'apparaît pas souhaitable de réaliser la synchronisation de l'application avec le contenu par (i) asservissement de l'horloge du terminal mobile d'interactivité sur celle du terminal consommateur, puis (ii) synchronisation de l'horloge du terminal consommateur avec celle du flux sous la forme duquel le contenu est fourni. Cet asservissement pourrait par exemple être implémenté par la mise en œuvre d'un protocole entre le terminal consommateur, par exemple l'écran du téléviseur, et le terminal mobile d'interactivité, ou encore par l'exploitation, à la fois par le terminal mobile d'interactivité et par le terminal consommateur, d'une horloge universelle. Cela aurait toutefois l'inconvénient de nécessiter soit le développement de protocoles à mettre en œuvre conjointement par le terminal mobile d'interactivité et par le terminal consommateur, ce qui poserait des difficultés d'interopérabilité, soit l'intégration de la fonctionnalité d'horloge universelle dans de nombreux équipements multimédia, ce qui tendrait à augmenter le coût de tels équipements. Dans tous les cas, cela ne permettrait pas d'utiliser comme terminaux consommateurs des écrans déjà présents sur étagère (appelés legacy displays en anglais).
Dans le cas où le terminal d'interactivité et le terminal consommateur sont réalisés par le même équipement, par exemple lorsque des données interactives sont présentées à l'utilisateur à même l'écran du poste de télévision et non sur un terminal mobile, on peut noter qu'un problème similaire de synchronisation se pose. La première référence temporelle utilisée pour horodater les données du flux transportant le contenu audiovisuel est en effet inconnue du terminal d'interactivité/consommateur. Lorsque le flux de données est reçu via le boîtier décodeur, et alors même que la première référence temporelle utilisée pour horodater le flux audio diffusé pourrait être connue de ce boîtier décodeur, le décalage temporel existant entre le décodage du flux par le boîtier décodeur et la consommation effective des données par l'écran nuirait grandement à l'expérience utilisateur. De surcroît, on peut noter que selon certaines architectures, les données interactives ne transiteraient pas par le boîtier décodeur.
On peut en outre remarquer que cette problématique de synchronisation se pose également lorsque le contenu est simplement un contenu audio plutôt qu'un contenu audiovisuel, les terminaux utilisés pouvant, à titre d'illustration, prendre la forme d'un terminal mobile pour le terminal d'interactivité et d'un poste de radio pour le terminal consommateur.
Il est souhaitable de pallier ces différents inconvénients de l'état de la technique. L'invention concerne un système de synchronisation d'une application avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s' exécutant selon une seconde référence temporelle. Le système est tel qu'il comporte : des moyens d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; des moyens de détermination d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; des moyens de détermination d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ; et des moyens de synchronisation de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé. Ainsi, il est possible de synchroniser l'application sans avoir à asservir la référence temporelle, sur la base de laquelle elle s'exécute, avec la référence temporelle utilisée pour l'horodatage des données du flux sous la forme duquel le contenu est fourni.
Selon un mode de réalisation particulier, l'application s'exécute sur un terminal distinct du terminal consommateur et lesdits moyens d'obtention de données audio dudit contenu comprennent des moyens d'enregistrement d'une partie du contenu audio consommé par le terminal consommateur. Ainsi, bien que l'application soit installée sur un terminal, dit terminal d'interactivité, auquel le contenu n' est pas destiné, il est possible de synchroniser l'application au contenu. Il est alors possible à l'utilisateur d'utiliser un terminal mobile d'interactivité pour interagir de manière synchronisée avec un contenu audiovisuel traité indépendamment par un terminal consommateur fixe, tel qu'un écran muni de haut-parleurs.
Selon un mode de réalisation particulier, le terminal consommateur est connecté à un dispositif comportant des moyens de récupération dudit contenu à partir dudit flux de données audio horodatées selon la première référence temporelle, l'application s'exécute sur le terminal consommateur et le terminal consommateur comporte des moyens de génération, à partir dudit contenu audio, d'un flux de données audio horodatées selon la seconde référence temporelle. Ainsi, les données audio obtenues sont non-bruitées, le résultat de la corrélation entre les données audio horodatées selon les deux références temporelles s'en trouvant fiabilisé. De cette manière, il est donc possible de synchroniser avec un risque d'erreur négligeable l'application avec le contenu audio.
Selon un mode de réalisation particulier, le système comporte des moyens de rééchantillonnage des données audio obtenues et/ou des données audio dudit flux vers une fréquence cible. Ainsi, il est possible d'utiliser des dispositifs, que ce soit pour la génération dudit flux ou pour l'obtention des données audio horodatées selon la seconde référence temporelle, qui fonctionnent à des fréquences d'échantillonnage distinctes.
Selon un mode de réalisation particulier, lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par ladite application. Ainsi, lorsque plusieurs telles applications sont mises en œuvre sur des terminaux respectifs, par exemple pour un parc de terminaux mobiles d'interactivité, il est possible de déclencher des fonctionnalités de ces applications en utilisant une même notification générique, commune à tous les terminaux d'interactivité.
Selon un mode de réalisation particulier, lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par un dispositif transmettant à ladite application des événements liés audit contenu. Ainsi, il est possible de mettre en œuvre une application qui n'a pas conscience du décalage temporel existant entre les références temporelles. Le développement de telles applications s'en trouve simplifié.
Selon un mode de réalisation particulier, les moyens de détermination d'informations de corrélation comportent un filtre adapté (matched filter en anglais), basé sur une inversion temporelle desdites données audio obtenues, ou des moyens de génération d'empreintes acoustiques à partir desdites données obtenues et des données dudit flux et de comparaison des empreintes générées. Ainsi, il est possible de réaliser simplement et efficacement la corrélation entre les données audio horodatées selon les deux références temporelles.
Selon un mode de réalisation particulier, le système comporte des moyens de modification de l'information de décalage temporel sur détection d'un démarrage de décodage de flux. Ainsi, lorsqu'un nouveau programme audiovisuel est sélectionné par l'utilisateur, les éventuelles désynchronisations temporelles liées à ce changement de contexte sont corrigées par adaptation de l'information de synchronisation temporelle.
Selon un mode de réalisation particulier, ledit contenu audio fait partie d'un contenu audiovisuel.
L'invention concerne également un procédé de synchronisation d'une application avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s' exécutant selon une seconde référence temporelle. Le procédé est tel qu'il comporte des étapes : d' obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; de détermination d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; de détermination d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ; de synchronisation de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé.
L'invention concerne également un dispositif déterminant une information de décalage destinée à synchroniser une application avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s' exécutant selon une seconde référence temporelle. Le dispositif est tel qu'il comporte : des moyens d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; des moyens de détermination d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ; des moyens de détermination de l'information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles.
L'invention concerne également un dispositif comportant une application à synchroniser avec un contenu audio destiné à être consommé par un terminal, dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle, ladite application s'exécutant selon une seconde référence temporelle. Le dispositif est tel qu'il comporte : des moyens d'obtention de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ; et, des moyens de transmission, à un dispositif destiné à synchroniser ladite application avec le contenu audio, desdites données audio obtenues et horodatées sur la base de la seconde référence temporelle.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels : - la Fig. 1 illustre schématiquement un système de synchronisation d'une application à un flux de donnés audio, selon un premier mode de réalisation de l'invention ;
- la Fig. 2 illustre schématiquement un système de synchronisation d'une application à un flux de donnés audio, selon un second mode de réalisation de l'invention ;
- la Fig. 3 illustre schématiquement une architecture d'équipement du système de synchronisation, tel qu'une plate-forme de service de synchronisation ou un terminal utilisateur, selon un mode de réalisation de l'invention ;
- la Fig. 4 illustre schématiquement un algorithme mis en œuvre par un terminal utilisateur, selon le premier mode de réalisation de l'invention ;
- la Fig. 5 illustre schématiquement un algorithme mis en œuvre par un terminal utilisateur, selon le second mode de réalisation de l'invention ;
- la Fig. 6 illustre schématiquement un algorithme mis en œuvre par une plate- forme de service de synchronisation, selon un mode de réalisation de l'invention.
De manière à synchroniser une application, installée sur un terminal, dit terminal d'interactivité, permettant à un utilisateur d' interagir avec un flux de données audio, il est proposé d'effectuer un horodatage des données audio correspondant aux instants où ces données sont consommées par un terminal, dit terminal consommateur, auquel elles sont destinées. Selon un premier exemple, les données audio sont issues d'un contenu audiovisuel et le terminal consommateur est un écran sur lequel est connecté un boîtier décodeur fournissant le flux de données après décodage. Selon un second exemple, les données audio sont i ssues d'un contenu audio et le terminal consommateur est un amplificateur, par exemple destiné au cinéma à la maison {home theater en anglais).
Les informations d'horodatage et les données audio auxquelles elles sont associées, obtenues au niveau du terminal d'interactivité, sont alors transmises à une plate-forme de service de synchronisation, qui dispose du même contenu mais avec un horodatage effectué au niveau du réseau de diffusion, c'est-à-dire en amont du terminal consommateur. La référence temporelle utilisée au niveau du réseau de diffusion constitue la première référence temporelle. La plate-forme de service de synchronisation effectue alors une corrélation entre ces données et celles reçues du terminal d'interactivité, afin de déterminer à quelle portion du flux correspondent les données reçues du terminal d'interactivité. Une fois que cette corrélation est effectuée, les informations d'horodatage permettent de déterminer un décalage temporel entre la référence temporelle utilisée au niveau du réseau de diffusion, c'est-à-dire la première référence temporelle, et celle utilisée au niveau du terminal d'interactivité, c'est-à-dire la seconde référence temporelle. Ce décalage temporel est ensuite exploité pour synchroniser l'application, installée sur le terminal d'interactivité, sur des instants de consommation du flux par le terminal consommateur.
La Fig. 1 illustre schématiquement un système de synchronisation de l'application au flux de donnés audio, selon un premier mode de réalisation de l'invention.
Un dispositif source 1.1, tel qu'une caméra ou une régie, fournit un contenu comportant des données audio via un lien 1.10, filaire ou sans-fil. Le lien 1.10 est connecté à la plate-forme de service de synchronisation 1.3 et à un équipement de diffusion 1.2, ce qui leur permet de recevoir le flux de données fourni par la source 1.1. L'équipement de diffusion 1.2 encode le flux de données reçu via le lien 1.10, de manière à l'adapter pour être diffusé à des boîtiers décodeurs, typiquement installés dans des habitations. L'encodage effectué par l'équipement de diffusion 1.2 est par exemple conforme à la norme de diffusion de vidéo numérique terrestre DVB-T {Digital Video Broadcasting - Terrestrial en anglais), telle que décrite dans le document de spécification ETSI EN 300 744 VI .6.1 « Digital Video Broadcasting (DVB); Framing Structure, Channel Coding and Modulation for Digital Terrestrial Télévision ». Le flux ainsi encodé est alors reçu, dans une habitation, via un lien 1.11, par un boîtier décodeur 1.4. Le boîtier décodeur 1.4 est représenté sur la Fig.1 de manière intégrée à un écran de télévision 1.16. Le boîtier décodeur 1.4 décode le flux reçu via le lien 1.11, c'est-à-dire qu'il effectue l'opération inverse de celle effectuée par l'équipement de diffusion 1.2. Il récupère ainsi le contenu, les données n'étant alors plus sous la forme du flux horodaté reçu par le boîtier décodeur 1.4. Une fois décodé, le flux est traité de manière à être adapté pour être affiché sur l'écran 1.16, en ce qui concerne les données vidéo, et diffusé sur des haut-parleurs, en ce qui concerne les données audio.
L'ensemble constitué par la plate-forme de service de synchronisation 1.3, l'équipement de diffusion 1.2, les boîtiers décodeurs et éventuellement la source 1.1 forme le réseau de diffusion. Chaque dispositif du réseau de diffusion partage la même référence temporelle et leurs horloges internes sont synchronisées sur cette même référence temporelle. La plate-forme de service de synchronisation 1.3 comporte une horloge interne 1.13 qu'elle utilise comme référence temporelle pour l'horodatage et l'analyse des données du flux reçu via le lien 1.10, comme décrit ci-après en relation avec la Fig. 6.
Le système de synchronisation comporte, outre la plate-forme de service de synchronisation 1.3, un terminal mobile 1.5 sur lequel peut être lancée l'application 1.15 permettant d'interagir avec un utilisateur en fonction du contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs. Ce terminal mobile 1.5 comporte une horloge interne 1.14 qu'il utilise comme référence temporelle pour horodater les données audio du flux consommées par l'écran 1.16, c'est-à-dire diffusées par les haut-parleurs, comme décrit ci-après en relation avec la Fig. 4.
La plate-forme de service de synchronisation 1.3 et le terminal mobile 1.5 échangent des données via un lien 1.12, qui est par exemple une connexion établie via le réseau Internet. Ces données permettent de synchroniser l'application 1.15 avec le contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs, tel que décrit ci- après en relation avec les Figs. 4 et 6.
L'application 1.15 permet la mise en œuvre de services qui peuvent par exemple être classifiés de la façon suivante :
services de type « pousser » (push en anglais), permettant de présenter sur le terminal mobile 1.5 des données interactives en étroite relation avec le contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs ;
services de type « tirer » (pull en anglais), permettant à l'utilisateur de requérir à tout moment, via le terminal mobile 1.5, des données complémentaires au contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs ; et
services de type « divertissement » (entertainment en anglais), permettant à l'utilisateur de répondre, via le terminal mobile 1.5, à des questions posées au fil du contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs, le terminal mobile 1.5 contrôlant les temps de réponse de l'utilisateur.
D'autres classifications peuvent être utilisées, et notamment des combinaisons des services mentionnés ci-dessus, comme par exemple des services de type « pousser-tirer » (push-pull en anglais) permettant à l'utilisateur de récupérer sur le terminal mobile une information présente à un instant donné dans le contenu affiché sur l'écran 1.16 et/ou diffusé sur les haut-parleurs.
Ainsi, les données échangées via le lien 1.12 permettent aussi à l'application 1.15 de gérer l'interactivité avec l'utilisateur. En d'autres termes, ces données peuvent correspondre à des actions utilisateur exécutées via une interface homme-machine du terminal mobile 1.5 ou à des notifications événementielles transmises à l'application 1.15.
La Fig. 2 illustre schématiquement un système de synchronisation de l'application au flux de donnés audio, selon un second mode de réalisation de l'invention. La Fig. 2 diffère de la Fig. 1 en ce que le boîtier décodeur 2.3 est un dispositif autonome (stand-alone device en anglais), c'est-à-dire qu'il n'est pas intégré dans un écran. Le boîtier décodeur 2.3 est connecté à un écran 2.1 via un lien 2.2, qui permet de transmettre les données audiovisuelles décodées. Le lien 2.2 est par exemple conforme à la norme d'interface multimédia haute définition FIDMI (pour High Définition Multimedia Interface en anglais), par exemple selon le document « High Définition Multimedia Interface Spécification, Version 1.3, HDMI Licensing LLC, 2006 ».
L'écran 2.1 comporte une horloge interne 2.4, qu'il utilise comme référence temporelle pour horodater les données audio du flux qu'il consomme. L'écran 2.1 comporte aussi l'application 1.15. L'interactivité avec l'utilisateur est alors réalisée par le biais de l'écran 2.1, qui se substitue au terminal mobile 1.5 de la Fig. 1 dans ses relations avec la plate-forme de service de synchronisation 1.3 via le lien 1.12. La plate-forme de service de synchronisation 1.3 et l'écran 2.1 échangent des données via le lien 1.12 pour permettent de synchroniser l'application 1.15 avec le contenu affiché sur l'écran 2.1 et/ou diffusé sur des haut-parleurs, tel que décrit ci-après en relation avec les Figs. 5 et 6.
La Fig. 3 illustre schématiquement, au moins partiellement, l'architecture du terminal mobile 1.5, de l'écran 2.1 ou de la plate-forme de service de synchronisation 1.3. Cette architecture schématique comporte, reliés par un bus de communication 3.1 :
un processeur, micro-processeur, microcontrôleur (noté μο) ou CPU (Central Processing Unit en anglais ou Unité Centrale de Traitement en français) 3.2 ;
une mémoire vive RAM (Random Access Memory en anglais ou Mémoire à Accès Aléatoire en français) 3.3 ;
une mémoire morte ROM (Read Only Memory en anglais ou Mémoire à Lecture Seule en français) 3.4 ; un lecteur 3.5 de médium de stockage, tel qu'un lecteur de carte SD (Secure Digital Card en anglais ou Carte Numérique Sécurisée en français) ou un disque dur HDD (Hard Disk Drive en anglais) ;
des moyens d'interface 3.6 avec un réseau de communication, comme par exemple avec le réseau Internet ; et
des moyens d'interface homme-machine 3.7, permettant notamment, en ce qui concerne le terminal mobile 1.5 et l'écran 2.1, d'interagir avec l'utilisateur.
Le microcontrôleur 3.2 est capable d'exécuter des instructions chargées dans la RAM 3.3 à partir de la ROM 3.4, d'une mémoire externe, d'un support de stockage ou d'un réseau de communication. Après mise sous tension, le microcontrôleur 3.2 est capable de lire de la RAM 3.3 des instructions et de les exécuter. Ces instructions forment un programme d'ordinateur. Ce programme d'ordinateur cause la mise en œuvre, par le microcontrôleur 3.2, de tout ou partie des algorithmes décrits ci-après en relation avec les Figs. 4 à 6.
Tout ou partie des algorithmes décrits ci-après en relation avec les Figs. 4 à 6 peut être implémenté sous forme logicielle par exécution d'un ensemble d'instructions par une machine programmable, tel qu'un DSP {Digital Signal Processor en anglais ou Unité de Traitement de Signal Numérique en français) ou un microcontrôleur, tel que le microcontrôleur 3.2, ou être implémenté sous forme matérielle par une machine ou un composant dédié, tel qu'un FPGA (Field-Programmable Gâte Array en anglais ou Matrice de Portes Programmable sur Champ en françai s) ou un ASIC Application-Specific Integrated Circuit en anglais ou Circuit Intégré Spécifique à une Application en français).
La plate-forme de service de synchronisation 1.3 comporte préférentiellement au moins un disque dur. Les données fournies par la source 1.1 sont stockées sur ce disque dur et sont préférentiellement organisées par mémoire tampon {buffer en anglais) circulaire. La plate-forme de service de synchronisation 1.3 peut ainsi stocker un nombre prédéfini de ces données ou les données correspondant à une durée de consommation prédéfinie, comme par exemple les données correspondant à un nombre N de secondes consécutives d'affichage de données vidéo et de diffusion de données audio associées dans un flux audiovisuel. Comme déjà mentionné, la plateforme de service de synchronisation 1.3 effectue une étape de corrélation entre des données reçues de la source 1.1 et des données reçues du terminal mobile 1.5 ou de l'écran 2.1. Il convient de noter que la profondeur de mémoire tampon circulaire doit être suffisamment élevée afin que les données reçues de la source 1.1 pendant l'étape de corrélation ne viennent pas écraser les données de la fenêtre de calcul de l'étape de corrélation.
La Fig. 4 illustre schématiquement un algorithme mis en œuvre par le terminal mobile 1.5, selon le premier mode de réalisation de l'invention illustré à la Fig. 1.
Dans une étape 4.1, le terminal mobile 1.5 reçoit un signal audio diffusé par les haut-parleurs associés à l'écran 1.16. Dans une étape 4.2 suivante, le terminal mobile 1.5 effectue, grâce à un microphone, un enregistrement d'une durée prédéterminée du signal audio diffusé par les haut-parleurs. Le terminal mobile 1.5 numérise alors le signal audio reçu. Dans une étape 4.3 suivante, le terminal mobile 1.5 détermine, grâce à la référence temporelle fournie par l'horloge 1.14, des informations d'horodatage des données audio numérisées pendant l'enregistrement effectué à l'étape 4.2. Les données audio numérisées sont ainsi marquées temporellement (time stamped en anglais) par référence à l'horloge 1.14, ce marquage représentant pour chaque donnée l'instant auquel cette donnée est consommée par les haut-parleurs associés à l'écran 1.16. Le temps de propagation du signal audio dans l'air est négligé vis-à-vis de la dé synchronisation possible entre les références temporelles, du réseau de diffusion d'une part et du terminal mobile 1.5 d'autre part. Dans une variante de réalisation, le terminal mobile 1.5 effectue une correction de l'horodatage en prenant en compte une valeur de temps de propagation du signal audio dans l'air.
Dans une étape 4.4 suivante, le terminal mobile 1.5 transmet à la plate-forme de service de synchronisation 1.3 les données numérisées, ainsi que les informations d'horodatage qui leur sont associées. Dans une étape 4.5 suivante, le terminal mobile 1.5 reçoit, en provenance de la plate-forme de service de synchronisation 1.3, une information de synchronisation temporelle. Cette information correspond à un décalage temporel, déterminé par la plate-forme de service de synchronisation 1.3, entre la référence temporelle utilisée par le terminal mobile 1.5 et celle utilisée au niveau du réseau de diffusion. Cette information de synchronisation est fournie à l'application 1.15 de manière à ajuster temporellement ses interactions avec l'utilisateur lors de la mise en œuvre des services mentionnés en relation avec la Fig. 1. Ces interactions sont alors temporellement synchronisées avec le contenu affiché par l'écran 1.16 et/ou diffusé par les haut-parleurs qui lui sont associés.
La Fig. 5 illustre schématiquement un algorithme mis en œuvre par l'écran 2.1, selon le second mode de réalisation de l'invention illustré à la Fig. 2. Dans une étape 5.1, l'écran 2.1 reçoit, via le lien 2.2 et en provenance du boîtier décodeur 2.3, un flux de données audiovisuelles décodées, afin de le consommer. L'écran 2.1 sélectionne alors un segment du flux de données consommées, correspondant à une durée de consommation prédéfinie, comme par exemple les données correspondant à un nombre N de secondes consécutives d' affichage de données vidéo et de diffusion de données audio associées dans le flux audiovisuel. Dans une étape 5.2 suivante, l'écran 2.1 détermine, grâce à la référence temporelle fournie par l'horloge 2.4, des informations d'horodatage des données audio consommées. Les données audio consommées sont ainsi marquées temporellement par référence à l'horloge 2.4, ce marquage représentant pour chaque donnée l'instant auquel cette donnée est consommée par l'écran 2.1. De cette manière, l'écran 2.1 génère, à partir du contenu audio, un flux de données audio horodatées selon sa propre référence temporelle.
Dans une étape 5.3 suivante, l'écran 2.1 transmet ces données à la plate-forme de service de synchronisation 1.3, ainsi que les informations d'horodatage qui leur sont associées. Dans une étape 5.4 suivante, l'écran 2.1 reçoit, en provenance de la plate-forme de service de synchronisation 1.3, l'information de synchronisation temporelle déjà mentionnée en relation avec la Fig. 4.
La Fig. 6 illustre schématiquement un algorithme mis en œuvre par la plate- forme de service de synchronisation 1.3, selon un mode de réalisation de l'invention.
Dans une étape 6.1, la plate-forme de service de synchronisation 1.3 reçoit des données d'un flux via le lien 1.10. Dans une étape 6.2 suivante, la plate-forme de service de synchronisation 1.3 obtient des informations d'horodatage du flux. Ces informations d'horodatage sont générées sur la base de la référence temporelle du réseau de diffusion. Ces informations d'horodatage sont par exemple insérées par la source 1. 1. Dans une variante de réalisation, ces informations d'horodatage sont générées par la plate-forme de service de synchronisation 1.3, au moyen de son horloge 1.13. Dans ce cas, l'équipement de diffusion 1.2 génère de la même manière des informations d'horodatage sur la base de son horloge interne, avant de les transmettre via le lien 1.11, les horloges internes des dispositifs du réseau de diffusion étant synchronisées sur la même référence temporelle.
Dans une étape 6.3 suivante, la plate-forme de service de synchronisation 1.3 stocke les données reçues ainsi que les informations d'horodatage associées. Ces données sont non bruitées et constituent le flux de référence pour mettre en œuvre l'étape de corrélation déjà mentionnée.
Dans une étape 6.4 suivante, la plate-forme de service de synchronisation 1.3 reçoit des données audio et des informations d'horodatage associées, ces informations d'horodatage correspondant au moment où les données audio associées ont été consommées par le terminal auquel elles sont destinées, c'est-à-dire le terminal consommateur. Ces données audio et informations d'horodatage correspondent, dans les modes de réalisation décrits en relation avec les Figs. 4 et 5, respectivement à ce qui est transmis par le terminal mobile 1.5 dans l'étape 4.4 et par l'écran 2.1 dans l'étape 5.3.
Dans une étape 6.5 optionnelle suivante, la plate-forme de service de synchronisation 1.3 effectue un ajustement en fréquence des données stockées à l'étape 6.3 et/ou de celles reçues à l'étape 6.4. L'étape de corrélation entre ces données devant être effectuée sur des données audio échantillonnées à la même fréquence, une fréquence cible est choisie. Par exemple, cette fréquence est choisie à 8 kHz. Dans le cas où la fréquence d'échantillonnage des données stockées à l'étape
6.3 et/ou de celles reçues à l'étape 6.4 diffère de la fréquence cible, une étape de rééchantillonnage vers cette fréquence cible est effectuée.
Dans une étape 6.6 suivante, la plate-forme de service de synchronisation 1.3 effectue l'étape de corrélation, c'est-à-dire qu'elle détermine des informations de corrélation entre les données stockées à l'étape 6.3 et celles reçues à l'étape 6.4. L'étape de corrélation consiste à déterminer à quelle portion du flux reçu de la source 1.1 correspondent les données reçues à l'étape 6.4. Pour ce faire, un filtre adapté (matched filter en anglais), aussi appelé filtre de North, peut être appliqué. Le filtre adapté est alors formé sur la base des données audio reçues à l ' étape 6.4, temporellement inversées. L'utilisation d'un tel filtre permet avantageusement de maximiser le rapport signal-à-bruit, notamment lorsque les données reçues à l'étape
6.4 proviennent de l'enregistrement effectué par le terminal mobile 1.5 à l'étape 4.2. Il est également possible de mettre en œuvre des techniques de génération et de comparaison d'empreintes acoustiques {audio fingerprint en anglais). De telles empreintes sont générées pour les données audio reçues à l'étape 6.4 et sont comparées à des empreintes générées de façon similaire pour les données audio reçues à l'étape 6.1, c'est-à-dire horodatées selon la première référence temporelle. La plate-forme de service de synchronisation 1.3 peut en outre mettre en œuvre une étape de validation des résultats de l'étape de corrélation, de manière à vérifier leur cohérence temporelle.
Dans une étape 6.7 suivante, une fois que la plate-forme de service de synchronisation 1.3 a déterminé le positionnement des données audio reçues à l'étape 6.4 parmi les données audio stockées à l'étape 6.3, elle détermine une information de synchronisation temporelle représentative du décalage temporel entre la référence temporelle utilisée par le réseau de diffusion et celle utilisée par le terminal d'interactivité, c'est-à-dire celui sur lequel est lancée l'application 1.15.
Dans une étape 6.8 suivante, la plate-forme de service de synchronisation 1.3 transmet l'information de synchronisation temporelle, déterminée à l'étape 6.7, au terminal d'interactivité. L'information de synchronisation temporelle est alors exploitée, ou prise en compte, au niveau de ce terminal d'interactivité.
Ainsi, lorsque la plate-forme de service de synchronisation 1.3 reçoit les données du flux, comme indiqué lors de l'étape 6.1, elle est en mesure de détecter des événements inscrits dans le flux, avec des informations d'horodatage associées à ces événements. La plate-forme de service de synchronisation 1.3 peut ainsi propager cet événement à l'ensemble des applications 1.15 pour lesquelles l'étape de corrélation a été mise en œuvre et pour lesquelles les informations de synchronisation, issues de l'étape 6.7, sont disponibles. Les applications 1.15 sont alors en mesure d'adapter les horodatages de ces événements grâce aux informations de synchronisation dont elles disposent respectivement. Cela permet à la plate-forme de service de synchronisation 1.3 de transmettre chaque événement sous la forme d'une même notification, identique pour chaque application 1.15. De manière alternative, cela permet de gérer la transmission des événements par un autre dispositif que la plate-forme de service de synchronisation 1.3, comme par exemple l'équipement de diffusion 1.2. La charge de traitement de la plate-forme de service de synchronisation 1.3 est ainsi allégée.
Dans une variante de réalisation, l'information de synchronisation temporelle est exploitée, ou prise en compte, au niveau de la plate-forme de service de synchronisation 1.3. Les informations de synchronisation ne sont alors pas transmises aux applications 1.15. Lorsque la plate-forme de service de synchronisation 1.3 détecte un événement dans le flux, elle adapte l'horodatage associé à l'événement en prenant en compte l'information de synchronisation déterminée à l'étape 6.7, et ce, pour chaque application 1.15. La plate-forme de service de synchronisation 1.3 transmet alors à chaque application 1.15 une notification d'événement, dont l'information d'horodatage est adaptée à l'application 1.15 concernée.
Les événements sont notifiés aux terminaux d'interactivité par indication de la valeur de la référence temporelle à laquelle cet événement doit avoir lieu dans le terminal d'interactivité, cette valeur temporelle pouvant être déterminée soit par rapport à la première référence temporelle (cas d'une notification générique) soit par rapport à la seconde référence temporelle (cas d'une notification particulière à chaque terminal d'interactivité). Ces notifications peuvent a priori être transmises aux terminaux sous différentes formes, comme par exemple des messages dédiés distincts des trames encapsulant les données audiovisuelles, des champs dédiés inclus directement dans les trames encapsulant les données audiovisuelles, ou tout autre moyen de signalisation. Les événements peuvent être fournis par la source 1.1 ou par un dispositif dédié placé, sur le lien 1.10, en aval de la source 1.1 et en amont de la plate-forme de service de synchronisation 1.3 et de l'équipement de diffusion 1.2.
La correspondance entre références temporelles est établie pour les données audio. Dans le cas où les références temporelles utilisées pour les données audio et vidéo sont distinctes, et que les événements sont liés aux données vidéo, chaque application 1.15 et/ou la plate-forme de service de synchronisation 1.3 sont en mesure de déterminer le décalage entre ces références temporelles. Il suffit de comparer les horodatages d'une donnée vidéo et d'une donnée audio associée dans le flux audiovisuel pour déterminer ce décalage. Ainsi, la différence entre ces références temporelles, combinée avec l'information de synchronisation déterminée à l'étape 6.7, permet de gérer de manière synchronisée des événements liés aux données vidéo.
Une fois déterminé le décalage temporel entre la référence temporelle du réseau de diffusion et celle du terminal sur lequel est lancée l'application 1.15, il peut être mis en œuvre des mécanismes permettant de corriger une dérive entre les références temporelles. L'exécution d'une nouvelle opération de synchronisation peut alors être initiée :
soit par l'utilisateur du terminal sur lequel est lancée l'application 1.15, par exemple lors d'une détection d'un décalage temporel visible entre les données interactives affichées par ce terminal et le contenu auquel elles se réfèrent ;
soit par la plate-forme de service de synchronisation 1.3, par exemple à intervalles réguliers ou suite à l'expiration d'une temporisation. En outre, des désynchronisations peuvent apparaître lorsque l'on bascule d'un contenu à un autre, c'est-à-dire, d'un flux à un autre, sur le boîtier décodeur 1.4 ou 2.3. Il est alors possible de réitérer l'opération de synchronisation. Cela peut être effectué sur détection du démarrage d'un flux dans le boîtier décodeur ou du démarrage de la consommation d'un flux par le terminal consommateur. Cette détection d'un démarrage de décodage de flux, par exemple résultant d'un changement de chaînes opéré par l'utilisateur peut provenir :
de notifications générées par le boîtier décodeur 1.4 ou 2.3 ;
de traitements spécifiques effectués par le terminal consommateur, par détection de discontinuité du signal audiovisuel ;
du terminal d'interactivité lui-même, dans le cas où celui-ci fait office de télécommande pour le boîtier décodeur 1.4 ou 2.3.
L'information de synchronisation temporelle est alors modifiée en conséquence. Afin de corriger l'information de synchronisation temporelle déterminée à l'étape 6.7, il est possible de déterminer la correspondance entre la référence temporelle utilisée par le réseau de diffusion et une référence temporelle utilisée par le boîtier décodeur, puis de déterminer ultérieurement l a dérive d'une tell e correspondance lors d'un basculement d'un flux à un autre. Il est alors possible d'ajuster l'information de synchronisation temporelle déterminée à l'étape 6.7 grâce à la dérive déterminée.
Selon une autre mise en œuvre, le terminal consommateur dipose de deux modes de réception d'un même contenu. Le terminal consommateur est alors adapté pour recevoir deux flux, correspondant à un même contenu, par deux biais différents. Par exemple, un premier flux peut être reçu de manière diffusée, en provenance de l'équipement de diffusion 1.2 et un second flux est reçu, de manière point-à-point, via le réseau Internet. Ces deux flux disposent alors d'horodatages effectués sur la base de références temporelles distinctes. L'opération de corrélation peut alors être mise en œuvre de manière à déterminer le décalage temporel entre ces deux flux. Des informations de corrélation d'un segment d'un de ces deux flux avec l'autre flux sont déterminées pour déterminer une information de synchronisation temporelle, c'est-à- dire un décalage temporel entre les deux références, de la même manière qu'aux étapes 6.6 et 6.7. Cette information de décalage temporel peut alors être utilisée pour permettre un basculement synchronisé d'un flux à l'autre, c'est-à-dire de manière transparente pour l'utilisateur. Un tel basculement est par exemple utile lorsque le terminal consommateur est un terminal mobile et que l'utilisateur pénètre dans une zone géographique non couverte selon l'un des deux modes de réception.

Claims

REVENDICATIONS
1) Système de synchronisation d'une application (1.15), avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle (1.13), ladite application s 'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte :
des moyens d'obtention (4.2;5.1;6.4) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal consommateur desdites données audio ;
des moyens de détermination (6.6) d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ;
des moyens de détermination (6.7) d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ;
des moyens de synchronisation (4.5;5.4;6.8) de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé.
2) Système selon la revendication 1, caractérisé en ce que l'application s'exécute sur un terminal (1.5) distinct du terminal consommateur (1.16) et en ce que lesdits moyens d'obtention de données audio dudit contenu comprennent des moyens d'enregistrement (4.2) d'une partie du contenu audio consommé par le terminal consommateur.
3) Système selon la revendication 1, caractérisé en ce que le terminal consommateur est connecté à un dispositif (2.3) comportant des moyens de récupération dudit contenu à partir dudit flux de données audio horodatées selon la première référence temporelle, en ce que l' application s' exécute sur le terminal consommateur et en ce que le terminal consommateur comporte des moyens de génération (5.2), à partir dudit contenu audio, d'un flux de données audio horodatées selon la seconde référence temporelle. 4) Système selon l'une des revendications 1 à 3, caractérisé en ce qu'il comporte des moyens de ré-échantillonnage (6.5) des données audio obtenues et/ou des données audio dudit flux vers une fréquence cible. 5) Système selon l'une des revendications 1 à 4, caractérisé en ce que lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par ladite application.
6) Système selon l'une des revendications 1 à 4, caractérisé en ce que lesdits moyens de synchronisation comportent des moyens de prise en compte de ladite information de décalage temporel par un dispositif transmettant à ladite application des événements liés audit contenu.
7) Système selon l'une des revendications 1 à 6, caractérisé en ce que les moyens de détermination d'informations de corrélation comportent un filtre adapté, basé sur une inversion temporelle desdites données audio obtenues, ou des moyens de génération d'empreintes acoustiques à partir desdites données obtenues et des données dudit flux et de comparaison des empreintes générées. 8) Système selon l'une des revendications 1 à 7, caractérisé en ce qu'il comporte des moyens de modification de l'information de décalage temporel sur détection d'un démarrage de décodage de flux.
9) Système selon l'une des revendications 1 à 8, caractérisé en ce que ledit contenu audio fait partie d'un contenu audiovisuel.
10) Procédé de synchronisation d'une application (1.15) avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle (1.13), ladite application s'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte des étapes :
d'obtention (4.2;5.1 ;6.4) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal desdites données audio ;
de détermination (6.6) d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ;
- de détermination (6.7) d'une information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles ;
de synchronisation (4.5;5.4;6.8) de l'application avec ledit contenu, sur la base de l'information de décalage temporel déterminé.
11) Dispositif (1.3) déterminant une information de décalage destinée à synchroniser une application (1.15) avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle ( 1. 13), ladite application s' exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte :
des moyens d'obtention (6.4) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal desdites données audio ;
des moyens de détermination (6.6) d'informations de corrélation entre lesdites données audio obtenues et lesdites données audio dudit flux ;
des moyens de détermination (6.7) de l'information de décalage temporel entre les première et seconde références temporelles, en fonction des informations de corrélation déterminées et d'informations d'horodatage des données selon les première et seconde références temporelles.
12) Dispositif (1.5;2.1) comportant une application (1.15) à synchroniser avec un contenu audio destiné à être consommé par un terminal (1.16;2.1), dit terminal consommateur, ledit contenu étant fourni sous la forme d'un flux de données audio horodatées selon une première référence temporelle (1. 13), ladite application s'exécutant selon une seconde référence temporelle (1.14;2.4), caractérisé en ce qu'il comporte : des moyens d'obtention (4.2;5.1) de données audio dudit contenu, lesdites données audio obtenues étant horodatées, sur la base de la seconde référence temporelle, pour indiquer des instants respectifs de consommation par ledit terminal desdites données audio ;
- des moyens de transmission, à un dispositif (1.3) destiné à synchroniser ladite application avec le contenu audio, desdites données audio obtenues et horodatées sur la base de la seconde référence temporelle.
EP11772979.8A 2010-11-15 2011-10-21 Système et procédé de synchronisation d'une application avec un contenu audio Withdrawn EP2641347A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1059347A FR2967545B1 (fr) 2010-11-15 2010-11-15 Systeme et procede de synchronisation d'une application avec un contenu audio
PCT/EP2011/068415 WO2012065805A1 (fr) 2010-11-15 2011-10-21 Système et procédé de synchronisation d'une application avec un contenu audio

Publications (1)

Publication Number Publication Date
EP2641347A1 true EP2641347A1 (fr) 2013-09-25

Family

ID=44140773

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11772979.8A Withdrawn EP2641347A1 (fr) 2010-11-15 2011-10-21 Système et procédé de synchronisation d'une application avec un contenu audio

Country Status (3)

Country Link
EP (1) EP2641347A1 (fr)
FR (1) FR2967545B1 (fr)
WO (1) WO2012065805A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114456A1 (en) * 2012-10-22 2014-04-24 Arbitron Inc. Methods and Systems for Clock Correction and/or Synchronization for Audio Media Measurement Systems
CN114630170B (zh) * 2022-03-24 2023-10-31 抖音视界有限公司 一种音视频同步方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134531A (en) * 1997-09-24 2000-10-17 Digital Equipment Corporation Method and apparatus for correlating real-time audience feedback with segments of broadcast programs
AU2001277249A1 (en) * 2000-08-03 2002-02-18 Steven G. Apel Audience survey system and method
GB2435367A (en) * 2006-02-15 2007-08-22 Intime Media Ltd User interacting with events in a broadcast audio stream, such a a quizz, by comparing patterns in the stream to a stored signature.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2012065805A1 *

Also Published As

Publication number Publication date
FR2967545A1 (fr) 2012-05-18
WO2012065805A1 (fr) 2012-05-24
FR2967545B1 (fr) 2012-12-07

Similar Documents

Publication Publication Date Title
US9838758B2 (en) Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9519772B2 (en) Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9026668B2 (en) Real-time and retargeted advertising on multiple screens of a user watching television
US20190297122A1 (en) Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US20180091873A1 (en) Content exposure attribution based on renderings of related content across multiple devices
EP3646548B1 (fr) Procédé de transmission d'un contenu audio interrompu dans un récepteur hybride, système, récepteur et programme associé au procédé
EP3840388B1 (fr) Equipement décodeur à double liaison audio
EP3381196B1 (fr) Procédé de synchronisation d'un flux audio alternatif
US20130331972A1 (en) System and method for synchronizing an application with audio content
EP2641347A1 (fr) Système et procédé de synchronisation d'une application avec un contenu audio
FR2980662A1 (fr) Methode d'enregistrement d'un contenu dans un fichier sur un serveur et dispositif correspondant
EP3661221B1 (fr) Procédé de suivi d'une émission audiovisuelle et équipement permettant sa mise en oeuvre
FR2984669A1 (fr) Procede, dispositif et systeme de fourniture d'un flux video numerique a un equipement terminal
Dang et al. LSync: A Universal Timeline-Synchronizing Solution for Live Streaming
FR2951340A1 (fr) Procede de gestion d'acces a un reseau de communication resistant aux masquages, produit programme d'ordinateur et dispositifs correspondants.
FR3075543B1 (fr) Procede de telechargement de chaine pour le zapping d'une chaine numerique en fonction du comportement utilisateur
FR3111497A1 (fr) Procédé de gestion de la restitution d’un contenu multimédia sur des dispositifs de restitution.
EP2854415B1 (fr) Procédé de transmission dynamique de données d'information relatives à un programme audio et/ou vidéo
EP3548997B1 (fr) Procédé de gestion de la réception de contenus numériques par un dispositif de gestion
FR3000864A1 (fr) Dispositif de synchronisation de diffusion de signal sonore et diffuseur sonore
WO2001069940A1 (fr) Dispositif de synchronisation d'applications interactives dans un recepteur de television
FR2992507A1 (fr) Procede et dispositif d'horodatage d'un flux de donnees dans un reseau de diffusion radiophonique, procede et dispositif d'insertion, programmes d'ordinateur et medium de stockage correspondants.
FR3100096A1 (fr) Systeme de restitution sonore deportee comportant un diffuseur audionumérique connecte a un recepteur audionumerique par au moins deux liaisons sans fil
FR2930098A1 (fr) Procede de transmission simplifie d'un flux de signaux entre un emetteur et un appareil electronique
FR3079705A1 (fr) Communication par video conference

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130527

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20150209

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170907