WO2009147182A1 - Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission - Google Patents

Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission Download PDF

Info

Publication number
WO2009147182A1
WO2009147182A1 PCT/EP2009/056829 EP2009056829W WO2009147182A1 WO 2009147182 A1 WO2009147182 A1 WO 2009147182A1 EP 2009056829 W EP2009056829 W EP 2009056829W WO 2009147182 A1 WO2009147182 A1 WO 2009147182A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
redundancy
stream
objects
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2009/056829
Other languages
English (en)
Inventor
Cedric Le Barz
Marc Leny
Didier Nicholson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to MX2010013319A priority Critical patent/MX2010013319A/es
Priority to BRPI0913391A priority patent/BRPI0913391A2/pt
Priority to US12/996,254 priority patent/US20110222603A1/en
Priority to EP09757563A priority patent/EP2297968A1/fr
Publication of WO2009147182A1 publication Critical patent/WO2009147182A1/fr
Priority to MA33395A priority patent/MA32379B1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Definitions

  • the invention relates to a method and a system for transmitting a video stream by integrating redundancy to resist transmission errors on an already compressed video stream.
  • the invention applies for example at the output of a video encoder.
  • the invention is used to transmit compressed video streams in any transmission context likely to encounter errors. It applies in the field of telecommunications.
  • transmission context is used to designate unreliable transmission links, that is to say a transmission means on which an error-sensitive communication is performed.
  • background refers to the mobile object or objects in a video sequence, for example, a pedestrian, a vehicle, a molecule in medical imaging.
  • background is used with reference to the environment as well as to fixed objects. This includes, for example, soil, buildings, trees that are not perfectly immobile or parked cars.
  • the invention can, inter alia, be applied in applications implementing the standard defined jointly by the ISO MPEG and the video coding group of I 1 ITU-T called H.264 or MPEG-4 AVC (advanced video coding) and SVC (scalable video coding), which is a video standard that provides more efficient compression than previous video standards, while having a reasonable implementation complexity and directed towards network applications.
  • H.264 or MPEG-4 AVC advanced video coding
  • SVC scalable video coding
  • VCL Video Coding Layer
  • data packet parameter sets - SPS (Parameter Set), PPS (Picture Parameter Set) -, user data, etc.
  • the type of errors encountered during the transmission and during the decoding step of the stream may correspond to errors introduced by a transmission channel, such as the family of wireless channels, conventional civilian channels, for example transmission over UMTS, WiFi, WiMAX, or the military channels.
  • errors can be of type "packet loss” (loss of a sequence of bits or bytes), “bit errors” (possible inversion of one or more bits or bytes, randomly or in bursts), " erasures "(loss of size or known position of one or more or a series of bits or bytes) or result from a mixture of these different incidents.
  • the prior art describes various methods for combating transmission errors. For example, before the coding of the images, it is known to add information to the video data provided by the video coder, this before transmission. However, this technique does not take into account compatibility problems with the flow decoder.
  • One technique uses the ARQ packet retransmission mechanism, the abbreviation for Automatic Repeat Request, which consists of repeating erroneous packets.
  • This transmission on a second channel or second stream although performing well, has the disadvantage of the general opinion of being sensitive to the delay in a transmission network. It is not really suitable in some services that require real-time constraints.
  • Another technique is to use an error correcting coder that adds redundancy to the data to be transmitted.
  • the patent application FR 2 854 755 also describes a method for protecting a stream of compressed video images against errors that occur during the transmission of this stream. This method consists in adding redundancy bits to all the images and transmitting these bits with the compressed video images. If it proves effective, this method has the disadvantage of increasing the transmission time. Indeed, the redundancy is added without making a distinction on the transmitted images, that is to say that the addition of redundancy is performed on a large number of images.
  • One of the objects of the present invention is to provide a method of protection against transmission errors that occur during the transmission of a video stream.
  • the invention relates to a method for protecting a compressed video stream that can be decomposed into at least a first set of objects of a first type and at least a second set of objects of a second type, against errors in the transmission of this stream over an unreliable link, characterized in that it comprises at least the following steps: a) analyzing the stream in the compressed domain in order to identify different areas in which the redundancy will be added, the motion estimation vectors and the transformed coefficients obtained in the compressed domain are transmitted to the step of adding redundancy, b) adding redundancy to the objects of said zones determined in step a), taking into account the motion estimation vectors and the transformed coefficients obtained in the compressed domain, c) transmitting all the zones forming the image.
  • the method comprises, during the step of adding redundancy, at least the following steps:
  • an image being composed of several blocks analyzing the blocks of said image or of the current image group, i. if the block of the image or group of images belongs to the first group, then determine the redundancy data and add them, together with the coordinates of the block of the image, in the NAL unit determined in the previous step, ii. if not doing nothing,
  • the first type of object corresponds, for example, to a foreground comprising moving objects in an image. In video surveillance applications for example, they will be allocated redundancy since they correspond to the most important part of the video stream.
  • the method can use to apply redundancy a Reed Solomon code.
  • the analysis in the compressed domain determines for example a mask identifying the blocks of the image belonging to the different objects of the scene. Generally, an object will match the background. All other elements of the mask may be grouped under the same label (in the case of a bit mask) which will then include all the blocks of the image belonging to the moving objects or foreground.
  • the method can also use, following the analysis in the compressed domain, a function determining the coordinates of bounding boxes corresponding to the objects belonging to the foreground in an image; the coordinates of said bounding boxes are determined from the mask.
  • the "update" image by image of the groups of slices or "SG” is accompanied, for example, by the transmission of a parameter PPS (English abbreviation of Picture Parameters Set) which indicates to a decoder the new division of the image.
  • PPS English abbreviation of Picture Parameters Set
  • the invention also relates to a system for protecting a video sequence intended to be transmitted over an unreliable transmission link, characterized in that it comprises at least one video encoder adapted to execute the steps of the method having at least one of the aforementioned characteristics comprising a network video broadcast system and an associated processing unit.
  • FIGS. 1 to 4 the results obtained by an analysis in the compressed domain
  • FIG. 5 an example describing the steps implemented to add redundancy to a compressed stream
  • FIG. 6 an exemplary diagram for a video encoder according to the invention.
  • the description includes a reminder on how to perform an analysis in the compressed domain, as described, for example, in the US patent application 2006 188013 with reference to Figures 1, 2, 3 and 4 and also in the following two references: Leny, Nicholson, Loaners, "Motion estimation for real-time video analysis in the compressed domain", GRETSI, 2007. Leny, Loaner, Nicholson, SPIE Electronic Imaging, San Jose, 2008.
  • the techniques used among others in the MPEG standards and exposed in these articles consist in dividing the compression video in two steps. The first step is to compress a still image.
  • the image is divided into blocks of pixels (of 4x4 or 8x8 according to the MPEG-1/2/4 standards), which are subsequently subjected to a transform allowing a passage in the frequency domain and then a quantization makes it possible to approximate or delete the high frequencies to which the eye is less sensitive. Finally, these quantified data are coded entropically.
  • the second step is to reduce temporal redundancy. For this purpose, it makes it possible to predict an image from one or more other previously decoded images within the same sequence (motion prediction). For this, the process searches in these images references the block that best fits the desired prediction. Only one vector (Vector Motion Estimation, also known as Motion Vector), corresponding to the displacement of the block between the two images, as well as a residual error allowing to refine the visual rendering are preserved.
  • Vector Motion Estimation also known as Motion Vector
  • a low-resolution decoder allows to reconstruct the entirety of a sequence at the resolution of the block, removing on this scale the motion prediction;
  • a motion estimation vector generator (MEG - Motion Estimation Generator) determines vectors for all the blocks encoded by the encoder in "Intra" mode (within Intra or predicted images);
  • LROS Low-Res Object Segmentation
  • OMF Object Motion Filtering
  • CD - Cooperative Decision a cooperative decision module
  • the main interest of the analysis in the compressed domain relates to computation times and memory requirements which are considerably reduced compared to conventional analysis tools.
  • analysis times are now 10 to 20 times the real time (250 to 500 images processed per second) for images 720x576 4: 2: 0 .
  • One of the drawbacks of the analysis in the compressed domain as described in the aforementioned documents is that the work is performed on the equivalent of low resolution images by manipulating blocks composed of groups of pixels. As a result, the image is analyzed with less precision than by implementing the usual algorithms used in the uncompressed domain.
  • objects that are too small in relation to block cutting can go undetected.
  • FIG. 2 show the identification of zones containing moving objects.
  • Figure 3 schematizes the extraction of specific data such as motion estimation vectors and Figure 4 low resolution confidence cards obtained corresponding to the contours of the image.
  • FIG. 5 schematizes an exemplary embodiment of the method according to the invention in which redundancy will be added to selected areas in the compressed stream.
  • This method is implemented within a video transmitter comprising at least one video encoder and a processing unit schematized in FIG. 6.
  • This transmitter also comprises a channel coder.
  • the areas of greatest importance in the stream will be chosen to be protected against possible transmission errors.
  • the compressed video stream 10 at the output of an encoder is transmitted to a first analysis step 12 whose function is to extract the data representative.
  • the method has for example, a sequence of masks comprising blocks (regions having received an identical label) related to moving objects. Masks can be binary masks.
  • This analysis in the compressed domain made it possible to define for each image or for a group of GoP defined images, on the one hand, different zones Z1 i belonging to the first plane P1 and other zones Z2i belonging to the second plane P2 of a video image.
  • the analysis can be carried out by implementing the method described in the aforementioned US patent application.
  • any method making it possible to obtain an output of the analysis step in the form of masks per image, or any other format or parameters associated with the compressed video sequence analyzed may also be implemented at the output of the analysis step in the compressed domain.
  • the method has, for example, bit masks 12 for each image (block resolution or macroblock).
  • An example of a convention used may be the following: "1" corresponds to a block of the image belonging to the foreground and "0" corresponds to a block of the image belonging to the background.
  • the "update" image by image of the groups of slices or "SG” is accompanied, for example, by the transmission of a parameter PPS (Picture Parameters Set) which indicates to a decoder the new division of the image.
  • PPS Picture Parameters Set
  • the analysis module that defines the division of the image according to the regions of interest sends these parameters to the redundancy addition brick with the data previously obtained.
  • An H.264-standard implementation inserts the redundant part of the code only for the blocks of the first plane P1 into "NAL" units or network abstraction layers (or Network Abstraction Layer).
  • the redundancy calculation 13a is done using for example a Reed-Solomon code.
  • the method considers the user data. The method then determines, 13b, NALs of undefined or undefined type, of types 30 and 31, within which it is possible to transmit any type of redundancy information and the indices of the macroblocks for which redundancy has been calculated. Unlike other types of NAL, the 30 and 31 are not reserved either for the flow itself or RTP-RTSP network protocols.
  • a standard decoder will simply set aside this information whereas a specific decoder, developed to take into account these NAL, may choose to use this information to detect and correct any transmission errors.
  • the addition of redundancy will be via an iterated loop on the blocks of the bit mask. If the block is "0" (background), go directly to the next. If it is at "1" (foreground), a Reed-Solomon code is used to determine the redundancy data, then the coordinates of that block will be added in a specific NAL followed by the calculated data. It is possible to transmit a NAL by slice, by image or group of images GoP (Group of Pictures) according to the constraints of the application.
  • GoP Group of Pictures
  • the transmission step will take into account the unmodified compressed stream and the stream comprising the areas for which redundancy has been added.
  • a conventional decoder will therefore consider a normal flow, with no particularity of robustness to errors, 16, whereas a suitable decoder will use these new NALs, 17, containing in particular the redundant information to check the integrity of the received stream and possibly correct it.
  • FIG. 6 is a block diagram of a system according to the invention comprising a video encoder 20 adapted to implement the steps described with FIG. 5.
  • the transmitter comprises a video encoder 21 receiving the video stream F and adapted to determine the different zones Z1 i belonging to the first plane P1 and other zones Z2i belonging to the second plane P2 of a video image, at least one channel coder 22 adapted to add redundancy according to the method described in FIG.
  • a processing unit 23 adapted to control each channel coder in the case where the device has several coders and to determine the distribution of the redundancy to be added, and finally a module communication system 24 enabling the system to transmit both the compressed video stream and the calculated redundancy NALs in a designated stream Fc.
  • the method and the system according to the invention have the following advantages in particular: the fact of using the analysis in the compressed domain makes it possible, without the need to decompress the streams or video sequences, to determine the areas that a user wishes to protect against transmission errors, the possible loss of information on the non-mobile part or virtually immobile having no real consequence on the reading and / or interpretation of the sequence. In fact, the transmission rate will be lower than that usually obtained when adding redundancy to all the images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Procédé de protection d'un flux vidéo compressé pouvant être décomposé en un premier plan composé d'objets d'un premier type et d'un second plan composé d'objets d'un second type contre les erreurs lors de la transmission de ce flux sur un lien non fiable, caractérisé en ce qu'il comporte au moins les étapes suivantes : a) analyser le flux dans le domaine compressé (1 1, 12) afin de définir différentes zones de l'image dans lesquelles de la redondance va être ajoutée, les vecteurs estimations de mouvement et les coefficients transformés obtenus dans le domaine compressé sont transmis à l'étape d'ajout de redondance, b) ajouter de la redondance (13a, 13b, 14) aux objets desdites zones déterminées à l'étape précédente, a), en tenant compte des vecteurs estimations de mouvement et des coefficients transformés obtenus dans le domaine compressé, c) transmettre l'ensemble des zones formant l'image.

Description

PROCEDE ET SYSTEME PERMETTANT DE PROTEGER UN FLUX VIDEO COMPRESSE CONTRE LES ERREURS SURVENANT LORS D'UNE
TRANSMISSION
L'invention concerne un procédé et un système permettant de transmettre un flux vidéo en intégrant de la redondance pour résister aux erreurs de transmission, ceci sur un flux vidéo déjà compressé. L'invention s'applique par exemple en sortie d'un codeur vidéo. L'invention est utilisée pour transmettre des flux vidéo compressés dans tout contexte de transmission susceptible de rencontrer des erreurs. Elle s'applique dans le domaine des télécommunications.
Dans la suite du document, l'expression « contexte de transmission » est utilisée pour désigner des liens de transmission non fiables, c'est-à-dire un moyen de transmission sur lequel est réalisée une communication sensible aux erreurs.
De même, le terme « premier plan » désigne le ou les objets mobiles dans une séquence vidéo, par exemple, un piéton, un véhicule, une molécule en imagerie médicale. A contrario, la désignation « arrière plan » est utilisée en référence à l'environnement ainsi qu'aux objets fixes. Ceci comprend, par exemple, le sol, les bâtiments, les arbres qui ne sont pas parfaitement immobiles ou encore les voitures stationnées.
L'invention peut, entre autre, s'appliquer dans des applications mettant en œuvre la norme définie en commun par l'ISO MPEG et le groupe vidéo coding de I1ITU-T dite H.264 ou MPEG-4 AVC (advanced video coding) et SVC (scalable video coding) qui est une norme vidéo fournissant une compression plus efficace que les normes vidéo précédentes tout en présentant une complexité de mise en œuvre raisonnable et orientée vers les applications réseau. Dans la description, l'expression « flux vidéo compressé » et l'expression « séquence vidéo compressée » désignent une vidéo. Le concept de couche abstraite réseau, plus connue sous l'abréviation NAL (Network Abstraction Layer) utilisé dans la suite de la description existe dans la norme H.264. Il s'agit d'une unité de transport réseau qui peut contenir soit un slice pour les NALs VCL (Video Coding Layer), soit un paquet de données (jeux de paramètres - SPS (Séquence Parameters Set), PPS (Picture Parameter Set) -, données utilisateur, etc.) pour les NALs NON-VCL. L'expression « tranche » ou « portion » plus connue dans le domaine sous l'expression anglo-saxonne « slices » correspond à une sous-partie de l'image constituée de macroblocs qui appartiennent à un même ensemble défini par l'utilisateur. Ces termes sont bien connus de l'Homme du métier dans le domaine de la compression, par exemple, dans les normes MPEG.
Actuellement, certains réseaux de transmission utilisés dans le domaine des télécommunications n'offrent pas de communications fiables dans la mesure où le signal transmis peut être entaché de nombreuses erreurs de transmissions. Lors de la transmission de séquences vidéo compressées, les erreurs peuvent s'avérer très pénalisantes.
Le type d'erreurs rencontré lors de la transmission et lors de l'étape décodage du flux peut correspondre à des erreurs introduites par un canal de transmission, comme la famille des canaux sans fils, des canaux classiques civils par exemple la transmission sur UMTS, WiFi, WiMAX, ou encore les canaux militaires. Ces erreurs peuvent être de type « perte de paquets » (perte d'une suite de bits ou d'octets), « erreurs de bits » (possible inversion d'un ou de plusieurs bits ou octets, aléatoirement ou en rafales), « effacements » (perte de taille ou position connue d'un ou de plusieurs ou d'une suite de bits ou d'octets) ou encore résulter d'un mélange de ces différents incidents.
L'art antérieur décrit différentes méthodes permettant de lutter contre les erreurs de transmission. Par exemple, avant le codage des images, il est connu d'ajouter de l'information aux données vidéo fournies par le codeur vidéo, ceci avant transmission. Cette technique ne tient toutefois pas compte de problèmes de compatibilité avec le décodeur du flux.
Une technique utilise le mécanisme de retransmission de paquets ARQ, abréviation anglo-saxonne de « Automatic Repeat Request » qui consiste à répéter les paquets erronés. Cette transmission sur un second canal ou second flux, bien que s'avérant performante, présente l'inconvénient de l'avis général d'être sensible au délai dans un réseau de transmission. Elle n'est pas vraiment adaptée dans certains services qui requièrent des contraintes temps réel. Une autre technique consiste à utiliser un codeur correcteur d'erreur qui ajoute de la redondance dans les données à transmettre. La demande de brevet FR 2 854 755 décrit aussi un procédé de protection d'un flux d'images vidéo compressées contre les erreurs qui interviennent lors de la transmission de ce flux. Ce procédé consiste à ajouter des bits de redondance sur l'ensemble des images et transmettre ces bits avec les images vidéo compressées. S'il s'avère efficace, ce procédé présente comme inconvénient d'augmenter le temps de transmission. En effet, la redondance est ajoutée sans faire de distinction sur les images transmises, c'est-à-dire que l'ajout de redondance est effectué sur un grand nombre d'images.
Un des objets de la présente invention est d'offrir un procédé de protection contre les erreurs de transmission qui interviennent lors de la transmission d'un flux vidéo.
L'invention concerne un procédé pour protéger un flux vidéo compressé pouvant être décomposé en au moins un premier ensemble composé d'objets d'un premier type et d'au moins un second ensemble composé d'objets d'un second type, contre les erreurs lors de la transmission de ce flux sur un lien non fiable, caractérisé en ce qu'il comporte au moins les étapes suivantes : a) analyser le flux dans le domaine compressé afin de d'identifier différentes zones dans lesquelles la redondance va être ajoutée, les vecteurs estimations de mouvement et les coefficients transformés obtenus dans le domaine compressé sont transmis à l'étape d'ajout de redondance, b) ajouter de la redondance aux objets desdites zones déterminées à l'étape a), en tenant compte des vecteurs estimations de mouvement et des coefficients transformés obtenus dans le domaine compressé, c) transmettre l'ensemble des zones formant l'image. Pour un flux compressé avec un standard H.264 le procédé comporte au cours de l'étape d'ajout de redondance au moins les étapes suivantes :
> analyser le flux vidéo dans le domaine compressé,
> définir au moins un premier groupe d'objet contenant des zones d'objets ou des objets à protéger dans ledit flux, > pour une image donnée ou un groupe d'images donné, déterminer une unité de transport réseau de type NAL non défini (décrite dans la norme sous l'appellation « undefined NAL »), qui véhiculera l'information de redondance,
> une image étant composée de plusieurs blocs, analyser les blocs de ladite image ou du groupe d'image en cours, i. si le bloc de l'image ou du groupe d'images appartient au premier groupe, alors déterminer les données de redondance et les ajouter, accompagnées des coordonnées du bloc de l'image, dans l'unité NAL déterminée à l'étape précédente, ii. sinon ne rien faire,
> transmettre la partie du flux compressé comprenant l'ensemble de l'information d'origine sans robustesse particulière, ainsi que les nouvelles unités NAL transportant la redondance correspondant au premier groupe d'objet. Le premier type d'objets correspond, par exemple, à un premier plan comprenant des objets mobiles dans une image. Dans des applications de vidéo surveillance par exemple, ils se verront allouer de la redondance puisqu'ils correspondent à la partie la plus importante du flux vidéo. Le procédé peut utiliser pour appliquer la redondance un code Reed Solomon.
L'analyse dans le domaine compressé, utilisé par le procédé, détermine par exemple un masque identifiant les blocs de l'image appartenant aux différents objets de la scène. Généralement, un objet correspondra à l'arrière plan. L'ensemble des autres éléments du masque pourront être groupés sous le même label (dans le cas d'un masque binaire) qui regroupera alors tous les blocs de l'image appartenant aux objets mobiles ou premier plan. Le procédé peut aussi utiliser suite à l'analyse dans le domaine compressé une fonction déterminant les coordonnées de boîtes englobantes correspondants aux objets appartenant au premier plan dans une image ; les coordonnées desdites boîtes englobantes sont déterminées à partir du masque. La « mise à jour » image par image des groupes de tranches ou « SG» s'accompagne, par exemple, de la transmission d'un paramètre PPS (abréviation anglo-saxonne de Picture Parameters Set) qui indique à un décodeur le nouveau découpage de l'image.
L'invention concerne aussi un système permettant de protéger une séquence vidéo destinée à être transmise sur un lien de transmission peu fiable caractérisé en ce qu'il comporte au moins un codeur vidéo adapté à exécuter les étapes du procédé présentant au moins une des caractéristiques précitées comprenant un système de diffusion vidéo sur réseau et une unité de traitement associée.
D'autres caractéristiques et avantages du dispositif selon l'invention apparaîtront mieux à la lecture de la description qui suit d'un exemple de réalisation donné à titre illustratif et nullement limitatif annexé des figures qui représentent :
> Les figures 1 à 4, les résultats obtenus par une analyse dans le domaine compressé, > La figure 5, un exemple décrivant les étapes mises en œuvre pour ajouter de la redondance à un flux compressé, et
> La figure 6, un exemple de schéma pour un codeur vidéo selon l'invention.
Afin de mieux faire comprendre le fonctionnement du procédé selon l'invention, la description comprend un rappel sur la manière d'effectuer une analyse dans le domaine compressé, tel qu'il est décrit, par exemple, dans la demande de brevet US 2006 188013 en référence aux figures 1 , 2, 3 et 4 et aussi dans les deux références suivantes : Leny, Nicholson, Prêteux, "De l'estimation de mouvement pour l'analyse temps réel de vidéos dans le domaine compressé", GRETSI, 2007. Leny, Prêteux, Nicholson, "Statistical motion vector analysis for object tracking in compressed video streams", SPIE Electronic Imaging, San José, 2008. En résumé les techniques utilisées entre autre dans les standards MPEG et exposées dans ces articles consistent à diviser la compression vidéo en deux étapes. La première étape vise à compresser une image fixe. L'image est divisée en blocs de pixels (de 4x4 ou 8x8 selon les standards MPEG- 1/2/4), qui subissent par la suite une transformée permettant un passage dans le domaine fréquentiel puis une quantification permet d'approximer ou de supprimer les hautes fréquences auxquelles l'œil est moins sensible. Enfin ces données quantifiées sont codées entropiquement. La seconde étape a pour objectif de réduire la redondance temporelle. A cet effet, elle permet de prédire une image à partir d'une ou plusieurs autres images précédemment décodées au sein de la même séquence (prédiction de mouvement). Pour cela, le processus recherche dans ces images références le bloc qui correspond le mieux à la prédiction souhaitée. Seul un vecteur (Vecteur Estimation de Mouvement, également connu sous l'appellation anglo-saxonne Motion Vector), correspondant au déplacement du bloc entre les deux images, ainsi qu'une erreur résiduelle permettant de raffiner le rendu visuel sont conservés.
Ces vecteurs ne correspondent toutefois pas nécessairement à un mouvement réel d'un objet dans la séquence vidéo mais peuvent s'apparenter à du bruit. Différentes étapes sont donc nécessaires pour utiliser ces informations afin d'identifier les objets mobiles. Les travaux décrits dans la publication précitée de Leny et al, « De l'estimation de mouvement pour l'analyse temps réel de vidéos dans le domaine compressé », et dans la demande de brevet US précitée ont permis de délimiter cinq fonctions rendant l'analyse dans le domaine compressé possible, ces fonctions et les moyens de mise en œuvre leur correspondant étant représentés à la figure 1 :
1 ) un décodeur basse résolution (LRD - Low-Res Décoder) permet de reconstruire l'intégralité d'une séquence à la résolution du bloc, supprimant à cette échelle la prédiction de mouvement ;
2) un générateur de vecteurs estimation de mouvement (MEG - Motion Estimation Generator) détermine quant à lui des vecteurs pour l'ensemble des blocs que le codeur a codé en mode "Intra" (au sein d'images Intra ou prédites) ;
3) un module de segmentation basse résolution d'objets (LROS - Low-Res Object Segmentation) s'appuie pour sa part sur une estimation du fond dans le domaine compressé grâce aux séquences reconstruites par le LRD et donne donc une première estimation des objets mobiles ;
4) le filtrage d'objets basé sur le mouvement (OMF - Object Motion Filtering) utilise les vecteurs en sortie du MEG pour déterminer les zones mobiles à partir de l'estimation de mouvement; 5) enfin un module de décision coopérative (CD - Coopérative Décision) permet d'établir le résultat final à partir de ces deux segmentations, prenant en compte les spécificités de chaque module selon le type d'image analysée (Intra ou prédite).
L'intérêt principal de l'analyse dans le domaine compressé porte sur les temps de calcul et les besoins en mémoire qui sont considérablement réduits par rapport aux outils d'analyse classiques. En s'appuyant sur le travail effectué au moment de la compression vidéo, les temps d'analyse sont aujourd'hui de 10 à 20 fois le temps réel (250 à 500 images traitées par seconde) pour des images 720x576 4:2:0. Un des inconvénients de l'analyse dans le domaine compressé telle que décrite dans les documents précités est que le travail est effectué sur l'équivalent d'images basse résolution en manipulant des blocs composés de groupes de pixels. Il en résulte que l'image est analysée avec moins de précision qu'en mettant en œuvre les algorithmes usuels utilisés dans le domaine non compressé. De plus, les objets trop petits par rapport au découpage en blocs peuvent passer inaperçus.
Les résultats obtenus par l'analyse dans le domaine compressé sont illustrés par la figure 2 qui montrent l'identification de zones contenant des objets mobiles. La figure 3 schématise l'extraction de données spécifiques telles que les vecteurs estimation de mouvement et la figure 4 des cartes de confiance basse résolution obtenues correspondant aux contours de l'image.
La figure 5 schématise un exemple de réalisation du procédé selon l'invention dans lequel, de la redondance va être ajoutée à des zones choisies dans le flux compressé. Ce procédé est mis en œuvre au sein d'un émetteur vidéo comprenant au moins un codeur vidéo et une unité de traitement schématisés à la figure 6. Cet émetteur comporte aussi un codeur canal. Les zones de plus grande importance dans le flux seront choisies pour être protégées contre d'éventuelles erreurs de transmission. Le flux vidéo compressé 10 en sortie d'un codeur est transmis à une première étape d'analyse 12 ayant pour fonction d'extraire les données représentatives. Ainsi, le procédé dispose par exemple, d'une séquence de masques comprenant des blocs (régions ayant reçues un label identique) liés aux objets mobiles. Les masques peuvent être des masques binaires. Cette analyse dans le domaine compressé a permis de définir pour chaque image ou pour un groupe d'images défini GoP, d'une part différentes zones Z1 i appartenant au premier plan P1 et d'autres zones Z2i appartenant au deuxième plan P2 d'une image vidéo. L'analyse peut être effectuée en mettant en œuvre le procédé décrit dans la demande de brevet US précitée. Toutefois, tout procédé permettant d'obtenir une sortie de l'étape d'analyse se présentant sous forme de masques par image, ou tout autre format ou paramètres associés à la séquence vidéo compressée analysée pourra aussi être mis en œuvre en sortie de l'étape d'analyse dans le domaine compressé. A l'issue de l'étape d'analyse, le procédé dispose par exemple de masques binaires 12 pour chaque image (résolution bloc ou macrobloc). Un exemple de convention utilisée peut être la suivante : « 1 » correspond à un bloc de l'image appartenant au premier plan et « 0 » correspond à un bloc de l'image appartenant à l'arrière plan.
La « mise à jour » image par image des groupes de tranches ou « SG » s'accompagne, par exemple, de la transmission d'un paramètre PPS (Picture Parameters Set) qui indique à un décodeur le nouveau découpage de l'image.
Deux principales étapes apparemment indépendantes constituent la présente invention : analyse et ajout de redondance. Concrètement, ces différents modules peuvent communiquer entre eux pour optimiser l'ensemble de la chaîne de traitement :
- Pour l'analyse dans le domaine compressé, il est nécessaire de désencapsuler le flux, de mettre en forme les données (le parser) et enfin de d'effectuer un décodage entropique. Sont ainsi obtenus les vecteurs estimations de mouvement et les coefficients transformés. Ces modules sont également nécessaires pour l'ajout de redondance mais n'auront pas à être réitérés.
- Le module d'analyse qui définit le découpage de l'image selon les régions d'intérêt envoie ces paramètres à la brique d'ajout de redondance accompagnés des données précédemment obtenues.
- Pour l'ajout de redondance à proprement parler, une fois de plus les coefficients transformés et vecteurs d'estimation de mouvement sont nécessaires pour définir la partie redondante du flux. Le procédé proposé permet ici aussi de s'affranchir de l'étape de désencapsulation et de décodage entropique puisque les informations circulent de module en module.
- Une fois que ces étapes sont traitées, seulement alors ont lieu le nouveau codage entropique et l'encapsulation du flux avec les unités supplémentaires pour la correction d'erreur. L'invention permet donc plus qu'une simple juxtaposition de fonctions traitant un flux vidéo en série : des boucles de rétroactions sont possibles et toutes les étapes redondantes entre les modules intervenant ne sont plus présentes qu'une seule fois.
Dans un cadre d'application plus générale, il sera possible de définir non plus deux zones, mais plusieurs types d'objets qui donneront lieu à une application de la redondance en fonction de leur importance et de leur sensibilité. Selon une variante de mise en œuvre comme il est indiqué précédemment, il est aussi possible de traiter les boîtes englobantes des objets mobiles. Les coordonnées de boîtes englobantes correspondent aux objets mobiles et sont calculées à l'aide du masque. Ces boîtes peuvent être définies grâce à deux points extrêmes ou bien par un point central associé à la dimension de la boîte. On peut dans ce cas avoir un jeu de coordonnées par image ou un pour l'ensemble de la séquence avec des informations de trajectoire (date et point d'entrée, courbe décrite, date et point de sortie). Le procédé sélectionne ensuite les blocs ou les zones Z1 i (slices) de l'image comprenant ces objets mobiles (plan P1 ) sur lesquelles de la redondance va être ajoutée. Une implémentation liée au standard H.264 insère la partie redondante du code uniquement pour les blocs du premier plan P1 dans des unités "NAL" ou couches d'abstraction réseau (plus connue sous la dénomination anglo- saxonne Network Abstraction Layer) indépendantes. Le calcul de redondance 13a se fait en utilisant par exemple un code Reed-Solomon. Pour cet exemple de réalisation, le procédé considère les données utilisateur. Le procédé détermine alors, 13b, des NALs de type non défini ou undefined, de type 30 et 31 , à l'intérieur desquelles il est possible de transmettre tout type d'information de redondance et les indices des macroblocs pour lesquels une redondance a été calculée. Contrairement aux autres type de NAL, les 30 et 31 ne sont pas réservés que ce soit pour le flux en lui-même ou les protocoles réseaux type RTP-RTSP. Un décodeur standard se contentera de mettre de côté cette information alors qu'un décodeur spécifique, développé pour prendre en compte ces NAL, pourra choisir d'utiliser ces informations pour détecter et corriger les éventuelles erreurs de transmission. Concrètement, dans cet exemple de mise en œuvre, l'ajout de redondance se fera via une boucle itérée sur les blocs du masque binaire. Si le bloc est à "0" (arrière-plan), on passe directement au suivant. S'il est à "1 " (premier plan), un code Reed-Solomon est utilisé pour déterminer les données de redondance, puis les coordonnées de ce bloc seront ajoutées dans une NAL spécifique suivies des données calculées. Il est possible de transmettre une NAL par slice, par image ou par groupe d'images GoP (Group of Pictures) selon les contraintes de l'application.
L'étape de transmission 15 tiendra compte du flux compressé qui n'a pas été modifié et du flux comprenant les zones pour lesquelles de la redondance a été ajoutée. Un décodeur classique considérera donc un flux normal, sans particularité de robustesse aux erreurs, 16, alors qu'un décodeur adapté utilisera ces nouvelles NAL, 17, contenant notamment l'information redondante pour vérifier l'intégrité du flux reçu et éventuellement le corriger.
La figure 6 est un schéma bloc d'un système selon l'invention comprenant un codeur vidéo 20 adapté pour mettre en œuvre les étapes décrites avec la figure 5. Sur la figure 6 est représentée uniquement la partie émetteur vidéo 20 pour la transmission d'un flux d'images compressées sur un lien non fiable. L'émetteur comprend un codeur vidéo 21 recevant le flux vidéo F et adapté à déterminer les différentes zones Z1 i appartenant au premier plan P1 et d'autres zones Z2i appartenant au deuxième plan P2 d'une image vidéo, au moins un codeur canal 22 adapté à ajouter de la redondance selon le procédé décrit à la figure 5, une unité de traitement 23 adaptée pour commander chaque codeur canal dans le cas où le dispositif possède plusieurs codeurs et pour déterminer la répartition de la redondance à ajouter, et enfin un module de communication 24 permettant au système de transmettre à la fois le flux vidéo compressé et les NAL de redondance calculées dans un flux désigné Fc.
Sans sortir du cadre de l'invention, d'autres techniques présentant des caractéristiques similaires au codage Reed-Solomon peuvent être utilisées. Ainsi, pour ajouter de la redondance, il est possible de mettre en œuvre un codage de type particulier tel que les turbo-codes, les codes convolutifs, etc.
Le procédé et le système selon l'invention présentent notamment les avantages suivants : le fait d'utiliser l'analyse dans le domaine compressé permet, sans nécessiter de décompresser les flux ou séquences vidéo, de déterminer les zones qu'un utilisateur souhaite protéger contre les erreurs de transmission, la perte éventuelle d'informations sur la partie non mobile ou pratiquement immobile n'ayant pas de conséquence réelle sur la lecture et/ou l'interprétation de la séquence. De fait, le débit de transmission sera inférieur à celui habituellement obtenu lorsque l'on ajoute de la redondance à toutes les images.

Claims

REVENDICATIONS
1 - Procédé de protection d'un flux vidéo compressé, pouvant être au moins décomposé en un premier ensemble composé d'objets d'un premier type et d'un second ensemble composé d'objets d'un second type, contre les erreurs lors de la transmission de ce flux sur un lien non fiable, caractérisé en ce qu'il comporte au moins les étapes suivantes : a) analyser le flux dans le domaine compressé (1 1 , 12) afin de définir différentes zones de l'image dans lesquelles de la redondance va être ajoutée, les vecteurs estimations de mouvement et les coefficients transformés obtenus dans le domaine compressé sont transmis à l'étape d'ajout de redondance, b) ajouter de la redondance (13a, 13b, 14) aux objets desdites zones déterminées à l'étape précédente, a), en tenant compte des vecteurs estimations de mouvement et des coefficients transformés obtenus dans le domaine compressé, c) transmettre l'ensemble des zones formant l'image.
2 - Procédé de protection d'un flux vidéo selon la revendication 1 pour un flux compressé avec un standard H.264 caractérisé en ce qu'il comporte au cours de l'étape d'ajout de redondance au moins les étapes suivantes :
> analyser le flux vidéo dans le domaine compressé (2),
> définir (2, 3) au moins un premier groupe d'objet contenant des zones d'objets ou des objets à protéger dans ledit flux, > pour une image donnée ou un groupe d'images donné, déterminer une unité de transport réseau de type NAL non défini ou « undefined NAL », qui véhiculera l'information de redondance,
> une image étant composée de plusieurs blocs, analyser les blocs de ladite image ou du groupe d'image en cours, i. si le bloc de l'image ou du groupe d'images appartient au premier groupe, alors déterminer les données de redondance et les ajouter accompagnées des coordonnées du bloc de l'image dans l'unité NAL déterminée à l'étape précédente, ii. sinon ne rien faire,
> transmettre la partie du flux compressé comprenant l'ensemble de l'information d'origine sans robustesse particulière, ainsi que les nouvelles unités NAL transportant la redondance correspondant au premier groupe d'objet.
3 - Procédé selon la revendication 2 caractérisé en ce que le premier type d'objet correspond à un premier plan comprenant des objets mobiles dans une image.
4 - Procédé selon la revendication 2 caractérisé en ce qu'il utilise pour calculer la redondance un code Reed Solomon.
5 - Procédé selon la revendication 2 ou 3 caractérisé en ce qu'il utilise une fonction adaptée à déterminer un masque pour l'identification des blocs d'une image ou de groupe d'images comprenant un ou plusieurs objets mobiles définis comme une ou plusieurs régions du masque et les autres blocs appartenant à l'arrière plan suite à une analyse dans le domaine compressé.
6 - Procédé selon la revendication 5 caractérisé en ce qu'il utilise une fonction déterminant les coordonnées de boîtes englobantes, correspondant aux objets appartenant au premier plan dans une image, les coordonnées desdites boîtes englobantes étant déterminées à partir du masque obtenu suite à l'analyse dans le domaine compressé 7 - Système permettant de protéger une séquence vidéo destinée à être transmise sur un lien de transmission peu fiable caractérisé en ce qu'il comporte au moins un codeur vidéo adapté à exécuter les étapes du procédé selon l'une des revendications 1 à 6 comprenant un émetteur vidéo (24) et une unité de traitement associée (22, 23).
PCT/EP2009/056829 2008-06-03 2009-06-03 Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission Ceased WO2009147182A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
MX2010013319A MX2010013319A (es) 2008-06-03 2009-06-03 Método y sistema que permite proteger un flujo de vídeo comprimido contra errores que se producen durante una transmisión.
BRPI0913391A BRPI0913391A2 (pt) 2008-06-03 2009-06-03 processo e sistema que permitem a proteção de um fluxo de vídeo comprimido contra os erros que ocorrem durante uma transmissão
US12/996,254 US20110222603A1 (en) 2008-06-03 2009-06-03 Method and System Making It Possible to Protect A Compressed Video Stream Against Errors Arising During a Transmission
EP09757563A EP2297968A1 (fr) 2008-06-03 2009-06-03 Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission
MA33395A MA32379B1 (fr) 2008-06-03 2010-12-03 Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0803064 2008-06-03
FR0803064A FR2932036B1 (fr) 2008-06-03 2008-06-03 Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission

Publications (1)

Publication Number Publication Date
WO2009147182A1 true WO2009147182A1 (fr) 2009-12-10

Family

ID=40423055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/056829 Ceased WO2009147182A1 (fr) 2008-06-03 2009-06-03 Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d'une transmission

Country Status (7)

Country Link
US (1) US20110222603A1 (fr)
EP (1) EP2297968A1 (fr)
BR (1) BRPI0913391A2 (fr)
FR (1) FR2932036B1 (fr)
MA (1) MA32379B1 (fr)
MX (1) MX2010013319A (fr)
WO (1) WO2009147182A1 (fr)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) * 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
CN116612021B (zh) * 2023-05-05 2025-11-14 复旦大学 基于自监督排序学习的图像去冗余方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020018523A1 (en) * 2000-06-06 2002-02-14 Georgia Tech Research Corporation System and method for object-oriented video processing
WO2003047266A1 (fr) * 2001-11-27 2003-06-05 Nokia Corporation Codage et decodage video d'avant-plan et d'arriere-plan avec division d'image en tranches
WO2004098196A1 (fr) * 2003-04-30 2004-11-11 Nokia Corporation Procede de codage d'image
US20060188013A1 (en) 2003-07-02 2006-08-24 Miguel Coimbra Optical flow estimation method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040223652A1 (en) * 2003-05-07 2004-11-11 Cetin Ahmet Enis Characterization of motion of moving objects in video
US7508990B2 (en) * 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
US7584495B2 (en) * 2006-06-30 2009-09-01 Nokia Corporation Redundant stream alignment in IP datacasting over DVB-H

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020018523A1 (en) * 2000-06-06 2002-02-14 Georgia Tech Research Corporation System and method for object-oriented video processing
WO2003047266A1 (fr) * 2001-11-27 2003-06-05 Nokia Corporation Codage et decodage video d'avant-plan et d'arriere-plan avec division d'image en tranches
WO2004098196A1 (fr) * 2003-04-30 2004-11-11 Nokia Corporation Procede de codage d'image
US20060188013A1 (en) 2003-07-02 2006-08-24 Miguel Coimbra Optical flow estimation method

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ABDELHAMID NAFAA , YASSINE HADJADJ AOUL , DANIEL NEGRU , AHMED MEHAOUA: "A Bandwidth-Efficient Application Level Framing Protocol for H.264 Video Multicast over Wireless LANs", no. 978-3-540-23239-1, 15 December 2004 (2004-12-15), Springer Berlin Heidelberg, pages 13 - 25, XP002519282, Retrieved from the Internet <URL:http://www.springerlink.com/content/vwf4y329vb92e3wu/fulltext.pdf> [retrieved on 20090313] *
ETOH M ET AL: "Advances in Wireless Video Delivery", 1 January 2005, PROCEEDINGS OF THE IEEE, IEEE. NEW YORK, US, PAGE(S) 111 - 122, ISSN: 0018-9219, XP011123857 *
LENY; NICHOLSON; PRÊTEUX: "De l'estimation de mouvement pour l'analyse temps réel de vidéos dans le domaine compressé", GRETSI, 2007
LENY; PRÊTEUX; NICHOLSON: "Statistical motion vector analysis for object tracking in compressed video streams", SPIE ELECTRONIC IMAGING, 2008
SHINTARO UEDA ET AL: "H.264/AVC Stream Authentication at the Network Abstraction Layer", INFORMATION ASSURANCE AND SECURITY WORKSHOP, 2007. IAW '07. IEEE SMC, IEEE, PI, 1 June 2007 (2007-06-01), pages 302 - 308, XP031113793, ISBN: 978-1-4244-1303-4 *
WIEGAND T ET AL: "Overview of the H.264/AVC video coding standard", 1 July 2003, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, PAGE(S) 560 - 576, ISSN: 1051-8215, XP011221093 *

Also Published As

Publication number Publication date
MA32379B1 (fr) 2011-06-01
US20110222603A1 (en) 2011-09-15
MX2010013319A (es) 2011-02-24
EP2297968A1 (fr) 2011-03-23
FR2932036A1 (fr) 2009-12-04
BRPI0913391A2 (pt) 2015-11-24
FR2932036B1 (fr) 2011-01-07

Similar Documents

Publication Publication Date Title
WO2009147182A1 (fr) Procede et systeme permettant de proteger un flux video compresse contre les erreurs survenant lors d&#39;une transmission
EP2036359B1 (fr) Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil
EP2297951A1 (fr) Procede et systeme permettant de crypter visuellement les objets mobiles au sein d&#39;un flux video compresse
EP0588736B1 (fr) Procédé de masquage d&#39;erreurs de transmission d&#39;image compressée en MPEG
EP2297952A1 (fr) Procede et systeme permettant de proteger des la compression la confidentialite des donnees d&#39;un flux video lors de sa transmission
FR2894421A1 (fr) Procede et dispositif de decodage d&#39;un flux video code suivant un codage hierarchique
FR2936926A1 (fr) Systeme et procede de determination de parametres de codage
FR2918520A1 (fr) Procede et dispositif de transmission video
FR3084552A1 (fr) Procede de formation d&#39;une sequence d&#39;images de sortie a partir d&#39;une sequence d&#39;images d&#39;entree, procede de reconstruction d&#39;une sequence d&#39;images d&#39;entree a partir d&#39;une sequence d&#39;images de sortie, dispositifs, equipement serveur, equipement client et programmes d&#39;ordinateurs associes
US20030185454A1 (en) System and method for image compression using wavelet coding of masked images
EP3139608A1 (fr) Procédé de compression d&#39;un flux de données vidéo
EP2368367B1 (fr) Système et procédé interactif pour la transmission sur un réseau bas débit d&#39;images clefs sélectionnées dans un flux video
EP2425623B1 (fr) Procede d&#39;estimation du debit et de la distorsion de donnees d&#39;images codees a posteriori de l&#39;encodage
EP1289307B1 (fr) Méthode de codage vidéo
WO2014048946A1 (fr) Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants
FR2821998A1 (fr) Procede de codage d&#39;images numeriques base sur la dissimulation d&#39;erreurs
EP1591962A2 (fr) Procédé et dispositif de génération de vecteurs candidats pour les systèmes d&#39;interpolation d&#39;images par estimation et compensation de mouvement
WO2003053065A2 (fr) Procede et dispositif de compression de donnees video codees par paquets video
FR2932035A1 (fr) Procede et systeme permettant de proteger un flux video en cours de compression contre les erreurs survenant lors d&#39;une transmission
Meessen et al. WCAM: smart encoding for wireless surveillance
FR2894739A1 (fr) Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
FR2728129A1 (fr) Dispositif de multiplexage numerique de programmes video
FR3154565A1 (fr) Procédé d&#39;analyse du changement dans un flux vidéo pour un codage vidéo à débit contraint et à faible latence, et dispositif associé
FR3022095A1 (fr) Dispositif et procede de transmission de donnees multimedia
Arrifano Robust Video Coder Solution for Wireless Streaming: Applications in Gaussian Channels

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09757563

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: MX/A/2010/013319

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009757563

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009757563

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12996254

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0913391

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20101203