FR3036016A1 - Codage/decodage predictif d'images comportant un artefact, utilisant une extrapolation - Google Patents

Abstract

L'invention concerne un codage/décodage par prédiction d'un bloc courant d'au moins une image courante, dans lequel on obtient un vecteur de mouvement (mv) pointant vers un bloc de référence (bref) d'une zone de pixels préalablement décodée, ladite zone de pixels comportant un artéfact ayant une position déterminée. En particulier : - on détermine (S3), en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, - le cas échéant, on corrige (S4) le bloc de référence en corrigeant des pixels au moins de ladite partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et - on utilise le bloc de référence corrigé (bref*) pour le décodage (S6) par prédiction.

Description

Codage/décodage prédictif d'images comportant un artéfact, utilisant une extrapolation La présente invention concerne le codage/décodage, prédictif, d'une image courante (fixe ou d'une séquence) présentant, dans une même image, au moins un artéfact ayant une position déterminée. Cet artéfact peut être par exemple un motif périodique dans une même image, tel que rencontré notamment dans les images dites « intégrales » pour un affichage en trois dimensions (3D), comme des images vidéo 3D.

En effet, les techniques actuelles de vidéo 3D présentent certaines limitations. Par exemple, la stéréoscopie est basée sur l'utilisation de lunettes 3D (verres informatifs sur chaque oeil avec par exemple une différence de phase spatiale permettant une reconstruction 3D avec les images envoyées à chaque oeil). Toutefois, un inconvénient substantiel résulte de l'utilisation de cette technologie. Par exemple, un décalage temporel entre les images du verre droit et du verre gauche (y compris une seule image de décalage temporel seulement) peut rendre la visualisation désagréable. Une technique alternative à la stéréoscopie concerne les services de vidéo dits « 3D sans verre ». Dans ce type de technique, une image est reproduite une multiplicité de fois à différents points de vue en plaçant un réseau de micro-lentilles devant un objet d'origine. On obtient, pour cet objet, une multiplicité de micro-images, dont l'ensemble est dit « image intégrale » (figure 9). Chaque micro-image est différente selon l'angle de vue et la position de la micro-lentille correspondante. Ainsi, plutôt que d'afficher une image 2D, identique selon les directions d'observation, on obtient une reproduction du champ lumineux sur plus de deux dimensions (en quatre dimensions, plus exactement). Plus particulièrement, en se référant à la figure 1, cette technique d'imagerie « intégrale », connue aussi sous le nom d'imagerie holoscopique ou plénoptique consiste à capturer une multiplicité de vues en utilisant un réseau de lentilles optiques placé entre un objet et une caméra vidéo. Le réseau comprend typiquement un ensemble de micro-lentilles dont chacune LEN opère comme une micro-caméra individuelle de faible résolution (puisque le nombre de pixels nxm attribué à chaque micro-lentille LEN reste par principe limité par le nombre total 3036016 2 de pixels de la matrice MAT de la caméra vidéo). Les micro-lentilles, du fait de leurs positions respectives, enregistrent différentes parties d'une même scène (comme par exemple un disque et un carré espacés latéralement), comme présenté sur la figure 2. Les micro-lentilles permettent une capture d'une information angulaire individuelle (sur différents points de vue 5 de la scène) en dirigeant les rayons de lumière vers différentes parties de la matrice de pixels selon leur angle d'incidence comme illustré sur la figure 3. L'image complète « intégrale » ainsi obtenue est de résolution multiple par rapport à la résolution de chaque micro-image. Il est donc important de rechercher un codage qui met en oeuvre une compression efficace 10 d'images intégrales et/ou de flux vidéo comportant de telles images intégrales. Il est cité ci-après deux schémas de codage habituellement utilisés pour la compression de ce type d'image.

15 Le premier type de codage applique une décomposition de l'image intégrale en plusieurs vues, suivie d'une technique de codage 3D. Le second type de codage applique un codage 2D à l'image intégrale elle-même. Il s'agit d'une technique plus simple et plus directe. Néanmoins, elle nécessite encore des 20 optimisations. Notamment, l'estimation de mouvement d'une image à l'autre peut générer par exemple un vecteur de mouvement pointant sur un bloc de référence qui se positionne entre plusieurs micro-images. Dans ce cas, le vecteur de mouvement n'est pas sélectionné, ce qui réduit l'efficacité du codage en compression. Ce problème est illustré sur l'exemple de la figure 4, dans laquelle un tel bloc de référence est pointé par la flèche F et délimité par des 25 frontières claires. Il apparaît alors dans cet exemple que les frontières de micro-images consécutives MLB (frontières sombres) sont incluses dans le bloc de référence, de sorte que le contenu de ce bloc de référence n'est pas continu sur la partie de gauche et sur la partie de droite d'une micro-image (ou entre une partie de bas et une partie de haut en considérant une frontière horizontale en variante de l'exemple de la figure 4). Il s'ensuit qu'un bloc courant à 30 encoder ne correspond pas au bloc de référence. On peut prévoir de modifier le codage 2D appliqué à l'image intégrale elle-même en tenant compte de caractéristiques particulières de l'image intégrale. Par exemple, il est envisageable 3036016 3 d'encoder une image intégrale en appliquant une transformée telle qu'une transformée en ondelettes discrète (DWT) suivie d'un encodage classique des coefficients transformés. On peut prévoir ainsi de nouveaux modes de prédiction pour encoder les images intégrales avec un codec 2D.

5 Ainsi, les problèmes généralement rencontrés avec ce type de technique résultent de la résolution ultrahaute qu'a l'image intégrale originale (et la complexité associée), ainsi que la présence d'une « grille » d'artéfacts que forment les frontières MLB entre micro-images, ces artéfacts rendant difficile l'encodage prédictif.

10 La présente invention vient améliorer la situation. Elle propose à cet effet, selon un premier aspect, un procédé de décodage par prédiction d'un bloc courant d'au moins une image courante, dans lequel on obtient un vecteur de mouvement 15 pointant vers un bloc de référence d'une zone de pixels préalablement décodée, ladite zone de pixels comportant un artéfact ayant une position déterminée, caractérisé en ce qu'il comporte : - déterminer, en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, - le cas échéant, corriger le bloc de référence en corrigeant des pixels au moins de ladite 20 partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et - utiliser le bloc de référence corrigé pour le décodage par prédiction. L' « image courante » précitée peut être une image intégrale comme présentée plus haut, ou en variante une image « multi-vues », une image de film 2D classique (issue par exemple d'un 25 enregistrement initial sur une pellicule), etc., une telle image courante ayant une zone de pixels de référence contenant des dégradations (griffes, taches, ou autres). Par ailleurs, la zone de pixels « préalablement décodée » peut appartenir à l'image courante (par exemple en contexte de codage/décodage « intra ») ou à une autre image que l'image 30 courante (image précédant l'image courante dans une séquence, en codage « inter » par exemple).

3036016 4 La présente invention vise aussi un procédé de codage par prédiction d'un bloc courant d'au moins une image courante dans lequel on détermine un vecteur de mouvement pointant vers un bloc de référence d'une zone de pixels (qui peut être codée, ou initialement codée puis décodée), ladite zone de pixels comportant un artéfact ayant une position déterminée. Le 5 procédé de codage comporte les étapes : - déterminer, en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, - le cas échéant, corriger le bloc de référence en corrigeant des pixels au moins de ladite partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et 10 - utiliser le bloc de référence corrigé pour le codage, par prédiction. Bien entendu, dans un mode de réalisation, le bloc de référence corrigé peut d'abord être mis en compétition avec d'autres blocs de référence, lors de l'estimation de mouvement, au lieu d'être sélectionné directement pour être utilisé au codage. Dans ce cas il est « présélectionné » 15 au moins (pour être mis en compétition). Il faut donc comprendre que les termes ci-dessus « utiliser le bloc de référence corrigé pour le codage, par prédiction » désignent aussi bien un mode de réalisation dans lequel le bloc est sélectionné directement et un mode de réalisation dans lequel il est d'abord mis en compétition.

20 Dans un mode de réalisation, au codage et/ou au décodage, la position de l'artefact peut être associée à au moins un paramètre à transmettre dans un flux codé, ce paramètre étant obtenu au codage et étant utilisé au décodage pour identifier la position de l'artefact dans un bloc de référence d'une zone de pixels préalablement décodée.

25 On entend ici par « paramètre obtenu » le fait que le paramètre peut être prédéfini, dans le sens où il s'agit d'un paramètre d'entrée du codeur (et/ou du décodeur) que le codeur lit, ou peut être déterminé dans le sens où il est détecté par une technique adaptée (dont des exemples sont décrits plus loin).

30 Dans un mode de réalisation, l'image courante est une image intégrale (du type présenté ci- avant en référence notamment à la figure 4), constituée de micro-images séparées entre elles par des motifs de grille correspondant à l'artéfact.

3036016 5 Dans ce mode de réalisation, les pixels corrigés sont : - des pixels d'une partie de motif de grille que comporte le bloc de référence, et - des pixels d'une partie d'au moins une micro-image, adjacente à une partie d'au moins une autre micro-image, lesdites parties étant contenues dans le bloc de référence, les pixels de 5 ladite au moins une autre micro-image étant utilisés sans ladite correction pour constituer le bloc de référence corrigé. La partie de micro-image dont les pixels sont à corriger peut être à droite, à gauche, au-dessus ou en dessous de la partie de micro-image que comporte le bloc de référence.

10 Plus particulièrement, la micro-image dont les pixels sont corrigés est fonction : - de la direction du vecteur de mouvement (verticale, horizontale ou diagonale), et - selon un mode d'acquisition de l'image intégrale orthoscopique ou pseudoscopique, avec, pour une direction donnée du vecteur mouvement : 15 - les pixels de la partie de ladite au moins une micro-image située dans une première position par rapport à la partie de ladite au moins une autre micro-image, à corriger si l'image est pseudoscopique, et - les pixels de la partie de ladite au moins une micro-image située dans une deuxième position par rapport à la partie de ladite au moins une autre micro-image, à corriger si 20 l'image est orthoscopique, la première position étant distincte de la deuxième position. Dans une forme de réalisation, une donnée indiquant si l'image intégrale est orthoscopique ou pseudoscopique peut être obtenue ou déterminée au codage et au décodage.

25 Dans un mode de réalisation, pour déterminer si le bloc de référence comporte au moins une partie du motif de grille, on identifie la position du motif de grille dans l'image par la mise en oeuvre de l'une au moins des étapes : - par recherche de corrélations dans l'image intégrale, 30 - par détection de pixels correspondant à des motifs de grille comparativement à d'autres pixels de l'image intégrale.

3036016 6 Au sens de la deuxième étape ci-dessus, on peut prévoir par exemple que l'intensité des pixels le long d'une ligne ou d'une colonne de l'image intégrale montre des motifs périodiques. Les pixels dont l'intensité est inférieure à un premier seuil déterminé, et/ou supérieure à un deuxième seuil déterminé, sont alors associés au motif de grille.

5 En complément ou en variante, la position de la grille peut être dérivée d'une information lue dans le flux (par exemple, la taille des micro-lentilles du dispositif d'acquisition). Dans une forme de réalisation, la correction des pixels de la partie d'artéfact dans le bloc de référence s'effectue en se référant au moins à des pixels voisins de l'artefact.

10 Dans cette forme de réalisation, la correction s'effectue par recopie des pixels voisins des pixels à corriger. En variante, la correction peut s'effectuer par remplissage de masque correspondant aux pixels 15 à corriger par une technique de type « inpainting ». La présente invention vise aussi un décodeur par prédiction d'un bloc courant d'au moins une image courante, comportant un circuit de traitement pour obtenir un vecteur de mouvement pointant vers un bloc de référence d'une zone de pixels préalablement décodée, ladite zone de 20 pixels comportant un artéfact ayant une position déterminée. Le circuit de traitement est agencé pour : déterminer, en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, le cas échéant, corriger le bloc de référence en corrigeant des pixels au moins de ladite 25 partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et utiliser le bloc de référence corrigé pour le décodage par prédiction. La présente invention vise aussi un programme informatique comportant des instructions pour la mise en oeuvre du procédé de décodage ci-avant, lorsque ce programme est exécuté par un 30 processeur. Un algorithme schématique d'un tel programme est illustré sur la figure 5 commentée plus loin. L'invention vise aussi un support mémoire non transitoire stockant un tel programme.

3036016 7 La présente invention vise aussi un codeur par prédiction d'un bloc courant d'au moins une image courante, comportant un circuit de traitement pour déterminer un vecteur de mouvement pointant vers un bloc de référence d'une zone de pixels préalablement codée, ladite zone de 5 pixels comportant un artéfact ayant une position déterminée. Le circuit de traitement est agencé pour : - déterminer, en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, - le cas échéant, corriger le bloc de référence en corrigeant des pixels au moins de ladite 10 partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et - utiliser le bloc de référence corrigé pour le codage par prédiction. La figure 11 commentée plus loin illustre schématiquement de tels dispositifs codeur et décodeur, comportant des circuits de traitement à cet effet (incluant par exemple une mémoire 15 de travail pour stocker temporairement les blocs à corriger, successivement, par exemple à la volée). La présente invention vise aussi un programme informatique comportant des instructions pour la mise en oeuvre du procédé de codage ci-avant, lorsque ce programme est exécuté par un 20 processeur. Un algorithme schématique d'un tel programme est illustré sur la figure 6 commentée plus loin. L'invention vise aussi un support mémoire non transitoire stockant un tel programme. Dès lors que les artéfacts ont des positions déterminées ou déterminables dans les images (au 25 codage comme au décodage), le décodage au sens de l'invention peut être opéré de façon strictement autonome, indépendamment de la correction du bloc de référence qui a été faite au codage. En pratique, on utilise les mêmes techniques de correction au codage et au décodage. L'invention trouve une application avantageuse au codage/décodage d'images intégrales 30 comportant alors un artéfact ayant un motif de grille lié à la capture des images intégrales par un réseau de micro-lentilles, comme illustré sur les figures 4, 7a, 7b, 9 commentées ci-après. D'ailleurs, d'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés sur lesquels : 3036016 8 - la figure 1 illustre un exemple de dispositif à réseau de micro-lentilles accolées à une matrice de photo-détecteurs pour acquérir des images intégrales telles que celle représentée sur la figure 9, - la figure 2 illustre schématiquement le principe de la capture d'une scène 3D par un tel 5 dispositif, - la figure 3 illustre plus particulièrement la capture des informations d'angles par un tel dispositif, - la figure 4 illustre un artéfact présentant un motif de grille MLB séparant les micro-images d'une image intégrale acquise par un dispositif du type illustré sur la figure 1, 10 - la figure 5 illustre les étapes d'un procédé de décodage selon un mode de réalisation de l'invention ; - la figure 6 illustre les étapes d'un procédé de codage selon un mode de réalisation de l'invention ; - la figure 7a illustre un vecteur de mouvement (flèche) pointant sur un bloc de référence 15 (en traits pointillés) dans l'image intégrale, ici pseudoscopique, le bloc de référence étant à corriger car il inclut un artéfact correspondant à une partie du motif de grille, - la figure 7b illustre un vecteur de mouvement pointant sur un bloc de référence dans l'image intégrale, ici orthoscopique, le bloc de référence étant à corriger car il inclut un artéfact correspondant à une partie du motif de grille, 20 - les figures 8a et 8b représentent le bloc de référence non corrigé bref et respectivement corrigé bref*, dans un premier exemple de réalisation, - la figure 9 illustre une image intégrale obtenue par un dispositif du type représenté sur la figure 1, - la figure 10a représente le vecteur de mouvement (flèche) pointant sur le bloc de référence 25 (en traits pointillés) dans une image intégrale pseudoscopique, et la figure 10b illustre dans ce cas les pixels du bloc de référence qui sont à corriger, ainsi que sa transformation, - la figure 11 illustre schématiquement des dispositifs codeur et décodeur, - les figures 12a et 12b représentent le bloc de référence non corrigé bref et respectivement corrigé bref*, dans un deuxième exemple de réalisation.

30 On se réfère aux figures 5 et 6 sur lesquelles on a illustré respectivement le traitement d'images au décodage et au codage, au sens de l'invention.

3036016 9 La solution de codage/décodage proposée s'applique dans un schéma de codage/décodage standard, dit « par prédiction », qui utilise une compensation de mouvement, c'est-à-dire qui obtient un vecteur de mouvement mv pointant sur une zone causale, c'est-à-dire une image précédente ou suivante déjà codée/décodée ou bien une partie de l'image courante déjà 5 codée/décodée (en codage dit « Intra block copy », basé sur des similarités entre blocs d'image). Cette zone causale est dite « zone de référence », ou « bloc de référence » ci-après (portant la référence « bref » sur les dessins). Ce type de codage/décodage applique alors une prédiction d'un bloc courant par rapport à ce bloc de référence.

10 Au sens de l'invention, on corrige le bloc de référence utilisé pour la prédiction, de façon à prendre en compte des artéfacts caractéristiques, liés dans un exemple d'application de l'invention à la capture de la scène par des micro-lentilles. Il s'agit en particulier dans cette application des artefacts liés aux bords des micro-lentilles. Les problèmes de continuité liés au passage d'une micro-lentille à l'autre sont ainsi résolus.

15 Un avantage immédiat de la technique de codage est que la zone extrapolée dans le bloc de référence bref prédit mieux la zone d'un bloc courant b. Par conséquent, l'estimation de mouvement peut choisir le bloc bref, devenu pertinent pour la prédiction, et le résiduel Eb correspondant à la différence entre le bloc de référence corrigé bref* et le bloc courant b est 20 plus petit, et donc plus facile à coder en compression. En référence à la figure 5 qui s'examine parallèlement à la figure 7a, lors du décodage de l'image intégrale, pour un bloc courant b à décoder (bloc de traits clairs pleins sur figure 7a), il est réalisé une première étape Si de lecture (« parsing ») d'un vecteur de mouvement mv 25 (flèche de la figure 7a), pointant sur le bloc de référence bref dans la zone causale (bloc de traits clairs pointillés à gauche sur la figure 7a). On déduit donc du vecteur de mouvement mv à l'étape S2, la position du bloc de référence initial bref. Il est pratiqué ensuite une transformation de ce bloc bref, comme suit.

30 Dans une étape S3, on localise les éventuels artefacts liés ici aux frontières MLB entre les micro-images, dans le bloc bref Les frontières MLB forment une grille qui peut être localisée : 3036016 10 - par lecture de ses paramètres dans le flux de données codées (connaissance de paramètres tels que le positionnement et la taille du motif de la grille d'artéfacts, transmis dans le flux codé), ou - par détection par des techniques algorithmiques (par exemple par identification 5 automatique des artéfacts par évaluation d'une discontinuité d'image, ou encore par identification de la grille par reconnaissance d'une forme générale de grille comportant des angles droits entre les lignes horizontales et verticales et des pas constants entre les lignes horizontales d'une part et/ou entre les lignes verticales d'autre part ; cette technique peut être précédée par une détection de contours et par l'application d'un 10 filtre médian). Dans le premier exemple ci-dessus, les paramètres peuvent être envoyés du codeur au décodeur et faire partie du flux codé qui sont alors lus au décodage à l'étape S3. Des paramètres susceptibles de définir la grille sont par exemple: 15 - les résolutions respectives de l'image intégrale, du réseau de lentilles, et des micro- images, - la largeur des traits de grille (d'un bord à l'autre). Les pixels dont la position est nulle (modulo la résolution d'une micro-image) sont identifiés comme appartenant à la grille, et leurs voisins contenus dans un intervalle correspondant à la 20 moitié de la largeur d'un trait de grille (en pixels) sont également identifiés comme appartenant à la grille. Dans le deuxième exemple ci-dessus où ces paramètres sont détectés et déterminés au décodage à l'étape S3, la résolution d'une micro-image peut être connue ou encore calculée en 25 déterminant la période (en nombre de pixels) donnant un maximum de l'autocorrélation de l'image. Ensuite, là encore, les pixels dont la position est multiple de la résolution d'une micro-image plus ou moins un seuil (correspondant à une épaisseur de trait de grille) sont identifiés comme appartenant à la grille.

30 Un deuxième moyen, complémentaire ou alternatif, peut consister à moyenner les intensités de pixels par ligne de micro-image. Les lignes dont l'intensité est inférieure à un seuil prédéterminé sont identifiées comme appartenant à la grille.

3036016 11 En combinant les deux techniques, de position par corrélation et intensité par lignes de pixels, les pixels répondant à ces deux critères sont alors marqués comme appartenant à la grille, et cette information peut être utilisée au codage pour l'extrapolation, et aussi envoyée au décodeur pour être utilisée au décodage.

5 Dans une étape suivante S4 du décodage, on « extrapole » les pixels de grille MLB éventuellement présents dans le bloc de référence bref, à des pixels « valides » qui se situent à proximité d'une frontière MLB. En effet, il se peut que le bloc de référence bref pointé par le vecteur de mouvement mv contienne une ou plusieurs frontières MLB entre deux micro- 10 images ou plus. L'artéfact lié ici au motif de grille entraîne ce qui peut être interprété à titre purement illustratif comme un contraste d'image qui : - d'une part, est erroné et ne sert donc à rien, en termes d'information à coder, et - d'autre part, est assez coûteux en termes de différences à coder en compression avec une autre zone d'image sans nécessairement le même artéfact.

15 On traite alors les pixels de frontière MLB par extrapolation, par exemple à titre purement illustratif en recopiant les pixels non noirs premiers voisins des pixels noirs la frontière MLB, à la place des pixels noirs de la partie de grille MLB qu'inclut le bloc prédicteur bref On a décrit ci-avant des exemples de traitement du motif que forment les frontières MLB. On 20 se réfère maintenant aux figures 8a et 8b pour décrire le traitement des discontinuités (entre micro-images) dans le cas d'un bloc de référence bref incluant au moins deux parties de micro-images distinctes. On comprendra alors que la « correction des artéfacts » dans un bloc de référence englobe, au sens large, le traitement des discontinuités entre micro-images, ainsi que le traitement des frontières MLB entre micro-images (lorsqu'elles sont apparentes, notamment 25 par des pixels noirs). Pour éviter les discontinuités, les pixels de la micro-image suivante qui vient « après » la frontière MLB dans le bloc de référence bref sont aussi remplacés, comme illustré sur les figures 8a et 8b.

30 Sur la figure 8a, le bloc de référence initial bref est à cheval entre deux micro-images consécutives, et englobe leur frontière. Dans l'exemple représenté sur la figure 8b, les pixels de la micro-image de droite sont conservés dans le bloc de référence corrigé bref*. En revanche, les pixels de la micro-image de gauche sont remplacés, au même titre que ceux de la 3036016 12 grille. Ainsi, le bloc bref* est situé à la même position que le bloc de référence initial bref et contient alors la partie commune issue de la micro-image de droite, ainsi que la partie estimée par extrapolation (à gauche). Dans l'exemple donné à titre purement illustratif sur la figure 8b, les teintes de pixels au bord gauche de la micro-image de droite sont simplement réutilisées sur 5 des lignes de pixels extrapolés à gauche du bloc bref*. Plus généralement, l'extrapolation des pixels peut s'effectuer par différentes techniques visant à reproduire au mieux, en continuité, un certain motif (en utilisant un filtre bilatéral, ou en utilisant des techniques de correction automatique d'artéfacts, dites d'« inpainting », en 10 remplaçant les pixels désignés comme masque pour le remplissage, ou en utilisant encore des techniques basées sur des fractales, ou autres). Par ailleurs, selon la réalisation ci-dessus, on extrapole les pixels de la micro-image de droite dans la frontière MLB et dans l'autre micro-image à gauche. Cette réalisation tient compte 15 d'un sens du vecteur de mouvement mv. En effet, on tient compte du sens du vecteur de mouvement mv pour déterminer quelle micro-image utiliser pour « recopier » ses pixels (par extrapolation) ailleurs dans le bloc de référence. En référence à nouveau à la figure 8a, le sens du vecteur de mouvement mv (flèche mv) justifie, dans l'exemple représenté, que les pixels de la micro-image de gauche soient extrapolés et les pixels de la micro-image de droite soient 20 conservés. En revanche, dans le même exemple, pour un vecteur de mouvement mv en sens inverse et dans une même position de bloc bref, les pixels de la micro-image de gauche sont conservés mais ceux de la micro-image de droite extrapolés (à l'inverse de la situation illustrée sur la figure 8b). Ainsi, le sens du vecteur de mouvement mv définit le sens de l'extrapolation d'une micro-image à l'autre dans une telle réalisation.

25 Plus particulièrement, il convient de distinguer dans une telle réalisation si l'image intégrale est orthoscopique (les micro-images étant dans le même sens que l'image intégrale) ou pseudoscopique (les micro-images étant inversées par rapport à l'image intégrale, par deux symétries axiales, l'une horizontale et l'autre verticale). On a représenté sur la figure 9 le cas 30 d'une image intégrale pseudoscopique de laquelle sont tirées les micro-images des figures 4, 7a, 8a et 8b, et 12a et 12b. La position du bandeau sur les cheveux du modèle (en haut à droite de la figure 9) est inversée par rapport à l'image réelle intégrale.

3036016 13 En revanche, sur la figure 7b, qui est le pendant de la figure 7a mais ici pour une image orthoscopique, il apparait bien des micro-images dans le même sens que l'image intégrale. Dans le cas général, l'extrapolation se fait préférentiellement : 5 - dans le sens opposé au vecteur de mouvement mv pour les images orthoscopiques, et - dans le même sens que celui du vecteur de mouvement mv pour les images pseudoscopiques. Ce choix s'explique comme suit, en référence à la figure 10a qui illustre le traitement d'une 10 image intégrale pseudoscopique. Le vecteur mv (flèche en traits pointillés) pointe du bloc courant b (traits pleins) vers le bloc de référence (en traits pointillés) à sa gauche. La position de l'objet (ici un disque) dans les micro-images (MIref left , MIref right) pointées par le vecteur de mouvement est donc décalée vers la gauche par rapport à sa position dans la micro-image courante (MIcurr). La partie de la scène que comporte la micro-image MIref right 15 contenue dans le bloc de référence bref est donc également contenue dans le bloc courant b. La partie de micro-image MIref left contenue dans le bloc de référence bref n'est en revanche pas contenue dans le bloc courant b, et doit alors être remplacée par des valeurs de pixels estimées par extrapolation des valeurs de pixels contenus dans la micro-image MIref right. Il en résulte le bloc de référence corrigé bref de la figure 10b (encadré en traits pleins). Dans l'exemple de 20 la figure 10b, l'extrapolation s'effectue encore à titre illustratif par prolongation des teintes de pixels de l'image MIref right, comme dans l'exemple simple de la figure 8b. En référence à nouveau à la figure 5, on obtient ainsi, à l'étape S5, le bloc de référence « extrapolé » bref, à la même position que le bloc de référence bref. Ce bloc corrigé bref* est 25 alors utilisé (à la place du bloc bref initial, dans l'état de l'art habituel) pour reconstruire à l'étape S6 au décodage le bloc décodé b'. Le bloc décodé est reconstruit à partir du bloc de référence corrigé bref et du résidu Eb obtenu dans le flux codé reçu. Ces étapes sont répétées jusqu'à obtention de tous les blocs décodés b' à l'étape S7.

30 Le flux codé que reçoit initialement le décodeur peut comporter, outre les vecteurs de mouvement mv et les résidus Eb, une information que transmet le codeur sur la particularité de l'image intégrale : orthoscopique ou pseudoscopique, et éventuellement des paramètres de la 3036016 14 grille que détermine le codeur (position, épaisseur des frontières MLB, pas entre frontières, etc.). Néanmoins, dans une forme de réalisation possible l'information sur la particularité de l'image 5 intégrale : orthoscopique ou pseudoscopique peut être déterminée aussi au décodage. Par exemple, on peut obtenir par recherche de similarité entre blocs (« block matching ») les vecteurs de mouvement entre chaque couple de micro-images adjacentes de l'image intégrale courante. Les vecteurs de mouvement sont ainsi horizontaux et verticaux.

10 Dans le cas pseudoscopique, les vecteurs de mouvement horizontaux entre une micro-image à gauche et une micro-image à droite décrivent le mouvement d'un objet (dans une scène de l'image intégrale) entre la micro-image à gauche et la micro-image à droite et sont orientés de gauche à droite. Le calcul de ces vecteurs montre que plus une micro-image est à droite, et plus l'objet de la scène est situé à droite dans cette micro-image.

15 De façon similaire, les vecteurs de mouvement verticaux entre une micro-image en bas et une micro-image en haut décrivent le mouvement d'un objet entre la micro-image en bas et la micro-image en haut et sont orientés de bas en haut. Le calcul de ces vecteurs montre que plus une micro-image est en bas, et plus l'objet est situé en bas dans cette micro-image.

20 Dans le cas orthoscopique, les vecteurs de mouvement horizontaux entre une micro-image à gauche et une micro-image à droite décrivent le mouvement d'un objet entre la micro-image à gauche et la micro-image à droite et sont orientés de droite à gauche. Le calcul de ces vecteurs montre que plus une micro-image est à droite, et plus l'objet de la scène est situé à gauche dans cette micro-image.

25 Les vecteurs de mouvement verticaux entre une micro-image en bas et une micro-image en haut décrivent le mouvement d'un objet entre la micro-image en bas et la micro-image en haut et sont orientés de haut en bas. Le calcul de ces vecteurs montre que plus une micro-image est en bas, et plus l'objet est situé en haut dans cette micro-image.

30 En référence maintenant à la figure 6, au codage, pour chaque vecteur candidat possible lors de la recherche de mouvement à l'étape CS1, on obtient un vecteur de mouvement mv pointant vers un bloc de référence bref à l'étape CS2.

3036016 15 De manière générale, les traitements présentés ci-avant pour le décodage en référence à la figure 5, et qui permettent de déterminer la position des frontières MLB (paramètres de la grille tels que la position, l'épaisseur des frontières MLB, le pas entre les frontières, etc.), ainsi qu'éventuellement la particularité de l'image intégrale : orthoscopique ou pseudoscopique, 5 sans réception de ces données au décodeur, peuvent être effectués de manière similaire au codage. Ainsi, en référence à la figure 6, l'étape suivante CS3 au codage comporte la localisation des frontières MLB formant la grille, et en particulier dans le bloc de référence bref à traiter.

10 L'étape suivante CS4 comporte l'extrapolation de la micro-image pointée par le vecteur de mouvement mv, pour créer le bloc prédicteur extrapolé bref à l'étape CS5, à la même position que le bloc initial bref. L'étape suivante CS6 comporte de façon classique le calcul du résidu Eb par soustraction du 15 bloc prédicteur corrigé bref au bloc courant à coder b. Eventuellement, il peut être prévu une étape supplémentaire CS7 comportant la sélection du meilleur vecteur de mouvement mv par estimation d'une fonction de coût FC. On obtient finalement le flux codé FLC à l'étape CS8 comportant au moins les vecteurs de mouvement et les blocs résiduels. Le flux codé peut comporter aussi initialement par exemple des données d'information selon laquelle l'image est 20 orthoscopique ou pseudoscopique, et éventuellement une information sur les paramètres de grille (position, épaisseur, etc.). Au codage comme au décodage, une étape SOK de sélection de la mise en oeuvre ou non du traitement de l'invention peut être prévue. En effet, afin d'économiser des ressources de calcul, 25 l'activation du traitement de l'invention peut être réalisée de manière automatique selon l'un ou plusieurs des critères d'activation ci-après: - la taille de la zone à extrapoler doit rester réduite (sinon, le traitement n'est pas effectué), - la taille du vecteur de mouvement mv doit être inférieure à un seuil, sans quoi il n'y a 30 aucune chance de retrouver des données de pixels manquantes dans la micro-image lointaine que pointe le vecteur de mouvement.

3036016 16 Par ailleurs, le traitement peut s'appliquer à tous les blocs si le ou les critères ci-dessus sont respectés, mais n'a pas besoin d'être mis en oeuvre en particulier dans les cas où le bloc de référence bref ne contient aucune frontière MLB (information obtenue par consultation des données de position de grille). Par ailleurs, si le bloc courant contient une frontière MLB 5 horizontale ou verticale, alors on choisit un vecteur de mouvement mv lui-même horizontal ou vertical. Néanmoins, le vecteur de mouvement peut être diagonal, ce qui implique alors une extrapolation qui ne se restreint pas à une seule dimension. On a représenté sur la figure 11 un dispositif codeur, ainsi qu'un dispositif décodeur au sens de 10 l'invention. Le codeur COD comporte un circuit de traitement incluant par exemple : - une entrée ENT1 pour recevoir les blocs b d'images à coder, - des moyens de traitement MT1 des blocs b, comportant par exemple un processeur PROC1 et une mémoire de travail MEM1, pour appliquer le procédé de l'invention pour le codage des blocs avec une extrapolation de pixels dans les blocs de référence 15 bref*, et - une sortie SOR1 pour délivrer le flux codé FLC résultant du codage des blocs. Le décodeur DECOD comporte un circuit de traitement incluant par exemple : - une entrée ENT2 pour recevoir le flux codé FLC, - des moyens de traitement MT2 du flux FLC, comportant par exemple un processeur 20 PROC2 et une mémoire de travail MEM2, pour appliquer le procédé de l'invention pour le décodage du flux FLC et une correction des blocs de référence bref par extrapolation de leur pixels, et - une sortie SOR2 pour délivrer les blocs b' d'images décodées et disponibles pour une restitution d'image.

25 Bien entendu, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemple ; elle s'étend à d'autres variantes. Typiquement, on a décrit ci-avant une application de l'invention aux images intégrales 30 obtenues à partir d'un réseau de micro-lentilles. Toutefois, elle s'applique à tout type d'images dans lesquelles au moins un artéfact affectant au moins un bloc de référence est à corriger pour assurer une compression efficace. On relèvera d'ailleurs que la redondance des micro-images (propre à une image intégrale) n'est pas utilisée dans les exemples de traitement ci-avant.

3036016 17 Ainsi, une image intégrale comprenant une multiplicité de micro-images n'est pas une caractéristique essentielle pour la mise en oeuvre de l'invention, l'essentiel étant d'avoir une détermination de la position de l'artéfact à supprimer dans le bloc de référence à corriger.

5 Par ailleurs, sur la figure 4 notamment, il apparait un motif d'artéfacts que forment les frontières MLB entre micro-images sous la forme d'une « grille » de lignes horizontales et verticales. Néanmoins, avec des dispositifs d'acquisition ayant des lentilles de formes différentes (hexagonales, sphériques, carrées, ou autres) ou encore de différentes tailles (dispositif « RaytrixTm »), ou encore disposées en quinconce plutôt qu'alignées, le motif 10 d'artéfacts peut avoir un aspect différent (en nid d'abeille par exemple, ou autre), les principales étapes de traitement selon l'invention n'étant pas modifiées pour autant (recherche de cette forme de motif particulière, correction des pixels dans les régions identifiées).

Claims (15)

1. REVENDICATIONS1. Procédé de décodage par prédiction d'un bloc courant d'au moins une image courante, dans lequel on obtient un vecteur de mouvement (mv) pointant vers un bloc de référence (bref) d'une zone de pixels préalablement décodée, ladite zone de pixels comportant un artéfact ayant une position déterminée, caractérisé en ce qu'il comporte : - déterminer (S3), en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, - le cas échéant, corriger (S4) le bloc de référence en corrigeant des pixels au moins de ladite partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et - utiliser le bloc de référence corrigé (bref) pour le décodage (S6) par prédiction.
2. 2. Procédé de codage par prédiction d'un bloc courant d'au moins une image courante dans lequel on détermine un vecteur de mouvement (mv) pointant vers un bloc de référence (bref) d'une zone de pixels, ladite zone de pixels comportant un artéfact ayant une position déterminée, caractérisé en ce qu'il comporte : - déterminer (CS3), en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, - le cas échéant, corriger (CS4) le bloc de référence en corrigeant des pixels au moins de ladite partie de l'artéfact (CS4) par extrapolation à partir d'autres pixels de ladite zone de pixels, et - utiliser le bloc de référence corrigé (bref) pour le codage (CS6), par prédiction.
3. 3. Procédé selon l'une des revendications 1 et 2, caractérisé en ce que la position de l'artefact est associée à au moins un paramètre à transmettre dans un flux codé, ledit au moins paramètre étant obtenu au codage et étant utilisé au décodage pour identifier la position de l'artefact dans un bloc de référence d'une zone de pixels préalablement décodée.
4. 4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'image courante est une image intégrale, constituée de micro-images séparées entre elles par des motifs de grille (MLB) correspondant à l'artéfact. 3036016 19
5. 5. Procédé selon la revendication 4, caractérisé en ce que les pixels corrigés sont : - des pixels d'une partie de motif de grille que comporte le bloc de référence, et - des pixels d'une partie d'au moins une micro-image, adjacente à une partie d'au moins une autre micro-image, lesdites parties étant contenues dans le bloc de référence, les pixels de 5 ladite au moins une autre micro-image étant utilisés sans ladite correction pour constituer le bloc de référence corrigé (bref).
6. 6. Procédé selon la revendication 5, caractérisé en ce que la micro-image dont les pixels sont corrigés est fonction : 10 - de la direction du vecteur de mouvement, et - selon un mode d'acquisition de l'image intégrale orthoscopique ou pseudoscopique, avec, pour une direction donnée du vecteur mouvement : - les pixels de la partie de ladite au moins une micro-image située dans une première position par rapport à la partie de ladite au moins une autre micro-image, à corriger si 15 l'image est pseudoscopique, et - les pixels de la partie de ladite au moins une micro-image située dans une deuxième position par rapport à la partie de ladite au moins une autre micro-image, à corriger si l'image est orthoscopique la première position étant distincte de la deuxième position. 20
7. 7. Procédé selon la revendication 6, caractérisé en ce qu'une donnée indiquant si l'image intégrale est orthoscopique ou pseudoscopique est déterminée au codage et au décodage.
8. 8. Procédé selon l'une des revendications 4 à 7, caractérisé en ce que, pour déterminer si le 25 bloc de référence comporte au moins une partie du motif de grille, on identifie la position du motif de grille dans l'image par la mise en oeuvre de l'une au moins des étapes : - par recherche de corrélations dans l'image intégrale, - par détection de pixels correspondant à des motifs de grille comparativement à d'autres pixels de l'image intégrale. 30
9. 9. Procédé selon l'une des revendications précédentes, caractérisé en ce que la correction des pixels de la partie d'artéfact dans le bloc de référence s'effectue en se référant au moins à des pixels voisins de l'artefact. 3036016 20
10. 10. Procédé selon la revendication 9, caractérisé en ce que la correction s'effectue par recopie des pixels voisins des pixels à corriger.
11. 11. Procédé selon la revendication 9, caractérisé en ce que la correction s'effectue par 5 remplissage de masque correspondant aux pixels à corriger par une technique de type inpainting.
12. 12. Décodeur par prédiction d'un bloc courant d'au moins une image courante, comportant un circuit de traitement (PROC2, MEM2) pour obtenir un vecteur de mouvement (mv) pointant 10 vers un bloc de référence (bref) d'une zone de pixels préalablement décodée, ladite zone de pixels comportant un artéfact ayant une position déterminée, caractérisé en ce que le circuit de traitement est agencé pour : - déterminer, en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, 15 - le cas échéant, corriger le bloc de référence en corrigeant des pixels au moins de ladite partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et - utiliser le bloc de référence corrigé (bref) pour le décodage par prédiction.
13. 13. Programme informatique caractérisé en ce qu'il comporte des instructions pour la mise en 20 oeuvre du procédé de décodage selon l'une des revendications 1, 3 à 11, lorsque ce programme est exécuté par un processeur.
14. 14. Codeur par prédiction d'un bloc courant d'au moins une image courante, comportant un circuit de traitement (PROC 1, MEM1) pour déterminer un vecteur de mouvement (mv) 25 pointant vers un bloc de référence (bref) d'une zone de pixels préalablement codée, ladite zone de pixels comportant un artéfact ayant une position déterminée, caractérisé en ce que le circuit de traitement est agencé pour : déterminer, en fonction de la position de l'artéfact dans ladite zone de pixels, si le bloc de référence comporte au moins une partie de l'artéfact, 30 le cas échéant, corriger le bloc de référence en corrigeant des pixels au moins de ladite partie de l'artéfact par extrapolation à partir d'autres pixels de ladite zone de pixels, et utiliser le bloc de référence corrigé (bref) pour le codage par prédiction. 3036016 21
15. 15. Programme informatique caractérisé en ce qu'il comporte des instructions pour la mise en oeuvre du procédé de codage selon l'une des revendications 2 à 11, lorsque ce programme est exécuté par un processeur.