FR2811112A1 - Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant - Google Patents
Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant Download PDFInfo
- Publication number
- FR2811112A1 FR2811112A1 FR0008365A FR0008365A FR2811112A1 FR 2811112 A1 FR2811112 A1 FR 2811112A1 FR 0008365 A FR0008365 A FR 0008365A FR 0008365 A FR0008365 A FR 0008365A FR 2811112 A1 FR2811112 A1 FR 2811112A1
- Authority
- FR
- France
- Prior art keywords
- interest
- region
- image
- source image
- bit stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
L'invention concerne un procédé de codage d'une image source (101) mettant en oeuvre un arbre représentatif d'un maillage hiérarchique associé à ladite image. Selon l'invention, un tel procédé comprend les étapes suivantes :- génération d'un train binaire de base (103) représentatif d'une structure globale (102) dudit maillage, permettant de reconstruire une représentation approchée de ladite image source (101);- sélection (105) d'au moins une région d'intérêt au sein de ladite image source;- génération d'un train binaire de localisation (107), permettant de localiser (106) ladite ou lesdites régions d'intérêt au sein de ladite image source (101);- génération d'un train binaire de raffinement (109) représentatif de chacune desdites régions d'intérêt, chacun desdits trains binaires de raffinement pouvant être traité indépendamment et permettant de reconstruire une représentation raffinée (108) de ladite région d'intérêt.
Description
1 2811112
Procédé de codage d'une image source à visualisation adaptative,
procédé de décodage et décodeur correspondant.
Le domaine de l'invention est celui du codage d'images fixes ou animées.
Plus précisément, l'invention concerne la transmission progressive de données relatives aux images. Dans le domaine du traitement et de la transmission des images, on s'intéresse de plus en plus fréquemment à la transmission progressive des données, pour pallier notamment les problèmes de saturation de bande passante et
d'adaptabilité à des terminaux de natures variées.
L'invention peut s'appliquer aux images 2D, par exemple pour permettre à un utilisateur souhaitant visualiser des images comprenant les objets de son souhait, de télécharger l'ensemble de ces images en petit format, de sélectionner des zones d'intérêt de ces imagettes, et de zoomer ensuite sur ces zones afin de les
visualiser en détails.
L'invention s'applique également aux images 3D, de manière à permettre de visualiser en détail des zones visuellement pertinentes des objets 3D, telles que
les régions proches du point de vue d'un observateur par exemple.
On connaît plusieurs techniques de codage et de compression d'images, telles que les techniques standard MPEG1/2, mettant en oeuvre une compression
trame à trame des données.
Un inconvénient de ces techniques de l'art antérieur est qu'elles ne permettent pas d'interactivité basée sur le contenu de l'image, c'est-àdire qu'elles ne permettent pas, notamment, de s'adapter aux requêtes d'un utilisateur souhaitant, par exemple, visualiser certaines zones d'intérêt d'une image avec un
plus grand niveau de qualité, ou zoomer sur certaines régions d'une image.
Or, les développements multimédia interactifs récents ont montré la nécessité de manipuler, compresser, indexer les objets vidéos qu'ils soient d'origine naturelle ou synthétique, de percevoir des zones d'intérêts dans une image, etc.
2 2811112
On a donc cherché à améliorer les techniques de codage et de compression
classiques pour les rendre interactives.
Cependant, pour représenter des zones d'intérêt d'une image, il est nécessaire de coder, d'une part, leur forme, et d'autre part, leur texture. On a donc défini des plans de transparence pour le standard MPEG4 et d'importants travaux, relatifs au codage correspondant, ont été publiés par J. Ostermann et F. W. Meier dans le document "MPEG4 and rate distortion based shaped coding techniques" ("MPEG4 et les techniques de codage adaptées basées sur le taux de
distorsion", Proceedings of the IEEE, 86(6):1126-1154, Juin 98); en particulier.
une bibliographie conséquente du codage sans ou avec pertes de l'information de
contour et de texture a été élaborée.
Un inconvénient de cette technique de l'art antérieur est que le codage de tels plans de transparence représente un surcoût important aux techniques
classiques basées trames.
Selon une technique de codage des images mettant en ceuvre une approche par plans de bits, pour coder une forme particulière d'un objet, on applique un masque binaire à l'image, en associant la valeur 1 à l'ensemble des points (ou
pixels) de l'objet, et la valeur 0 au reste de l'image.
On transmet alors des macro blocs (par exemple de dimension 16*16), précédés d'une information indicative de l'appartenance à une bordure, du caractère transparent (pour l'objet) ou opaque (pour le reste de l'image) du macro bloc. La forme de l'objet est ensuite codée (par exemple selon un codage de type SADCT), et on transmet alors des informations relatives à une zone rectangulaire
dans laquelle elle est incluse (en anglais "bounding box").
Selon une technique classique, les alphas plans (ou plans de transparence) sont obtenus par une technique d'incrustation couleur (en anglais "chromakey"), permettant une segmentation précise et rapide d'une image en zones d'intérêts, mais au prix de conditions de prise de vue particulières (il est notamment
nécessaire que l'image soit construite sur fond bleu, le bleu étant une couleur-
3 2811112
clef). Pour des objets de sources vidéo en mode trame, des procédés d'extraction automatique par segmentation spatio-temporelle ont été proposés, mais la difficulté d'extraire automatiquement des objets significatifs d'un point de vue sémantique est toujours d'actualité ainsi qu'illustré par le document d'A. M. Tekalp, intitulé "Two dimensional mesh based visual object representation for interactive synthetic/ natural digital video" ("Représentation d'un objet visuel basée sur un maillage bidimensionnel pour la vidéo interactive
synthétique/naturelle", Proceedings of the IEEE 86(6):1029-1051, Juin 98).
L'invention a notamment pour objectif de pallier ces inconvénients de l'art
antérieur.
Plus précisément, un objectif de l'invention est de fournir un procédé de
codage d'images adapté à la transmission progressive des données.
Un autre objectif de l'invention est de mettre en oeuvre des procédés de
codage et de décodage permettant une visualisation adaptative des images.
L'invention a encore pour objectif de fournir des procédés de codage et de décodage permettant une reconstruction partielle des images, adaptée à la requête
d'un utilisateur.
L'invention a également pour objectif de mettre en oeuvre des procédés de codage et de décodage d'images permettant de pallier les problèmes de saturation
de bande passante et d'adaptabilité à des terminaux de capacités diverses.
Un autre objectif de l'invention est de fournir des procédés de codage et de décodage permettant de générer une image combinant différents niveaux de qualité. Encore un autre objectif de l'invention est de mettre en oeuvre des procédés de codage et de décodage d'images permettant de transmettre sélectivement au terminal de visualisation les données correspondant aux souhaits d'un utilisateur
et/ou aux contraintes réseau-terminal associées.
L'invention a encore pour objectif de fournir des procédés de codage et de décodage simples et peu coûteux à mettre en oeuvre. Notamment, un objectif de l'invention est de mettre en oeuvre des procédés de codage et de décodage
4 2811112
permettant de reconstituer une image par zones d'intérêt, sans engendrer de
surcoût important en temps de calcul.
Ces objectifs, ainsi que d'autres qui apparaîtront par la suite sont atteints à l'aide d'un procédé de codage d'une image source mettant en oeuvre un arbre représentatif d'un maillage hiérarchique associé à ladite image. Selon l'invention, un tel procédé comprend les étapes suivantes génération d'un train binaire de base représentatif d'une structure globale dudit maillage, permettant de reconstruire une représentation approchée de ladite image source; - sélection d'au moins une région d'intérêt au sein de ladite image source; - génération d'un train binaire de localisation, permettant de localiser ladite ou lesdites régions d'intérêt au sein de ladite image source; - génération d'un train binaire de raffinement représentatif de chacune desdites régions d'intérêt, chacun desdits trains binaires de raffinement pouvant être traité indépendamment et permettant de reconstruire une
représentation raffinée de ladite région d'intérêt.
Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive du codage d'une image en vue de sa transmission. En effet, l'invention repose notamment sur la scission du train binaire de données associé à une image en plusieurs trains binaires, eux-mêmes échelonnables (en anglais "scalable" ou
"scale able") individuellement, et reliés par une structure commune.
Ainsi, l'invention met en oeuvre une segmentation interactive des régions d'intérêt et n'engendre pas de surcoût important en temps de calcul. De plus, l'ensemble des régions à coder étant basée sur une structure commune, transmise par le train binaire de base, il n'est plus nécessaire, contrairement aux techniques
de l'art antérieur, de transmettre des informations relatives au contour des objets.
Enfin, l'existence d'une structure commune permet à un utilisateur de sélectionner lui-même des régions d'intérêt au sein de l'image visualisée sur un terminal, sans
que ces régions aient été codées spécifiquement par un serveur au préalable.
2811112
Selon un mode de réalisation préférentiel de l'invention, ladite au moins
une région d'intérêt est sélectionnée par un opérateur.
Un tel opérateur est classiquement un infographiste, qui sélectionne les régions d'intérêt au cours d'une étape de pré-traitement de l'image. De telles régions d'intérêt peuvent être des objets particuliers de l'image, des groupes d'objets situés dans un même plan visuel, le fond de l'image, etc. Selon une technique avantageuse de l'invention, chacune desdites régions d'intérêt est associée à au moins une zone rectangulaire, définie au sein de ladite image source par un opérateur, chaque zone rectangulaire incluant ladite région
d'intérêt associée.
Ainsi, il n'est pas nécessaire de transmettre des informations permettant de définir le contour d'une région d'intérêt, dont la forme peut être complexe. Chaque région d'intérêt est incluse dans une zone rectangulaire, ce qui permet, lors du décodage des trains binaires, de traiter une région d'intérêt de manière simple et précise, en pouvant décoder une telle région d'intérêt grâce à la zone rectangulaire
associée, qui indique le train binaire à choisir.
Avantageusement, ledit train binaire de localisation contient au moins certaines des informations suivantes: - le nombre de zones rectangulaires définies au sein de ladite image source; - des informations permettant de localiser chacune desdites zones rectangulaires dans un repère associé à ladite image source; - pour chacune desdites zones rectangulaires, un identifiant de ladite région
d'intérêt associée.
Au moment du décodage, on peut ainsi localiser aisément les zones rectangulaires au sein de l'image, à partir des coordonnées de leurs sommets dans un repère associé à l'image, ou, par exemple, à partir des coordonnées d'un sommet, et de la connaissance de la largeur et de la longueur de la zone rectangulaire considérée. Par ailleurs, l'identifiant transmis permet de savoir à quelle région d'intérêt présélectionnée par un infographiste est associée chacune
des zones rectangulaires.
6 2811112
Certaines zones rectangulaires peuvent se chevaucher. Lorsqu'au moment du décodage, le domaine de l'image que l'on souhaite décoder (par exemple, un point d'intérêt d'un observateur) se situe sur une zone d'intersection de plusieurs zones rectangulaires, on décode alors au moins partiellement les trains binaires de raffinement associés à ces zones. Selon une technique avantageuse, le codage de chacune desdites régions
d'intérêt comprend un codage hiérarchique.
Avantageusement, le codage de chacune desdites régions d'intérêt est un codage hybride, mettant en oeuvre sélectivement un codage par DCT et un codage
par éléments finis.
Préférentiellement, ledit train binaire de base contient au moins certaines des données suivantes: - des informations représentatives du nombre de mailles dudit maillage; - des informations représentatives du nombre de niveaux dudit arbre représentatif dudit maillage; - le type de mailles dudit maillage; - la nature dudit maillage;
- des informations de base de ladite image source.
Ainsi, on peut par exemple indiquer le nombre de mailles initial du maillage en indiquant le nombre de points à insérer par lignes et par colonnes pour le générer. On peut aussi indiquer, dans le train binaire de base, si le maillage est constitué de mailles triangulaires, quadrangulaires, etc. ainsi que la forme du maillage (maillage en quinconce, maillage carré, etc.). Les informations de base de l'image source correspondent notamment aux fréquences basses du codage de
l'image.
Selon une première variante avantageuse de l'invention, lorsqu'une région d'intérêt grossière englobe au moins une région d'intérêt à détailler, ledit train binaire de raffinement de ladite région d'intérêt grossière contient des informations grossières sur ladite au moins une région d'intérêt à détailler, et ledit train binaire de raffinement de ladite au moins une région d'intérêt à détailler ne
7 2811112
contient que des informations de raffinement sur ladite ou lesdites régions d'intérêt à détailler, de manière à éviter une transmission d'informations redondantes. On évite ainsi une redondance des informations véhiculées par les trains binaires de raffinement. Le train binaire de raffinement de la région d'intérêt à détailler ne correspond qu'à une séquence de raffinements des informations
grossières véhiculées par le train binaire de raffinement de la région englobante.
On peut bien sûr également adopter une technique de codage plus simple, consistant à autoriser la transmission d'informations redondantes au niveau des
régions d'intérêt englobantes.
Selon une deuxième variante avantageuse de l'invention, lorsqu'une région d'intérêt englobante englobe au moins une région d'intérêt contenue, ledit train binaire de raffinement de ladite région d'intérêt englobante ne contient pas d'informations sur ladite au moins une région d'intérêt contenue, mais contient au
moins un identifiant de ladite au moins une région d'intérêt contenue.
Ainsi, le train binaire de raffinement de la région d'intérêt englobante ne contient que des informations relatives à la région complémentaire de la région d'intérêt contenue par rapport à la région d'intérêt englobante. Le train binaire de raffinement de la région d'intérêt contenue contient toutes les informations
nécessaires à la restitution visuelle de la région contenue.
De cette façon, lorsque l'utilisateur décide de décoder la région englobante, il peut accéder au contenu partiel de la région contenue, c'est-à-dire au contenu
grossier de même niveau que la région englobante.
L'invention concerne également un procédé de décodage d'une image codée à partir d'une image source, un maillage hiérarchique étant associé à ladite
image source.
Selon l'invention, un tel procédé de décodage met en ceuvre au moins une des étapes suivantes:
8 2811112
- réception d'un train binaire de base, représentatif d'une structure globale dudit maillage, permettant de reconstruire une représentation approchée de ladite image source; - réception d'un train binaire de localisation, permettant de localiser au moins une région d'intérêt au sein de ladite image source; - réception d'une requête identifiant un domaine à décoder de ladite image codée, provenant d'un terminal; réception au moins partielle d'au moins un train binaire de raffinement correspondant à ladite ou lesdites régions d'intérêt de ladite image source,, ladite ou lesdites régions d'intérêt coïncidant au moins partiellement avec ledit domaine à décoder; - traitement au moins partiel dudit au moins un train binaire de raffinement au moins partiellement reçu, de manière à reconstruire au moins
partiellement ledit domaine à décoder.
Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive du décodage de données en vue de la reconstruction d'une image ou d'une séquence d'images. En effet, l'invention repose notamment sur la réception, au moins partielle, d'une pluralité de trains binaires véhiculant des informations caractéristiques de l'image à construire, le décodage d'un train binaire de base permettant de synthétiser une structure commune aux régions d'intérêt définies au sein de l'image et de générer une image de qualité grossière et/ou de taille réduite, et le décodage d'une pluralité de trains binaires de raffinement permettant de déterminer les données de luminance, chrominance, etc., associées à chacune des régions d'intérêt de l'image. Le train binaire de base véhicule notamment des informations de base, par exemple, relatives à la chrominance (UV) et à la
luminance (Y) de l'image.
Ainsi, la réception d'un ou plusieurs trains binaires de raffinement permet de reconstruire certaines zones de l'image avec un niveau de détail plus ou moins important, selon que le train binaire associé a été reçu dans son intégralité ou
partiellement.
9 2811112
Les trains binaires de base, de localisation, et de raffinement peuvent notamment provenir d'un serveur (par exemple un serveur d'un réseau de type internet), et/ou d'une zone de stockage, telle qu'un CD ROM, une zone mémoire d'un terminal adapté, etc. Avantageusement, ladite réception dudit au moins un train binaire de raffinement est fonction d'une capacité de transmission de ladite image codée, et ledit traitement dudit au moins un train binaire de raffinement reçu est fonction d'une capacité de traitement et/ou d'une capacité d'écran et/ou d'une capacité de
mémoire d'un terminal sur lequel ledit procédé de décodage est mis en oeuvre.
En effet, certaines contraintes du réseau de transmission, telles que des contraintes de bande passante, peuvent empêcher de transmettre l'intégralité des trains binaires de raffinement associés à une image. Les trains binaires ne sont alors reçcus que partiellement, en fonction de la bande passante allouée. De même, certains trains binaires de raffinement ne peuvent être décodés que partiellement, en fonction de la capacité de stockage du terminal de visualisation de l'image, ou
en fonction de la qualité de son écran, par exemple.
Un tel procédé de décodage selon l'invention permet ainsi une visualisation adaptative des images, en fonction des contraintes réseau terminal. Notamment, un tel procédé de décodage permet de s'adapter à des terminaux de natures et donc
de capacités variées.
Selon une caractéristique avantageuse de l'invention, ledit domaine à décoder est sélectionné par un utilisateur dudit terminal et/ou en fonction de sa distance à l'oeil dudit utilisateur, le domaine le plus proche de l'oeil dudit utilisateur
étant décodé prioritairement.
Le décodage peut ainsi être mis en oeuvre en fonction d'une requête d'un utilisateur, qui sélectionne la zone de l'image qu'il souhaite visualiser prioritairement, ou qui zoome sur une partie de l'image qu'il souhaite visualiser en détails. Le décodage peut aussi être mis en oeuvre en fonction d'une requête d'une caméra virtuelle, associée par exemple à l'oeil d'un observateur de l'image. On
2811112
détermine alors les régions de l'image qui sont les plus proches de la caméra, aussi appelées points chauds, de manière à les décoder et à les visualiser avec un grand niveau de qualité. Les trains binaires associés aux régions plus éloignées de la caméra, aussi appelées points froids, sont décodés de manière plus grossière, et ceux associés aux régions invisibles pour un observateur ne sont pas décodés. Préférentiellement, le traitement d'une région d'intérêt est accompagné du traitement au moins partiel d'au moins une région voisine visible, de façon à éviter
des écarts de qualité importants entre régions voisines.
En effet, il est important d'assurer une continuité visuelle au sein de l'image. Ainsi, lorsqu'on décode le train binaire de raffinement d'une région d'intérêt avec un niveau de détail élevé, on décode également les trains binaires associés aux régions voisines visibles, avec un niveau de qualité moindre, de manière à mettre en oeuvre une dégradation graduelle du niveau de détail, de la
région d'intérêt principale vers les régions d'intérêt périphériques.
Selon un mode de réalisation avantageux de l'invention, à la réception dudit train binaire de base, on génère un arbre représentatif dudit maillage, et, lors dudit traitement dudit au moins un train binaire de raffinement, on stocke, dans ledit arbre, des informations contenues dans ledit ou lesdits trains binaires de
raffinement traités.
La constitution d'un tel arbre permet ainsi un décodage des données par niveau, l'arbre étant parcouru en profondeur lorsqu'on souhaite visualiser une
région d'intérêt avec un niveau de détail élevé.
Avantageusement, lorsque ladite capacité de mémoire le permet, des informations contenues dans lesdits trains binaires déjà reçus sont stockées dans ledit arbre représentatif dudit maillage, de façon à disposer d'un maximum
d'informations concernant ladite image codée.
On stocke ainsi progressivement les données contenues dans les trains binaires décodés dans l'arbre, de manière à pouvoir y accéder ultérieurement en réponse à une requête caméra ou à une requête d'un utilisateur. Si la capacité de mémoire du terminal permet de stocker l'intégralité des informations relatives à Il 2811112 une image, on peut ainsi répondre à n'importe quelle requête caméra ou à n'importe quelle requête d'un utilisateur, sans mettre en oeuvre un nouveau
décodage de trains binaires associés à l'image.
Selon une technique avantageuse de l'invention, ladite capacité de mémoire ne permettant pas de stocker toutes les informations contenues dans lesdits trains binaires reçus, on choisit de ne pas conserver des informations associées à une zone de ladite image codée non visible dudit utilisateur, puis éventuellement à des zones situées à distance de l'oeil dudit utilisateur, de manière à stocker prioritairement dans ledit arbre des informations associées à la zone de
ladite image codée la plus proche de l'oeil dudit utilisateur.
En effet, la capacité de mémoire du terminal de visualisation peut être insuffisante pour stocker l'intégralité des informations véhiculées par les trains binaires associés à une image. Il est alors nécessaire d'effacer progressivement les informations inutiles, de manière à ne conserver que les informations relatives à une requête courante. On efface alors en priorité les informations associées aux zones invisibles pour un observateur, puis, si nécessaire, aux zones peu visibles ou
très éloignées de la caméra et/ou de l'oeil d'un observateur.
L'invention concerne encore un dispositif de codage mettant en oeuvre un procédé de codage tel que décrit ci-dessus, et un terminal de visualisation et un
dispositif de décodage mettant en oeuvre un procédé de décodage tel que décrit ci-
dessus. Selon l'invention, au sein d'un tel terminal de visualisation, les données d'image à afficher sont développées en mémoire vidéo uniquement au moment de
leur affichage.
L'invention concerne également une structure de signal représentatif d'une image source codée selon le procédé de codage et/ou décodée selon le procédé de décodage décrits ci-dessus. Selon l'invention, une telle structure de signal comprend: - un train binaire de base représentatif d'une structure globale d'un maillage hiérarchique associé à ladite image source, et permettant de reconstruire une représentation approchée de ladite image source;
12 2811112
- un train binaire de localisation, permettant de localiser au moins une région d'intérêt préalablement sélectionnée au sein de ladite image source; - pour chacune desdites régions d'intérêt, un train binaire de raffinement, pouvant être traité indépendamment et permettant de reconstruire une représentation raffinée de ladite région d'intérêt. L'invention concerne encore un système de transmission d'un maillage représentatif d'une image source, entre, d'une part, au moins un codeur et/ou au moins un support de données, et d'autre part, au moins un terminal de visualisation, un tel système mettant en oeuvre un procédé de codage et/ou un
procédé de décodage tels que décrits ci-dessus.
L'invention peut avantageusement s'appliquer à l'une des opérations suivantes: - transmission de données sur un réseau de type internet et/ou intranet; - visualisation d'images relatives à des applications culturelles; - visualisation d'images et/ou de séquences d'images relatives à un jeu interactif; - transmission et/ou visualisation de données relatives à un travail collaboratif;
- télécommerce.
L'invention concerne également un support de données et un serveur d'un réseau de communication, comprenant au moins un signal représentatif d'une image source codée selon un procédé de codage tel que décrit ci- dessus. Un tel serveur peut notamment être un serveur du réseau mondial Internet, ou de tout
autre réseau de type internet.
D'autres caractéristiques et avantages de l'invention apparaîtront plus
clairement à la lecture de la description suivante d'un mode de réalisation
préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels: - les figures 1 à 3 présentent des exemples de sélection de régions d'intérêt au sein d'une image source;
13 2811112
- la figure 4 illustre la préparation des données relatives aux régions d'intérêt sélectionnées dans les figures 1 à 3, avant la mise en oeuvre du procédé de codage selon l'invention; - la figure 5 présente un exemple de requête caméra, permettant de déterminer les régions d'intérêt des figures 1 à 3 à décoder; - la figure 6 illustre un exemple de maillage hiérarchique emboîté; - la figure 7 présente un exemple de codage de zones rectangulaires dans un train binaire de localisation; - la figure 8 illustre un exemple de requête d'un utilisateur souhaitant zoomer sur une partie de l'image; - la figure 9 présente un exemple de pyramide de maillages représentatifs de l'image, ainsi que l'arbre associé;
- la figure 10 est un synoptique simplifié rappelant le principe de l'invention.
Le principe général de l'invention repose sur la segmentation interactive d'une image en zones d'intérêt, et sur le codage des données relatives à chacune des zones d'intérêt dans un train binaire indépendant, de manière à permettre une reconstruction sélective de certaines régions de l'image, en fonction d'une requête
caméra et/ou d'une requête d'un utilisateur.
Ce principe général est illustré par la figure 10. On extrait d'une image source 101, à laquelle est associé un maillage, les informations caractéristiques de la structure globale 102 du maillage. Ces informations sont véhiculées par un train binaire de base 103, qui permet de reconstruire une représentation approchée de
l'image source 101.
Sous l'action 104 d'un utilisateur au niveau du terminal de visualisation, ou par exemple d'un infographiste au niveau du serveur, une ou plusieurs régions d'intérêt sont sélectionnées au sein de l'image 101 au cours d'une étape référencée 105. Ainsi, au niveau du terminal de visualisation, un utilisateur peut émettre une requête à destination du serveur pour recevoir les trains binaires correspondants à une région de l'image, sélectionnée par exemple à l'aide d'un
14 2811112
curseur. Un positionnement donné du curseur de l'utilisateur est associé à un pixel contenu dans une box, dont on détermine l'index, afin d'identifier le ou les train(s)
binaire(s) qu'il est nécessaire de transmettre à l'utilisateur en réponse à sa requête.
La sélection des régions d'intérêt au cours de l'étape référencée 105 peut aussi être mise en oeuvre par un infographiste au niveau du serveur.L'infographiste prépare alors les données nécessaires à la génération des trains
binaires qui pourront être envoyés en réponse à une requête d'un utilisateur.
Les régions d'intérêt sélectionnées sont localisées 106 au sein de l'image source, et le numéro de la box les contenant est véhiculé par un train binaire de
localisation 107.
Des informations de raffinement, permettant de reconstruire une représentation raffinée 108 des régions d'intérêt, sont ensuite extraites de chacune des régions d'intérêt sélectionnées, et véhiculées par une pluralité de trains binaires de raffinement 109 correspondant. Chaque train binaire de raffinement est associé à une région d'intérêt de l'image source 101 et peut être traité indépendamment. On présente, en relation avec les figures 1 à 3, des exemples de sélection de régions d'intérêt au sein d'une image source. On considère des images sur lesquelles sont réalisés des pré-traitements, en vue de la mise en ceuvre du procédé
de décodage local adaptatif à transmission progressive selon l'invention.
On s'intéresse à l'image 11 de la figure 1. On a choisi sur cette image 11 de sélectionner les objets référencés 12 et 13. On peut remarquer, à droite de l'image 11, une série de carrés, dont les couleurs varient du noir (qui correspond à une qualité de reconstruction grossière) au blanc (qui correspond à une qualité fine de reconstruction). Les objets référencés 12 et 13 sont représentés en blanc sur l'imagette 15, de manière à indiquer que l'on souhaite les visualiser avec une
qualité de reconstruction maximale.
La figure 1 illustre donc un exemple d'application possible de l'invention, consistant à sélectionner l'ensemble des objets contenus dans une image (le fond de l'image pouvant être considéré comme un objet particulier), et à associer à
2811112
chacun de ces objets une qualité de reconstruction et/ou un débit de transmission donné. La figure 2 illustre la sélection, au sein de l'image source 21, de deux régions d'intérêt 23 et 24, auxquelles on souhaite affecter des qualités de reconstruction différentes et/ou des débits de transmission différents. Ainsi, on constate sur l'imagette 22, en relation avec la série de carrés 25, que l'objet 24 doit être visualisé avec une qualité de reconstruction fine, alors que l'objet 23 peut être
visualisé avec une qualité de reconstruction plus grossière.
On peut également remarquer sur l'image 21 que les régions d'intérêt 23 et
24 sont légèrement emboîtées.
On présente désormais, en relation avec la figure 3, la sélection de six
régions d'intérêt emboîtées au sein d'une texture d'image 3D 31.
L'imagette 32 indique que quatre niveaux de qualité de reconstruction distincts sont requis pour l'image 31: les régions 35 à 38 sont les régions les plus pertinentes visuellement, car elles correspondent aux yeux, au nez, aux oreilles et à la bouche du visage 31, et doivent donc être reconstruites avec une qualité de reconstruction fine. On associe à la région d'intérêt 37 une qualité de reconstruction moindre. La région d'intérêt 33 correspond à une qualité encore plus grossière, et le fond de l'image 31 est associé à la qualité de reconstruction
minimale.
Une telle détermination des zones d'intérêt d'une image, telle qu'illustrée dans les figures 1 à 3, est particulièrement intéressante pour les infographistes, en
vue d'une application dépendante du point de vue d'un utilisateur.
On considère désormais, en relation avec les figures 4 à 7, les techniques d'approximation et de codage des zones d'intérêt sélectionnées dans les figures 1 à
3, mises en oeuvre dans un procédé de codage d'image selon l'invention.
Dans un mode de réalisation particulier de l'invention, une étape préliminaire au procédé de codage consiste à déterminer une structure commune à l'ensemble des régions d'intérêt sélectionnées. De cette façon, la mise en oeuvre ultérieure du procédé de décodage selon l'invention ne dépend que des requêtes
16 2811112
d'un utilisateur. Notamment, il est alors possible de décoder, au choix, les trains binaires générés lors du codage, et de reconstituer une image comprenant les zones d'intérêt choisies par l'utilisateur, avec le niveau de qualité de reconstruction
souhaité par ce dernier.
Chaque région d'intérêt est ensuite approchée et codée de manière indépendante. Au flux binaire associé à une région d'intérêt donnée, on ajoute également des informations permettant, lors du décodage, d'identifier la région d'intérêt considérée, sans qu'il soit néanmoins nécessaire de coder (et donc de
décoder) la forme explicite de cette région.
On présente, en relation avec la figure 4, un mode de réalisation consistant à construire, autour des régions d'intérêt sélectionnées, des zones rectangulaires les incluant. Dans toute la suite du document, de telles zones rectangulaires sont
appelées box.
On distingue quatre régions d'intérêt R1 à R4 au sein de l'image 40. On construit donc trois box référencées 41 à 43 incluant respectivement les régions d'intérêt R1 à R3. La région d'intérêt R4 est, quant à elle, limitée par le cadre de l'image 40. On constate par ailleurs que les box 41 et 42 se chevauchent partiellement. La construction de telles box permet notamment, lors du décodage, de reconstruire l'image 40 en fonction d'une requête caméra, ou d'une requête d'un utilisateur. Une telle notion de requête caméra est illustrée en figures Sa et 5b. La figure Sa présente un objet tridimensionnel 51, dont la texture associée est
illustrée en figure 5b.
La zone 52 est la zone la plus proche d'une caméra virtuelle qui observerait l'objet 51. La zone 52 correspond donc à un point chaud de la caméra, et doit par conséquent être décodée de manière précise. En revanche, la zone 53 correspond à un point froid de la caméra, et peut être décodée de manière grossière. La zone 54
n'est, quant à elle, pas visible de la caméra et ne sera donc pas décodée.
17 2811112
Pour optimiser le contenu de chaque région d'intérêt sélectionnée, on utilise ensuite une technique d'approximation similaire, par exemple, aux
techniques décrites dans les demandes de brevet FR 98 12525 et FR 99 06815.
La première étape du procédé de codage selon l'invention consiste ensuite à générer le train binaire associé au codage de la structure commune à l'ensemble
des régions.
La structure commune aux régions d'intérêt sélectionnées correspond à un maillage triangulaire hiérarchique régulier emboîté 61, tel qu'illustré en figure 6. Il est donc nécessaire, lors du codage de cette structure, de générer un train binaire de base comprenant par exemple le nombre de mailles initiales, le nombre de niveaux de la pyramide de maillage, le type de mailles (par exemple, triangulaires, quadrangulaires, etc.) et le type de maillage (par exemple, maillage en quinconce, maillage carré, etc. ). Selon un mode de réalisation préférentiel, le nombre de mailles initiales est codé, dans le train binaire de base, sous la forme du nombre
de points du maillage à insérer par ligne et par colonne.
La deuxième étape du procédé de codage selon l'invention consiste à coder, pour chaque région d'intérêt sélectionnée, l'ensemble des données
nécessaire à sa reconstruction, dans un train binaire de raffinement.
La technique mise en oeuvre au cours de cette deuxième étape est similaire, par exemple, à celle décrite dans les demandes de brevet françaises FR 98 12525 et FR 99 06815, pour coder les données de luminance, de chrominance, et éventuellement de position des différentes mailles représentatives de l'image considérée. Outre ces données, on code également les quantifications choisies, éventuellement le nombre de niveaux de maillage, etc. selon une technique
similaire à celle décrite dans les demandes de brevet françaises susmentionnées.
Selon un mode de réalisation particulier de l'invention, on génère tout d'abord un train binaire comprenant des informations de base de l'image considérée, afin de permettre à un terminal de visualisation de disposer d'une image de taille identique à l'image originale mais de qualité grossière ou bien
d'une image sous échantillonnée qui semblera donc plus détaillée que la première.
18 2811112
Par exemple, on code l'image considérée avec un taux de compression très élevé, de manière à permettre une visualisation très succincte de cette dernière au terminal destination. Ensuite, pour chaque région d'intérêt de l'image, on génère
un train binaire comprenant l'ensemble des données décrites précédemment.
Le train binaire de base, décrit précédemment, ayant préalablement transmis au terminal de visualisation des informations relatives à la couche de base de chacune des régions d'intérêt, le train binaire de raffinement associé à chacune de ces régions ne transporte donc que des données relatives à une séquence de raffinements des valeurs de la couche de base des régions d'intérêt, en
fonction des quantificateurs de chaque région.
Par ailleurs, selon l'invention, on associe, à chaque train binaire de raffinement, un en-tête, comprenant un entier compris entre zéro et le nombre de régions d'intérêt sélectionnées, et permettant d'identifier, au cours du processus
de décodage, la zone d'intérêt à laquelle est associé le train de raffinement reçu.
Cependant, il arrive que les régions d'intérêt représentent des zones imbriquées, ainsi qu'illustré en figure 3. Dans ce cas, afin d'éviter une redondance dans la transmission des informations, les régions englobantes, représentant les régions les plus grossières, peuvent contenir des informations de base des régions intérieures. Les régions intérieures ne comportent alors que des informations de
raffinement des données.
On peut aussi autoriser la transmission d'informations redondantes, et chaque train binaire de raffinement véhicule alors toutes les données de raffinement nécessaires à la reconstruction raffinée de la région d'intérêt à laquelle
il est associé.
Pour éviter la transmission d'informations redondantes lorsque les régions d'intérêt représentent des zones imbriquées, on peut encore envisager que le train binaire de raffinement d'une région d'intérêt englobante ne contienne pas
d'informations sur une région d'intérêt contenue.
Une troisième étape du procédé de codage selon l'invention consiste à générer un train binaire de localisation, indépendant des données relatives à
19 2811112
l'image source, qui contient des informations relatives aux coordonnées de chacune des box décrites précédemment, dans un repère relatif à l'image considérée. Un tel train binaire de localisation véhicule par exemple le nombre de box relatives à l'image, leurs coordonnées (ou les coordonnées d'un sommet, la largeur et la longueur de chaque box), et le numéro de la région d'intérêt qu'elles
contiennent, ainsi qu'illustré en figure 7.
L'image 71 est segmentée en quatre box B I à B4. Pour chaque box Bi, on code donc, dans le train binaire de localisation, l'indice i et les positions Pl,i, P2.i, P31 et P4i de ses sommets. On peut aussi coder, dans le train binaire de localisation, l'indice i, l'une des quatre positions Pj., et les valeurs de la largeur et
de la longueur de la box Bi.
On présente désormais, en relation avec les figures 8 et 9, un exemple de mise en ceuvre du procédé de décodage selon l'invention. On décrit notamment le processus de décodage des trains binaires décrits précédemment, en fonction des requêtes d'un utilisateur et/ou des problèmes rencontrés lors de la transmission progressive des données, tels que la saturation du réseau de transmission par
exemple.
Les différentes contraintes relatives au décodage des trains binaires reçus peuvent être des contraintes de bande passante, et/ou de capacité de traitement et/ou de stockage du terminal de visualisation, ainsi que des contraintes relatives à
une requête d'un utilisateur et/ou à une requête caméra.
Ainsi, l'utilisateur peut, par exemple, lors d'une requête, demander la transmission d'une région d'intérêt déterminée lors du codage à une précision plus ou moins grossière. Il peut donc décider si le train binaire associé à la région
d'intérêt sélectionnée doit être transmis dans son intégralité, ou partiellement.
L'utilisateur peut également demander à zoomer sur une zone 82 commune à plusieurs régions d'intérêt de l'image 81, ainsi qu'illustré en figure 8. En effet, la
zone 81 recoupe notamment les régions d'intérêt définies par les box B1 et B3.
2811112
Dans ce cas, on décode partiellement les régions situées aux alentours de la zone 82, afin de ne transmettre que les informations relatives au point d'intérêt de l'utilisateur, en ayant recours à la structure commune à l'ensemble des régions d'intérêt. La première étape d'un tel décodage consiste à décoder le train binaire comprenant les données associées à la structure commune des régions d'intérêt, afin de la resynthétiser. Dans le cas particulier o la structure commune est représentée par une pyramide de maillages emboîtés 91, ainsi qu'illustrée en figure
9, le décodeur recrée ces maillages et génère un arbre 92.
Chaque niveau 921 à 923 de l'arbre 92 correspond à un niveau du maillage 91, et chaque noeud de l'arbre 92 correspond à un triangle du maillage 91. On peut donc obtenir un arbre binaire, tertiaire, quaternaire, etc. La deuxième étape consiste à décoder la couche de base de l'image 81, afin de générer une imagette ou une image de taille équivalente à l'image
originale, mais de qualité très grossière.
La troisième étape consiste ensuite à décoder le flux binaire associé aux
box Bi et à les générer de manière fictive sur l'image 81.
Au cours de la quatrième étape du décodage, on décode les premiers bits
de chaque train binaire afin de déterminer à quelle box B1 les associer.
Enfin, la dernière étape dépend des requêtes caméra et/ou des requêtes de l'utilisateur, et/ou de la bande passante et/ou des capacités du terminal de visualisation. En effet, l'utilisateur peut émettre une requête en zoomant sur une région de l'image. Plusieurs cas de configurations peuvent alors se présenter: - un premier cas est celui o la région sélectionnée par l'utilisateur correspond à une région d'intérêt prédéfinie. Cette région étant contenue dans une box, le numéro de la box est alors utilisé pour décoder le train binaire associé. Si, lors du décodage, apparaît un problème de bande passante (ou de capacité de terminal), l'utilisateur ne verra apparaître, sur le terminal de visualisation, que les informations ayant pu être transmises au terminal (en effet, les trains binaires
21 2811112
associés aux régions d'intérêt correspondent à des séquences de raffinements de
l'image). Enfin, les informations décodées sont alors stockées dans l'arbre.
- un deuxième cas est celui o la région sélectionnée par l'utilisateur
recouvre au moins partiellement plusieurs régions d'intérêt prédéfinies.
Ainsi qu'illustré sur la figure 7, les box peuvent se chevaucher (par exemple, BI et B2 se chevauchent). De ce fait, le point d'intérêt de l'utilisateur peut se situer à l'intersection de plusieurs box. On peut alors détecter les régions d'intérêt associées à la requête de l'utilisateur et décoder partiellement ces régions en fonction de la qualité requise par l'utilisateur (liée par exemple à l'importance du
zoom effectué lors de la requête).
On peut également envisager une approche similaire, qui serait fonction de la requête de la caméra, et non plus de la requête de l'utilisateur. En effet, on sait que le point chaud de la caméra correspond à un décodage intégral du train binaire associé à la région d'intérêt sélectionnée, et que plus l'on s'éloigne de ce point,
* moins l'on décode de données dans les régions d'intérêt associées.
- un troisième cas est celui o toutes les régions d'intérêt de l'image 81 ont été préalablement décodées. L'intégralité des données a alors été stockée dans un arbre 92. Ainsi, suivant l'orientation de la caméra, on peut permettre une visualisation adaptative locale du contenu de l'image 81 (ou texture en 3D) en réalisant un parcours en profondeur de l'arbre 92, afin de réaliser le rendu associé
à la requête de la caméra.
- un quatrième cas correspond au cas particulier des régions emboîtées.
Ainsi, il peut arriver que la caméra zoome sur une région d'intérêt comprise dans une région englobante. Comme le terminal dispose des informations d'emboîtement des régions d'intérêt (par le biais des box Bi) , le processus de décodage consiste alors à décoder partiellement la région englobante, de manière à récupérer toutes les informations relatives nécessaires à la reconstruction de la
région d'intérêt.
22 2811112
Claims (25)
1. Procédé de codage d'une image source (11; 21; 31; 40; 71; 81; 101) mettant en oeuvre un arbre représentatif d'un maillage hiérarchique (61) associé à ladite image, caractérisé en ce qu'il comprend les étapes suivantes: - génération d'un train binaire de base (103) représentatif d'une structure globale dudit maillage (102), permettant de reconstruire une représentation approchée de ladite image source; - sélection (105) d'au moins une région d'intérêt (12, 13; 23, 24; 33-38) au sein de ladite image source; - génération d'un train binaire de localisation (107), permettant de localiser (106) ladite ou lesdites régions d'intérêt au sein de ladite image source; - génération d'un train binaire de raffinement (109) représentatif de chacune desdites régions d'intérêt, chacun desdits trains binaires de raffinement pouvant être traité indépendamment et permettant de reconstruire une
représentation raffinée (108) de ladite région d'intérêt.
2. Procédé de codage selon la revendication 1, caractérisé en ce que ladite au
moins une région d'intérêt est sélectionnée par un opérateur (104).
3. Procédé de codage selon l'une quelconque des revendications 1 et 2,
caractérisé en ce que chacune desdites régions d'intérêt est associée à au moins une zone rectangulaire (41, 42, 43), définie au sein de ladite image source par un opérateur,
chaque zone rectangulaire incluant ladite région d'intérêt associée.
4. Procédé selon la revendication 3, caractérisé en ce que ledit train binaire de localisation contient au moins certaines des informations suivantes: - le nombre de zones rectangulaires définies au sein de ladite image source; - des informations permettant de localiser chacune desdites zones rectangulaires dans un repère associé à ladite image source; - pour chacune desdites zones rectangulaires, un identifiant de ladite région
d'intérêt associée.
23 2811112
5. Procédé de codage selon l'une quelconque des revendications 1 à 4,
caractérisé en ce que le codage de chacune desdites régions d'intérêt comprend un
codage hiérarchique.
6. Procédé de codage selon la revendication 5, caractérisé en ce que le codage de chacune desdites régions d'intérêt est un codage hybride, mettant en
oeuvre sélectivement un codage par DCT et un codage par éléments finis.
7. Procédé de codage selon l'une quelconque des revendications 1 à 6,
caractérisé en ce que ledit train binaire de base contient au moins certaines des données suivantes: - des informations représentatives du nombre de mailles dudit maillage; - des informations représentatives du nombre de niveaux dudit arbre représentatif dudit maillage; - le type de mailles dudit maillage; - la nature dudit maillage; - des informations de base de ladite image source;
- des quantifications associées à ladite image source.
8. Procédé de codage selon l'une quelconque des revendications 1 à 7,
caractérisé en ce que, lorsqu'une région d'intérêt grossière englobe au moins une région d'intérêt à détailler, ledit train binaire de raffinement (109) de ladite région d'intérêt grossière contient des informations grossières sur ladite au moins une région d'intérêt à détailler, et ledit train binaire de raffinement de ladite au moins une région d'intérêt à détailler ne contient que des informations de raffinement sur ladite ou lesdites régions d'intérêt à détailler,
de manière à éviter une transmission d'informations redondantes.
9. Procédé de codage selon l'une quelconque des revendications 1 à 7,
caractérisé en ce que, lorsqu'une région d'intérêt englobante englobe au moins une région d'intérêt contenue, ledit train binaire de raffinement de ladite région d'intérêt englobante ne contient pas d'informations sur ladite au moins une région d'intérêt contenue,
24 2811112
et en ce que ledit train binaire de raffinement de ladite région d'intérêt englobante contient un identifiant de ladite au moins une région d'intérêt contenue,
de manière à éviter une transmission d'informations redondantes.
10. Procédé de décodage d'une image codée à partir d'une image source, un maillage hiérarchique étant associé à ladite image source, caractérisé en ce qu'il met en oeuvre au moins une des étapes suivantes: - réception d'un train binaire de base (103), représentatif d'une structure globale dudit maillage (102), permettant de reconstruire une représentation approchée de ladite image source (101); - réception d'un train binaire de localisation (107), permettant de localiser (106) au moins une région d'intérêt au sein de ladite image source; - réception d'une requête identifiant un domaine à décoder (82) de ladite image codée, provenant d'un terminal; - réception au moins partielle d'au moins un train binaire de raffinement (109) correspondant à ladite ou lesdites régions d'intérêt de ladite image source, ladite ou lesdites régions d'intérêt coïncidant au moins partiellement avec ledit domaine à décoder; - traitement au moins partiel dudit au moins un train binaire de raffinement au moins partiellement reçu, de manière à reconstruire au moins
partiellement ledit domaine à décoder.
11. Procédé de décodage selon la revendication 10, caractérisé en ce que ladite réception dudit au moins un train binaire de raffinement est fonction d'une capacité de transmission de ladite image codée, et en ce que ledit traitement dudit au moins un train binaire de raffinement reçu est fonction d'une capacité de traitement et/ou d'une capacité d'écran et/ou d'une capacité de mémoire d'un terminal sur lequel ledit procédé de décodage est mis en oeuvre.
12. Procédé de décodage selon la revendication 11, caractérisé en ce que ledit domaine à décoder est sélectionné par un utilisateur dudit terminal et/ou en
2811112
fonction de sa distance à l'oeil dudit utilisateur, le domaine le plus proche de l'oeil
dudit utilisateur (52) étant décodé prioritairement.
13. Procédé de décodage selon l'une quelconque des revendications 10 à 12,
caractérisé en ce que le traitement d'une région d'intérêt est accompagné du traitement au moins partiel d'au moins une région voisine visible, de façon à éviter
des écarts de qualité importants entre régions voisines.
14. Procédé de décodage selon l'une quelconque des revendications 10 à 13,
caractérisé en ce qu'à la réception dudit train binaire de base, on génère un arbre (92) représentatif dudit maillage, et en ce que, lors dudit traitement dudit au moins un train binaire de raffinement, on stocke, dans ledit arbre, des informations contenues dans ledit ou lesdits trains
binaires de raffinement traités.
15. Procédé de décodage selon les revendications 11 et 14, caractérisé en ce
que lorsque ladite capacité de mémoire le permet, des informations contenues dans lesdits trains binaires déjà reçus sont stockées dans ledit arbre représentatif dudit maillage, de façon à disposer d'un maximum d'informations concernant
ladite image codée.
16. Procédé de décodage selon l'une quelconque des revendications 14 et 15,
caractérisé en ce que, ladite capacité de mémoire ne permettant pas de stocker toutes les informations contenues dans lesdits trains binaires reçus, on choisit de ne pas conserver des informations associées à une zone (54) de ladite image codée non visible dudit utilisateur, puis éventuellement à des zones (53) situées à distance de l'oeil dudit utilisateur, de manière à stocker prioritairement dans ledit arbre des informations associées à la zone de ladite image codée la plus proche de
l'oeil dudit utilisateur.
17. Structure de signal représentatif d'une image source codée selon le procédé
de l'une quelconque des revendications 1 à 9 et/ou décodée selon le procédé de
l'un quelconque des revendications 10 à 16,
caractérisée en ce qu'elle comprend:
26 2811112
- un train binaire de base (103) représentatif d'une structure globale (102) d'un maillage hiérarchique (61) associé à ladite image source (101), et permettant de reconstruire une représentation approchée de ladite image source; - un train binaire de localisation (107), permettant de localiser (106) au moins une région d'intérêt préalablement sélectionnée (105) au sein de ladite image source; - pour chacune desdites régions d'intérêt, un train binaire de raffinement (109), pouvant être traité indépendamment et permettant de reconstruire
une représentation raffinée (108) de ladite région d'intérêt.
18. Système de transmission d'un maillage représentatif d'une image source, entre, d'une part, au moins un codeur et/ou au moins un support de données, et, d'autre part, au moins un terminal de visualisation, caractérisé en ce qu'il met en oeuvre un procédé de codage selon l'une quelconque
des revendications 1 à 9 et/ou un procédé de décodage selon l'une quelconque des
revendications 10 à 16.
19. Terminal de visualisation mettant en oeuvre un procédé de décodage selon
l'une quelconque des revendications 10 à 16, caractérisé en ce que les données
d'image à afficher sont développées en mémoire vidéo uniquement au moment de
leur affichage.
20. Dispositif de codage d'une image source (11; 21; 31; 40; 71; 81; 101) mettant en oeuvre un arbre représentatif d'un maillage hiérarchique (61) associé à ladite image, caractérisé en ce qu'il met en oeuvre les moyens suivants - des moyens de génération d'un train binaire de base (103) représentatif d'une structure globale dudit maillage (102), permettant de reconstruire une représentation approchée de ladite image source; - des moyens de sélection (105) d'au moins une région d'intérêt (12, 13; 23, 24; 33-38) au sein de ladite image source;
27 2811112
- des moyens de génération d'un train binaire de localisation (107), permettant de localiser (106) ladite ou lesdites régions d'intérêt au sein de ladite image source; - des moyens de génération d'un train binaire de raffinement (109) représentatif de chacune desdites régions d'intérêt, chacun desdits trains binaires de raffinement pouvant être traité indépendamment et permettant
de reconstruire une représentation raffinée (108) de ladite région d'intérêt.
21. Dispositif de décodage d'une image codée à partir d'une image source, un maillage hiérarchique étant associé à ladite image source, caractérisé en ce qu'il met en oeuvre les moyens suivants: - des moyens de réception d'un train binaire de base (103), représentatif d'une structure globale dudit maillage (102), permettant de reconstruire une représentation approchée de ladite image source (101); - des moyens de réception d'un train binaire de localisation (107), permettant de localiser (106) au moins une région d'intérêt au sein de ladite image source; - des moyens de réception d'une requête identifiant un domaine à décoder (82) de ladite image codée, provenant d'un terminal; - des moyens de réception au moins partielle d'au moins un train binaire de raffinement (109) correspondant à ladite ou lesdites régions d'intérêt de ladite image source, ladite ou lesdites régions d'intérêt coïncidant au moins partiellement avec ledit domaine à décoder; - des moyens de traitement au moins partiel dudit au moins un train binaire de raffinement au moins partiellement reçu, de manière à reconstruire au
moins partiellement ledit domaine à décoder.
22. Applications du procédé de codage selon l'une quelconque des
revendications 1 à 9 et/ou du procédé de décodage selon l'une quelconque des
revendications 10 à 16 à l'une des opérations suivantes:
- transmission de données sur un réseau de type internmet et/ou intranet; - visualisation d'images relatives à des applications culturelles;
28 2811112
- visualisation d'images et/ou de séquences d'images relatives à un jeu interactif; - transmission et/ou visualisation de données relatives à un travail collaboratif; - télécommerce.
23. Support de données, caractérisé en ce qu'il comprend au moins un signal représentatif d'une image
source codée selon l'une quelconque des revendications 1 à 9.
24. Serveur d'un réseau de communication, caractérisé en ce qu'il comprend au moins un signal représentatif d'une image
source codée selon l'une quelconque des revendications 1 à 9.
25. Procédé de codage selon l'une quelconque des revendications 1 à 9, et/ou
procédé de décodage selon l'une quelconque des revendications 10 à 16, et/ou
structure de signal selon la revendication 17, et/ou système de transmission selon la revendication 18, et/ou terminal de visualisation selon la revendication 19, et/ou dispositif de codage selon la revendication 20, et/ou dispositif de décodage selon la revendication 21, et/ou support de données selon la revendication 23, et/ou serveur selon la revendication 24, caractérisé en ce que ledit train binaire de base contient des informations de base
de colorimétrie et de photométrie et éventuellement les quantifications associées.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0008365A FR2811112B1 (fr) | 2000-06-28 | 2000-06-28 | Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0008365A FR2811112B1 (fr) | 2000-06-28 | 2000-06-28 | Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2811112A1 true FR2811112A1 (fr) | 2002-01-04 |
| FR2811112B1 FR2811112B1 (fr) | 2003-01-03 |
Family
ID=8851844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0008365A Expired - Fee Related FR2811112B1 (fr) | 2000-06-28 | 2000-06-28 | Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2811112B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022626A (zh) * | 2016-10-04 | 2022-09-06 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和计算机可读记录介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999039308A1 (fr) * | 1998-01-30 | 1999-08-05 | Jiankun Li | Compression et codage de reseau maille tridimensionnel |
| FR2784211A1 (fr) * | 1998-10-02 | 2000-04-07 | France Telecom | Procede de codage d'images fixes ou animees avec reduction et adaptation du debit |
| FR2786590A1 (fr) * | 1998-12-01 | 2000-06-02 | Samsung Electronics Co Ltd | Procede et dispositif de codage/decodage a maillage tridimensionnel pour resilience vis-a-vis des erreurs et rendu incremental |
-
2000
- 2000-06-28 FR FR0008365A patent/FR2811112B1/fr not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999039308A1 (fr) * | 1998-01-30 | 1999-08-05 | Jiankun Li | Compression et codage de reseau maille tridimensionnel |
| FR2784211A1 (fr) * | 1998-10-02 | 2000-04-07 | France Telecom | Procede de codage d'images fixes ou animees avec reduction et adaptation du debit |
| FR2786590A1 (fr) * | 1998-12-01 | 2000-06-02 | Samsung Electronics Co Ltd | Procede et dispositif de codage/decodage a maillage tridimensionnel pour resilience vis-a-vis des erreurs et rendu incremental |
Non-Patent Citations (3)
| Title |
|---|
| ALLIEZ P ET AL: "Mesh coding: application to texture and scalable 3D scene coding", ANNALES DES TELECOMMUNICATIONS, MARCH-APRIL 2000, EDITIONS HERMES, FRANCE, vol. 55, no. 3-4, pages 117 - 130, XP000948704, ISSN: 0003-4347 * |
| LECHAT P ET AL: "Scalable image coding with fine granularity based on hierarchical mesh", VISUAL COMMUNICATIONS AND IMAGE PROCESSING '99, SAN JOSE, CA, USA, 25-27 JAN. 1999, vol. 3653, pt.1-2, Proceedings of the SPIE - The International Society for Optical Engineering, 1998, SPIE-Int. Soc. Opt. Eng, USA, pages 1130 - 1142, XP000862993, ISSN: 0277-786X * |
| LI J ET AL: "PROGRESSIVE CODING OF 3-D GRAPHIC MODELS", PROCEEDINGS OF THE IEEE,US,IEEE. NEW YORK, vol. 86, no. 6, June 1998 (1998-06-01), pages 1052 - 1063, XP000669753, ISSN: 0018-9219 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022626A (zh) * | 2016-10-04 | 2022-09-06 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和计算机可读记录介质 |
| US12483794B2 (en) | 2016-10-04 | 2025-11-25 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12489979B2 (en) | 2016-10-04 | 2025-12-02 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12501167B2 (en) | 2016-10-04 | 2025-12-16 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12506968B2 (en) | 2016-10-04 | 2025-12-23 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12506969B2 (en) | 2016-10-04 | 2025-12-23 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12513405B2 (en) | 2016-10-04 | 2025-12-30 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12520046B2 (en) | 2016-10-04 | 2026-01-06 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12556824B2 (en) | 2016-10-04 | 2026-02-17 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US12556825B2 (en) | 2016-10-04 | 2026-02-17 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2811112B1 (fr) | 2003-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| US10430682B2 (en) | Systems and methods for decoding image files containing depth maps stored as metadata | |
| EP1292921B1 (fr) | Raffinement d'un maillage triangulaire en trois dimensions | |
| EP0547696B1 (fr) | Système de transmission et/ou stockage de signaux correspondant à des images texturées | |
| EP1131789B1 (fr) | Procede de construction d'un modele de scene 3d par analyse de sequence d'images | |
| FR2684829A1 (fr) | Methodes de synthese de signaux de texture et de transmission et/ou stockage de tels signaux, ainsi que dispositifs et systemes pour leur mise en óoeuvre. | |
| EP3939304B1 (fr) | Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues | |
| FR2811112A1 (fr) | Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant | |
| WO2020070409A1 (fr) | Codage et décodage d'une vidéo omnidirectionnelle | |
| EP4140136A1 (fr) | Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues | |
| WO2020260034A1 (fr) | Procede et dispositif de traitement de donnees de video multi-vues | |
| EP1623578B1 (fr) | Procede et systeme pour securiser l embrouillage, le desembrouillage et la distribution de sequences visuelles vectorielles | |
| FR2876821A1 (fr) | Procede de decodage local d'un train binaire de coefficients d'ondelettes | |
| EP2737452B1 (fr) | PROCÉDÉ DE CODAGE D'UNE IMAGE APRÈS REDIMENSIONNEMENT PAR SUPPRESSION DE PIXELS et procédé de transmission d'image entre une entité émettrice et une entité réceptrice | |
| Hayat | Scalable 3D visualization via synchronous data hiding | |
| EP1762068B1 (fr) | Procede d'edition de pages multimedia aupres d'un terminal,avec pre-memorisation de parametres d'objets intervenant dans les scenes | |
| FR2817641A1 (fr) | Procede et dispositif de traitement d'images numeriques | |
| Bailke et al. | A User-Friendly Approach to Object Removal: CGANs and STTN for Enhanced Image and Video Editing. | |
| WO2000002394A1 (fr) | Procede de traitement de donnees video destinees a etre visualisees sur ecran et dispositif mettant en oeuvre le procede | |
| WO2021136895A1 (fr) | Synthese iterative de vues a partir de donnees d'une video multi-vues | |
| FR2851716A1 (fr) | Procede pour la gestion de descriptions d'animations graphiques destinees a etre affichees, recepteur et systeme mettant en oeuvre ce procede. | |
| FR3105687A1 (fr) | Procede d’encodage d’une image numerique en vue de sa compression | |
| Park et al. | Mobile authoring platform and mobile app for high quality stereoscopic contents | |
| Rosen | Improved 3-D scene sampling by camera model design | |
| FR2685599A1 (fr) | Dispositif de transmission et/ou de stockage de signaux correspondant a une ou plusieurs textures dans une image, dispositif de synthese de signaux de texture pour un tel dispositif. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20130228 |