WO1992017983A1 - Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification - Google Patents
Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification Download PDFInfo
- Publication number
- WO1992017983A1 WO1992017983A1 PCT/FR1992/000278 FR9200278W WO9217983A1 WO 1992017983 A1 WO1992017983 A1 WO 1992017983A1 FR 9200278 W FR9200278 W FR 9200278W WO 9217983 A1 WO9217983 A1 WO 9217983A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixels
- labeled
- pixel
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Definitions
- the present invention relates to image processing, in particular to the processing of video images such as television type images.
- the labels giving a correct scene analysis are the labels chosen from those belonging to one of the classes called "normal".
- disappearing means that the image element is also present in the current image but present in the previous image
- the "occluding” label means that the current image contains foreground objects which occlude background areas of a previous image.
- the motion-compensated interpolation makes it possible to reconstruct the moving pixels with precision, problems remain at the level of the pixels appearing or disappearing from one image to another.
- the estimator is disturbed by the presence of such pixels which have no correspondent in the other image.
- the interpolation of the pixels should only be carried out from the input image which contains them, which constitutes a particular procedure which can only be applied if the pixels have been identified.
- the aim of the present invention is to remedy these drawbacks by first proposing a method for classifying the pixels of a current image which make it possible to detect the pixels or image elements appearing and disappearing. 'one image to another in the case where the current image is obtained by temporal projection of the field of movement of the previous image belonging to a sequence of animated images.
- the subject of the present invention is a method of classifying the pixels of a current image t (j + l) obtained by temporal projection of the field of motion of a previous image t (j) belonging to a sequence of moving pictures, the pixels of the previous image having a motion vector and a label, the label belonging to a class defined among at least three classes called "normal”, "occluding” or “appearing", said method being characterized in that : - before projection, all the pixels of the current image t (j + l) are labeled "appearing";
- the labeling is modified taking into account the labeling of the pixels of the image t (j) so that: - if a pixel labeled "appearing" receives a vector-movement, its label becomes "normal";
- the field of movement of the current image t (j + l) is obtained by temporal projection of the movement field of a previous image t (j) as described in patent application N "88 12468 in the name of THOMSON-CSF. Taking into account the label field of the previous image t (j), we obtain for the current image t (j + l) a field of temporal prediction of the movement and a field for predicting labels.
- the present invention also aims to propose a new image interpolation method exploiting the above classification given to pixels.
- the interpolation method is based on an interpolation technique using compensation of the inter-image movement which consists in interpolating the pixels in the direction of their movement from the two frames or input images surrounding them.
- the subject of the present invention is a method of temporal interpolation of image with motion compensation, comprising in particular a phase of estimation of the field of motion and of the label field of an image to be interpolated T (j) from at least two known images t (j), t (j + l) surrounding it, the characteristics of each pixel of the image t (j) being determined from the characteristics of the associated pixels of the images t ( j), tCj +1) each defined by a motion vector and by a label, in which the motion field of the image to be interpolated is defined T (j) by temporal projection of the motion field estimated at the known image t (j +1) obtained using the classification method described above, characterized in that: - before projection, all the pixels of the image to be interpolated T (j) are labeled "holes";
- the above method makes it possible to define the motion field and the label field of the image to be interpolated T (j) using the motion field estimated at the known image t (j + l). Once these elements are known, different methods can be used to interpolate the luminance of the pixels.
- the projection of the motion field of the image t (j) is carried out on the image to be interpolated T (j) using the same method as for the projection of the image t (j + l), but by labeling "disappearing" a pixel "holes" filled by a motion vector;
- FIG. 1 is an exploded view of several successive frames with a dummy frame interspersed between two successive frames to illustrate the time prediction method implemented in the present invention
- FIGS. 2 and 3 are schematic representations illustrating different types of movement between successive frames
- FIG. 4 is a flowchart giving the different steps of the method for performing adaptive interpolation with motion compensation with detection and taking into account of pixel labeling in accordance with the present invention
- FIG. 5 is a diagram explaining the labeling of the pixels of the current image t (j + l) obtained by temporal projection of the motion field of t (j);
- FIG. 6 is a diagram giving the field of movement of the interpolated image, the interpolation being based on the label
- FIG. 7 is a diagram illustrating the interpolation process of T (j) by projection of the motion fields of t (j +1), t (j + 2) and t (j).
- the present invention therefore relates to a method of classifying the pixels of a current image making it possible to reconstruct with precision the moving areas in the image and in particular to determine the zones "appearing" or "disappearing" from one image to another.
- the present invention also relates to a motion compensation interpolation method with this pixel classification taken into account. However, the classification of the pixels is carried out on the pixels of a current image obtained by temporal projection of the field of movement of a previous image belonging to a sequence of animated images.
- point C does not generally correspond to a pixel.
- these "holes” can either be kept as they are, or filled by spatial interpolation of the motion vectors, for example according to the method described in patent application No. 88 12468.
- FIGS. 2 and 3 These figures are two-dimensional views. dimensional simplifications of the image sequences shown in FIG. 1 along the XZ plane.
- a motion vector connects each pixel Pi of the current image t (j) to a point of the previous image t (j- 1) only if it exists at each point of the frame t (j) a corresponding point in the frame t (jl).
- a movement field has been defined for all the pixels of the frame t (j).
- the ideal case of time projection is a bijection of the pixels of the frame t (jl) to those of the frame t (j), each pixel of the frame t (j) having in this case one and only one correspondent in the frame of t (jl).
- this is rarely the case. Indeed, we often observe objects moving in relation to a background.
- a classification of the pixels of each new input image t (j + l) is therefore carried out based on the classification of the pixels of the input image t (j).
- each pixel comprises a motion vector and a label so as to define the estimated motion field and the label field of all the pixels t (j) including for the pixels labeled "appearing".
- the classification of the pixels of t (j) is carried out during the temporal projection onto the frame t (j + l) of the estimated field of motion in t (j), using the procedure described above, namely the temporal projection procedure described in particular in French patent application No. 88 12468.
- a prediction field for the labels of the frame t (j + 1) is formed during the time projection. Before projection, this field is empty and initialized "appearing".
- the motion vectors of the image t (j) are projected one after the other onto t (j + l). If a pixel Pi initially labeled as "appearing" receives a single motion vector of the frame t (j), its label becomes "normal”. If a pixel such as the pixels Po receive two motion vectors projected from the frame t (j), there is a conflict. In this case, it is assumed that two opaque objects have movements that bring them to the current point.
- a motion vector is defined for all the pixels of t (j) and projected onto the frame t (j +1).
- the motion vector defined for the pixels labeled "appearing" in the frame t (j) is not reliable, it is considered that this motion vectors cannot give rise to a pixel labeled "occluding". Consequently, if during the temporal projection of the frame t (j) on the frame t (j + l) there is a conflict between such a vector-movement and another vector-movement labeled "normal” or “occluding ", the motion vector labeled" normal "or” occluding "will be retained with its label.
- Such a motion vector is distinguished from the other motion vectors of the frame t (j), because it is labeled "appearing".
- the temporal projection and the comparison of the vectors movement of the frame t (j) with respect to the frame of t (j + l) is carried out according to the following different cases as illustrated in FIG. 5: - if the pixel of t (j + l) is labeled "appearing", and
- the notion of conflict is taken into account from the first image, even if the field of motion is noisy.
- the noise in the label field is proportional to the noise present in the motion field.
- the field of labels becomes less and less noisy as the field of movement becomes more precise and smoother under the effect of the time prediction.
- the predictive movement field and the label field of the frame t (j + l) using the method described above it is necessary to fill the "holes" remaining in the prediction movement field , that is to say to define a motion vector for the pixels labeled "appearing”, then to carry out the estimation of the motion at any point of the frame t (j + l) and finally the definition of the field of labels for the frame t (j + l).
- the holes can be kept as they are. In this case, the corresponding pixels will not have a motion vector, namely a time predictor.
- the holes can also be filled by spatial interpolation of the motion vectors assigned to the pixels framing the point concerned using, for example, the method described in French patent application No. 88 12468.
- the image t (j + l) a temporal prediction field of the movement.
- the following operation therefore consists in estimating the movement for the pixels of the image t (j + l).
- a new label field for the image t (j + l) is defined in accordance with the present method, taking into account the estimated motion field and the label field obtained during the temporal projection.
- the various labels appearing at this time for the pixels of t (j + l) are the labels "normal”, “occluding", "filled”, “appearing”.
- This pixel classification is based on the motion prediction field.
- the estimated motion field is in principle more precise than the time prediction field, to obtain more precise labels, a comparison is made of the two motion fields for each pixel and the labeling of the pixel is modified if the vectors are very different. In fact, the modification mainly concerns pixels labeled "occluding".
- Image interpolation is used in image processing in particular to carry out a frequency change, for example the passage from the frequency 50Hz to the frequency 60Hz or in high definition television to transmit a maximum of information.
- the first method consists in defining the field of motion of the image to be interpolated T (j) by temporal projection of the field of motion estimated for the current image t (j + l) and using its field of labels with three classes , namely "normal", "appearing” and "occluding". This process will be described in more detail with reference to FIG. 6.
- the classification of the pixels of the image to be interpolated T (j) is carried out during the temporal projection of the field of motion of the current image t (j + l) on the image to be interpolated T (j). Initially, all the points of the image to be interpolated T (j) are labeled "holes".
- the motion vectors of the current image t (j + l) are projected one after the other onto the image to be interpolated T (j) in a known manner. Then the assignment of a label and a motion vector for all the pixels of the image to be interpolated T (j) is carried out as follows:
- the pixel classification and adaptive interpolation are carried out by taking into account only the "non-occluding" ends of the motion vectors on the current images t (j) and t (j + l). .
- This specific process is illustrated more particularly in FIG. 6.
- the field of motion of the image to be interpolated T (j) after filling the holes is median filtered in accordance with the process described in French patent application No. 89 04256, for example Therefore, the pixels of the image to be interpolated T (j) labeled "normal” or "occluding" will be interpolated from the two current images t (j) and t (j + l).
- the two ends of the motion vector are observed by examining the label of each of the four pixels framing each of said ends. These pixels are labeled "occluding", the end considered is called “occluding” and is abandoned unless the ends are in this situation, which cancels their effect, the pixel labeled "hole” on the image to be polished T (j) being interpolated only from the non-oc ends sticky ".
- the identification of the "appearing” and “disappearing” pixels is carried out at the time of the interpolation on the "hole” pixels.
- This information is the most reliable since it has been filtered as described above.
- Another method that can be used in this case is to take into account in addition to the labeling "occluding” the labels “appearing” on the current image t (j + l) and “disappearing” on the current image t (j).
- the pixels of the image to be interpolated T (j) labeled "normal”, or "occluding” are interpolated in a known manner from the current images t (j) and t (j + l).
- the pixels labeled "hole” they are interpolated as follows:
- the pixel is reconstructed from the two ends on the current images t (j + l) and t (j).
- a field of movement is obtained for the image to be interpolated T (j) as well as a field of labels referenced respectively 22 and 23.
- the filling of the holes at 24 is accomplished so as to obtain a new field of motion for the image to be interpolated T (j) at 25.
- This new field of motion originating from 25 as well as the label field from 23, then the label field for the current image t (j + l) from 20, and the label field relating to the current image t (j) from 11 are used to perform an adaptive motion-compensated interpolation giving the image to be interpolated T (j) as referenced by 26 and 27.
- this interpolation method requires a good motion field due to the temporal projection of distant motion fields such as that of the current image t (j) but especially that of the current image t (j + 2), because the errors are growing.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
La présente invention concerne un procédé de classification des pixels d'une image appartenant à une séquence d'images animées ainsi qu'un procédé d'interpolation temporelle d'images utilisant ladite classification. Le procédé de classification des pixels d'une image t(j+1) obtenue par projection temporelle du champ de mouvement d'une image t(j) appartenant à une séquence d'images animées, les pixels de l'image t(j) étant définis par un vecteur-mouvement et par une étiquette, l'étiquette appartenant à une classe telle que 'normal', 'occluant' ou 'apparaîssant', est caractérisé en ce que: avant projection, tous les pixels de t(j) sont étiquetés 'apparaîssant'; puis, lors de la projection temporelle, l'étiquetage est modifié en fonction de l'étiquetage des pixels de t(j) de manière à obtenir un étiquetage selon les trois mêmes classes. Application au traitement d'images télévision.
Description
PROCEDE DE CLASSIFICATION DES PIXELS D'UNE IMAGE ET D' INTERPOLATION TEMPORELLE UTILISANT LADITE CLASSIFICATION.
La présente invention se rapporte au traitement d'images, notamment au traitement d'images vidéo telles que des images de type télévision.
En général, dans le cas d'images vidéo, notamment dans le cas d'images de télévision, on affiche le plus souvent des séquences d'images représentant des scènes en mouvement. De ce fait, le pixel ne doit plus être considéré comme un simpie élément d'image mais plutôt comme un élément d'objet, cet élemen d' objet pouvant évoluer dans l'image au cours du temps, c'est-a- dire apparaître, se déplacer, changer de luminance et/ou dis¬ paraître. Il est donc essentiel de pouvoir prendre en compte ce mouvement au niveau des pixels, ce mouvement étant une cause très fréquente de changement au cours du temps.La prise en compte du mouvement permet donc de traiter efficacement la plupart des situations possibles dans une scène.
Pour réaliser une analyse de scène la plus correcte possible, il est donc important de pouvoir classifier les pixels en leur affectant une étiquette donnant des informations sur l'évolution du mouvement du pixel. Les étiquettes donnant une analyse de scène correcte sont les étiquettes choisies parmi celles appartenant à l'une des classes appelées "normal".
"occluant", "apparaissant" ou "disparaissant". En effet, l'étiquette "normal" signifie que l'élément d'image est présent dans les deux images successives considérées, l'étiquette "apparaissant" signifie que l'élément image est présent dans l'image courante mais absent de l'image précédente. L'étiquette
"disparaissant" signifie que l'élément d'image est aûsent de l'image courante mais présent dans l'image précédente, tandis que l'étiquette "occluant" signifie que l'image courante comporte des objets d'avant plan qui occluent des zones d'arrière plan d'une
image précédente .Ces quatre classes répondent, tout à fait bien, aux différents événements pouvant survenir au niveau du pixel.
Le fait d'affecter une étiquette à chaque pixel d'une image se présente donc comme un complément indispensable à l'estimation de mouvement et à l'interpolation d'images utilisées dans le cadre du traitement des images vidéo, notamment à l'interpolation temporelle d' images comme décrit dans la demande de brevet français N°87 07814 au nom de THOMSON GRAND PUBLIC ou à l'inter¬ polation temporelle d' images à compensation de mouvement corrigé comme décrit dans la demande de brevet français N°8904256 déposé au nom de Thomson Consumer Electronics.
En effet, bien que l'interpolation à compensation de mou¬ vement permette de reconstituer les pixels en mouvement avec précision, des problèmes subsistent au niveau des pixels apparaissant ou disparaissant d'une image à l'autre. En général, l'estimateur est perturbé par la présence de tels pixels qui n'ont pas de correspondant dans l'autre image. D'autre part, l'interpolation des pixels ne devrait s'effectuer qu'à partir de l'image d'entrée qui les contient, ce qui constitue une procédure particulière qui ne peut s'appliquer que si les pixels ont été identifiés.
En conséquence, la présente invention a pour but de remédier à ces inconvénients en proposant, tout d'abord, un procédé de classification des pixels d'une image courante qui permettent de détecter les pixels ou éléments d' image apparaissant et dispa¬ raissant d'une image à l'autre dans le cas où l'image courante est obtenue par projection temporelle du champ de mouvement de l'image précédente appartenant à une séquence d'images animées.
Ainsi, la présente invention a pour objet un procédé de classification des pixels d'une image courante t(j+l) obtenue par projection temporelle du champ de mouvement d'une image pré¬ cédente t(j) appartenant à une séquence d'images animées, les
pixels de l'image précédente possédant un vecteur-mouvement et une étiquette, l'étiquette appartenant à une classe définie parmi au moins trois classes appelées "normal", "occluant" ou "appa¬ raissant", ledit procédé étant caractérisé en ce que : - avant projection, tous les pixels de l'image courante t(j+l) sont étiquetés "apparaissant" ;
- puis, lors de la projection temporelle réalisée de manière connue, l'étiquetage est modifié en tenant compte de l'étiquetage des pixels de l'image t(j) de telle sorte que : - si un pixel étiqueté "apparaissant" reçoit un vecteur-mouvement, son étiquette devient "normal" ;
- si un pixel étiqueté "normal" reçoit un vecteur-mouvement, son étiquette devient "occluant" et on lui affecte le vecteur-mouvement à !DFD! (pour displaced frame différence en langue anglaise) minimale ;
- si un pixel étiqueté "occluant" reçoit un vecteur-mouvement, son étiquette reste "occluant" et on lui affecte le vecteur-mouvement à !DFD! minimale ; et
- si un pixel étiqueté "apparaissant" ne reçoit aucun vecteur-mouvement, il reste étiqueté "apparaissant".
Dans ce cas, le champ de mouvement de l'image courante t(j+l) est obtenue par projection temporelle du champ de mou¬ vement d'une image précédente t(j) comme décrit dans la demande de brevet N"88 12468 au nom de THOMSON-CSF. En prenant en compte le champ d'étiquettes de l'image précédente t(j), on obtient donc pour l'image courante t(j+l) un champ de prédiction temporelle du mouvement et un champ de prédiction d'étiquettes.
La présente invention a aussi pour but de proposer un nouveau procédé d' interpolation d' image exploitant la classification ci-dessus donnée aux pixels. Le procédé d' interpolation est basé sur une technique d' interpolation à
compensation du mouvement inter-image qui consiste à interpoler les pixels dans la direction de leur mouvement à partir des deux trames ou images d'entrée les encadrant.
De tels procédés d' interpolation à compensation de mouvement sont décrits par exemple dans les demandes de brevets français N°87 07814 et N"89 04256.
En conséquence, la présente invention a pour objet un procédé d' interpolation temporelle d' image à compensation de mouvement, comportant notamment une phase d'estimation du champ de mouvement et du champ d'étiquettes d'une image à interpoler T(j) à partir d'au moins deux images connues t(j), t(j+l) l'encadrant, les caractéristiques de chaque pixel de l'image t(j) étant déterminées à partir des caractéristiques des pixels associés des images t(j), tCj +1) définis chacun par un vecteur-mouvement et par une étiquette, dans lequel on définit le champ de mouvement de l'image à interpoler T(j) par projection temporelle du champ de mouvement estimé à l'image connue t(j +1) obtenue en utilisant le procédé de classification décrit ci-dessus, caractérisé en ce que : - avant projection, tous les pixels de l'image à interpoler T(j) sont étiquetés "trous" ;
- puis, au cours de la projection temporelle, l'on examine les étiquettes et les vecteurs-mouvement affectés aux pixels de l'image t(j+l) et l'on donne une étiquette et un vecteur- mouvement au pixel de l'image à interpoler T(j) selon le tableau ci-après :
Le procédé ci-dessus permet de définir le champ de mouvement et le champ d'étiquettes de l'image à interpoler T(j) en utilisant le champ de mouvement estimé à l'image connue t(j+l). Une fois ces éléments connus, différents procédés peuvent être utilisés pour interpoler la luminance des pixels.
La présente invention a aussi pour objet un procédé d' interpolation temporelle basé sur le procédé décrit ci-dessus mais caractérisé en ce que :
- lors de la projection du champ de mouvement de l'image connue t(j+l) sur l'image à interpoler T(j), on ne projette pas le vecteur-mouvement des pixels de l'image t(j+l) étiquetés "apparaissant" ;
- ensuite, on réalise la projection du champ de mouvement de l'image t(j) sur l'image à interpoler T(j) en utilisant le même procédé que pour la projection de l'image t(j+l), mais en étiquetant "disparaissant" un pixel "trous" rempli par un vecteur-mouvement ;
- puis l'on réalise la projection du champ de mouvement d'une
image t(j+2) suivant une image t(j+l) sur l'image à interpoler T(j), en utilisant le même procédé que pour la projection de l'image t(j+l) mais en étiquetant "apparaissant" un pixel "trous" rempli par un vecteur-mouvement de manière à prendre en compte les pixels "apparaissant" et "disparaissant".
D'autres caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description de différents modes de réalisation faite ci-après avec référence aux dessins ci-annexés dans lesquels : - la figure 1 est une vue éclatée de plusieurs trames successives avec une trame fictive intercalée entre deux trames successives pour illustrer le procédé de prédiction temporelle mis en oeuvre dans la présente invention ;
- les figures 2 et 3 sont des représentations schématiques illustrant différents types de déplacement entre trames successives ;
- la figure 4 est un organigramme donnant les différentes étapes du procédé permettant de réaliser une interpolation adaptative à compensation de mouvement avec détection et prise en compte de l'étiquetage des pixels conformément à la présente invention ;
- la figure 5 est un schéma expliquant l'étiquetage des pixels de l'image courante t(j+l) obtenue par projection temporelle du champ de mouvement de t(j) ;
- la figure 6 est un schéma donnant le champ de mouvement de l'image interpolée, l'interpolation étant basée sur l'étiquette
"occluant" sur les images courantes t(j) et t(j+l) ; et
- la figure 7 est un schéma illustrant le procédé d' interpolation de T(j) par projection des champs de mouvement de t(j +1), t(j+2) et t(j). La présente invention concerne donc un procédé de clas¬ sification des pixels d'une image courante permettant de recons¬ tituer avec précision les zones en mouvement dans l' image et
notamment de déterminer les zones "apparaissant" ou "dispa¬ raissant" d'une image à l'autre. La présente invention concerne aussi un procédé d' interpolation à compensation de mouvement avec prise en compte de cette classification des pixels. Toutefois, la classification des pixels est effectuée sur les pixels d'une image courante obtenue par projection temporelle du champ de mouvement d'une image précédente appartenant à une séquence d'images animées. Dans ce cas, la projection temporelle du mouvement est effectuée selon le procédé décrit dans la demande de brevet N°88 12468 et dans la demande de brevet français N°87 07814. En conséquence, nous ne redécrirons pas complètement l'objet de ces deux brevets. Toutefois, l'on décrira brièvement les parties qui concernent la projection temporelle en se référant à la figure 1. La présente invention sera décrite en se référant à des images à format progressif. Toutefois, Ll est évident pour l'homme de l'art d'appliquer le procédé à un format entrelacé en tenant compte des décalages de lignes comme cela est expliqué dans la demande de brevet français N"87 07814. D'autre part, on emploiera ci-après indifféremment le terme "trame" ou "image".
Sur la figure 1, on a représenté, dans un repère orthonormé OXYZ dans lequel l'axe des Z correspond au temps, différentes trames t(j -1), t(j), t(j +1) appartenant à une séquence d'images animées ainsi qu'une trame fictive T(j-l) correspondant à une trame interpolée entre les deux images t(j-l), t(j). Dans ce cas, on part du champ de mouvement calculé pour les pixels de la trame t(j). Ce champ de mouvement est composé par un ensemble de vecteurs-mouvement affectés respectivement à chaque pixel de l'image t(j). Soit D = (DX, DY), le vecteur-mouvement d'un pixel B de la trame ou image t(j), si l'on suppose que le mouvement est linéaire, le vecteur- mouvement du pixel B de coordonnées spa¬ tiales (x,y) peut être attribué au point C de la trame ou image
t(j+l) de coordonnées spatiales xl, yl qui est le point d'impact sur cette image du vecteur-mouvement attribué à B : (xl, yl) = (x + DX, y + DY)
Toutefois, le point C ne correspond en général pas à un pixel. Conformément au procédé décrit dans la demande de brevet français Nβ87 07814, on attribue au pixel P le plus proche du point C, le vecteur-mouvement D. De ce fait, on obtient : D ((P, t(j+D) = D ((B, t(j)), et P = (xp, yp) pixel le plus proche de C. De même, le vecteur-mouvement du pixel B de coordonnées spatiales (x,y) peut aussi être attribué au point C de la trame fictive T(j-l), de coordonnées spatiales (xl' , yl'), ce point C étant le point d'impact sur cette image du vecteur-mouvement attribué à B : (xl' , yl' ) = (x - a.DX, Y - a DY) a < 1 est un facteur prenant en compte la distance relative de la trame t(j) à la trame T(j-l).
De ce fait, le point C ne correspondant généralement pas à un pixel, nous attribuons au pixel P' le plus proche du point C le vecteur-mouvement D :
D (P', T(j-D) = D (B, t(j)), et
P' = (xP' , yP' ) pixel le plus proche de C .
Au cours de cette projection, plusieurs vecteurs-mouvement peuvent être proposés à un même pixel. C'est le cas en analyse d' images,lorsque deux objets se croisent. Nous sommes donc en présence d'un conflit comme expliqué dans la demande de brevet français Nβ88 12468. Dans cette demande de brevet, différentes solutions ont été proposées pour résoudre le conflit. L'une des solutions retenue consiste à comparer les valeurs absolues de la !DFD! (Displaced frame différence en langue anglaise ou dif¬ férence inter-image déplacée). Cette solution sera utilisée dans la présente invention.
Dans le cas de la projection temporelle de l'image courante t(j+l), c'est la différence de luminance entre le pixel P de coordonnées spatiales (xP, yP) sur l'image t(j+l). et le point Qi de coordonnées spatiales (xP - Dxi , yP - Dyi), extrémité sur l'image t(j) du vecteur Di qui donne la ÎDFDI.
En projection temporelle sur la trame fictive T(j-l), c'est la différence de luminance entre les points Q' i et Q"i, extrémités sur les images ou trames t(j) et t(j-l) du vecteur Di passant par P' qui donne cette ÎDFD! appelée !DFDϋ. En cas de conflit, le vecteur sélectionné est celui qui fournit la valeur minimale de !DFDϋ. Si plusieurs vecteurs ont des valeurs !DFDi! égales, on fait en général un choix arbitraire pour affecter un vecteur-mouvement au pixel. D'autre part, une fois la projection de l'ensemble des vecteurs-mouvement terminée, il est possible que certains pixels n'aient pas de vecteurs- mouvement associés, on se trouve alors dans le cas où le champ de mouvement présente des "trous".
Si ce champ de mouvement projeté est utilisé comme prédic- teur temporel, notamment dans un procédé d'estimation de mou- vement d'images, ces "trous" peuvent être soit conservés tels quels, soit remplis par interpolation spatiale des vecteurs- mouvement, par exemple selon le procédé décrit dans la demande de brevet N"88 12468.
Ces "trous" peuvent avoir différentes origines. Ainsi, lorsque l'on réalise un zoom, les objets grossissent et des détails apparaissent. Dans ce cas, les trous peuvent être remplis par une interpolation spatiale. D'autre part, dans des images successives, des zones précédemment cachées peuvent apparaître sur une nouvelle image. Dans ce cas, un simple procédé d' inter- polation spatiale peut conduire, dans certains cas, à des défauts visibles dans l' image, car les vecteurs-mouvement affectés aux pixels de cette zone ne sont pas fiables.
En appliquant le procédé de projection temporelle décrit ci-dessus à l'ensemble des pixels de la trame t(j), on peut obtenir un champ de mouvement tel que représenté schématiquement sur les figures 2 et 3. Ces figures sont des vues bi- dimensionnelles simplifiées des séquences d' images représentées à la figure 1 selon le plan XZ. Comme représenté sur les figures 2 et 3, un vecteur-mouvement relie chaque pixel Pi de l'image courante t(j) à un point de l'image précédente t(j- 1) que si il existe en chaque point de la trame t(j) un point correspondant dans la trame t(j-l). On a, dans ce cas, défini un champ de mou¬ vement pour tous les pixels de la trame t(j). En fait, le cas idéal de la projection temporelle est une bijection des pixels de la trame t(j-l) vers ceux de la trame t(j), chaque pixel de la trame t(j) possédant dans ce cas un et un seul correspondant dans la trame de t(j-l). Dans le cas d'analyse de séquence d'images animées de type télévision, ceci est rarement le cas. En effet, on observe souvent des objets en mouvement par rapport à un fond. Ceci est le cas représenté sur les figures 2 et 3. Il faut alors en général déterminer qu'elle est la place de l'objet par rapport au fond. Dans les images t(j) des figures 2 et 3, les pixels Po reçoivent deux vecteurs-mouvement. Il y a donc conflit et il faut déterminer quel est le vecteur-mouvement qui doit être maintenu, ceci est en général réalisé en calculant la !DFDÎ minimale comme mentionné dans les demandes de brevet antérieures. Ces pixels Po correspondent en fait à un objet d'avant-plan qui passe sur le fond F. Ces pixels Po correspondent donc à une zone "occluant" référencée 0. D'autre part, le fond en mouvement F se retrouve dans les deux images t(j) et t(j-l) par une simple translation comme représenté clairement sur les figures 2 et 3. Toutefois, pour les pixels se trouvant aux limites de l'objet, à savoir les pixels PI dans l'image t(j) ou les pixels P2 dans l'image t(j-l), certains sont recouverts dans l'image t(j) et les autres décou-
verts entre t(j-l) et t(j). Ils correspondent donc à une zone "apparaissant" référencée A ou à une zone "disparaissant" réfé¬ rencée D. D'autre part, si l'on examine l'image T(j-l) à inter¬ poler et si l'interpolation des pixels de cette image est ef- fectuée à partir des deux trames d'entrée encadrantes t(j) et t(j-l), on observe sur l'image interpolée des défauts du type écho au bord des objets. Ces zones sont, en général, mentionnées "trous" et référencées T dans les figures 2 et 3. De plus, comme représenté sur la figure 3, certains vecteurs-mouvement comme ceux des pixels P3 croisent des pixels Po affectés d'un vecteur- mouvement. Il en résulte des difficultés pour déterminer quel est le vecteur-mouvement qui convient aux pixels, c'est-à-dire quel objet est un objet de premier plan. Il en est de même pour les pixels des zones "apparaissant" ou "disparaissant" qui sont des pixels auxquels il est difficile d'affecter un vecteur-mouvement correct.
Or, comme mentionné ci-dessus, lorsqu'on utilise une projection temporelle soit d'une image courante t(j) vers une image courante t(j+l) soit d'une image courante t(j) vers une image à interpoler T(j-l), ces projections sont porteuses d'informations sur les zones dites "occluant", "apparaissant" ou "disparaissant" d'une image à l'autre. En conséquence, la présente invention utilise ces informations notamment pour réaliser l'interpolation d'images. Le fonctionnement du procédé de la présente invention sera décrit maintenant de manière détaillée en se référant aux figures 4 et 5.
Dans la présente invention, on réalise donc une classification des pixels de chaque nouvelle image d'entrée t(j+l) en se basant sur la classification des pixels de l'image d'entrée t(j). En effet, pour l'image d'entrée t(j), chaque pixel comporte un vecteur-mouvement et une étiquette de manière à
définir le champ de mouvement estimé et le champ d'étiquettes de l'ensemble des pixels t(j) y compris pour les pixels étiquetés "apparaissant". La classification des pixels de t(j) s'effectue au cours de la projection temporelle sur la trame t(j+l) du champ de mouvement estimé en t(j), en utilisant la procédure décrite ci-dessus, à savoir la procédure de projection temporelle décrite notamment dans la demande de brevet français N"88 12468.
Selon un premier stade du procédé, on constitue un champ de prédiction des étiquettes de la trame t(j+l) au cours de la pro- jection temporelle. Avant projection, ce champ est vide et ini- tialisé "apparaissant". Conformément à la présente invention, lors de la projection temporelle, les vecteurs-mouvement de l'image t(j), se projettent les uns après les autres sur t(j+l). Si un pixel Pi étiqueté initialement comme "apparaissant" reçoit un seul vecteur- mouvement de la trame t(j), son étiquette devient "normal". Si un pixel tel que les pixels Po reçoivent deux vecteurs-mouvement projetés à partir de la trame t(j), il y a conflit. Dans ce cas, on suppose que deux objets opaques ont des mouvements qui les amènent au point courant. Pour identifier le vecteur-mouvement et l'étiquette qui vont être gardés, on compare les valeurs de !DFD! et l'on retient le vecteur-mouvement à !DFD! minimale et ce pixel est étiqueté "occluant" s'il ne l'est pas déjà. D'autre part, une fois que tous les vecteurs de t(j) ont été projetés, on identifie les pixels qui n'ont reçu aucun vecteur et on les étiquette "apparaissant" après projection temporelle, comme représenté par les pixels PI sur la figure 5. La procédure décrite ci-dessus peut être résumée ainsi :
- un pixel étiqueté "apparaissant" reçoit un vecteur : son étiquette devient "normal" ; - un pixel étiqueté "normal" reçoit un vecteur : son étiquette devient "occluant" ;
- un pixel étiqueté "occluant" reçoit un vecteur : son étiquette
est conservée "occluant".
On obtient donc un champ de mouvement prédictif et un champ d'étiquettes sur t(j+l) qui ne prend pas en compte le champ des étiquettes de t(j). Toutefois, au moment de la projection temporelle de la trame t(j) sur la trame de t(j+l), il est important de prendre en compte les étiquettes des pixels de la trame t(j). En effet, les pixels appartenant à des zones nouvelles dans la trame t(j), à savoir les pixels étiquetés "apparaissant" sur la figure 5, ont peu de chance de posséder un vecteur-mouvement exact. Deux solu¬ tions peuvent être envisagées.
Selon la première solution, aucun vecteur-mouvement n' est défini pour les pixels étiquetés "apparaissant" ou bien le vecteur mouvement est défini mais on ne le projette pas. Dans les deux cas, il est nécessaire de pouvoir identifier ces pixels dans la trame t(j). En conséquence, en cours de projection on va examiner le champ d'étiquettes de la trame t(j) et abandonner les pixels avec une étiquette "apparaissant".
Selon une seconde solution, un vecteur-mouvement est défini pour tous les pixels de t(j) et projeté sur la trame t(j +1). Toutefois, comme le vecteur-mouvement défini pour les pixels étiquetés "apparaissant" dans la trame t(j) n'est pas fiable, on considère que ce vecteurs-mouvement ne peut pas donner naissance à un pixel étiqueté "occluant". En conséquence, si au cours de la projection temporelle de la trame t(j) sur la trame t(j+l) il y a un conflit entre un tel vecteur-mouvement et un autre vecteur- mouvement étiqueté "normal" ou "occluant", le vecteur-mouvement étiqueté "normal" ou "occluant" sera retenu avec son étiquette. On considère dans ce cas qu'il n'y a pas de phénomène d'occlusion et que le conflit est accidentel. La projection de tous les vecteurs-mouvement de la trame t(j) y compris ceux étiquetés "apparaissant" a pour but de combler les zones qui sont apparues
sur la trame t(j) et sont présentes sur la trame t(j+l).
Un tel vecteur-mouvement se distingue des autres vecteurs- mouvement de la trame t(j), car il est étiqueté "apparaissant" . Par contre, pour le distinguer des autres vecteurs-mouvement dans la trame t(j+l), on l'étiquette différemment, soit par exemple "comblé" comme représenté sur la figure 5. Ainsi, la projection temporelle et la comparaison des vecteurs-mouvement de la trame t(j) par rapport à la trame de t(j+l) s'effectue selon les dif¬ férents cas suivants comme illustré sur la figure 5 : - si le pixel de t(j+l) est étiqueté "apparaissant", et
- si le pixel de t(j) est étiqueté "normal" ou "occluant", alors le vecteur-mouvement de ce pixel est associé au pixel de la trame t(j+l) dont l'étiquetage devient "normal".
- mais, si l'étiquette du pixel de t(j) est "apparaissant" , le vecteur-mouvement de t(j) est associé au pixel de t(j+l) dont l'étiquette devient "comblé" ;
- si l'étiquette du pixel de t(j+l) est "normal" ; et
- si l'étiquette du pixel de t(j) est "normal" ou "occluant", alors il y a conflit et l'on compare les vecteurs- mouvement comme mentionné ci-dessus, le vecteur-mouvement retenu est alors "occluant" et l'étiquette du pixel de t(j+l) devient "occluant" ;
- si l'étiquette du pixel de t(j) est "apparaissant", alors on abandonne le vecteur-mouvement qui lui est associé car il est moins pertinent que celui qui est déjà associé au pixel de t(j+l) et l'étiquette de t(j+l) est "normal" ;
- si l'étiquette du pixel de t(j+l) est "comblé" ; et si l'étiquette du pixel de t(j) est "normal" ou "occluant" .alors le vecteur-mouvement de ce pixel remplace l'ancien car il est plus pertinent et l'étiquette du pixel de t(j+l) devient "normal" ;
- si l'étiquette du pixel de t(j) est "apparaissant", alors
on compare les deux vecteurs-mouvement et on sélectionne celui à !DFD! minimale, l'étiquette de t(j+l) reste "comblé" ; - si l'étiquette du pixel de t(j+l) est "occluant" ; et si l'étiquette du pixel de t(j) est "normal" ou "occluant", alors on compare les deux vecteurs-mouvement, on sélectionne celui à !DFD! minimale et l'étiquette de t(j+l) reste "occluant" ;
- si, au contraire, l'étiquette de t(j) est "apparaissant" , alors on ne prend pas en compte le vecteur-mouvement issu de la trame t(j) et la situation reste la même, l'étiquette de t(j+l) reste "occluant".
On obtient donc ainsi en même temps qu'un champ de prédiction temporelle du mouvement un champ de prédiction d'étiquettes pour la trame t(j+l) mentionné "marq-2" sur la figure 4. Les différentes étapes sont résumées dans le tableau 1 ci- après :
Différentes solutions peuvent être envisagées. Pour le remplissage des "trous", en vue de l'estimation du mouvement au niveau de tous les pixels de la trame t(j+l), les "trous" peuvent être conservés tels quels. Dans ce cas, les pixels correspondant ne disposeront pas de vecteur-mouvement à savoir de prédicteur temporel. D'autre part, les trous peuvent aussi être remplis par interpolation spatiale des vecteurs-mouvement affectés aux pixels encadrant le point concerné en utilisant, par exemple, le procédé décrit dans la demande de brevet français N"88 12468.
Une fois cette opération terminée, on dispose pour l'image t(j+l) d'un champ de prédiction temporelle du mouvement. L'opé¬ ration suivante consiste donc à estimer le mouvement pour les pixels de l'image t(j+l). On peut par exemple utiliser l'esti¬ mateur récurslf avec prédiction temporelle décrit dans la demande de brevet français N°88 12468. L'estimateur fournit ainsi un
champ de mouvement estimé pour l'image t(j+l).
Une fois l'estimation de mouvement réalisée, on définit conformément au présent procédé un nouveau champ d'étiquettes pour l'image t(j+l) en tenant compte du champ de mouvement estimé et du champ d'étiquettes obtenus au cours de la projection tem¬ porelle. Les différentes étiquettes apparaissant à ce moment pour les pixels de t(j+l) sont les étiquettes "normal", "occluant", "comblé", "apparaissant". Cette classification des pixels est basée sur le champ de prédiction du mouvement. Comme le champ de mouvement estimé est en principe plus précis que le champ de prédiction temporelle, pour obtenir des étiquettes plus précises, on réalise une comparaison des deux champs de mouvement pour chaque pixel et on modifie l'étiquetage du pixel si les vecteurs sont très différents. En fait, la modification concerne princi- paiement les pixels étiquetés "occluant". En effet, si le vecteur-mouvement d'un pixel donné est modifié de façon impor¬ tante lors de l'estimation du mouvement, on considère que ce vecteur-mouvement était en fait imprécis et que l'étiquetage "occluant" n'était pas fiable. Pour obtenir la bonne information, on observe la différence en valeurabsolue entre le vecteur- mouvement obtenu lors de la prédiction temporelle et le vecteur- mouvement estimé pour chacune des composantes horizontale et verticale : - soit le vecteur prédit Dp = (dxp, dyp) et le vecteur estimé De ≈ (dxe, dye). On calcule alors : diff-x = !dxe - dxp! et diff-y = !dye - dyp!. Si l'une des deux différences diff-x et diff-y est supérieure à un seuil S, l'étiquette associée "occluant" devient "normal".
Si l'on emploie l'estimateur décrit dans le brevet N°89 0673, cette opération de modification de la classification est effectuée après filtrage médian du champ de mouvement et avant projection sur l'image à interpoler T(j).
D'autre part, l'étiquetage "comblé" qui servait à la distinction entre les vecteurs-mouvement projetés issus du rem¬ plissage et les autres, ne sert plus lors de l'estimation de mouvement ou lors de la projection temporelle sur l'image à interpoler T(j). En conséquence, l'étiquette "comblé" sera rem¬ placée par l'étiquette "normal". De ce fait, on obtient pour le champ d'étiquettes de t(j+l) la nouvelle classification :
- si l'étiquette de t(j+l) est "normal", elle reste "normal" ;
- si l'étiquette de t(j+l) est "apparaissant" , elle reste "apparaissant" ;
- si l'étiquette de t(j+l) est "occluant" et si diff-x < S et diff-y < S, l'étiquette reste "occluant", sinon l'étiquette devient "normal" ; et
- si l'étiquette de t(j+l) est "comblé", elle devient "normal". Une fois cette opération réalisée, on dispose donc d'un champ de mouvement estimé pour l'image t(j+l) ainsi qu'un nouveau champ d'étiquettes des pixels de t(j+l) du même type que ceux de l'image d'entrée t(j) ; à savoir un champ d'étiquette à trois classes. Ces deux champs peuvent donc être utilisés en projection temporelle sur l'image à interpoler T(j). Ils peuvent aussi être utilisés dans la projection temporelle vers une image d'entrée suivante t(j+2) selon le procédé décrit ci-dessus pour la projection temporelle de l'image t(j) sur l'image t(j+l).
Il est possible d'envisager d'autres modifications lors des différentes phases décrites ci-dessus. Ainsi, il est possible de ne valider l'étiquette "occluant" que lorsque le pixel que l'on suit le long de la séquence d' images animées a été marqué "occluant" au moins n fois avec n strictement supérieur à 1. Cela nécessite une mise en mémoire de l'ancienneté de l'étiquette "occluant".
Selon une autre modification, au moment de la projection temporelle du champ de mouvement de l'image t(j) sur l'image
t(j+l), il est possible de détecter les zones "disparaissant" de t(j) à t(j+l). Un pixel de l'image t(j) dont le vecteur-mouvement projeté sur l'image t(j+l) se trouve en conflit avec un autre pixel et n'est pas retenu, est alors étiqueté "disparaissant". Dans ce cas, une nouvelle classe est introduite et l'on obtient quatre types d'étiquettes sur l'image t(j), à savoir "normal", "occluant", et "apparaissant", "disparaissant".
On décrira maintenant, plus particulièrement avec référence à la figure 6, l'application du procédé de classification des pixels d'une image courante décrit ci-dessus à l'interpolation temporelle d'une image T(j). L'interpolation d'image est utilisée en traitement d' image notamment pour réaliser un changement de fréquence, par exemple le passage de la fréquence 50Hz à la fréquence 60Hz ou en télévision haute définition pour transmettre un maximum d'informations.
Différents procédés d' interpolation temporelle ont déjà été décrits notamment dans la demande de brevet français N°87 07814 et dans la demande de brevet français N°89 04256. La prise en compte de la classification donnée ci-dessus permet d'améliorer les procédés décrits dans ces demandes de brevet en permettant d'estimer correctement les vecteurs-mouvement affectés aux zones "apparaissant" et "disparaissant" et de déterminer aisément les zones de premier plan croisant celles d'arrière plan d'une image à l'autre. Dans le cas d'une interpolation avec prise en compte des zones "apparaissant" et "disparaissant", il s'agit de définir pour chaque pixel de l'image à interpoler T(j) située entre les images courantes t(j) et t(j+l), son vecteur-mouvement et son étiquette, puis d'en interpoler la luminance en prenant compte ledit vecteur-mouvement et ladite étiquette.
L'image à interpoler T(j) se trouvant entre deux images courantes t(j) et t(j+l) pour lesquelles ont déjà été définis,
comme décrit ci-dessus, un champ de mouvement et un champ d'étiquettes, les étiquettes possibles pour l'image à interpoler T(j) sont les suivantes :
- "normal" : le pixel est présent dans les deux images d'entrée encadrantes t(j) et t(j+l) ; il est donc interpolé à partir des deux extrémités de son vecteur-mouvement sur les images t(j) et t(j+l), en utilisant par exemple le procédé décrit dans la demande de brevet français Nβ8707814 ;
- "apparaissant" : le pixel est présent uniquement dans l'image d'entrée t(j+l), sa luminance est alors égale à la luminance du point d'extrémité de son vecteur-mouvement sur l'image t(j+l), la luminance de ce point pouvant être calculée par interpolation bilinéaire selon le procédé décrit dans la demande de brevet français mentionnée ci-dessus : - "disparaissant" : le pixel est présent uniquement dans l'image d'entrée t(j), sa luminance est alors égale à la luminance du point extrémité de son vecteur-mouvement sur l'image t(j) ; la luminance de ce point peut être calculée par interpolation bilinéaire comme mentionné ci-dessus. Concernant la définition du champ de mouvement de l'image à interpoler T(j), les principales difficultés sont d'estimer correctement les vecteurs dans les zones "apparaissant" et "disparaissant" ainsi que sur les zones de premier plan croisant celles d'arrière plan d'une image à l'autre comme mentionné ci- dessus. Pour obtenir une bonne définition du champ de mouvement de l'image à interpoler T(j), on peut donc exploiter, conformément à la présente invention, la classification des pixels effectuée pour l'image courante t(j+l) comme mentionné ci-dessus. Différents procédés de définition du champ de mouvement et du champ d'étiquettes pour l'image à interpoler T(j) peuvent être utilisés.
Le premier procédé consiste à définir le champ de mouvement de l'image à interpoler T(j) par projection temporelle du champ de mouvement estimé pour l'image courante t(j+l) et en utilisant son champ d'étiquettes à trois classes, à savoir "normal", "apparaissant" et "occluant". Ce procédé sera décrit de manière plus détaillée avec référence à la figure 6. La classification des pixels de l'image à interpoler T(j) s'effectue au cours de la projection temporelle du champ de mouvement de l'image courante t(j+l) sur l'image à interpoler T(j). Initialement, tous les points de l'image à interpoler T(j) sont étiquetés "trous". Puis, les vecteurs-mouvement de l'image courante t(j+l) sont projetés les uns après les autres sur l'image à interpoler T(j) de manière connue. Ensuite l'affectation d'une étiquette et d'un vecteur-mouvement pour tous les pixels de l'image à interpoler T(j) est effectuée de la manière suivante :
- si le pixel de l'image à interpoler T(j) est étiqueté "trou", et
- si le pixel de l'image courante t(j+l) est étiqueté "occluant" et si sa valeur de !DFD! < à seuil, l'étiquette du pixel de T(j) devient "occluant" ; si le pixel de t(j+l) est étiqueté "normal" ou "apparaissant" ou "occluant" et si la valeur !DFD! > à seuil, alors l'étiquette du pixel de T(j) devient "normal" ; - si l'étiquette du pixel de T(j) est "normal", et - si l'étiquette du pixel de t(j+l) est "occluant" et si la valeur !DFD! < à seuil, alors on remplace le vecteur-mouvement déjà attribué au pixel de l'image à interpoler T(j) par le nouveau vecteur qui est "occluant" et la nouvelle étiquette pour le pixel de T(j) devient "occluant" ; - si le pixel de t(j+l) est étiqueté "normal", ou "apparaissant" ou "occluant" et si la valeur !DFD! > à seuil, alors les deux vecteurs-mouvement sont comparés sur la base des
valeurs de !DFD! et l'étiquetage n'est pas modifié, à savoir l'étiquette du pixel de T(j) reste "normal" mais on attribue à ce pixel le vecteur-mouvement à !DFD! minimale ; - si le pixel de T(j) est étiqueté "occluant", et - si le pixel de t(j+l) est étiqueté "occluant" et si sa valeur !DFD! < à seuil, alors les vecteurs-mouvement sont comparés sur la base des valeurs de !DFD! et l'étiquetage n'est pas modifié à savoir l'étiquette du pixel de T(j) reste "occluant" mais on attribue à ce pixel le vecteur-mouvement à !DFD! minimale ;
- si le pixel de t(j+l) est étiqueté "normal" ou "apparaissant" ou "occluant" et si la valeur !DFD! > à seuil, alors on conserve l'ancien vecteur-mouvment et l'étiquetage n'est pas modifié, à savoir l'étiquette du pixel de T(j) reste "occluant".
Ainsi, quand un pixel de l'image à interpoler T(j) reçoit un vecteur de l'image courante t(j+l), on compare tout d'abord leurs étiquettes respectives, puis selon les cas, on compare les valeurs de !DFD! du vecteur de l'image courante t(j+l) projeté et du pixel de l'image à interpoler T(j) recevant ce vecteur. Une fois la projection réalisée, les étiquettes des pixels de l'image à interpoler T(j) appartiennent à l'une des trois classes "normal", "occluant", "trou". Les pixels étiquetés "trou" ne possèdent pas de vecteurs associés. La distinction entre "normal" et "occluant" a donc permis de résoudre les ambiguïtés dues au croisement d'objets entre deux images d'entrée. Cette distinction disparaît donc par la suite. Le procédé décrit ci-dessus a donc essentiellement servi à définir le champ de mouvement des pixels de l'image à interpoler T(j) supposés présents dans les images courantes t(j) et t(j+l). A ce stade, les étiquettes "apparaissant" et "disparaissant" n'existent pas encore dans l'image à interpoler T(j). Ces pixels
sont supposés être présents parmi ceux actuellement étiquetés "trou". On dispose donc d'un champ de mouvement incomplet sur l'image à interpoler T(j). Il faut donc remplir les trous dans le champ de mouvement de l'image à interpoler T(j). Ce remplissage peut être effectué par interpolation spatiale, par exemple selon le procédé décrit dans la demande de brevet français N°88 12468. Une fois cette interpolation spatiale réalisée, chaque pixel de l'image à interpoler T(j) possède un vecteur-mouvement passant par le pixel et dont les extrémités se trouvent sur les deux images courantes t(j) et t(j+l).
Une fois ce remplissage réalisé, on effectue la classi¬ fication des pixels et une interpolation adaptative par une prise en compte uniquement des extrémités "non-occluantes" des vecteurs-mouvement sur les images courantes t(j) et t(j+l). Ce procédé spécifique est illustré plus particulièrement sur la figure 6. Le champ de mouvement de l'image à interpoler T(j) après remplissage des trous est filtré médian conformément au procédé décrit dans la demande de brevet français N"89 04256, par exemple. De ce fait, les pixels de l'image à interpoler T(j) étiquetés "normal" ou "occluant" vont être interpolés à partir des deux images courantes t(j) et t(j+l). En ce qui concerne les pixels étiquetés "trou" sur l'image à interpoler T(j), on observe les deux extrémités du vecteur-mouvement en examinant l'étiquette de chacun des quatre pixels encadrant chacune desdites extré- mités. Si l'un au moins de ces pixels est étiqueté "occluant", l'extrémité considérée est dite "occluante" et est abandonnée à moins que les extrémités soient dans cette situation, ce qui annule leur effet, le pixel étiqueté "trou" sur l'image à inter¬ poler T(j) n'étant interpolé qu'à partir des extrémités "non- occluantes" .
Dans ce cas, on observe pour chacun des vecteurs-mouvement le type du pixel le plus proche des extrémités dans les images
courantes t(j+l) et t(j) :
- si à l'extrémité se trouvant sur l'image t(j+l), l'un des quatre pixels encadrant l'extrémité du vecteur est "occluant" et si au niveau de l'extrémité se trouvant sur l'image t(j) aucun des quatre pixels encadrant l'extrémité du vecteur n'est "occluant", alors on ne reconstruit le vecteur-mouvement du pixel de l'image à interpoler T(j) qu'à partir de l'image courante t(j) ;
- si au niveau de l'extrémité se trouvant sur l'image t(j), l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est
"occluant" et si au niveau de l'extrémité se trouvant sur l'image t(j+l), aucun des quatre pixels encadrant l'extrémité du vecteur-mouvement n'est "occluant", alors on ne reconstruit le vecteur-mouvement de l'image à interpoler T(j) qu'à partir de t(j+l) ;
- si aux deux extrémité du vecteur-mouvement, l'un des quatre pixels encadrant les extrémités des vecteurs-mouvement issus de l'image à interpoler T(j) est "occluant", alors on reconstruit à partir des deux images de manière classique, et - si aux deux extrémités du vecteur, aucun des quatre pixels encadrant n'est "occluant", alors on reconstruit aussi à partir des deux images.
Dans ce cas, l'identification des pixels "apparaissant" et "disparaissant" est réalisée au moment de l'interpolation sur les pixels "trou". On s'appuit donc sur l'étiquetage "occluant" des images t(j) et t(j+l) pour détecter les pixels de l'image à interpoler T(j) "apparaissant" ou "disparaissant". Cette infor¬ mation est la plus fiable car elle a été filtrée comme décrit ci-dessus. D'autre part, il est possible de réaliser aussi un filtrage temporel puisqu'un pixel "occluant" le reste géné¬ ralement sur plusieurs images.
Un autre procédé pouvant être utilisé dans ce cas consiste à
prendre en compte en plus de l'étiquetage "occluant" les étiquettes "apparaissant" sur l'image courante t(j+l) et "disparaissant" sur l'image courante t(j). On dispose dans ce cas des champs d'étiquettes suivants : sur l'image courante t(j+l), les étiquettes "normal", "occluant", "apparaissant", "disparaissant" et sur l'image à interpoler T(j) les étiquettes "normal", "occluant" et "trou".
Comme précédemment, les pixels de l'image à interpoler T(j) étiquetés "normal", ou "occluant" sont interpolés de manière connue à partir des images courantes t(j) et t(j+l). Quand aux pixels étiquetés "trou", ils sont interpolés de la façon suivante :
- si au niveau de l'image courante t(j), l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est "occluant" et aucun n'est "disparaissant", etsi au niveau de l'image courante t(j+l) l'un des quatre pixels encadrant l'extrémité du vecteur- mouvement est "apparaissant", alors on ne reconstruit le pixel de l'image à interpoler T(j) qu'à partir de t(j+l) ;
- si au niveau de l'image à interpoler t(j+l), l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est étiqueté
"occluant" et aucun n'est "apparaissant" et au niveau de l'image courante t(j), l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est étiqueté "disparaissant", alors on ne re¬ construit le pixel de l'image à interpoler T(j) qu'à partir de t(j) ;
- dans tous les autres cas, le pixel est reconstruit à partir des deux extrémités sur les images courantes t(j+l) et t(j).
On décrira maintenant l'ensemble des différentes étapes permettant de réaliser l'interpolation d'une image T(j) par projection temporelle du champ de mouvement de t(j+l) sur l'image à interpoler T(j) en prenant la classification des pixels réalisée sur l'image courante t(j+l) à partir de la
classification des pixels de l'image courante t(j) en se référant notamment à la figure 4. Comme représenté sur cette figure 4, on a en entrée les images t(j) et t(j+l). On connaît le champ de mouvement estimé sur t(j) symbolisé par la référence 10 et le champ d'étiquettes de t(j) symbolisé par la référence 11. Par projection temporelle sur t(j +1), comme représenté en 12, on obtient un champ de mouvement prédictif pour l'image t(j+l) en 13, ainsi qu'un champ d'étiquettes pour t(j+l) en 14. Les informations obtenues en 13 et en 14 sont utilisées pour réaliser le remplissage des trous dans l'image t(j+l) comme représenté par la référence 15. Puis une fois ce remplissage réalisé, on obtient un champ de mouvement prédictif sur l'image courante t(j+l) en 16 qui est utilisé pour réaliser une estimation de mouvement en association avec des informations sur l' image d'entrée t(j), comme représenté par la référence 17. Une fois cette estimation de mouvement réalisée, on dispose du champ de mouvement estimé sur t(j+l) en 18 et les éléments contenus en 18, en 16 et en 14 sont utilisés pour réaliser une modification de l'étiquetage des pixels de t(j+l) comme référencé en 19 de manière à obtenir le champ d'étiquettes de t(j+l) en 20. Ce champ d'étiquettes de t(j+l) ainsi que le champ de mouvement estimé de t(j+l) en 18 sont utilisés en association avec les éléments con¬ cernant l'image d'entrée t(j) pour réaliser une projection tem¬ porelle sur une image à interpoler T(j), comme représenté par la référence 21. Une fois cette projection temporelle réalisée, on obtient un champ de mouvement pour l'image à interpoler T(j) ainsi qu'un champ d'étiquettes référencé respectivement 22 et 23. Dans le champ de mouvement de l'image à interpoler T(j), on réa¬ lise le remplissage des trous en 24 de manière à obtenir un nouveau champ de mouvement pour l'image à interpoler T(j) en 25. Ce nouveau champ de mouvement issu de 25 ainsi que le champ d'étiquettes issu de 23, puis le champ d'étiquettes concernant
l'image courante t(j+l) issu de 20, et le champ d'étiquettes concernant l'image courante t(j) issu de 11 sont utilisés pour réaliser une interpolation adaptative à compensation de mouvement donnant l'image à interpoler T(j) comme référencé par 26 et 27. On décrira maintenant en se référant plus particulièrement à la figure 7, un autre procédé d'interpolation d'une image T(j) par projection des champs de mouvement de trois images courantes t(j+l), t(j+2) et t(j). Dans ce cas, les vecteurs-mouvement des pixels étiquetés "trou" de l'image à interpoler T(j) sont définis par projection temporelle des vecteurs-mouvement t(j) et t(j+2). La nouvelle classe des pixels étiquetés "trou" est directement déduite de cette projection comme représentée clairement sur la figure 7. Dans ce cas, on procède donc de la façon suivante :
-1. Projection du champ de mouvement de l'image courante t(j+l) sur l'image à interpoler T(j) selon le procédé décrit ci-dessus concernant la projection d' image mais sans projeter les vecteurs-mouvement étiquetés "apparaissant" ;
- 2. Projection du champ de mouvement de l'image courante t(j) sur T(j) à l'exception des vecteurs-mouvement étiquetés "apparaissant" . Cette projection est destinée aux pixels étiquetés "trou" uniquement, comme représenté par les pixels P4 sur la figure 7. En conséquence, les vecteurs-mouvement dont le point d'impact est au plus près d'un pixel étiqueté "trou" sont retenus. Lorsqu'un pixel "trou" est ainsi rempli, son étiquette devient "disparaissant" .
- 3. Projection du champ de mouvement de l' image courante t(j+2) sur l'image à interpoler T(j), à l'exception des vecteurs- mouvement étiquetés "apparaissant" .Cette projection est destinée aux pixels encore étiquetés "trou" à la fin de l'étape précédente. En conséquence, les vecteurs-mouvement dont le point d'impact est au plus près d'un pixel étiqueté "trou" tel que le pixel P5 sont retenus. Lorsqu'un pixel étiqueté "trou" est ainsi
rempli, son étiquette devient "apparaissant". On réalise ensuite une interpolation spatiale des vecteurs-mouvement pour les pixels restant sans vecteur-mouvement associé et, dans ce cas, on remplace l'étiquette "trou" par "normal". Puis on réalise une interpolation dans l'ensemble des pixels avec prise en compte de l'étiquette associée de la façon suivante :
- à partir de deux images courantes t(j) et t(j+l) si le pixel est étiqueté "normal" ;
- à partir de l'image courante t(j) uniquement si le pixel est étiqueté "disparaissant" ;
- à partir de l'image courante t(j+l) uniquement si le pixel est étiqueté "apparaissant".
Toutefois, ce procédé d'interpolation nécessite un bon champ de mouvement du fait de la projection temporelle de champs de mouvement lointains tels que celui de1' image courante t(j) mais surtout celui de l'image courante t(j+2), car les erreurs s'amplifient.
Claims
1. Procédé de classification des pixels d'une image courante t(j+l) obtenue par projection temporelle du champ de mouvement d'une image précédente t(j) appartenant à une séquence d'images animées, les pixels de l'image précédente étant définis par un vecteur-mouvement et par une étiquette, l'étiquette appartenant à une classe définie parmi au moins trois classes appelées "normal", "occluant" ou 'apparaissant" , ledit procédé étant caractérisé en ce que :
- avant projection, tous les pixels de l'image courante t(j) sont étiquetés "apparaissant" ;
- puis, lors de la projection temporelle réalisée de manière connue, l'étiquetage est modifié en tenant compte de l'étiquetage des pixels de l'image t(j) de telle sorte que :
- si un pixel étiqueté "apparaissant" reçoit un vecteur-mouvement, son étiquette devient "normal" ;
- si un pixel étiqueté "normal" reçoit un vecteur-mouvement, son étiquette devient "occluant" et on lui affecte le vecteur-mouvement à !DFD! (pour displaced frame différence en langue anglaise) minimale ; - si un pixel étiqueté "occluant" reçoit un vecteur-mouvement, son étiquette reste occluant et on lui affecte le vecteur-mouvement à !DFD! minimale ; et si un pixel étiqueté "apparaissant" ne reçoit aucun vecteur-mouvement, il reste étiqueté "apparaissant".
2. Procédé selon la revendication 1, caractérisé en ce que, au cours de la projection temporelle, l'on examine les étiquettes affectées aux pixels de l'image t(j) et l'on n'affecte pas aux pixels de l'image courante t(j+l), le vecteur-mouvement du pixel de l'image t(j), si celui-ci est étiqueté "apparaissant".
3. Procédé selon la revendication 1, caractérisé en ce que, au cours de la projection temporelle, l'on examine les étiquettes affectées aux pixels de l'image t(j) et l'on étiquette les pixels de l'image courante t(j+l) selon le tableau ci-après dans lequel les pixels de l'image t(j+l) sont affectés d'une étiquette choisie parmi les classes "apparaissant", "normal", "occluant" et "comblé" :
4. Procédé selon l'une quelconque des revendications 2 et 3, caractérisé en ce que le vecteur-mouvement d'un pixel de l'image courante t(j+l) affecté d'une étiquette "apparaîsant" est obtenu par interpolation spatiale des vecteurs-mouvement de son voisinage.
5. Procédé selon la revendication 4, caractérisé en ce que le vecteur-mouvement d'un pixel de l'image courante t(j+l) affecté d'une étiquette "apparaissant" est obtenue en faisant la moyenne des vecteurs-mouvement des pixels qui font partie de son voisinage spatial sans tenir compte des pixels étiquetés "apparaissant" .
6. Procédé de modification des étiquettes affectées aux pixels de l'image t(j+l), chaque pixel étant défini par un vecteur-mouvement et une étiquette obtenus en utilisant le procédé selon l'une quelconque des revendications 1 à 5, de telle sorte que l'on dispose pour l'image t(j+l) d'un champ de prédiction temporelle de mouvement, caractérisé en ce que, dans une première étape, on estime le mouvement pour tous les pixels de l'image t(j+l) de manière à obtenir un champ de mouvement estimé puis pour chaque pixel, on compare le champ de prédiction de mouvement et le champ de mouvement estimé de manière à modifier éventuellement les étiquettes affectées aux pixels de l'image t(j+l) selon la procédure ci-après : - si l'étiquette est "normal", elle reste "normal" ;
- si l'étiquette est "apparaissant", elle reste "apparaissant" ;
- si l'étiquette est "comblé" elle devient "normal" ;
- si l'étiquette est "occluant", on calcule pour chacune des composantes horizontales et verticales du vecteur-mouvement prédit et du vecteur-mouvement estimé leur différence et si l'une des différences est supérieure à un seuil, l'étiquette devient "normal" sinon elle reste "occluant".
7. Procédé selon la revendication 6, caractérisé en ce que l'étiquette "occluant" n'est validée que lorsque le pixel suivi le long de la séquence d'images a été marqué "occluant" au moins N fois avec N > 1.
8. Procédé selon la revendication 1, caractérisé en ce que, si lors de la projection temporelle du champ de mouvement de l'image précédente t(j) sur l'image courante t(j+l), le vecteur-mouvement projeté sur l'image courante t(j+l) d'un pixel de l'image précédente t(j) se trouve en conflit avec un autre vecteur et n'est pas retenu, alors le pixel de l'image t(j) est étiqueté "disparaissant".
9. Procédé d'interpolation temporelle d'images à compensation de mouvement, comportant notamment une phase d'estimation du champ de mouvement et du champ d'étiquettes d'une image à interpoler T(j) à partir d'au moins deux images connues t(j), t(j+l) l'encadrant, les caractéristiques de chaque pixel de l'image T(j) étant déterminées à partir des caractéristiques des pixels associés des images t(j), t(j+l) définis chacun par un vecteur-mouvement et par une étiquette, dans lequel on définit le champ de mouvement de l'image à interpoler T(j) par projection temporelle du champ de mouvement estimé à l'image connue t(j+l) en utilisant les procédés selon l'une quelconque des revendications 1 à 8, caractérisé en ce que
- avant projection, tous les pixels de l'image à interpoler T(j) sont étiquetés "trous" ;
- puis au cours de la projection temporelle, l'on examine les étiquettes et les vecteurs-mouvement affectés aux pixels de l'image t(j+l) et l'on donne une étiquette et un vecteur-mouvement aux pixels de l'image à interpoler T(j) selon le tableau ci-après :
10. Procédé selon la revendication 9, caractérisé en ce que, une fois la projection temporelle du champ de mouvement de l'image t(j+l) réalisée, les pixels de l'image à interpoler T(j) étiquetés "trous" reçoivent un vecteur-mouvement obtenu de manière connue par interpolation spatiale.
11. Procédé selon les revendications 9 et 10, caractérisé en ce que les pixels de l'image T(j) étiquetés "normal" ou "occluant" sont interpolés à partir des deux images l'encadrant t(j) et t(j+l), tandis que les pixels de l'image T(j) étiquetés "trous" sont interpolés en examinant l'étiquette de chacun des quatre pixels encadrant les deux extrémités du vecteur-mouvement sur les images t(j) et t(j+l), de telle sorte que :
- si, sur l'image t(j+l), au moins l'un des quatre pixels enca¬ drant l'extrémité du vecteur-mouvement est étiqueté "occluant" et si, sur l'image t(j) aucun des quatre pixels encadrant l'extré¬ mité du vecteur-mouvement n'est étiqueté "occluant", on ne construit la luminance du pixel de l'image T(j) qu'à partir de l' image t(j) ;
- si sur l'image t(j), au moins l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est étiqueté "occluant" et si sur l'image t(j+l) aucun des quatre pixels encadrant l'extrémité du vecteur-mouvement n'est étiqueté "occluant", on ne reconstruit la luminance du pixel de l'image T(j) qu'à partir de l'image t(j+l) ; - si, aux deux extrémités du vecteur-mouvement, au moins l'un des quatre pixels est étiqueté "occluant" ou aucun pixel n'est étiqueté "occluant", on reconstruit la luminance du pixel de l'image T(j) à partir des deux images.
12. Procédé selon les revendications 9 et 10, caractérisé en ce que les pixels de l'image T(j) étiqueté "normal" ou "occluant" sont interpolés à partir des deux images l'encadrant t(j) et t(j+l) tandis que les pixels de l'image T(j) étiquetés "trous" sont interpolés en examinant l'étiquette de chacun des quatre pixels encadrant les deux extrémités du vecteur-mouvement sur les images t(j) et t(j+l), de telle sorte que : - si, sur l'image t(j), l'un des quatre pixels encadrant l'extré¬ mité du vecteur-mouvement est étiqueté "occluant" et aucun n'est "disparaissant", etsi sur l'image t(j+l) l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est étiqueté "appa¬ raissant" , on ne reconstruit la luminance du pixel de l'image T(j) qu'à partir de l'image t(j+l) ;
- si, sur l'image t(j+l), l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est étiqueté "occluant" et aucun n'est "apparaisant" et si sur l'image t(j) l'un des quatre pixels encadrant l'extrémité du vecteur-mouvement est étiqueté "dispa- raissant" , on ne reconstruit la luminance du pixel de l'image T(j) qu'à partir de l'image t(j) ;
- dans les autres cas, la luminance du pixel de l'image T(j) est reconstruite à partir des images t(j+l) et t(j).
13. Procédé d' interpolation temporelle selon la revendication 9, caractérisé en ce que :
- lors de la projection du champ de mouvement de l'image connue t(j+l) sur l'image à interpoler T(j), on ne projette pas le vecteur-mouvement des pixels de l'image t(j+l) étiquetés "apparaissant" ; - ensuite, l'on réalise la projection du champ de mouvement de l'image t(j) sur l'image à interpoler T(j), en utilisant le même procédé que pour la projection de l'image t(j+l) un pixel "trou" rempli par un vecteur-mouvement étant étiqueté "disparaissant" ;
- puis, l'on réalise la projection du champ de mouvement d'une image t(j+2) suivant une image t(j+l) sur l'image à interpoler
T(j), en utilisant le même procédé que pour la projection de l'image t(j+l), mais en étiquetant un pixel trou rempli par un vecteur-mouvement "apparaissant" de manière à prendre en compte les pixels "apparaissant" et "disparaissant".
14. Procédé selon la revendication 13, caractérisé en ceque le vecteur-mouvement d'un pixel de l'image à interpoler T(j) affecté d'une étiquette "trou" est calculé par interpolation spatiale et le pixel est affecté d'une étiquette "normal".
15. Procédé selon l'une quelconque des revendications 13 et 14, caractérisé en ce que :
- les pixels de l'image T(j) étiquetés "normal" sont interpolés à partir des deux images l'encadrant t(j) et t(j+l) ;
- les pixels de l'image T(j) étiquetés "disparaissant" sont interpolés à partir de l'image t(j), et
- les pixels de l'image T(j) étiquetés "apparaissant" sont interpolés à partir de l'image t(j+l).
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE69222251T DE69222251T2 (de) | 1991-04-05 | 1992-03-27 | Verfahren zur Pixel-Klassifizierung in einem Bild und zur temporalen Interpolation unter Verwendung dieser Klassifizierung. |
| US07/946,371 US5394196A (en) | 1991-04-05 | 1992-03-27 | Method of classifying the pixels of an image belonging to a sequence of moving images and method of temporal interpolation of images using the said classification |
| EP92908688A EP0533888B1 (fr) | 1991-04-05 | 1992-03-27 | Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification |
| JP50770292A JP3640257B2 (ja) | 1991-04-05 | 1992-03-27 | 動画像の画素を分類して画素の動きベクトルの予測フィールドを決定する方法 |
| KR1019920703104A KR100236143B1 (en) | 1991-04-05 | 1992-12-05 | Method of classifying pixels in an image and temporal interpolation using the classification obtained |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR91/04164 | 1991-04-05 | ||
| FR9104164A FR2675002B1 (fr) | 1991-04-05 | 1991-04-05 | Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO1992017983A1 true WO1992017983A1 (fr) | 1992-10-15 |
Family
ID=9411519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/FR1992/000278 Ceased WO1992017983A1 (fr) | 1991-04-05 | 1992-03-27 | Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US5394196A (fr) |
| EP (1) | EP0533888B1 (fr) |
| JP (1) | JP3640257B2 (fr) |
| KR (1) | KR100236143B1 (fr) |
| AT (1) | ATE158459T1 (fr) |
| DE (1) | DE69222251T2 (fr) |
| ES (1) | ES2109353T3 (fr) |
| FR (1) | FR2675002B1 (fr) |
| WO (1) | WO1992017983A1 (fr) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2265783A (en) * | 1992-04-01 | 1993-10-06 | Kenneth Stanley Jones | Bandwidth reduction employing a DATV channel |
| FR2700090A1 (fr) * | 1992-12-30 | 1994-07-01 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
| FR2702915A1 (fr) * | 1993-03-16 | 1994-09-23 | Thomson Csf | Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . |
| EP0635978A4 (fr) * | 1992-12-10 | 1995-04-19 | Sony Corp | Convertisseur de signal-image. |
| EP0774735A1 (fr) * | 1995-11-20 | 1997-05-21 | Commissariat A L'energie Atomique | Procédé de structuration d'une scène au sens du mouvement apparent et de la profondeur |
| US9247268B2 (en) | 2009-03-06 | 2016-01-26 | Thomson Licensing | Method for predicting a block of image data by verifying condition relating temporal variation between image data of reference block and prediction block of previous reference block, decoding and coding devices implementing said method |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4405803C2 (de) * | 1994-02-23 | 1997-04-30 | Bosch Gmbh Robert | Verfahren zur Quellcodierung |
| GB2305569B (en) * | 1995-09-21 | 1999-07-21 | Innovision Res Ltd | Motion compensated interpolation |
| US6008851A (en) * | 1996-05-23 | 1999-12-28 | The Regents Of The University Of California | Method and apparatus for video data compression |
| KR100598754B1 (ko) * | 1996-07-17 | 2006-10-24 | 소니 가부시끼 가이샤 | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 |
| US6339616B1 (en) * | 1997-05-30 | 2002-01-15 | Alaris, Inc. | Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding |
| US6480632B2 (en) * | 1998-12-03 | 2002-11-12 | Intel Corporation | Method and apparatus to interpolate video frames |
| CA2279797C (fr) | 1999-08-06 | 2010-01-05 | Demin Wang | Methode d'interpolation temporelle d'une sequence d'images au utilisant une analyse d'image fondee sur les objets |
| AU2001227068A1 (en) * | 2000-01-20 | 2001-07-31 | Kyowa Hakko Kogyo Co. Ltd. | Method of detecting or quantifying environmental hormones |
| US6633612B2 (en) | 2000-12-13 | 2003-10-14 | Genesis Microchip Inc. | Method and apparatus for detecting motion between odd and even video fields |
| JP4596201B2 (ja) * | 2001-02-01 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
| JP4596219B2 (ja) * | 2001-06-25 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US6990147B2 (en) * | 2001-10-23 | 2006-01-24 | Thomson Licensing | Generating a non-progressive dummy bidirectional predictive picture |
| AU2003201114A1 (en) * | 2002-02-05 | 2003-09-02 | Koninklijke Philips Electronics N.V. | Estimating a motion vector of a group of pixels by taking account of occlusion |
| JP4053490B2 (ja) * | 2003-03-25 | 2008-02-27 | 株式会社東芝 | フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置 |
| KR100657261B1 (ko) * | 2003-12-10 | 2006-12-14 | 삼성전자주식회사 | 적응적 움직임 보상 보간 방법 및 장치 |
| CN103826133B (zh) * | 2004-05-04 | 2017-11-24 | 高通股份有限公司 | 运动补偿帧速率上调方法和设备 |
| WO2006007527A2 (fr) * | 2004-07-01 | 2006-01-19 | Qualcomm Incorporated | Procede et systeme utilisant des techniques de conversion-elevation de frequences de trames dans un codage video scalaire |
| KR20070044455A (ko) * | 2004-07-20 | 2007-04-27 | 콸콤 인코포레이티드 | 비디오 압축에 대한 인코더 보조-프레임 레이트 업컨버젼(ｅａ-ｆｒｕｃ)을 위한 방법 및 장치 |
| WO2006012382A1 (fr) * | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Procede et appareil d'elevation de la frequence de trames presentant de multiples trames de reference et des longueurs de bloc variable |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US8634463B2 (en) * | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8750387B2 (en) * | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| EP1855474A1 (fr) | 2006-05-12 | 2007-11-14 | Sony Deutschland Gmbh | Méthode pour générer une image interpolée entre deux images d'une séquence d'images |
| US7990476B2 (en) * | 2007-09-19 | 2011-08-02 | Samsung Electronics Co., Ltd. | System and method for detecting visual occlusion based on motion vector density |
| US8295364B2 (en) * | 2009-04-02 | 2012-10-23 | Sony Corporation | System and method of video data encoding with minimum baseband data transmission |
| TR200909120A2 (tr) * | 2009-12-04 | 2011-06-21 | Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. | Hareket vektör alani yeni̇den zamanlandirma yöntemi̇@ |
| EP2602997B1 (fr) | 2011-12-07 | 2015-12-02 | Thomson Licensing | Procédé et appareil pour le traitement d'occlusions dans l'estimation du mouvement |
| KR101908388B1 (ko) * | 2012-07-19 | 2018-10-17 | 삼성전자 주식회사 | 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법 |
| US20180342092A1 (en) * | 2017-05-26 | 2018-11-29 | International Business Machines Corporation | Cognitive integrated image classification and annotation |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2637100A1 (fr) * | 1988-09-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5214751A (en) * | 1987-06-04 | 1993-05-25 | Thomson Grand Public | Method for the temporal interpolation of images and device for implementing this method |
-
1991
- 1991-04-05 FR FR9104164A patent/FR2675002B1/fr not_active Expired - Fee Related
-
1992
- 1992-03-27 US US07/946,371 patent/US5394196A/en not_active Expired - Lifetime
- 1992-03-27 WO PCT/FR1992/000278 patent/WO1992017983A1/fr not_active Ceased
- 1992-03-27 EP EP92908688A patent/EP0533888B1/fr not_active Expired - Lifetime
- 1992-03-27 JP JP50770292A patent/JP3640257B2/ja not_active Expired - Fee Related
- 1992-03-27 AT AT92908688T patent/ATE158459T1/de not_active IP Right Cessation
- 1992-03-27 ES ES92908688T patent/ES2109353T3/es not_active Expired - Lifetime
- 1992-03-27 DE DE69222251T patent/DE69222251T2/de not_active Expired - Fee Related
- 1992-12-05 KR KR1019920703104A patent/KR100236143B1/ko not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2637100A1 (fr) * | 1988-09-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
Non-Patent Citations (4)
| Title |
|---|
| BBC Research Department Report, no. 11, septembre 1987, (Tadworth, GB), G.A. THOMAS: "Television motion measurement for DATV and other applications", pages 1-20, voir figure 19; alinéa 4.2.3 * |
| Frequenz, vol. 43, no. 5, mai 1989, (Berlin, DE), M. GILGE et al.: "Codierung von farbigen Bewegtbildszenen mit 64 kbit/s - Ein neuer Ansatz zur Verwirklichung eines Bildtelefons im ISDN (Teil III)", pages 126-133, voir page 130, colonne de gauche, ligne 9 - colonne de droite, ligne 2; figure 49 * |
| IEEE Transactions on Communications, vol. 37, no. 12, décembre 1989, (New York, US), S.C. BROFFERIO: "An object-background image model for predictive video coding", pages 1391-1394, voir abrégé; alinéa II; figure 1; page 1394, colonne de gauche, lignes 4-15 * |
| Signal Processing, vol. 15, no. 3, octobre 1988, (Amsterdam, NL), M. HÖTTER et al.: "Image segmentation based on object oriented mapping parameter estimation", pages 315-334, voir alinéa 2.3: figure 5 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2265783A (en) * | 1992-04-01 | 1993-10-06 | Kenneth Stanley Jones | Bandwidth reduction employing a DATV channel |
| GB2265783B (en) * | 1992-04-01 | 1996-05-29 | Kenneth Stanley Jones | Bandwidth reduction employing a classification channel |
| EP0635978A4 (fr) * | 1992-12-10 | 1995-04-19 | Sony Corp | Convertisseur de signal-image. |
| US5666164A (en) * | 1992-12-10 | 1997-09-09 | Sony Corporation | Image signal converting apparatus |
| FR2700090A1 (fr) * | 1992-12-30 | 1994-07-01 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
| WO1994016522A1 (fr) * | 1992-12-30 | 1994-07-21 | Thomson-Csf | Procede de desentrelacement de trames d'une sequence d'images animees |
| FR2702915A1 (fr) * | 1993-03-16 | 1994-09-23 | Thomson Csf | Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . |
| EP0774735A1 (fr) * | 1995-11-20 | 1997-05-21 | Commissariat A L'energie Atomique | Procédé de structuration d'une scène au sens du mouvement apparent et de la profondeur |
| FR2741499A1 (fr) * | 1995-11-20 | 1997-05-23 | Commissariat Energie Atomique | Procede de structuration d'une scene au sens du mouvement apparent et de la profondeur |
| US9247268B2 (en) | 2009-03-06 | 2016-01-26 | Thomson Licensing | Method for predicting a block of image data by verifying condition relating temporal variation between image data of reference block and prediction block of previous reference block, decoding and coding devices implementing said method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05508048A (ja) | 1993-11-11 |
| KR100236143B1 (en) | 1999-12-15 |
| DE69222251D1 (de) | 1997-10-23 |
| FR2675002B1 (fr) | 1993-06-18 |
| ATE158459T1 (de) | 1997-10-15 |
| EP0533888A1 (fr) | 1993-03-31 |
| EP0533888B1 (fr) | 1997-09-17 |
| JP3640257B2 (ja) | 2005-04-20 |
| DE69222251T2 (de) | 1998-01-22 |
| FR2675002A1 (fr) | 1992-10-09 |
| KR930701055A (ko) | 1993-03-16 |
| ES2109353T3 (es) | 1998-01-16 |
| US5394196A (en) | 1995-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0533888B1 (fr) | Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification | |
| EP0316231B1 (fr) | Procédé et dispositif de traitement de signaux d'image à balayage de trame entrelacé | |
| EP0321356B1 (fr) | Procédé d'estimation multi prédictif du mouvement des points d'une image électronique | |
| Riemens et al. | Multistep joint bilateral depth upsampling | |
| EP0360698A1 (fr) | Procédé et dispositif d'estimation de mouvement dans une séquence d'images animées | |
| US20060082575A1 (en) | Method for post-processing a 3d digital video signal | |
| EP0390660A1 (fr) | Procédé et dispositif d'interpolation temporelle d'images, à compensation de mouvement corrigée | |
| US20140198852A1 (en) | Method for stabilizing a first sequence of digital image frames and image stabilization unit | |
| KR20090071624A (ko) | 이미지 개선 | |
| EP1865717A1 (fr) | Détecteur de phase de mouvement par regions | |
| FR2742900A1 (fr) | Procede d'interpolation de trames progressives | |
| FR2700090A1 (fr) | Procédé de désentrelacement de trames d'une séquence d'images animées. | |
| US20120229603A1 (en) | Efficient coding of depth transitions in 3d (video) | |
| EP0568694B1 (fr) | Procede d'estimation et de codage hierarchise du mouvement de sequences d'images | |
| Varekamp et al. | Improved depth propagation for 2D to 3D video conversion using key-frames | |
| FR2717027A1 (fr) | Procédé de conversion de format de séquences d'images présentes dans un premier réseau de points d'image, en un second réseau de points d'image. | |
| EP1042919B1 (fr) | Procede et dispositif de generation d'image statique | |
| FR3083902A1 (fr) | Debruitage spatio-temporel de contenus video base sur des indices de confiance | |
| US7110453B1 (en) | Motion or depth estimation by prioritizing candidate motion vectors according to more reliable texture information | |
| EP0780794B1 (fr) | Procédé de correction d'estimation de mouvement dans des images à structures périodiques | |
| FR2813485A1 (fr) | Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant | |
| EP0961227B1 (fr) | Procédé de détection de la profondeur relative entre deux objects dans une scène à partir d'un couple d'images issues de prises de vues différentes | |
| EP0722251A1 (fr) | Procédé d'interpolation d'images | |
| KR100695030B1 (ko) | 정지 화상 생성 방법 및 장치 | |
| US20080144716A1 (en) | Method For Motion Vector Determination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 1992908688 Country of ref document: EP |
|
| AK | Designated states |
Kind code of ref document: A1 Designated state(s): JP KR US |
|
| AL | Designated countries for regional patents |
Kind code of ref document: A1 Designated state(s): AT BE CH DE DK ES FR GB GR IT LU MC NL SE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 1019920703104 Country of ref document: KR |
|
| WWP | Wipo information: published in national office |
Ref document number: 1992908688 Country of ref document: EP |
|
| WWG | Wipo information: grant in national office |
Ref document number: 1992908688 Country of ref document: EP |