FR2880455A1 - Methode et dispositif de segmentation d'une image - Google Patents
Methode et dispositif de segmentation d'une image Download PDFInfo
- Publication number
- FR2880455A1 FR2880455A1 FR0550060A FR0550060A FR2880455A1 FR 2880455 A1 FR2880455 A1 FR 2880455A1 FR 0550060 A FR0550060 A FR 0550060A FR 0550060 A FR0550060 A FR 0550060A FR 2880455 A1 FR2880455 A1 FR 2880455A1
- Authority
- FR
- France
- Prior art keywords
- contour
- point
- color
- points
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
L'invention concerne un dispositif et un procédé de segmentation d'objets dans une image. Le procédé comprend les étapes de- définition approximative d'un contour extérieur de l'objet à segmenter, ledit contour comprenant une pluralité de points dits de contrôle (Vi),- détermination d'un voisinage de points candidats (Vi,j) au voisinage de chaque point de contrôle (Vi),- détermination d'une énergie associée à chaque point candidat (Vi,j) du voisinage de chaque point de contrôle,- convergence de chacun des points de contrôle (Vi) vers le point candidat (Vi,j) qui minimise ladite énergie fournissant ainsi un contour estimé de l'objet à segmenter,Selon l'invention, l'énergie associée à chaque point candidat (Vi,j) comprend un terme de discrimination de couleur.
Description
L'invention concerne un dispositif et une méthode de segmentation
d'images.
La segmentation d'objets dans des images par analyse automatique d'images est en général d'une très grande complexité, insoluble en l'absence de l'assistance d'un opérateur humain. La raison en est qu'il n'existe pas de critère universel au niveau de l'image permettant de caractériser l'objet et de le séparer de son environnement, un objet sémantique étant susceptible d'être constitué de plusieurs régions de couleurs et de textures très différentes.
La segmentation d'objets sémantiques trouve diverses applications dans des domaines très variés et notamment: - en post-production de films, afin d'effectuer des corrections de couleur limitées à des objets, ou d'isoler un objet dans une séquence afin de l'incruster dans une autre séquence, en codage vidéo, afin d'améliorer le taux de compression en codant l'objet dans une seule trame puis en ne transmettant que ses variations de position, - en indexation vidéo, afin d'extraire des informations sémantiquement pertinentes sur le contenu des images.
On connaît des méthodes de segmentation d'objets sémantiques basées sur le formalisme des contours actifs ( snakes en anglais), qui consistent à faire évoluer une approximation initiale du contour de l'objet en s'accrochant sur des fronts de l'image, tout en satisfaisant des contraintes de régularité de la courbe de contour.
On connaît également des méthodes de segmentation d'objets basées sur la couleur, effectuant une classification des pixels de l'image ou d'une région de l'image en pixels de l'objet et pixels de l'arrière-plan sur la base de 30 leur localisation dans un espace couleur.
La présente invention propose une méthode basée sur les contours actifs et prenant en compte également une contrainte de discrimination de couleur entre l'objet à segmenter et l'arrière-plan.
A cet effet, la présente invention propose un procédé de segmentation d'objets dans une image comprenant les étapes de -définition approximative d'un contour extérieur de l'objet à 5 segmenter, le contour comprenant une pluralité de points dits de contrôle, -détermination d'un voisinage de points candidats au voisinage de chaque point de contrôle, - détermination d'une énergie associée à chaque point candidat du 10 voisinage de chaque point de contrôle, - convergence de chacun des points de contrôle vers le point candidat qui minimise l'énergie fournissant ainsi un contour estimé de l'objet à segmenter, Selon l'invention, l'énergie associée à chaque point candidat comprend 15 un terme de discrimination de couleur.
De cette manière, le terme d'énergie est plus robuste et les résultats obtenus permettent de parvenir à une segmentation de l'objet très proche du contour réel de l'objet comparé aux méthodes existantes qui n'utilisent pas de discrimination de couleur.
Selon un mode préféré de réalisation., le procédé comprend une étape de calcul automatique d'un contour inscrit au contour estimé et d'un contour circonscrit au contour estimé, de telle sorte que le contour inscrit soit intérieur à l'objet à segmenter et que le contour circonscrit soit extérieur à l'objet à segmenter.
Selon un mode préféré de réalisation, le procédé comprend une étape de classification en deux régions des pixels situés dans l'espace compris entre le contour inscrit et le contour circonscrit, les pixels dont la couleur est plus proche de la distribution des couleurs de l'objet que de la distribution des couleurs du fond au voisinage de l'objet étant étiquetés objet et les autres pixels étant étiquetés fond.
Selon un mode préféré de réalisation, le procédé comprend une étape d'étiquetage des points candidats de chaque point de contrôle du contour estimé, l'étiquette identifiant si chaque point candidat est intérieur au contour estimé ou extérieur au contour estimé.
Selon un mode préféré de réalisation, le procédé comprend une étape de comptage des pixels pour chaque point candidat dans le voisinage de chaque point de contrôle du nombre de points NI et N2 définis ainsi: - N, est le nombre de points étiquetés comme intérieur au contour estimé et dont la couleur est étiquetée objet, - N2 est le nombre de points étiquetés comme extérieur au contour estimé et dont la couleur est étiquetée fond.
Selon un mode préféré de réalisation, l'énergie associée à chaque point candidat est constituée d'une pondération, outre du terme de discrimination de couleur, d'un terme de gradient attirant le contour approximatif dessiné par l'utilisateur vers les fronts de l'image, d'un terme de tension minimisant la longueur du contour et d'un terme de régularisation de second ordre minimisant les courbures trop prononcées.
Selon un mode préféré de réalisation, la minimisation du terme d'énergie relative au terme de discrimination de couleur consiste à sélectionner pour chaque point de contrôle le point candidat du voisinage du point de contrôle pour lequel la somme NI + N2 est minimale.
L'invention concerne égalernent un dispositif de segmentation d'objets dans une image comprenant des moyens de - définition approximative d'un contour extérieur, le contour comprenant une pluralité de points dits de contrôle, - détermination d'un voisinage de points candidats au voisinage de chaque point de contrôle, - détermination d'une énergie associée à chaque point candidat du voisinage de chaque point de contrôle, convergence de chacun des points de contrôle vers le point candidat qui minimise l'énergie fournissant ainsi un contour estimé de l'objet à segmenter, Selon l'invention, l'énergie associée à chaque point candidat comprend un terme de discrimination de couleur.
L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles: la figure 1 représente une vue du contour actif et du contour vrai de l'objet que l'on cherche à estimer, la figure 2 représente les différentes étapes représentatives du calcul du terme de discrimination de couleur, la figure 3 illustre le procédé de calcul d'un polygone inscrit et d'un polygone circonscrit à un polygone initial, la figure 4 représente les régions de référence délimitées par les différents contours, la figure 5 représente un schéma fonctionnel de calcul du modèle de couleur pour le fond et pour l'objet à segmenter, la figure 6 illustre une méthode alternative de classification binaire entre fond et objet, basée sur l'algorithme de seeded region growing .
Les modules représentés sont des unités fonctionnelles, qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces modules ou certains d'entre eux peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains modules peuvent être éventuellement composés d'entités physiques séparées.
Selon le procédé décrit par l'invention, lorsqu'un utilisateur veut segmenter un objet qu'il visualise sur un écran, il trace un contour approximatif des frontières de l'objet qui doit être extérieur à l'objet. Un objet 20 de l'invention est de définir un procédé permettant de faire converger ce contour approximatif initial vers le contour réel de l'objet à segmenter. Ce procédé s'appuie sur un schéma algorithmique des contours actifs.
La figure 1 représente le contour réel de l'objet à segmenter et le contour actif, à une étape de son processus de convergence à partir du contour initial fourni par l'utilisateur.
Le contour actif est défini par un certain nombre de points de contrôle V;, correspondant aux extrémités des arcs formant le contour. Dans le cas où le contour est modélisé par un polygone, ces arcs sont des segments de droite, et les points de contrôle sont constitués des extrémités de ces segments. Le nombre de points de contrôle V; varie en fonction de la complexité du contour.
Selon l'invention, on fait converger les points de contrôle V; vers le contour réel de l'objet, selon un schéma de convergence connu sous le nom de contours actifs. On définit un contour actif comme une courbe paramétrée dans une image, qui approche itérativement la frontière d'un objet sous l'influence de forces internes, calculées à partir de la courbe de contour elle- même, et de forces externes, qui dépendent de l'image. Les forces internes contraignent la forme de la courbe à satisfaire des contraintes de régularité, les forces externes optimisent le positionnernent de la courbe relativement au contenu de l'image. L'application de ces forces se traduit par la minimisation d'une fonctionnelle d'énergie.
Bien qu'il soit théoriquement possible de rechercher une convergence simultanée de l'ensemble des points de contrôle en effectuant une minimisation globale de la fonctionnelle d'énergie, la convergence du contour actif est en pratique réalisée à l'aide d'un algorithme glouton ( greedy algorithm ) proposé initialement dans l'article de D.J. Williams et M. Shah, intitulé A Fast Algorithm for Active Contours and Curvature Estimation , paru dans la revue CVGIP: Image Understanding, volume 55 n 1, Janvier 1992, pages 14 à 26.
Suivant cet algorithme, la minimisation de l'énergie est effectuée itérativement sur chacun des points de contrôle, jusqu'à stabilisation du contour. A cet effet, une fenêtre de recherche est définie au voisinage de chaque point de contrôle. Chaque point à l'intérieur de cette fenêtre constitue un point candidat pour la position du nouveau point de contrôle. Le point de contrôle est déplacé dans la fenêtre vers le point candidat pour lequel une certaine fonctionnelle appelée énergie est minimale. Ce processus est appliqué successivement sur tous les points de contrôle, jusqu'à convergence du contour.
La taille de la fenêtre peut par exemple être fixée à 21 pixels sur 21 pixels. Dans d'autres modes de réalisation, la taille de la fenêtre peut être différente. La taille de la fenêtre à utiliser dépend de l'application visée et de la résolution de l'image traitée.
En référence à la Figure 1, on appelle V; la position courante d'un point de contrôle du contour actif. On cherche à faire converger V; vers le contour vrai en calculant, pour chaque point V; d'une fenêtre de recherche autour de V;, l'énergie du contour obtenu en remplaçant V; par V;, et en sélectionnant comme nouveau point de contrôle celui qui fournit l'énergie minimale.
Suivant un procédé connu de segmentation par contours actifs, l'énergie E(i) du point de contrôle V; est définie comme étant la somme pondérée des trois termes suivants: 1 un terme de continuité favorisant un espacement constant entre points de contrôle, ce terme peut par exemple être défini en fonction de la distance de Ni; aux points de contrôle adjacents V;_1 et V;+1 et de la distance moyenne d entre points de contrôle: Econl;,,u;,é (i, -2d +IVi V;± Max Eco r;,,u (k) 2. un terme de régularisation de deuxième ordre visant à éviter des courbures trop prononcées du contour, que l'on peut définir, approxirnant la courbure par des différences finies, comme: Ecoubure(1,V/)- MAaxE (k courhu e 3. un terme de gradient qui attire le contour vers des fronts de l'image, en privilégiant les fronts dont la direction est parallèle au contour estimé : ce terme peut être calculé en fonction du vecteur gradient G(Vi) au voisinage de Vi et de la normale extérieure next(i) au contour en V; par: ne (i.GV Egradient (Z% Max G(Vk Le procédé de segmentation par contours actifs, tel que décrit ci- dessus, repose essentiellement sur la détection des frontières de l'objet. L'objet de l'invention est d'introduire dans le procédé de segmentation par contours actifs une contrainte supplémentaire assurant une certaine homogénéité en termes couleur de la région délimitée du contour, afin d'améliorer la qualité et la robustesse de la segmentation obtenue.
L'invention concerne plus particulièrement les moyens de déterminer un terme supplémentaire de la fonctionnelle d'énergie conditionnant la convergence du contour actif. Ce terme de discrimination de couleur Ecouieur(i,Vj) repose sur la classification des pixels au voisinage du contour estimé en pixels objet et non-objet en fonction de leur couleur, classification qui est effectuée à partir d'une connaissance initiale sur la distribution des couleurs de l'objet et de son voisinage. Ecouleur(i,V) modifie le positionnement du contour de manière à favoriser, dans un voisinage du contour, le placement de pixels classifiés objet à l'intérieur du contour, et le classement de pixels classifiés fond à l'extérieur du contour. À
La pondération de ces termes est définie par l'utilisateur en fonction des propriétés du contour. Il pourra par exemple réduire le poids des termes de régularité dans le cas de formes très tourmentées.
La figure 2 donne un schéma bloc décrivant les moyens de calculer le terme de discrimination de couleur.
En premier lieu, lors d'une étape El, on définit à partir du contour initial, un contour inscrit, intérieur à l'objet, et un contour circonscrit, extérieur à l'objet. A titre d'exemple, la figure 3 illustre une méthode géométrique de construction d'un contour inscrit et d'un contour circonscrit, lorsque le contour est modélisé par un polygone. Pour chaque sommet V; du contour initial, on construit la bissectrice de l'angle formé par les deux segments adjacents au sommet et passant par le sommet. On associe à V; un sommet du polygone circonscrit (respectivement inscrit) en déplaçant V; d'une distance prédéfinie dcirc (respectivement dinscr) vers l'extérieur (respectivement vers l'intérieur) le long de la bissectrice.
Le bon fonctionnement de l'invention nécessite que le contour inscrit soit entièrement intérieur à l'objet et que le contour circonscrit soit dans sa totalité extérieur à l'objet. Si nécessaire, il peut être fait appel à l'opérateur humain pour ajuster les contours calculés automatiquement par la méthode décrite ci-dessus, afin que ces deux conditions soient remplies.
Lors d'une étape E2, chacun des pixels situés dans la zone d'incertitude encadrée par les contours inscrit et circonscrit est classifié en pixel objet ou non-objet en fonction de sa couleur, ce qui fournit une carte de classification binaire dans cette zone. Divers procédés de classification sont applicables à cette fin. Deux procédés sont décrits plus bas à titre illustratif: o un procédé basé sur la construction de modèles de la distribution couleur de l'objet et de celle du fond, où les pixels sont classifiés en fonction de la proximité de leur couleur à ces 30 distributions, o un procédé basé sur l'algorithme connu sous le nom de Seeded Region Growing , procédant par croissance de régions à partir de points de référence répartis sur le contour circonscrit et sur le contour inscrit.
Les étapes E1 et E2 sont effectuées préalablement au lancement du processus de convergence du contour actif. Les autres étapes du procédé E3 à E5, décrites ci-dessous, sont répétées à chaque itération du processus de convergence du contour actif au voisinage d'un point de contrôle.
Lors d'une étape E3, une deuxième carte de segmentation binaire est construite dans la fenêtre de recherche d'un nouveau point de contour au voisinage du point de contrôle courant V. Cette carte, recalculée pour chaque position candidate Vi du nouveau point de contour, affecte à chaque pixel de la fenêtre une étiquette précisant si le pixel se trouve à l'intérieur ou à l'extérieur du contour obtenu en considérant Ni; comme nouveau point de contour. Lorsque le contour est modélisé par un polygone, le calcul de ces cartes peut s'appuyer sur des algorithmes bien connus en infographie, permettant de tester si un point se trouve ou non à l'intérieur d'un polygone.
Une étape E4 utilise la carte de segmentation basée sur la couleur en pixels objet et non-objet issue de l'étape E2 d'une part, et la carte de segmentation en pixels intérieur et extérieur au contour candidat, issue de l'étape E3, d'autre part. A partir de ces deux cartes est effectué un comptage, à l'intérieur de la fenêtre de recherche au voisinage de V;, des pixels vérifiant les conditions suivantes: - pixel détecté à l'étape E2 comme appartenant à l'objet et étiqueté à l'étape E3 comme se trouvant à l'intérieur du contour passant par Vi, soient NI 25 pixels, - pixel détecté à l'étape E2 comme n'appartenant pas à l'objet et étiqueté à l'étape E3 comme se trouvant à l'extérieur du contour passant par Vi, soient N2 pixels.
La nouvelle position du point de contrôle V; est celle du pixel Vi pour 30 lequel la somme (NI + N2) est maximale, ce qui revient à minimiser l'opposé de la somme (Ni + N2) dans le terme d 'énergie du contour actif.
Le nombre de pixels (NI + N2) obtenu est normalisé dans l'étape E5 par le nombre total de pixels de la fenêtre de recherche, et multiplié par un coefficient pour fournir le terme de discrimination couleur de l'énergie du contour actif Ecouleur(i,v). Ce coefficient multiplicatif doit être négatif et peut être par exemple fixé à -1.
Le terme Ecouleur(i,v) ainsi obtenu est ensuite additionné aux autres termes connus de l'énergie associée à un contour actif, après multiplication par un facteur de pondération défini par l'utilisateur, et la convergence du contour est obtenue itérativement en sélectionnant, au voisinage de chaque point de contour, le point candidat qui minimise l'énergie totale. La prise en compte du terme Ecouieur(i, v) permet d'intégrer dans le processus d'estimation du contour une contrainte de discrimination couleur, qui tend à positionner le contour de manière à assurer une homogénéité d'une part de l'ensemble des couleurs contenues dans l'intérieur du contour, et d'autre part de l'ensemble des couleurs contenues dans un voisinage extérieur du contour.
On présente ci-après deux méthodes possibles de mise en oeuvre de l'étape E2 de classification des pixels situés dans la zone comprise entre les contours inscrit et circonscrit.
Un première méthode utilisée dans le mode de réalisation préféré, repose sur la construction de modèles de la distribution de couleurs de l'objet et de son voisinage extérieur. La construction de ces modèles nécessite la définition de deux régions de référence dans l'image, représentées sur la figure 4: - une première région de référence est définie comme l'intérieur du contour inscrit, - une deuxième région R,,rp est définie comme la région comprise entre le contour circonscrit au contour estimé, dénommé par la suite contour circonscrit intérieur , et un nouveau contour circonscrit au contour intérieur, dénommé contour circonscrit extérieur .
En raison des contraintes imposées dans la construction du contour inscrit et du contour circonscrit intérieur, Robi se trouve nécessairement à l'intérieur de l'objet, alors que Rarp est située dans un voisinage extérieur à l'objet.
Disposant des régions de référence Rob; et Rarp, on peut construire un modèle de la distribution de couleur de l'objet et un modèle de la distribution de couleurs de l'arrière-plan au voisinage de l'objet. Une méthode de construction de ces modèles est représentée sur la figure 5, dans l'hypothèse où l'on adopte une modélisation statistique de chacune de ces distributions de couleurs par une somme de lois Gaussiennes ou mélange de Gaussiennes .
Suivant cette méthode, en référence à la figure 5, lors d'une première étape S1, on construit la liste des pixels intérieurs à la région de référence considérée, c'est-à-dire Robs pour le calcul du modèle de la distribution de couleurs de l'objet et Rarp pour le calcul du modèle de la distribution de couleurs de l'arrière-plan.
Ensuite, on procède, lors d'une étape S2, à la construction de l'histogramme de couleurs de la région. On rappelle brièvement que cette opération, classique en traitement d'image, utilise une loi de quantification de l'espace de représentation de la couleur utilisé, loi que l'on se donne a priori.
On peut par exemple adopter une quantification uniforme à N niveaux suivant chacun des 3 axes de couleur, ce qui revient à quantifier chaque composante couleur en N valeurs possibles. L'espace couleur est alors divisé en N3 zones. On définit l'histogramme de couleur de la région comme un tableau de N3 cases ou bins , chaque bin étant associé bijectivement à une zone. La valeur stockée dans un bin de l'histogramme représente le nombre de pixels de la région de l'image traitée dont les composantes couleur sont localisées dans la zone de l'espace couleur associée au bin. La construction de l'histogramme est effectuée en traitant successivement tous les pixels de la région considérée de la façon suivante: les composantes couleur de chaque pixel sont quantifiées, ce qui détermine la zone de l'espace couleur dans laquelle le pixel est localisé ; la valeur du bin associé à cette zone est alors incrémentée d'une unité.
L'histogramme de couleur fournit un premier modèle de la distribution de couleurs de la région, que l'on cherche à simplifier pour obtenir un modèle paramétrique avec un faible nombre de paramètres. Dans ce but, on effectue à l'étape S3 une détection des régions de l'histogramme à forte densité. Des algorithmes de détection de pics ou peak-picking , largement répandus en infographie, peuvent être utilisés à cet effet. La sortie de l'étape S3 consiste en une liste de pics de l'histogramme, correspondant à des couleurs dominantes fortement représentées dans la région considérée.
L'étape S4 a pour objet de dériver un modèle statistique paramétrique de l'histogramme de couleur, en utilisant la liste des pics détectés à l'étape S3. On assimile le voisinage de chaque pic à une distribution Gaussienne tri-dimensionnelle dans l'espace de couleur, ce qui revient à modéliser la distribution totale des couleurs par un mélange de Gaussiennes (en anglais Gaussian Mixture Model ou GMM ). Chacune des distributions Gaussiennes constituant le GMM est entièrement déterminée par sa moyenne et sa matrice de covariance; ces paramètres du modèle sont estimés à partir des valeurs des bins de l'histogramme au voisinage du pic considéré.
On dispose ainsi à la sortie de l'étape S4 d'un modèle paramétrique de la distribution de couleur de la région, sous la forme d'un mélange de Gaussiennes. On peut par conséquent construire, à partir des régions objet Robi et arrière-plan Rarp, un rnodèle Mobi de la distribution de couleur de l'objet et un modèle Marp de la distribution de couleur de l'arrière-plan. La classification binaire d'un pixel correspondant à l'étape E2 du schéma de la figure 2 peut alors être obtenue en calculant les vraisemblances vrobi et vra,p du pixel pour les modèles Mobi et Marp respectivement: si vrobj est supérieur à vrarp, le pixel sera classifié objet , dans le cas contraire le pixel sera classifié non-objet .
Une deuxième méthode de mise en oeuvre de l'étape E2 de classification binaire des pixels comme objet ou non-objet , en référence à la figure 2, consiste à utiliser un algorithme de Seeded Region Growing ou SRG , dont on pourra trouver une description détaillée dans l'article de R. Adams et L. Bischof intitulé Seeded region growing , paru dans la revue IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 16 n 6, juin 1994, pages 641 à 647.
L'algorithme de SRG classifie l'ensemble des pixels d'une zone de l'image en faisant croître de petites régions définies à l'origine et dont les classes sont connues. Dans le contexte de cette invention, et conformément au schéma de la figure 6, les régions initiales sont constituées par des petits voisinages de points répartis uniformément sur les périmètres des contours inscrit et circonscrit. Les régions adjacentes au contour inscrit appartiennent à l'objet puisque le contour inscrit est intérieur à l'objet. De la même manière, les régions adjacentes au contour circonscrit appartiennent à l'arrière-plan.
L'algorithme de SRG maintient une liste des pixels non encore classifiés, à l'intérieur de la zone à traiter, qui sont adjacents à une région existante. Dans cette liste, chaque pixel est associé à une distance à sa région adjacente, et les pixels de la liste sont triés en ordre croissant de leur distance. La distance entre un pixel et une région représente un critère d'homogénéité entre la couleur du pixel et la ou les couleurs représentatives de la région. Dans une mise en oeuvre très simplifiée, cette distance peut être définie comme la distance euclidienne, dans l'espace de représentation de la couleur, entre la couleur du pixel et la couleur moyenne de la région.
Une itération de l'algorithme consiste à effectuer les opérations suivantes: - affecter le premier pixel de la liste (dont l'attribut de distance est le plus faible) à la région à laquelle il est adjacent, mettre à jour les propriétés de la région (par exemple sa couleur moyenne) en conséquence, - mettre à jour le voisinage de la région.
Ce processus est appliqué itérativernent jusqu'à ce que la liste soit vide, ce qui signifie que tous les pixels de la zone à classifier ont été affectés à une région initiale. La classification des pixels est alors définie par la classification de la région initiale à laquelle il a été affecté : objet si cette région était initialement adjacente au contour inscrit, non-objet dans le cas contraire.
L'invention ne se limite pas aux exemples de réalisation donnés ci- 5 dessus.
Claims (8)
1. Procédé de segmentation d'objets dans une image comprenant les étapes de - définition approximative d'un contour extérieur de l'objet à segmenter, ledit contour comprenant une pluralité de points dits de contrôle (V;), - détermination d'un voisinage de points candidats (V;,1) au voisinage de chaque point de contrôle (V;), - détermination d'une énergie associée à chaque point candidat (V;,1) du voisinage de chaque point de contrôle, - convergence de chacun des points de contrôle (V;) vers le point candidat (Vi,j) qui minimise ladite énergie fournissant ainsi un contour estimé de l'objet à segrenter, caractérisé en ce que l'énergie associée à chaque point candidat (Vi,j) comprend un terne de discrimination de couleur.
2. Procédé selon la revendication 1 caractérisé en ce qu'il comprend une étape (El) de calcul automatique d'un contour inscrit au contour estimé et d'un contour circonscrit au contour estimé, de telle sorte que le contour inscrit soit intérieur à l'objet à segmenter et que le contour circonscrit soit extérieur à l'objet à segmenter.
3. Procédé selon la revendication 2 caractérisé en ce qu'il comprend une étape (E2) de classification en deux régions des pixels situés dans l'espace compris entre le contour inscrit et le contour circonscrit, les pixels dont la couleur est plus proche de la distribution des couleurs de l'objet que de la distribution des couleurs du fond au voisinage de l'objet étant étiquetés objet et les autres pixels étant étiquetés fond.
4. Procédé selon l'une des revendications 1 à 3 caractérisé en ce qu'il comprend une étape (E3) d'étiquetage des points candidats (V1,;) de chaque point de contrôle (V;) du contour estimé, l'étiquette identifiant si chaque point candidat (Vi,,) est intérieur au contour estimé ou extérieur au contour estimé.
5.. Procédé selon la revendication 4 caractérisé en ce qu'il comprend une étape (E4) de comptage des pixels pour chaque point candidat (Vi,l) dans le voisinage de chaque point de contrôle (Vi), du nombre de points NI et N2 définis ainsi: - N, est le nombre de points étiquetés comme intérieur au contour estimé et dont la couleur est étiquetée objet, - N2 est le nombre de points étiquetés comme extérieur au contour estimé et dont la couleur est étiquetée fond.
6. Procédé selon l'une des revendications précédentes caractérisé en ce que l'énergie associée à chaque point candidat (Vi,l) est constituée d'une pondération, outre du terme de discrimination de couleur, d'un terme de gradient (Egradient(i, Vi)) attirant le contour approximatif dessiné par l'utilisateur vers les fronts de l'image, d'un terme de tension (Econtinuité(i,V,)) minimisant la longueur du contour et d'un terme de régularisation (Ecourbure(i,V;)) de second ordre minimisant les courbures trop prononcées.
7. Procédé selon la revendication '10 caractérisé en ce que la minimisation du terme d'énergie relative au terme de discrimination de couleur consiste à sélectionner pour chaque point de contrôle (Vi) le point candidat (Vi,l) du voisinage dudit point de contrôle (Vi) pour lequel la somme NI + N2 est minimale.
8. Dispositif de segmentation d'objets dans une image comprenant des moyens de - définition approximative d'un contour extérieur à l'objet à segmenter, ledit contour comprenant une pluralité de points dits de contrôle (Vi), - détermination d'un voisinage de points candidats (Vi,l) au voisinage de chaque point de contrôle (Vi), - détermination d'une énergie associée à chaque point candidat (V; j) du voisinage de chaque point de contrôle, - convergence de chacun des points de contrôle (V;) vers le point candidat (Vi,j) qui minimise ladite énergie fournissant ainsi un contour estimé de l'objet à segmenter, caractérisé en ce que l'énergie associée à chaque point candidat (Vi,j) comprend un terme de discrimination de couleur.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0550060A FR2880455A1 (fr) | 2005-01-06 | 2005-01-06 | Methode et dispositif de segmentation d'une image |
| EP20050111825 EP1679652B1 (fr) | 2005-01-06 | 2005-12-08 | Procédé et dispositif de segmentation d'image |
| US11/314,380 US7627175B2 (en) | 2005-01-06 | 2005-12-21 | Image segmentation method and device |
| CA2532052A CA2532052C (fr) | 2005-01-06 | 2006-01-05 | Methode et dispositif de segmentation d'image |
| JP2006001837A JP4732172B2 (ja) | 2005-01-06 | 2006-01-06 | 画像におけるオブジェクトをセグメント化する方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0550060A FR2880455A1 (fr) | 2005-01-06 | 2005-01-06 | Methode et dispositif de segmentation d'une image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2880455A1 true FR2880455A1 (fr) | 2006-07-07 |
Family
ID=34952786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0550060A Pending FR2880455A1 (fr) | 2005-01-06 | 2005-01-06 | Methode et dispositif de segmentation d'une image |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7627175B2 (fr) |
| EP (1) | EP1679652B1 (fr) |
| JP (1) | JP4732172B2 (fr) |
| CA (1) | CA2532052C (fr) |
| FR (1) | FR2880455A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2133839A1 (fr) | 2008-06-12 | 2009-12-16 | Thomson Licensing | Procédé de traitement d'images pour lutter contre la copie |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7317855B2 (en) * | 2004-12-16 | 2008-01-08 | Corning Incorporated | Method of imparting twist to optical fiber |
| JP4644794B2 (ja) * | 2006-03-30 | 2011-03-02 | 株式会社日立メディコ | 画像認識装置 |
| DE102006028646A1 (de) * | 2006-06-22 | 2007-12-27 | Siemens Ag | Auswertungsverfahren für Bilddatensätze mit selbsttätiger Bestimmung von Auswertungsbereichen |
| US7773807B2 (en) * | 2006-08-29 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | Seed segmentation using l∞ minimization |
| US20080136934A1 (en) * | 2006-12-12 | 2008-06-12 | Industrial Technology Research Institute | Flame Detecting Method And Device |
| US7868772B2 (en) | 2006-12-12 | 2011-01-11 | Industrial Technology Research Institute | Flame detecting method and device |
| US8041114B2 (en) * | 2007-06-15 | 2011-10-18 | Microsoft Corporation | Optimizing pixel labels for computer vision applications |
| US8009911B2 (en) * | 2007-08-30 | 2011-08-30 | Siemens Aktiengesellschaft | Interactive image segmentation on directed graphs |
| JP5697989B2 (ja) | 2007-12-26 | 2015-04-08 | コーニンクレッカ フィリップス エヌ ヴェ | グラフィックスオブジェクトを重ね合わせるための画像プロセッサ |
| JP5448344B2 (ja) * | 2008-01-08 | 2014-03-19 | 株式会社Nttドコモ | 情報処理装置およびプログラム |
| JP5290915B2 (ja) * | 2009-09-03 | 2013-09-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN106462975A (zh) * | 2014-05-28 | 2017-02-22 | 汤姆逊许可公司 | 用于对象跟踪和经由背景跟踪进行分割的方法和装置 |
| EP3748581A1 (fr) * | 2014-07-15 | 2020-12-09 | Koninklijke Philips N.V. | Dispositif, système et procédé permettant de segmenter une image d'un sujet |
| US12300273B2 (en) | 2014-12-11 | 2025-05-13 | Rdi Technologies, Inc. | Apparatus and method for visualizing periodic motions in mechanical components |
| US10062411B2 (en) | 2014-12-11 | 2018-08-28 | Jeffrey R. Hay | Apparatus and method for visualizing periodic motions in mechanical components |
| US9704266B2 (en) | 2014-12-11 | 2017-07-11 | Rdi, Llc | Non-contacting monitor for bridges and civil structures |
| US10013781B1 (en) * | 2017-06-13 | 2018-07-03 | Google Llc | Sewing machine-style polygon drawing method |
| US11159798B2 (en) * | 2018-08-21 | 2021-10-26 | International Business Machines Corporation | Video compression using cognitive semantics object analysis |
| US11423551B1 (en) | 2018-10-17 | 2022-08-23 | Rdi Technologies, Inc. | Enhanced presentation methods for visualizing motion of physical structures and machinery |
| US11373317B1 (en) | 2020-01-24 | 2022-06-28 | Rdi Technologies, Inc. | Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras |
| US11282213B1 (en) | 2020-06-24 | 2022-03-22 | Rdi Technologies, Inc. | Enhanced analysis techniques using composite frequency spectrum data |
| US11322182B1 (en) | 2020-09-28 | 2022-05-03 | Rdi Technologies, Inc. | Enhanced visualization techniques using reconstructed time waveforms |
| KR102827343B1 (ko) * | 2022-10-31 | 2025-07-01 | 한화오션 주식회사 | 이미지 기반 딥러닝과 거리 센서를 이용한 마그네트 크레인 자동화 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5901240A (en) * | 1996-12-12 | 1999-05-04 | Eastman Kodak Company | Method for detecting the collimation field in a digital radiography |
| US20040109592A1 (en) * | 1998-05-04 | 2004-06-10 | Bankman Isaac N. | Method and apparatus for segmenting small structures in images |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100414432B1 (ko) * | 1995-03-24 | 2004-03-18 | 마츠시타 덴끼 산교 가부시키가이샤 | 윤곽추출장치 |
| US6937760B2 (en) * | 2000-12-28 | 2005-08-30 | University Of Washington | Interactive frame segmentation with dynamic programming |
-
2005
- 2005-01-06 FR FR0550060A patent/FR2880455A1/fr active Pending
- 2005-12-08 EP EP20050111825 patent/EP1679652B1/fr not_active Expired - Lifetime
- 2005-12-21 US US11/314,380 patent/US7627175B2/en active Active
-
2006
- 2006-01-05 CA CA2532052A patent/CA2532052C/fr not_active Expired - Lifetime
- 2006-01-06 JP JP2006001837A patent/JP4732172B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5901240A (en) * | 1996-12-12 | 1999-05-04 | Eastman Kodak Company | Method for detecting the collimation field in a digital radiography |
| US20040109592A1 (en) * | 1998-05-04 | 2004-06-10 | Bankman Isaac N. | Method and apparatus for segmenting small structures in images |
Non-Patent Citations (1)
| Title |
|---|
| GU C ET AL: "TRACKING OF MULTIPLE SEMANTIC VIDEO OBJECTS FOR INTERNET APPLICATIONS", PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, vol. 3653, no. 3653, pt1-2, 1998, pages 806 - 820, XP000870022, ISSN: 0277-786X * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2133839A1 (fr) | 2008-06-12 | 2009-12-16 | Thomson Licensing | Procédé de traitement d'images pour lutter contre la copie |
Also Published As
| Publication number | Publication date |
|---|---|
| US7627175B2 (en) | 2009-12-01 |
| US20060147116A1 (en) | 2006-07-06 |
| JP4732172B2 (ja) | 2011-07-27 |
| EP1679652B1 (fr) | 2015-05-20 |
| EP1679652A1 (fr) | 2006-07-12 |
| CA2532052C (fr) | 2015-06-02 |
| JP2006190307A (ja) | 2006-07-20 |
| CA2532052A1 (fr) | 2006-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2880455A1 (fr) | Methode et dispositif de segmentation d'une image | |
| US12165292B2 (en) | Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks | |
| EP2695108B1 (fr) | Procédé d'extraction automatisée d'un planogramme à partir d'images de linéaire | |
| US11393100B2 (en) | Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network | |
| US12141952B2 (en) | Exposure defects classification of images using a neural network | |
| CN109151501B (zh) | 一种视频关键帧提取方法、装置、终端设备及存储介质 | |
| US11037291B2 (en) | System and method for detecting plant diseases | |
| US7933454B2 (en) | Class-based image enhancement system | |
| US9275289B2 (en) | Feature- and classifier-based vehicle headlight/shadow removal in video | |
| FR2885719A1 (fr) | Procede et dispositif de suivi d'objets dans une sequence d'images | |
| BE1026095B1 (fr) | Dispositif de traitement d’images | |
| KR102158967B1 (ko) | 영상 분석 장치, 영상 분석 방법 및 기록 매체 | |
| Tian et al. | Scene text segmentation with multi-level maximally stable extremal regions | |
| FR2857481A1 (fr) | Procede et dispositif de detection de visages dans une image couleur | |
| WO2013156374A1 (fr) | Procede de reconnaissance d'un contexte visuel d'une image et dispositif correspondant | |
| Abdeldaim et al. | Color image segmentation of fishes with complex background in water | |
| CN107704864B (zh) | 基于图像对象性语义检测的显著目标检测方法 | |
| Thillou et al. | Color binarization for complex camera-based images | |
| US20250191118A1 (en) | Semantic knowledge-based texture prediction for enhanced image restoration | |
| WO1999040539A1 (fr) | Procede de segmentation spatiale d'une image en objets visuels et application | |
| Heidemann | Region saliency as a measure for colour segmentation stability | |
| WO2017005930A1 (fr) | Détection d'objets par traitement d'images | |
| FR2660459A1 (fr) | Procede de segmentation d'images par analyse de textures. | |
| Mokti et al. | Hybrid of mean-shift and median-cut algorithm for fish segmentation | |
| Mukherjee et al. | Segmentation of natural image based on colour cohesion and spatial criteria |