EP3314574A1 - Procédé de segmentation d'image - Google Patents

Procédé de segmentation d'image

Info

Publication number
EP3314574A1
EP3314574A1 EP16744440.5A EP16744440A EP3314574A1 EP 3314574 A1 EP3314574 A1 EP 3314574A1 EP 16744440 A EP16744440 A EP 16744440A EP 3314574 A1 EP3314574 A1 EP 3314574A1
Authority
EP
European Patent Office
Prior art keywords
image
streaks
pixels
line
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16744440.5A
Other languages
German (de)
English (en)
Inventor
Vincent ARVIS
Michael CHAUSSARD
Michel Bilodeau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Compagnie Generale des Etablissements Michelin SCA
Original Assignee
Compagnie Generale des Etablissements Michelin SCA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Compagnie Generale des Etablissements Michelin SCA filed Critical Compagnie Generale des Etablissements Michelin SCA
Publication of EP3314574A1 publication Critical patent/EP3314574A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to the field of tire manufacturing, and more particularly the field of visual control of the latter in progress or at the end of the production process.
  • different lighting and digital imaging means are used to acquire images of the tires, for subsequent digital processing to detect imperfections previously detected visually by the operators.
  • imaging means make it possible to take different images, whether two-dimensional or three-dimensional, of the inner and / or outer surface of the tire to be inspected.
  • the tires have certain areas on which streaks are present, and other areas with no streaks. These striations generally have a width of the order of a few millimeters, and a height of the order of a millimeter.
  • the present invention is therefore to provide a segmentation solution to overcome the aforementioned drawbacks.
  • the present invention is therefore to provide a method for segmenting a tire image so as to distinguish the areas having streaks of those not showing.
  • the present invention relates to a method of segmenting an image, representative of a tire, into a first zone having streaks and a second zone having none, the method comprising the following steps:
  • the step of flattening the image comprises a step of detecting a carrier signal on which the striations lie.
  • 2014PAT00305WO calculates the average of the neighboring pixels (located within a certain distance) and located on the same line; we then subtract this value from the pixel.
  • the operation consists in calculating, in a horizontal window of size 2r +1 centered on the pixel (x; y), (considering the specificity of recollement of the right and left edges, expressed by the minimum), the average pixels, and to subtract the latter from the value of the pixel (and this repeated for all the pixels of the image).
  • the segmentation method of the present invention could also be used on images representing all types of objects, and not necessarily tires.
  • the flattening step would not necessarily prove useful, since it is made necessary in the case of a tire due to the rounded shape of the object.
  • the next step of the method consists in performing a thresholding operation, in order to transform the flat image, which is in gray levels, into a binary threshold image. This makes it possible to create an output mask comprising a first set of pixels containing the streaks, and a second set of pixels comprising the other elements.
  • the first two consist in calculating on the one hand the average of the gray levels of all the pixels of the row (respectively of the column) on which is a pixel, on the other hand the standard deviation, and of add up these two values.
  • the third criterion is to verify that the pixel belongs to a valid line, that is to say a line that is not too close to the top or the bottom of the image; or a line that does not contain too many outliers, or a line that is not too close to a line containing a large number of outliers.
  • This detection step is performed as follows:
  • the variance of the gray levels of the pixels not belonging to the binary threshold image is calculated, which amounts to excluding any streaks,
  • the calculation is carried out a second time by horizontally expanding the threshold image, which amounts to excluding more pixels from the calculation.
  • the ratio between the two variance values calculated in this way is then carried out. If this ratio becomes greater than a predetermined threshold, it will be considered that the line has a streak.
  • this step of detecting streaks is made necessary by the specific nature of the object, namely a tire. Indeed, as indicated above, the streaks are due to the manufacturing process, and can therefore be interrupted and therefore only present on part of the lines. Hence the need to detect
  • the next step is to evaluate the number of streaks on each line. To do this, we implement the following steps:
  • the variance is calculated along each of the columns of an input image, to form a one-dimensional image having a similar regularity to the streaks.
  • the input image will be chosen as the flat image or the thresholded image.
  • a maximum of the decomposed image does not correspond to a desired period of the striations, but to a harmonic, that is to say a value due to a group of striations. which is repeated regularly in the image. Therefore it is useful, in a particular embodiment, to look at the fractions of the determined maximum to detect possible candidates for the streak period.
  • the best components that can be streaks are detected, and they are retained in a result set. To do this, we go through the related components of the thresholded image by decreasing size, and we retain them if two conditions are met:
  • the connected component if it was added to the result set, must not result in a line of the thresholded image having a number of elements of the set Result greater than the number of striations detected in the previous step, and
  • a method according to the invention also comprises the following steps:
  • a step of reevaluating the number of streaks in the image and a step of filtering the determined set of pixels, as a function of the number of striations reevaluated, to obtain a second set of pixels of the image.
  • a method according to the invention further comprises a step during which one completes empty spaces of the image to obtain a third set of pixels of the image.
  • a method according to the invention comprises a step in which is eliminated, the third set of pixels, supernumerary components, to obtain a fourth set of pixels of the image representing streaks.
  • the objective of this step is to remove these peaks value.
  • a morphological opening is used, which consists of removing all the narrow mountains, whatever their altitude, followed by a morphological closure which consists of removing all the narrow canyons, whatever their depth.
  • the opening operation consists firstly in replacing the value of each pixel of the image by the minimum value of the pixels located in a certain neighborhood, then in starting the operation again, this time taking the value Max.
  • the closing operation consists in performing the same two operations, but in the opposite direction (first the maximum value, then
  • the chosen neighborhood consists of the set of pixels located on the same line, that the pixel studied (it is called opening and closing by a linear structuring element) and at a distance less than a certain threshold.
  • a threshold value is preferably chosen for eliminating, on each line, small mountains and canyons. However, this choice of radius must represent a compromise between a value that is too low and that would not allow cleaning. correct, and too high a value that could lead to the removal of some elements of interest streaks.
  • the cleaning step is performed beforehand.
  • the cleaned image will be:
  • the flattening step is performed using an AvgSub operation.
  • the calculation of the thresholded image is performed as follows:
  • the first condition makes it possible to mark as invalid the first ten and the last lines of the image
  • the second condition makes it possible to mark as invalid all the lines having more than 5% of pixels marked as aberrant in the image.
  • This formula outputs a mask of size equal to the size of the input images, and where a pixel will be present if it is on a valid line (first condition), if its value is greater than the average plus the standard deviation pixels of the same line as him (second condition), and if its value is greater than the average plus the standard deviation of the pixels of the same column as him (third condition).
  • the step of detecting lines with streaks is performed as follows:
  • the ratio between these two values is calculated in a new unidimensional Image image of size equal to the height of the input images.
  • the ratio between the two values is also calculated in the unidimensional image Ratio but by cleaning with openings and closures, as follows:
  • the variance ratio threshold which acts as a limit is 1.5: if the min value Ratio is greater than this threshold, then we consider that the streaks are present on all the lines of the image, if the max ratio is less than this ratio, so the image has no streaks.
  • Ligne_NOTOK_NOTSTRIE l. -
  • the final Line2 image which assigns the final label of each line of the input image, is a mix between Line and a cleaned version of Ligne2_tmp.
  • the Line2 image that assigns a label to each line of the input image is composed by mixing the Line and Line2 tmp information. If all lines have a satisfactory variance ratio (greater than 1.5), then the streaks are present over the entire height of the image and Line2 will be a copy of Line. Otherwise, if only certain lines have a satisfactory variance ratio, then Line2 is equal to a cleaned version of Ligne2_tmp except for lines with too many outliers, where the NOTOK PNM Line label is copied (this operation is carried out thanks to the use of the minimum);
  • Ligne2_tmp The cleaning of Ligne2_tmp is done thanks to an opening, followed by a closing. However, we notice in images with streaks that they do not all stop on the same line: they disappear gradually, and do not disappear in the same lines. For this reason, Line2_tmp erosion is carried out in order to widen the labels of the strapless lines and to include, as a precaution, these "fuzzy" areas as strapless lines.
  • the step of evaluating the number of streaks on each line is preferably carried out as follows:
  • the variance of each of the columns of an input input image which is, according to the embodiment, the flat flat image or the threshold threshold image is calculated. This calculation is performed excluding, thanks to Ligne2, the elements located on lines of
  • the image Var_col thus obtained is a one-dimensional image of the same size as the width of the input images. We see that this image has a repeating pattern as many times as there are streaks in the image. We will then perform a Fourier analysis of this image Var_col to find the number of striations present on each line of the image. This calculation is as follows:
  • the size of the image F is equal to the largest power of two strictly less than L (Input) plus 1. Thus, for images 40,000 pixels wide, F is 32769 pixels.
  • the image F is such that a peak on F (1000) means that there is, in the image, a pattern locating every 1000 pixels. Therefore, it is useful to look for the peaks of F.
  • a geodesic reconstruction of an image D in F3 is then carried out in order to recover the carrier signal which can then be suppressed.
  • the image D is an image of the same size as the image F3, having the value in all points except the abscissa 0 where it is F3 (0).
  • the step of detecting the best candidates of the binary image is performed as follows:
  • V ' ⁇ ms if 3 ⁇ 4 ⁇ ⁇ . ;
  • the candidate set is then constructed by adding the elements of S if they do not conflict with the elements already added in Candidate. For this, we build a sequence of sets R:
  • the present invention provides a method implementing a number of original features compared to known solutions of the state of the art.
  • the means for performing a detection of the lines of the image where streaks are present are different from the known solutions, since the principle of taking a mask of candidate pixels to belong to striations, and to observe how the variance (calculated excluding the elements of this mask) evolves according to the expansion of this mask, is original. Indeed, in the present invention, looking for relief elements that cause a shadow projected on the image, and detecting the lines of the image having streaks in attempting to detect the lines having a drop shadow.
  • the present invention aims to provide a method for dividing the lines of the image into two categories: those where streaks are present, and those that do not. It has been found that the known solutions, namely the conventional approach of minimizing intra class variance or maximizing inter-class variance, do not work (especially since classes can have strong variances). In the present invention, means are used to equalize the class variances using a linear time algorithm, which overcomes the disadvantage of known solutions.
  • the first lies in the fact of making a Fourier transform not on each line of the image, as presented in the known solutions, but on a signal in one dimension, representative of the lines of the image.
  • This signal is obtained by calculating the variance of each column of the image: thanks to the relief of the streaks and their shadow, we obtain a signal with the same period as the streaks of the image. This solution makes it possible to reduce the calculation times implemented.
  • the second element comes from the fact of carrying out morphological operations on the results of the Fourier transform in order to clean it of parasitic elements which could distort the result obtained.
  • a method according to the invention implements, for the selection of the best candidate components that can belong to a streak, a series of placement operations and removal of candidates by decreasing as and when constraints on their position. This pattern of decreasing constraints as it goes is the opposite of all the solutions of the state of the art which generally consist in increasing the constraints over time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

L'invention concerne un procédé de segmentation d'une image, représentative d'un pneumatique, en une première zone comportant des stries et une seconde zone n'en comportant pas, le procédé comportant les étapes suivantes: Une étape au cours de laquelle on effectue une mise à plat de l'image, Une étape de seuillage au cours de laquelle on transforme l'image en niveau de gris en une image binaire, Une étape de détection des lignes de l'image comportant des stries, et Une étape d'évaluation du nombre de stries sur chaque ligne, et Une étape au cours de laquelle, en fonction des résultats des étapes précédentes qui permettent d'obtenir un nombre de stries dans l'image, on détermine un premier ensemble de pixels de l'image représentant des stries.

Description

Procédé de segmentation d'image
DOMAINE DE L'INVENTION
[0001] L'invention concerne le domaine de la fabrication des pneumatiques, et plus particulièrement le domaine du contrôle visuel de ces derniers en cours ou en fin de processus de production.
[0002] L'inspection visuelle des pneumatiques est largement développée dans l'industrie du pneumatique et fait encore le plus souvent appel à la dextérité des opérateurs chargés de détecter les éventuelles imperfections visibles à la surface du pneumatique. Or, avec l'avancée de la puissance de traitement des moyens informatiques, les manufacturiers entrevoient dès à présent la possibilité de rendre ces taches de contrôle automatique
[0003] A cet effet, différents moyens d'éclairage et d'imagerie numérique sont donc utilisés pour acquérir des images des pneumatiques, en vue d'un traitement numérique ultérieur permettant des détecter les imperfections auparavant détectées visuellement par les opérateurs.
[0004] Ces moyens d'imagerie permettent d'effectuer différentes prises d'images, que ce soit en deux dimensions ou en trois dimensions, de la surface intérieure et/ou extérieure du pneumatique à inspecter.
[0005] Les pneumatiques comportent certaines zones sur lesquelles des stries sont présentes, et d'autres zones ne présentant pas de stries. Ces stries présentent généralement une largeur de l'ordre de quelques millimètres, et une hauteur de l'ordre du millimètre. Pour détecter certains défauts sur les pneumatiques, il est utile de pouvoir appliquer des traitements différents aux zones striées, et aux zones non striées. A cet effet, il est utile de pouvoir différencier, sur une image d'un pneumatique, les différentes zones en présence.
[0006] On connaît différentes techniques qui visent à effectuer une telle différenciation, mais aucun ne présente une robustesse suffisante pour être utilisée dans un domaine tel que celui du contrôle de pneumatiques. En effet, on a par exemple constaté que les soudures présentes sur un pneumatique faussaient la segmentation effectuée par des procédés de l'état de la technique. En outre, les solutions connues présentent des temps de traitement trop longs pour être acceptables en environnement industriel.
[0007] La présente invention vise donc à proposer une solution de segmentation permettant de remédier aux inconvénients susmentionnés. DESCRIPTION GENERALE DE L'INVENTION
[0008] La présente invention vise donc à proposer un procédé permettant de segmenter une image de pneumatique de manière à distinguer les zones présentant des stries de celles n'en présentant pas.
[0009] Ainsi, la présente invention concerne un procédé de segmentation d'une image, représentative d'un pneumatique, en une première zone comportant des stries et une seconde zone n'en comportant pas, le procédé comportant les étapes suivantes :
· Une étape au cours de laquelle on effectue une mise à plat de l'image,
• Une étape de seuillage au cours de laquelle on transforme l'image en niveau de gris en une image binaire,
• Une étape de détection des lignes de l'image comportant des stries, et
• Une étape d'évaluation du nombre de stries sur chaque ligne, et
· Une étape au cours de laquelle, en fonction des résultats des étapes précédentes qui permettent d'obtenir un nombre de stries dans l'image, on détermine un premier ensemble de pixels de l'image représentant des stries.
[0010] Dans la suite de la demande, on désignera parfois une image sur laquelle on applique un procédé conforme à l'invention par l'expression « image d'entrée ».
[0011] Par convention, dans l'ensemble de la demande, on utilisera les notations montrées en figure 1. Ainsi, on utilisera les notations L et H respectivement pour la largeur et la hauteur d'une image d'entrée, et le point I(x,y) sera repéré dans le repère (x,y) montré sur cette figure.
[0012] On a constaté que certaines images d'entrée possédaient une courbure le long des lignes et des colonnes. Cette courbure apparaît en mesurant la moyenne des lignes et des colonnes de l'image : chaque ligne, et chaque colonne de l'image, possède une moyenne différente, corrélée avec sa position dans l'image. Cet effet, dû à la courbure naturelle du pneu, (qui diffère selon le type des pneus) ainsi qu'aux contraintes mécaniques subies par le pneu lors de son acquisition, doit être corrigé avant tout autre traitement, afin que tous les éléments du pneu aient une hauteur comparable quelle que soit leur position dans le pneu.
[0013] A cet effet, dans une réalisation particulière, l'étape de mise à plat de l'image comprend une étape de détection d'un signal porteur sur lequel reposent les stries. Pour ce faire, on réalise une simple moyenne mobile le long des lignes : à chaque pixel de l'image nettoyée on
2014PAT00305WO calcule la moyenne des pixels voisins (situés à moins d'une certaine distance) et situés sur la même ligne ; on retranche ensuite cette valeur au pixel.
[0014] Ces opérations peuvent être définies de la manière suivante : Soit une image I bidimensionnelle, et un entier positif r, on définit l'opération AvgSub comme une fonction prenant en entrée une image bidimensionnelle I et produisant en sortie une image de même taille
[0015] L'opération consiste à calculer, dans une fenêtre horizontale de taille 2r +1 centrée sur le pixel (x; y), (en considérant la spécificité de recollement des bords droit et gauche, exprimée par le minimum), la moyenne des pixels, et de retrancher cette dernière a la valeur du pixel (et ceci répété pour tous les pixels de l'image).
[0016] Le procédé de segmentation de la présente invention pourrait également être utilisé sur des images représentant tous types d'objet, et pas nécessairement des pneumatiques. Dans ce cas, l'étape de mise à plat ne s'avérerait pas forcément utile, puisqu'elle est rendue nécessaire dans le cas d'un pneumatique du fait de la forme arrondie de l'objet.
[0017] De manière préférentielle, on obtient l'image mise à plat, que nous appellerons désormais « image plate », en soustrayant le minimum de l'image à cette valeur moyenne afin d'obtenir uniquement des valeurs positives. Pour cette dernière opération, on choisit avantageusement un rayon permettant de conserver les stries tout en supprimant la porteuse. En outre, il s'avère que, bien que réalisée uniquement sur les lignes de l'image, cette opération permet aussi de s'affranchir de la courbure le long des colonnes de l'image.
[0018] Une fois l'image d'entrée mis à plat, l'étape suivante du procédé consiste à effectuer une opération de seuillage, afin de transformer l'image plate, qui est en niveaux de gris, en une image seuillée binaire. Ceci permet de créer un masque de sortie comprenant en un premier ensemble de pixels contenant les stries, et un second ensemble de pixels comprenant les autres éléments.
[0019] Pour décider si un pixel appartient au masque de sortie, on vérifie trois critères :
Les deux premiers consistent à calculer d'une part la moyenne des niveaux de gris de l'ensemble des pixels de la ligne (respectivement de la colonne) sur laquelle est située un pixel, d'autre part l'écart-type, et d'additionner ces deux valeurs.
2014PAT00305WO Le troisième critère consiste à vérifier que le pixel appartient à une ligne valide, c'est-à- dire une ligne qui n'est pas trop proche ni du haut, ni du bas de l'image ; ou une ligne qui ne contient pas un trop grand nombre de valeurs aberrantes, ou bien encore une ligne qui n'est pas trop proche d'une ligne contenant un grand nombre de valeurs aberrantes.
[0020] En fonction du masque de sortie ainsi défini, il est alors possible de détecter, dans l'image mise à plat, les lignes dans lesquelles des stries sont présentes. A l'issue de cette détection, on obtient une image unidimensionnelle, de même taille que la hauteur de l'image plate.
[0021] Cette étape de détection est effectuée de la façon suivante :
- on calcule, pour chaque ligne de l'image mise à plat, la variance des niveaux de gris des pixels n'appartenant pas à l'image seuillée binaire, ce qui revient à exclure les stries éventuelle,
- on effectue une seconde fois le calcul en dilatant horizontalement l'image seuillée ce qui revient à exclure plus de pixels du calcul.
[0022] Les lignes sur lesquelles des stries sont présentes dans l'image plate vont présenter un résultat fortement différent des autres lignes. En effet, le calcul de variance effectué exclu le phénomène d'ombre portée provoqué par les stries, ce qui conduit à des valeurs basses par rapport à la moyenne. Ainsi, les lignes comportant des stries présenteront une grande différence entre les deux valeurs de variance, alors que ce n'est pas le cas des lignes sans strie.
[0023] On effectue alors, pour chaque ligne, le rapport entre les deux valeurs variance ainsi calculées. Si ce rapport devient supérieur à un seuil prédéterminé, on considérera que la ligne comporte une strie.
[0024] On remarque ici que l'on utilise une spécificité des stries, à savoir le phénomène d'ombre portée, pour les détecter. D'autres méthodes pourraient être envisagées pour réaliser cette étape de détection, toutefois on a constaté que la méthode ici décrite fournissait les meilleurs résultats.
[0025] Il est à noter une fois de plus que cette étape de détection des stries est rendue nécessaire par le caractère spécifique de l'objet, à savoir un pneumatique. En effet, comme indiqué précédemment, les stries sont dues au procédé de fabrication, et peuvent donc être interrompues et donc présentes seulement sur une partie des lignes. D'où la nécessité de détecter
2014PAT00305WO les lignes qui contiennent des stries. Cette étape ne serait donc pas nécessaire dans le cas d'une application sur un autre type d'objet.
[0026] L'étape suivante, dans un procédé conforme à l'invention, consiste à évaluer le nombre de stries sur chaque ligne. Pour ce faire, on met en œuvre les étapes suivantes :
- tout d'abord, on calcule la variance le long de chacune des colonnes d'une image d'entrée, pour constituer une image unidimensionnelle possédant une régularité similaire aux stries. Selon les exemples, on choisira comme image d'entrée l'image plate ou l'image seuillée.
on applique deux transformées de Fourier successives sur cette image unidimensionnelle pour obtenir une décomposition de l'image dans l'espace des fréquences,
on cherche alors un ou plusieurs maximums de l'image décomposée. En effet, si une valeur d'abscisse x est élevée, cela signifie qu'il y a dans l'image un motif qui se répète tous les x pixels. Par conséquent un maximum de l'image peut correspondre à une période de stries.
[0027] Toutefois, on a constaté que dans certains cas, un maximum de l'image décomposée de correspond pas à une période des stries recherchée, mais à une harmonique, c'est-à-dire une valeur due à une groupe de stries qui se répète régulièrement dans l'image. Par conséquent il est utile, dans une réalisation particulière, de regarder les fractions du maximum déterminé pour détecter d'éventuels candidats à la période des stries.
[0028] Dans une dernière étape d'un procédé selon l'invention, on détecte, dans l'image seuillée, les meilleures composantes pouvant être des stries, et on les retient dans un ensemble Résultat. Pour ce faire, on parcourt les composantes connexes de l'image seuillée par taille décroissante, et on les retient si deux conditions sont respectées :
- Tout d'abord, il ne faut pas que la composante connexe, si elle était ajoutée à l'ensemble Résultat, conduise à ce qu'il y ait sur une ligne de l'image seuillée un nombre d'éléments de l'ensemble Résultat supérieur au nombre de stries détecté à l'étape précédente, et
Il faut en outre que la composante connexe appartienne à une ligne valide telle que définie au paragraphe [0019]
[0029] A l'issue de cette dernière étape, on obtient alors un premier ensemble de pixel, correspondant à l'ensemble Résultat, comportant l'ensemble des stries de l'image.
2014PAT00305WO [0030] Toutefois, on a constaté que l'ensemble Résultat pouvait, dans certains cas, comprendre des éléments surnuméraires, qu'il serait utile de supprimer. A cet effet, dans un mode de réalisation, un procédé selon l'invention comporte en outre les étapes suivantes :
- une étape de réévaluation du nombre de stries dans l'image, et - une étape de filtrage de l'ensemble de pixels déterminé, en fonction du nombre de stries réévalué, pour obtenir un deuxième ensemble de pixels de l'image.
[0031] Dans un autre mode de réalisation, un procédé selon l'invention comporte en outre une étape au cours de laquelle on complète des espaces vides de l'image pour obtenir un troisième ensemble de pixels de l'image.
[0032] Dans un mode de réalisation, un procédé selon l'invention comporte une étape au cours laquelle on élimine, du troisième ensemble de pixels, des composantes surnuméraires, pour obtenir un quatrième ensemble de pixels de l'image représentant des stries.
[0033] On a constaté qu'un léger bruit présent dans l'image sur laquelle est appliqué le procédé pouvait perturber la détection des stries, et ainsi conduire à une mauvaise segmentation. Pour remédier à cela, dans un mode de réalisation, il est utile de prévoir une étape préalable de nettoyage de l'image avec des filtres morphologiques. Considérons, dans un exemple particulier, une image où est représentée la topographie d'un pneumatique, c'est-à-dire que la valeur de chaque pixel de l'image représente la hauteur du voisinage du point correspondant dans le pneumatique. Sur une telle image, les valeurs de niveau de gris élevées indiquent des pixels d'altitude élevée, tandis que les valeurs de niveau de gris basses indiquent des pixels de faible altitude. Ainsi, les stries présentes sur un pneumatique ressemblent, sur une image topographique, à des chaînes de montagne étendues, sans nécessairement être très hautes, tandis que le bruit présent dans l'image apparaît sous la forme de pic de très (montagnes) ou très basse (canyons) altitude mais de petite taille.
[0034] L'objectif de la présente étape est donc de supprimer ces pics de valeur. A cet effet, on utilise une ouverture morphologique, qui consiste à supprimer toutes les montagnes étroites, quelle que soit leur altitude, suivie d'une fermeture morphologique qui consiste à supprimer tous les canyons étroits, quelle que soit leur profondeur.
[0035] L'opération d'ouverture consiste d'abord à remplacer la valeur de chaque pixel de l'image par la valeur minimale des pixels situés dans un certain voisinage, puis à recommencer l'opération en prenant cette fois-ci la valeur maximale. L'opération de fermeture consiste à réaliser les mêmes deux opérations, mais dans le sens inverse (d'abord la valeur maximale, puis
2014PAT00305WO la valeur minimale). Le voisinage choisi consiste en l'ensemble des pixels situés sur la même ligne, que le pixel étudié (on parle alors d'ouverture et de fermeture par un élément structurant linéaire) et à une distance inférieure à un certain seuil.
[0036] On choisit préférentiellement une valeur de seuil permettant d'éliminer, sur chaque ligne, des montagnes et des canyons de petite taille.. Toutefois, ce choix de rayon doit représenter un compromis entre une valeur trop faible qui ne permettrait pas un nettoyage correct, et une valeur trop élevée qui pourrait conduire à la suppression de certains éléments d'intérêt des stries.
DESCRIPTION DU MEILLEUR MODE DE RÉALISATION
[0037] On va décrire ci-après le détail de chacune des étapes de la méthode. Dans cet exemple, l'étape nettoyage est effectuée au préalable. Ainsi, si on nomme CEA l'image de départ, l'image nettoyée sera :
[0038] Ainsi que décrit précédemment dans ce texte, l'étape de mise à plat est effectuée en utilisant une opération AvgSub
[0039] On effectue alors le calcul suivant : dans une fenêtre horizontale de taille 2r +1 centrée sur le pixel (x; y), on calcule la moyenne des pixels, et de retrancher cette dernière a la valeur du pixel (et ceci répété pour tous les pixels de l'image). De manière préférentielle, on obtient l'image mise à plat, que nous appellerons désormais « image plate », en soustrayant le minimum de l'image à cette valeur moyenne afin d'obtenir uniquement des valeurs positives :
[0040] Le calcul de l'image seuillée est effectué de la manière suivante :
- On construit une fonction qui permet d'attribuer une étiquette à chaque ligne y de l'image d'entrée. Si on considère un masque PNM d'entrée, représentant les valeurs aberrantes de l'image d'entrée (les pixels de valeur aberrante sont à A, et les autres sont à 0, et on procède en deux temps : tout d'abord, on définit une première image
2014PAT00305WO unidimensionnelle temporaire, de même taille que la hauteur des images d'entrée, et telle que :
La première condition permet de marquer comme invalide les dix premières et les dis dernières lignes de l'image, et la seconde condition permet de marquer comme invalide toutes les lignes possédant plus de 5% de pixels marqués comme aberrants dans l'image
PNM.
On pose Ligne_NOTOK_PNM=0 et Ligne_OK=2. L'image Ligne, qui nous donnera l'étiquette de chaque ligne, est obtenue en propageant les étiquettes de lignes invalides, grâce à une érosion, comme suit :
On peut alors définit le masque de sortie en réalisant un seuil basé sur nos critères précédemment définis et sur l'étiquetage des lignes, à partir de l'image précédemment mise à plat (voir équation 2)
Cette formule produit en sortie un masque de taille égale à la taille des images en entrée, et où un pixel sera présent s'il est sur une ligne valide (première condition), si sa valeur est supérieur à la moyenne plus l'écart type des pixels de la même ligne que lui (seconde condition), et si sa valeur est supérieure à la moyenne plus l'écart type des pixels de la même colonne que lui (troisième condition).
[0041] L'étape de détection des lignes comportant des stries est effectuée de la façon suivante :
On commence par calculer, pour chaque ligne y de l'image mise à plat (voir équation 2), la variance des pixels n'appartenant pas à l'image seuillée, et la variance des pixels n'appartenant pas à l'image seuillée dilatée de 60 pixels :
2014PAT00305WO Comme expliqué précédemment, on calcule, dans une nouvelle image unidimensionnelle Score, de taille égale à la hauteur des images d'entrée, le rapport entre ces deux valeurs. On calcule aussi, dans l'image unidimensionnelle Rapport, le rapport entre les deux valeurs mais en procédant à un nettoyage à l'aide d'ouvertures et de fermetures, de la façon suivantes :
L'image Rapport nous servira dans la suite de cette section, tandis que l'image Score nous servira dans les sections suivantes. On cherche, pour chaque ligne valide de l'image (en se servant de l'image Ligne définie à l'équation 3), quels sont les deux extrema de valeurs de Rapport.
¾ ïS.!..ÏS i iMi.i;
Après plusieurs expérimentations, nous avons établi que le seuil de rapport de variance qui agit comme limite est 1.5 : si la valeur min Rapport est supérieure à ce seuil, alors on considère que les stries sont présentes sur toutes les lignes de l'image, si la valeur max Rapport est inférieur à ce rapport, alors l'image ne possède pas de stries.
Ce qui est plus compliqué à déterminer se passe quand ces deux extrema se situent de part et d'autre du seuil. Dans ce cas, la valeur de 1 ,5 ne joue plus le rôle de seuil satisfaisant, et il faut trouver un autre seuil différent selon les images. Notre technique consiste à choisir une valeur de seuil s de façon à diviser les lignes de l'image en deux classes (avec strie, on suppose, et sans strie, on suppose) de façon à ce que les variances des deux classes soient très proches (cette procédure est discutée dans la suite) :
Si plusieurs seuils sont candidats pour être le minimum, on prendra le seuil le plus bas.
2014PAT00305WO On peut construire l'image Ligne2_tmp qui attribue une étiquette à chacune des lignes de l'image d'entrée en attribuant, pour tout
On pose Ligne_NOTOK_NOTSTRIE=l . - L'image Ligne2 finale, qui attribue l'étiquette définitive de chacune des lignes de l'image d'entrée, est un mélange entre Ligne et une version nettoyée de Ligne2_tmp.
Pour tout on pose
Comme expliqué précédemment, l'image Ligne2 qui attribue une étiquette à chaque ligne de l'image d'entrée est composée en mélangeant les informations de Ligne et de Ligne2 tmp. Si toutes les lignes ont un rapport de variance satisfaisant (supérieur à 1.5), alors les stries sont présentes sur toute la hauteur de l'image et Ligne2 sera une copie de Ligne. Sinon, si seules certaines lignes ont un rapport de variance satisfaisant, alors Ligne2 est égale à une version nettoyée de Ligne2_tmp sauf pour les lignes comportant trop de valeurs aberrantes, où on recopie l'étiquette Ligne NOTOK PNM (cette opération est réalisée grâce à l'utilisation du minimum) ;
Le nettoyage de Ligne2_tmp s'effectue grâce à une ouverture, suivie d'une fermeture. Cependant, on s'aperçoit dans les images comportant partiellement des stries que ces dernières ne s'interrompent pas toutes sur la même ligne : elles s'effacent peu à peu, et ne disparaissent pas aux mêmes lignes. Pour cette raison, on effectue une érosion de Ligne2_tmp afin d'élargir les étiquettes des lignes sans strie et inclure, par précautions, ces zones « floues » comme lignes sans strie.
[0042] L'étape d'évaluation du nombre de stries sur chaque ligne est préférentiellement effectuée de la façon suivante :
On calcule la variance de chacune des colonnes d'une image d'entrée Input qui est, selon le mode de réalisation, l'image mis à plat Plat ou l'image seuillée Seuil. Ce calcul est effectué en excluant, grâce à Ligne2, les éléments situés sur des lignes de possédant
2014PAT00305WO pas de stries. En outre, on effectue au préalable une érosion des éléments de Ligne2 pour éloigner les étiquettes de ligne valides de ces zones :
L'image Var_col ainsi obtenue est une image unidimensionnelle de même taille que la largeur des images en entrée. On constate que cette image possède un motif se répétant autant de fois qu'il y a de stries dans l'image. On va alors effectuer une analyse par Fourier de cette image Var_col pour trouver le nombre de stries présentes sur chaque ligne de l'image. Ce calcul est le suivant :
La taille de l'image F est égale à la plus grande puissance de deux strictement inférieure à L(Input) plus 1. Ainsi, pour des images de 40 000 pixels de large, F fait 32769 pixels. L'image F est telle qu'un pic sur F (1000) signifie qu'il y a, dans l'image, un motif se repérant tous les 1000 pixels. Par conséquent, il est utile de rechercher les pics de F. Toutefois, au préalable, on nettoie l'image avec une ouverture et une fermeture comme suit :
On constate que la structure de F2 est souvent la même quelle que soit l'image d'entrée : dans un premier tiers de l'image, on observe des oscillations intéressantes placées sur un signal porteur, puis, le signal reste plat, s'effondre vers la moitié de l'image, et remonte un peu pour rester plat dans la dernière moitié. On va donc chercher le minimum de l'image après le premier tiers, et placer des 0 après ce minimum, pour obtenir une image F3 comme suit :
On effectue ensuite une reconstruction géodésique d'une image D dans F3 afin de récupérer le signal porteur que l'on pourra alors supprimer. L'image D est une image de même taille que l'image F3, ayant pour valeur en tous les points sauf à l'abscisse 0 où elle vaut F3(0).
2014PAT00305WO On cherche alors la position du maximum de F4 :
On a constaté que ce maximum ne représentait pas toujours la période spatiale des stries dans l'image En effet, il faut tenir compte du phénomène d'harmoniques dans l'image. A cet effet, on va tester des fractions du maximum précédemment déterminé, et on recherche un maximum pn de F4 dans un certain voisinage Rn comme suit :
On construit alors l'ensemble Nb_strie qui contient tous les candidats au nombre de stries dans l'image :
[0043] L'étape de détection des meilleurs candidats de l'image binaire est effectuée comme suit :
Soit C l'ensemble des composantes connexes de Seuil ; C l'ensemble des éléments de C qui apparaissent sur au moins 20 lignes étiquetées comme valides, et soit S la séquence des éléments de C triés par taille décroissante. On a alors :
ΡΐΚΐϊ- ;.< :·? I; ■: : ! . <>: ,
V'<ms: si ¾ ί ί.;
On construit alors l'ensemble Candidat en ajoutant les éléments de S s'ils ne sont pas en conflit avec les éléments déjà ajoutés dans Candidat. Pour cela, on construit une suite d'ensemble R :
1H ■■■■ Finalement, la présente invention propose un procédé mettant en œuvre un certain nombre de caractéristiques originales par rapport aux solutions connus de l'état de la technique.
Ainsi, les moyens permettant d'effectuer une détection des lignes de l'image où des stries sont présentes sont différents des solutions connues, puisque le principe consistant à prendre un masque de pixels candidats à appartenir à des stries, et à observer comment la variance (calculée en excluant les éléments de ce masque) évolue en fonction de la dilatation de ce masque, est original. En effet, dans la présente invention, on cherche des éléments de relief qui provoquent une ombre projetée sur l'image, et on détecte les lignes de l'image possédant des stries en tentant de détecter les lignes possédant une ombre portée.
Par ailleurs, la présente invention vise à proposer un procédé permettant de diviser les lignes de l'image en deux catégories : celles où des stries sont présentes, et celles n'en possédant pas. On a constaté que les solutions connues, à savoir l'approche classique consistant à minimiser la variance intra classe ou à maximiser la variance inter classes ne fonctionnaient pas (notamment car les classes peuvent avoir des variances fortes). Dans la présente invention, on utilise des moyens consistant à égaliser les variances des classes à l'aide d'un algorithme en temps linéaire, ce qui permet de remédier à l'inconvénient des solutions connues.
En outre, la méthode de comptage des stries, permettant de savoir combien de stries sont normalement présentes sur l'image en l'absence de défaut comporte deux éléments inventifs :
- Le premier réside dans le fait de réaliser une transformée de Fourier non pas sur chaque ligne de l'image, comme présenté dans les solutions connues, mais sur un signal en une dimension, représentatif des lignes de l'image. Ce signal est obtenu en calculant la variance de chaque colonne de l'image : grâce au relief des stries et à leur ombre portée, on obtient un signal avec la même période que les stries de l'image. Cette solution permet de diminuer les temps de calcul mis en œuvre.
Le second élément provient du fait de réaliser des opérations morphologiques sur les résultats de la transformée de Fourrier afin de la nettoyer d'éléments parasites qui pourraient fausser le résultat obtenu.
Enfin, un procédé selon l'invention met en œuvre, pour la sélection des meilleurs composantes candidates pouvant appartenir à une strie, une série d'opérations de placement puis suppression des candidats en diminuant au fur et à mesure les contraintes sur leur position. Ce schéma de diminution des contraintes au fur et à mesure va à l'inverse de toutes les solutions de l'état de la technique qui consistent généralement à augmenter les contraintes avec le temps.
2014PAT00305WO

Claims

REVENDICATIONS
Procédé de segmentation d'une image, représentative d'un pneumatique, en une première zone comportant des stries et une seconde zone n'en comportant pas, le procédé comportant les étapes suivantes :
• Une étape au cours de laquelle on effectue une mise à plat de l'image,
• Une étape de seuillage au cours de laquelle on transforme l'image en niveau de gris en une image binaire,
• Une étape de détection des lignes de l'image comportant des stries, et
• Une étape d'évaluation du nombre de stries sur chaque ligne, et
• Une étape au cours de laquelle, en fonction des résultats des étapes précédentes qui permettent d'obtenir un nombre de stries dans l'image, on détermine un premier ensemble de pixels de l'image représentant des stries.
.Procédé selon la revendication 1 dans lequel l'étape de mise à plat de l'image comprend une étape de détection d'un signal porteur sur lequel reposent les stries.
Procédé selon la revendication 1 ou 2, comportant en outre les étapes suivantes :
une étape de réévaluation du nombre de stries dans l'image, et
une étape de filtrage de l'ensemble de pixels déterminé, en fonction du nombre de stries réévalué, pour obtenir un deuxième ensemble de pixels de l'image.
Procédé la revendication 3, comprenant en outre une étape au cours de laquelle on complète des espaces vides de l'image pour obtenir un troisième ensemble de pixels de l'image.
Procédé selon la revendication 4, comprenant une étape au cours laquelle on élimine, du troisième ensemble de pixels, des composantes surnuméraires, pour obtenir un quatrième ensemble de pixels de l'image représentant des stries.
Procédé selon l'une des revendications précédentes comprenant l'étape préalable de nettoyer l'image avec des filtres morphologiques.
2014PAT00305WO
EP16744440.5A 2015-06-29 2016-06-28 Procédé de segmentation d'image Withdrawn EP3314574A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1556081A FR3038111B1 (fr) 2015-06-29 2015-06-29 Procede de segmentation d'image
PCT/FR2016/051600 WO2017001766A1 (fr) 2015-06-29 2016-06-28 Procédé de segmentation d'image

Publications (1)

Publication Number Publication Date
EP3314574A1 true EP3314574A1 (fr) 2018-05-02

Family

ID=53879696

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16744440.5A Withdrawn EP3314574A1 (fr) 2015-06-29 2016-06-28 Procédé de segmentation d'image

Country Status (5)

Country Link
US (1) US20180137616A1 (fr)
EP (1) EP3314574A1 (fr)
CN (1) CN107924566A (fr)
FR (1) FR3038111B1 (fr)
WO (1) WO2017001766A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034036B (zh) * 2018-07-19 2020-09-01 青岛伴星智能科技有限公司 一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质
CN113820661B (zh) * 2021-09-03 2023-07-28 暨南大学 一种基于二分及双指针条纹搜索的可见光定位方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119205A (en) * 1963-03-11 1992-06-02 Lemelson Jerome H Methods and apparatus for scanning and analyzing selected images areas
FR2959046B1 (fr) * 2010-04-19 2012-06-15 Michelin Soc Tech Methode de controle de l'aspect de la surface d'un pneumatique
FR2974219A1 (fr) * 2011-04-18 2012-10-19 Michelin Soc Tech Analyse de l'image numerique de la surface externe d'un pneumatique - traitement des points de fausse mesure
FR2975523B1 (fr) * 2011-05-19 2015-09-25 Michelin Soc Tech Methode de determination des elements en relief presents sur la surface d'un pneumatique
RU2742316C2 (ru) * 2012-07-31 2021-02-04 Пирелли Тайр С.П.А. Способ сегментации поверхности шины и устройство, функционирующее согласно этому способу
CN102867185B (zh) * 2012-10-31 2015-02-04 江苏大学 一种汽车轮胎号识别方法及识别系统

Also Published As

Publication number Publication date
CN107924566A (zh) 2018-04-17
US20180137616A1 (en) 2018-05-17
FR3038111B1 (fr) 2017-08-11
FR3038111A1 (fr) 2016-12-30
WO2017001766A1 (fr) 2017-01-05

Similar Documents

Publication Publication Date Title
EP2710555B1 (fr) Méthode de détermination des éléments en relief présents sur la surface d&#39;un pneumatique
BE1017547A6 (fr) Compression d&#39;images numeriques de documents scannes.
EP0054596B1 (fr) Procédé d&#39;inspection et de tri automatique d&#39;objets présentant des configurations avec des tolérances dimensionnelles et des critères de rejet variables selon l&#39;emplacement, équipement et circuits de mise en oeuvre
EP1523731B1 (fr) Procede de traitement d&#39;une image acquise au moyen d&#39;un guide compose d&#39;une pluralite de fibres optiques
EP2710552B1 (fr) Methode de determination des marquages en relief presents sur la surface exterieure du flanc d&#39;un pneumatique
EP0054598B1 (fr) Procédé d&#39;inspection et de tri automatique d&#39;objets présentant des configurations avec des tolérances dimensionnelles fixes et équipement de mise en oeuvre
CN107194919A (zh) 基于规律纹理背景重建的手机屏幕缺陷检测方法
EP1298588A1 (fr) Procédé de traitement d&#39;images pour l&#39;extraction automatique d&#39;éléments sémantiques
KR20090066212A (ko) 결함 검출 방법 및 결함 검출 장치
EP3555602B1 (fr) Procede de caracterisation par microscopie electronique a balayage cdsem
EP0627693A1 (fr) Dispositif de segmentation d&#39;images composées de textures et système de segmentation d&#39;images comprenant un tel dispositif
FR3081244A1 (fr) Procede de reconnaissance de caracteres
EP2145293A2 (fr) Dispositif de comptage de cartes
FR3081245A1 (fr) Procede de reconnaissance de caracteres
EP3314574A1 (fr) Procédé de segmentation d&#39;image
EP3314573A1 (fr) Procédé de segmentation d&#39;image
CN115797327B (zh) 一种缺陷检测方法、装置、终端设备及存储介质
EP1129432B1 (fr) Procede de comparaison d&#39;images enregistrees formees de pixels representant des equipotentielles d&#39;au moins une puce de circuit integre
EP3175428A1 (fr) Procédé d&#39;extraction de motifs non périodiques masques par des motifs périodiques, et dispositif mettant en oeuvre le procédé
FR2870969A1 (fr) Dispositif, procede et programme d&#39;elimination de pores
FR2843220A1 (fr) &#34;procede et systeme de localisation automatique de zones de texte dans une image&#34;
EP3400576B1 (fr) Procédé de traitement graphique d&#39;images
EP3830789A1 (fr) Analyse d&#39;au moins un type de defauts parmi une pluralite de types de defauts entre au moins deux echantillons
EP0573345A1 (fr) Procédé de comparaison de flots de données et dispositif de mise en oeuvre
FR3059453A1 (fr) Procede et dispositif de deconvolution d&#39;images numeriques

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20180129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: ARVIS, VINCENT

Inventor name: BILODEAU, MICHEL

Inventor name: CHAUSSARD, JOHN M.

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: COMPAGNIE GENERALE DES ETABLISSEMENTS MICHELIN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200103